JP2012234405A - コンテンツ評価装置、方法、及びそのプログラム - Google Patents

コンテンツ評価装置、方法、及びそのプログラム Download PDF

Info

Publication number
JP2012234405A
JP2012234405A JP2011103149A JP2011103149A JP2012234405A JP 2012234405 A JP2012234405 A JP 2012234405A JP 2011103149 A JP2011103149 A JP 2011103149A JP 2011103149 A JP2011103149 A JP 2011103149A JP 2012234405 A JP2012234405 A JP 2012234405A
Authority
JP
Japan
Prior art keywords
content
evaluation
user
reaction
gaze degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011103149A
Other languages
English (en)
Other versions
JP5624512B2 (ja
Inventor
Mototaka Yoshioka
元貴 吉岡
Jun Ozawa
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011103149A priority Critical patent/JP5624512B2/ja
Publication of JP2012234405A publication Critical patent/JP2012234405A/ja
Application granted granted Critical
Publication of JP5624512B2 publication Critical patent/JP5624512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】コンテンツの改善への活用が容易なコンテンツの評価を視聴ユーザの生体信号から決定可能なコンテンツ評価装置を提供する。
【解決手段】本発明に係るコンテンツ評価装置110は、ユーザの脳血流と視線位置とを取得する取得部101と、取得した脳血流を基にユーザの画像コンテンツに対する反応種別を識別する反応識別部102と、画像コンテンツ内に含まれる画像である提供画像の表示領域と提供画像が表示領域に表示される表示時間とを含む情報である提供情報を蓄積している提供情報蓄積部105と、提供情報を参照し、視線位置に基づいてユーザの提供画像への注視度を算出する注視度算出部104と、評価情報テンプレートを蓄積している評価情報蓄積部107と、評価情報テンプレートを参照し、注視度と反応種別とに対応する評価情報を画像コンテンツに対するユーザの評価として決定する評価情報決定部106とを備える。
【選択図】図1

Description

本発明は、コンテンツ評価装置に関し、特に、画像コンテンツ視聴の際のユーザの生体信号を分析することで画像コンテンツに対するユーザの評価を決定するコンテンツ評価装置等に関する。
従来技術として、コンテンツを視聴するユーザの脳波等の生体信号をもとに、コンテンツの評価を行う手法がある(例えば、特許文献1参照)。
特表2010−520554号公報 特開2004−21870号公報
細川豊治、外、「虚偽検出場面における新たなる計測手法−機能的近赤外線分光法を指標として−」、ヒューマンインタフェース学会論文誌、2008年、Vol.10、 No.2、 p.11−18
しかしながら、特許文献1に開示される従来技術によって得られる評価結果からコンテンツを改善することは困難である。
すなわち、従来技術は、コンテンツに対してユーザが生理的反応を示す時刻を生体信号から特定する。しかし、特定された生理的反応がユーザのいかなる評価に対応するのかを明確に示していないため、コンテンツの改善につなげることが難しい。
本発明は、従来課題を解決するものであり、コンテンツの改善への活用が容易なコンテンツの評価を視聴ユーザの生体信号から決定可能なコンテンツ評価装置を提供することを目的とする。
本発明のある局面に係るコンテンツ評価装置は、画像コンテンツ視聴の際のユーザの生体信号を分析することで前記画像コンテンツに対する前記ユーザの評価を決定するコンテンツ評価装置であって、前記ユーザの脳血流量と視線位置とを取得する取得部と、取得した前記脳血流量を基に前記ユーザの前記画像コンテンツに対する心理的な反応の種別である反応種別を識別する反応識別部と、前記画像コンテンツ内に含まれる画像である提供画像の表示領域と、前記提供画像が前記表示領域に表示される表示時間とを含む情報である提供情報を蓄積している提供情報蓄積部と、前記提供情報を参照し、前記表示時間における前記視線位置と前記表示領域との位置関係基づいて、前記ユーザが前記提供画像を注視している度合いである注視度を算出する注視度算出部と、前記注視度と前記反応種別との組に対応付けられた前記画像コンテンツの評価情報を含む評価情報テンプレートを蓄積している評価情報蓄積部と、前記評価情報テンプレートを参照し、前記注視度算出部により算出された注視度と、前記反応識別部により識別された反応種別とに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定する評価情報決定部とを備える。
この構成によると、コンテンツ評価装置は、コンテンツを視聴したユーザの生体信号から、コンテンツに対するユーザの心理的な反応種別と、コンテンツに含まれる特定の画像への注視度とを評価軸として、コンテンツを評価することができる。その結果、コンテンツ制作者は、心理的な反応種別と注視度という評価軸のうえに、コンテンツの制作目的に照らして望ましいコンテンツを容易に位置付けることができる。したがって、コンテンツの制作者は、コンテンツ評価装置によって決定された評価と望ましいコンテンツとのずれを評価できる。これにより、コンテンツの制作者は、コンテンツ評価装置によって決定された評価をコンテンツの改善へ活用することが容易となる。
なお、本発明は、このような特徴的な処理部を備えるコンテンツ評価装置として実現することができるだけでなく、コンテンツ評価装置に含まれる特徴的な処理部をステップとするコンテンツ評価方法として実現したり、コンテンツ評価方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのはいうまでもない。
さらに、本発明は、このようなコンテンツ評価装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このようなコンテンツ評価装置を含むコンテンツ評価システムとして実現したりできる。
本発明によると、コンテンツの改善への活用が容易なコンテンツの評価を視聴ユーザの生体信号から決定可能なコンテンツ評価装置を提供できる。
本発明の実施の形態1におけるコンテンツ評価装置のシステム構成図である。 実施の形態1及び2並びにその変形例における脳血流検知方法を示す図である。 実験によって示された視聴コンテンツと、脳血流の変化量との対応関係の一例を示す図である。 実験によって示された前頭葉の血流量の変化の一例を示す図である。 実施の形態1及び2並びにその変形例におけるユーザがコンテンツを視聴する画面の座標系を示す図である。 実施の形態1及び2並びにその変形例における提供情報を説明する図である。 実験において示されたユーザの視線位置の一例を説明する図である。 実験によって示された視聴コンテンツと脳血流と注視度との対応関係の一例を示す図である。 実施の形態1に係る評価情報蓄積部が蓄積している評価情報テンプレートを説明する図である。 実施の形態1におけるコンテンツの評価の一例を示す図である。 本発明の実施の形態1におけるコンテンツ評価装置の処理の流れを示すフローチャートである。 本発明の実施の形態1における反応種別を識別する処理の流れを示すフローチャートである。 本発明の実施の形態1における視線の滞留時間を特定する処理の流れを示すフローチャートである。 本発明の実施の形態1における注視度を算出する処理の流れを示すフローチャートである。 本発明の実施の形態1における評価情報を決定する処理の流れを示すフローチャートである。 本発明の実施の形態1におけるコンテンツ評価装置が生体信号を外部装置から取得する場合の処理の流れを示すフローチャートである。 実験において示されたユーザの視線位置の他の例を説明する図である。 実施の形態1及び2並びにその変形例において、文字情報に対するユーザの注視度の算出方法を説明する図である。 実施の形態2におけるコンテンツ評価装置のシステム構成図である。 実施の形態2における反応分布算出部が算出する反応分布の一例を説明する図である。 実施の形態2における評価情報蓄積部が蓄積している評価情報テンプレートの一例を説明する図である。 実施の形態2における評価情報蓄積部が蓄積している評価情報テンプレートの他の例を説明する図である。 実施の形態2におけるコンテンツ評価装置の処理の流れを示すフローチャートである。 実施の形態2における反応分布を算出する処理の流れを示すフローチャートである。 実施の形態2における評価情報を決定する処理の流れを示すフローチャートである。 実施の形態2におけるコンテンツ評価装置が生体信号を外部装置から取得する場合の処理の流れを示すフローチャートである。 実施の形態2における反応分布算出部が算出する反応分布の他の例を説明する図である。 実施の形態2の変形例1におけるコンテンツ評価装置のシステム構成図である。 実施の形態2の変形例1における反応分布算出部が算出する反応分布の一例を説明する図である。 実施の形態2の変形例1における評価情報蓄積部が蓄積している評価情報テンプレートの一例を説明する図である。 実施の形態2の変形例2におけるコンテンツ評価装置のシステム構成図である。 実施の形態2の変形例2における反応分布算出部が算出する反応分布の一例を説明する図である。 実施の形態2の変形例2における評価情報蓄積部が蓄積している評価情報テンプレートの一例を説明する図である。 本発明の実施の形態1及び2並びにその変形例に係るコンテンツ評価装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
本発明のある局面に係るコンテンツ評価装置は、画像コンテンツ視聴の際のユーザの生体信号を分析することで前記画像コンテンツに対する前記ユーザの評価を決定するコンテンツ評価装置であって、前記ユーザの脳血流量と視線位置とを取得する取得部と、取得した前記脳血流量を基に前記ユーザの前記画像コンテンツに対する心理的な反応の種別である反応種別を識別する反応識別部と、前記画像コンテンツ内に含まれる画像である提供画像の表示領域と、前記提供画像が前記表示領域に表示される表示時間とを含む情報である提供情報を蓄積している提供情報蓄積部と、前記提供情報を参照し、前記表示時間における前記視線位置と前記表示領域との位置関係基づいて、前記ユーザが前記提供画像を注視している度合いである注視度を算出する注視度算出部と、前記注視度と前記反応種別との組に対応付けられた前記画像コンテンツの評価情報を含む評価情報テンプレートを蓄積している評価情報蓄積部と、前記評価情報テンプレートを参照し、前記注視度算出部により算出された注視度と、前記反応識別部により識別された反応種別とに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定する評価情報決定部とを備える。
この構成によると、コンテンツ評価装置は、コンテンツを視聴したユーザの生体信号から、コンテンツに対するユーザの心理的な反応種別と、コンテンツに含まれる特定の画像への注視度とを評価軸として、コンテンツを評価することができる。その結果、コンテンツ制作者は、心理的な反応種別と注視度という評価軸のうえに、コンテンツの制作目的に照らして望ましいコンテンツを容易に位置付けることができる。したがって、コンテンツの制作者は、コンテンツ評価装置によって決定された評価と望ましいコンテンツとのずれを評価できる。これにより、コンテンツの制作者は、コンテンツ評価装置によって決定された評価をコンテンツの改善へ活用することが容易となる。
具体的には、前記反応識別部は、取得した前記脳血流が第1の閾値を上まわる場合、又は、当該脳血流が第2の閾値を下まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を他の場合と区別して識別し、前記第1の閾値は、基準時における前記ユーザの脳血流よりも大きな値であり、前記第2の閾値は、前記基準時における前記ユーザの脳血流よりも小さな値であるとしてもよい。
これによると、反応識別部は、平常状態の脳血流よりも有意に閾値脳血流が増加する場合に対応するユーザの心理状態の種別と、平常状態の脳血流よりも有意に閾値脳血流が減少する場合に対応するユーザの心理状態の種別とを区別して識別することができる。従来技術と比較して、より詳細なユーザの心理状態を識別することにより、コンテンツ評価装置は、より詳細なコンテンツの評価を決定することができる。
より具体的には、前記反応識別部は、取得した前記脳血流が前記第1の閾値を上まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を興奮状態であると識別し、取得した前記脳血流が前記第2の閾値を下まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を集中状態であると識別するとしてもよい。
これによると、脳血流に有意な変化がみられた被験者の心理状態を興奮系と集中系の2つの種別に識別することで、より詳細なコンテンツの評価が可能となる。脳血流の増加及び減少のそれぞれが興奮状態及び集中状態という異なる心理状態に対応するものであることは、発明者らが多数の被験者の協力を得て行った被験者実験の結果明らかになった知見である。
また、前記ユーザの、前記基準時における脳血流を上まわる脳血流を正の領域で表し、当該基準時における脳血流を下まわる脳血流を負の領域で表し、前記反応識別部は、事前に定められた時間区間に取得された前記脳血流の積分値が、正の領域において第1の値を超える場合は、前記ユーザの前記画像コンテンツに対する反応種別を興奮状態であると識別し、前記脳血流の積分値が、負の領域において第2の値を超える場合は、前記ユーザの前記画像コンテンツに対する反応種別を集中状態であると識別するとしてもよい。
これによると、反応識別部がユーザの反応種別を識別する際に、脳血流の計測データに混じるノイズの影響を低減させることができる。その結果、反応種別の識別精度を向上させることができる。
なお、前記評価情報蓄積部は、前記反応種別が前記集中状態であり、前記注視度が高いほど、より高い評価を表す前記評価情報を当該反応種別と当該注視度との組に対応付けて含む前記評価情報テンプレートを蓄積しているとしてもよい。
これによると、コンテンツのより適切な評価が可能となる。なぜなら、コンテンツがCM映像等の広告を目的とする場合にはユーザの心理状態が集中系であり、かつ、コンテンツ制作者がアピールしたい提供画像に注視している状態が好ましい状態であると想定されるためである。
また、前記評価情報蓄積部は、前記反応種別と前記注視度との組合せごとのユーザ数の割合に対応付けられた前記評価情報を含む前記評価情報テンプレートを事前に蓄積しており、前記注視度算出部は、複数のユーザのそれぞれの前記注視度を算出し、前記反応識別部は、前記複数のユーザのそれぞれの前記反応種別を識別し、前記評価情報決定部は、算出された前記注視度と、識別された前記反応種別との組合せごとのユーザ数の割合に対応する前記評価情報を、前記画像コンテンツに対する前記複数のユーザの評価として決定するとしてもよい。
これによると、評価情報決定部は複数ユーザから取得した生体信号に基づき、複数のユーザ全体としてのコンテンツの評価を決定することができる。一般に、コンテンツは多くの視聴者に視聴されることを前提に制作されるものである。したがって、個別のユーザによる評価を集約してコンテンツの評価を決定することで、よりコンテンツの制作目的に適合した評価とすることができる。
具体的には、前記評価情報決定部は、前記組合せごとのユーザ数の割合のうち、大きい順に事前に定められた順位以内となる割合に対応する、前記反応種別と前記注視度との組合せを算出し、算出された当該組合せに対応する前記評価情報を前記画像コンテンツに対する前記複数のユーザの評価として決定するとしてもよい。
これによると、複数のユーザ全体としてのコンテンツの評価を具体的に決定することができる。心理状態の種別と注視度という2つの評価軸で構成されるマトリクスを用いて対応するユーザの人数を集計した場合、該当するユーザの人数が多い組合せがユーザによる評価の傾向をよく表していると考えられるためである。
また、前記評価情報蓄積部は、ユーザの性別及び年齢のうち少なくとも1つを含む属性に対応付けて前記評価情報テンプレートを蓄積しており、前記評価情報決定部は、前記ユーザの属性に対応する前記評価情報テンプレートを参照して、前記画像コンテンツに対する当該ユーザの評価を決定するとしてもよい。
これによると、コンテンツの視聴対象として狙う属性を有するユーザに注目したコンテンツの評価が可能となる。
また、前記反応識別部は、前記ユーザが同一の画像コンテンツを複数回視聴する場合に、視聴ごとの反応種別を識別し、前記注視度算出部は、前記ユーザが前記同一の画像コンテンツを複数回視聴する場合に、視聴ごとの注視度を算出し、前記評価情報蓄積部は、何回目の視聴かを示す視聴回数と、前記反応種別及び前記注視度との組合せとに対応付けられた前記評価情報を含む前記評価情報テンプレートを蓄積し、前記評価情報決定部は、前記評価情報テンプレートを参照し、前記視聴回数と、当該視聴回数において識別された前記反応種別及び算出された前記注視度の組合せとに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定するとしてもよい。
これによると、コンテンツ評価装置はコンテンツの視聴回数と評価との関連性にもとづいてコンテンツの評価を決定することができる。従って、コンテンツ制作者は繰り返し同一のコンテンツが見られることを想定してコンテンツを制作する場合においても、適切な評価を得ることができる。
具体的には、前記画像コンテンツはCM映像のコンテンツであるとしてもよい。
これによると、繰り返し放映されるテレビコマーシャル等を適切に評価することができる。
また、前記反応識別部は、前記ユーザが1回目に前記同一の画像コンテンツを視聴したときの脳血流と、2回目以降に当該同一の画像コンテンツを視聴したときとの脳血流との差分に基づいて前記反応種別を認識するとしてもよい。
これによると、脳血流の絶対値に代わり、又はこれと併用して、繰り返し視聴した場合の視聴回数と脳血流との相関関係に基づいて心理状態の種別を識別することができる。したがって、より正確な識別が可能となる。
さらにまた、前記反応識別部は、複数のユーザの各々が前記同一の画像コンテンツを複数回視聴する場合に、前記ユーザごと及び視聴ごとに反応種別を識別し、前記注視度算出部は、前記複数のユーザの各々が前記同一の画像コンテンツを複数回視聴する場合に、前記ユーザごと及び視聴ごとに注視度を算出し、前記評価情報蓄積部は、何回目の視聴かを示す視聴回数と、前記反応種別及び前記注視度の組合せごとのユーザ数の割合とに対応付けられた前記評価情報を含む前記評価情報テンプレートを蓄積し、前記評価情報決定部は、前記視聴回数ごとに、前記算出された注視度と、前記識別された反応種別との組合せごとのユーザ数の割合を算出し、前記視聴回数と、当該視聴回数における前記ユーザ数の割合とに対応する前記評価情報を、前記画像コンテンツに対する前記複数のユーザの評価として決定するとしてもよい。
これによると、繰り返し視聴することを前提として制作されるコンテンツに対する、複数視聴者による全体的な評価傾向を決定することができる。
また、前記注視度算出部は、前記視線位置が前記表示領域内に滞留する時間が長いほど、前記注視度をより高く算出するとしてもよい。
これによると、滞留時間の長さを注視度の大きさに反映させることができる。その結果、より詳細に注視度を算出することができる。
さらにまた、前記注視度算出部は、前記提供画像が文字情報を表す場合には、前記視線位置の移動方向と当該文字情報の書字方向とがより一致するほど、前記注視度をより高く算出するとしてもよい。
これによると、ユーザによる文字情報への注視をより正確に特定することができる。その結果、注視度の算出精度を向上させることができる。
また、前記注視度算出部は、前記視線位置が前記提供画像の前記表示領域内に位置する場合において、当該視線位置が当該提供画像の前記表示時間より前から当該表示領域内に位置する場合は、当該視線位置が当該提供画像の前記表示時間より後から当該表示領域内に位置する場合よりも低く前記注視度を算出するとしてもよい。
これによると、ユーザの視線位置と提供画像とが偶然一致した場合に、注視度が高く算出されることを防ぐことができる。したがって、注視度算出部はより高い精度で注視度を算出することができる。
具体的には、前記注視度算出部は、前記提供情報に含まれる前記表示時間ごとに、当該表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離が事前に定められた閾値未満であるか否かを判定し、前記閾値未満であれば前記ユーザが当該表示時間は注視していたと判定し、かつ、前記提供情報に含まれる前記表示時間の総数に対する、前記ユーザが注視していたと判定された表示時間の総数の割合として前記注視度を算出するとしてもよい。
これによると、画像コンテンツ単位で注視度を具体的に算出することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
実施の形態1に係るコンテンツ評価装置110について説明する。
本実施の形態では、コンテンツとして、商品又はサービスの宣伝、商品機能を説明するプレゼンテーション、映画又は番組などの番宣、及び通信販売の番組などの画像コンテンツを想定している。これらコンテンツは、ユーザに視聴してもらうことで、特定の対象を印象づけ、ユーザに覚えてもらうことを目的として作成されるのが一般的である。さらに、これらコンテンツは、コンテンツ自体を印象づける場合もあるが、多くは、そのコンテンツ内で訴える商品や、機能、価格、内容等を印象づけ、覚えてもらうために作成されるものである。
従って、コンテンツの評価は、(1)コンテンツ自体に印象を持ったか否か、及び(2)その中で訴える商品及び機能等について訴求できているか否かという観点で評価を行うものとする。
図1は、本発明の実施の形態1におけるコンテンツ評価装置110の構成を示すブロック図である。
図1において、コンテンツ評価装置110は、画像コンテンツ視聴の際のユーザの生体信号を分析することで画像コンテンツに対するユーザの評価を決定するコンテンツ評価装置であって、取得部101と、反応識別部102と、注視度算出部104と、提供情報蓄積部105と、評価情報決定部106と、評価情報蓄積部107とを含む。
取得部101は、ユーザの脳血流と視線位置とを含む生体信号を取得する。具体的には、取得部101は、脳血流検知部320と視線検知部103とを有する。後述するように、脳血流検知部320は、例えば近赤外分光法等により脳血流を検出するセンサである。また、視線検知部103は、例えばカメラで取得した瞳孔位置からユーザが注視する位置である視線位置を計測するセンサである。
図2(a)は、本実施の形態における脳血流検知部320の一例を示す図である。脳血流検知部320は、例えば近赤外線センサ(NIRS;Near−Infrared Spectroscopyセンサ)で構成されている。近年、このNIRSセンサを用いることで脳の血流量の変化を検知できることが知られている。以下、概要を説明する。
血液の中のヘモグロビンは、酸素と結合することで体内に酸素を送っている。NIRSセンサは、近赤外線(波長700nm〜1000nm)を発光する発光素子を備える発光部322と、発光された近赤外線を受光する受光素子を備える受光部321とから構成されている。NIRSセンサは、近赤外線を発光部322から体内へ向けて照射し、体内組織を透過してきた光を受光部321で受光する。受光した光の成分を調べることにより、NIRSセンサは、脳の血液中のヘモグロビン酸素化状態を検知することができる。例えば、額などに装着することで、前頭葉の酸素血流量を検知することができる。
反応識別部102は、取得部101が取得した脳血流を基にユーザの画像コンテンツに対する心理的な反応の種別である反応種別を識別する。すなわち、取得部101で取得された脳の血流量の変化から、ユーザの反応を識別する。本実施の形態では、ユーザが商品説明映像、又はCM(Commercial Message)などのコンテンツを視聴した際の、脳血流の変化から、ユーザの商品及びCMに対する所定の感情等の反応種別を特定し、これらに対する自動評価を行うコンテンツ評価装置110について説明する。
図2(b)はコンテンツ視聴時の一例である。被験者250であるユーザは、カメラBのCMを含むコンテンツ220を視聴している。
再度図1を参照して、提供情報蓄積部105は、画像コンテンツ内に含まれる画像である提供画像の表示領域と、提供画像が表示領域に表示される表示時間とを含む情報である提供情報を蓄積している。なお、詳細は後述する。
注視度算出部104は、提供情報蓄積部105に蓄積されている提供情報を参照し、表示時間における視線位置と表示領域との位置関係に基づいて、ユーザが提供画像を注視している度合いである注視度を算出する。例えば、注視度算出部104は、提供情報に含まれる表示時間ごとに、当該表示時間における視線位置と表示時間に対応付けられた表示領域との距離が事前に定められた閾値未満であるか否かを判定し、閾値未満であればユーザが当該表示時間は注視していたと判定し、かつ、提供情報に含まれる表示時間の総数に対する、ユーザが注視していたと判定された表示時間の総数の割合として注視度を算出する。より詳細な注視度の算出方法については、後述する。
評価情報蓄積部107は、注視度と反応種別との組に対応付けられた画像コンテンツの評価情報を含む評価情報テンプレートを蓄積している。評価情報テンプレートのデータ構造については、後述する。
評価情報決定部106は、評価情報テンプレートを参照し、注視度算出部104により算出された注視度と、反応識別部102により識別された反応種別とに対応する評価情報を、画像コンテンツに対するユーザの評価として決定する。なお、詳細は後述する。
図3は、実験によって示された、視聴コンテンツと、脳血流の変化量との対応関係の一例を示す図である。図3(b)は、視聴するコンテンツの模式図である。視聴するコンテンツは商品説明に関する動画である。例えば測定開始後、0秒から30秒までA社の一眼カメラの商品説明のコンテンツ222が表示されている。次に30秒から60秒までB社のデジタルカメラの商品説明のコンテンツ223が表示されている。次に60秒から90秒までC社のデジタルカメラの商品説明のコンテンツ224が表示されている。次に90秒から120秒までD社のデジタルカメラの商品説明のコンテンツ225が表示されている。
一方、図3(a)は、図3(b)に示すコンテンツを視聴している際の、ユーザの脳血流を示す図である。具体的には、実際にNIRSセンサを用いて実験を行い、コンテンツ視聴時のユーザの前頭葉の血流量の変化を検知し、グラフで示した図である。
脳血流の検知のサンプリング間隔は0.6秒であり、横軸を時間(秒)、縦軸を基準時である測定開始時からのヘモグロビンの変化量(mMol・mm(ミリモル・ミリメートル))としている。図3(a)に重ねて示される3本のグラフは、酸素と結合したヘモグロビンである酸化ヘモグロビン(oxy−Hb)濃度の変化量を示すグラフ402、酸素と結合していないヘモグロビンである脱酸化ヘモグロビン(deoxy−Hb)濃度の変化量を示すグラフ404、及びトータルのヘモグロビン(total−Hb)濃度の変化量を示すグラフ403の3種類の増減量を線で示している。
一般に、脳血流が増加すると、数秒程度遅延して、酸化ヘモグロビンが増加する。よって、酸化ヘモグロビン濃度の変化量を計測することにより、脳血流の変化量を取得することができる。以後、説明を簡単にするため、基準時(例えば、脳血流の測定開始時)における酸化ヘモグロビン濃度又はトータルヘモグロビン濃度の値を0とし、基準時からの変化量を脳血流と呼ぶ。すなわち、脳血流が正である場合は、基準時よりも酸化ヘモグロビンが増加したことに対応し、脳血流が負である場合は、基準時よりも酸化ヘモグロビンが減少したことに対応する。また、酸化ヘモグロビン濃度が閾値を上まわったことを、脳血流が閾値を上まわったと表現し、酸化ヘモグロビン濃度が閾値を下まわったことを、脳血流が閾値を下まわったと表現する。
図3(a)に示されるように、ヘモグロビン濃度の各グラフは、0秒から30秒、及び30秒から60秒までは多少増減はするが、ほぼ一定の値を保持しているのが分かる。一方、65秒近辺から酸化ヘモグロビン及びトータルヘモグロビンの濃度が徐々に増加し、その後また減少していることが分かる。
ここで脳血流の変化と、コンテンツに対するユーザの心理変化との関連性について、図4を用いて説明する。
脳は、一般的に、記憶を行うなどのタスク(ワーキングメモリ)を課すと酸素を消費して活動し、それを補うために、それ以上の酸素が血液から補給されるようになるため、酸化ヘモグロビンやトータルヘモグロビンが増加することが知られている(ボールド反応)。また、興奮や焦りなどによって脳血流が増加することも知られている。例えば、嘘をつくと焦りにより脳血流が増加するという特性を利用し、嘘発見機などへの応用も知られている(非特許文献1)。
一方、ゲームなど、集中してタスクをこなす場合、前頭葉の酸化ヘモグロビンが減少することも知られている。したがって、NIRSセンサでは、酸化ヘモグロビン又はトータルヘモグロビンの増減量、あるいはこれらの組み合わせに着目することが一般的である。しかしながら、脳血流とコンテンツを視聴した際のユーザの心理変化との関連性について開示された技術は従来ない。そこで、発明者らは以下の実験を行った。
まず、被験者であるユーザ10数名に複数のコンテンツ(商品説明の動画、又はコマーシャル等が連続して再生されるもの)を視聴してもらい、視聴している間の脳血流の変化を計測した。また、視聴したコンテンツに対する心理状態及び感想等を口頭で回答してもらった。図4を参照して、実験結果より得られた脳血流の変化と、心理状態についての関連性について報告する。
図4は、実際にNIRSセンサを用い、コンテンツ視聴時のユーザの前頭葉の血流量の変化を検知し、グラフで示した図である。検知のサンプリング間隔は0.6秒であり、横軸を時間(秒)、縦軸を、計測開始時点からのヘモグロビン濃度の変化量(mMol・mm(ミリモル・ミリメートル))とした。各グラフについて、酸素と結合したヘモグロビンである酸化ヘモグロビン(oxy−Hb)、結合していないヘモグロビンである脱酸化ヘモグロビン(deoxy−Hb)、及びトータルのヘモグロビン(total−Hb)の3種類の増減量を異なる線種で示している。
実験結果において、特に印象を持たなかったコンテンツ又はシーン、及び興味の低いコンテンツ又はシーンに対しては、脳血流の変化が見られないユーザが多かった。ここで、シーンとは、コンテンツの一部を意味する。
例えば、図4(a)は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、印象を持たなかった場合の典型的なデータ推移を示したものである。脱酸化ヘモグロビン、酸化ヘモグロビン、及びトータルヘモグロビンのそれぞれの濃度の増減量はいずれも小さく、ともにほぼ一定の量を保持していることが分かる。また、ユーザによる口頭での回答では、ユーザはこのコンテンツに対しては特に印象を持たず、興味の低いものであることが語られた。ユーザは、コンテンツを淡々と視聴している状態と考えられる。また、コンテンツ内で訴える機能及び商品などに対しても淡々と視聴している状況であった。
一方、実験結果において、興味があったり、興奮したり、驚いたり、緊張したりしてしまうコンテンツ又はシーンに対しては、脳血流の変化が見られるユーザが多かった。特に、酸化ヘモグロビン濃度とトータルヘモグロビン濃度とが増加するユーザが多かった。図4(b)は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、ユーザが視聴コンテンツに興味を示した場合の脳血流変化の一例を示したものである。脱酸化ヘモグロビン濃度はほぼ一定であるが、酸化ヘモグロビン濃度と、トータルヘモグロビン濃度とが時間の経過とともに増加し、その後、酸化ヘモグロビン濃度が減少していることが分かる。また、ユーザによる口頭での回答では、このコンテンツに対しては非常に印象に残っており、ドキっとしたとの回答が得られた。特に、コンテンツに出る俳優や女優など人物やシーンになんらかの感情を有する場合が多かった。一方で、人物又はシーンに対してなんらかの感情変化を生じてしまったため、コンテンツ内で訴える機能及び商品などに対しては、意識が行き届かず、印象に残っていなかったり、全く見ていなかったり、覚えていない場合もあった。
また、実験結果において、興味があるか、集中して見入ってしまったコンテンツに対しては、脳血流の変化が見られるユーザが多かった。特には、酸化ヘモグロビン濃度とトータルヘモグロビン濃度とが減少するユーザが多かった。図4(c)は、あるユーザのあるコンテンツを視聴している際の脳血流の変化であって、ユーザがコンテンツの視聴に集中した場合の一例を示したものである。脱酸化ヘモグロビン濃度はほぼ一定であるが、酸化ヘモグロビン濃度と、トータルヘモグロビン濃度とが時間の経過とともに減少し、その後増加して回復していることが分かる。ユーザによる口頭での回答では、このコンテンツに対しては非常に印象に残っており、集中して見たとの回答を得ている。ユーザが冷静に集中してコンテンツを視聴しているような状況である。また、コンテンツ内で訴える機能及び商品にも目を配り、印象に残っているという回答が得られた。
得られた上記知見をもとに、本実施の形態に係るコンテンツ評価装置110が備える反応識別部102は、以下の処理によりユーザの心理状態の種別を判定する判定手法を用いる。
まず、所定の閾値を設け、基準時からの脳血流の変化量の絶対値が閾値未満の場合は、ユーザのコンテンツに対する心理状態は、興味又は印象が低い状態であるとする。
また、脳血流の変化量の絶対値が閾値以上の場合は、ユーザのコンテンツに対する心理状態は、興味又は印象が高い状態であるとする。
以上の判定手法を被験者実験で得られたデータにより検証したところ、実際にユーザから口頭で得られた正解に対し、脳血流をもとに判定した心理状態の正解率は70%以上であった。
また、視聴コンテンツに対して興奮したり、驚いたり、緊張するという心理状態と、酸化ヘモグロビン濃度が増加する脳血流変化との相関も非常に高かった。また、視聴コンテンツに対して見入ってしまい、又は、集中してみるという心理状態と、酸化ヘモグロビン濃度が減少する脳血流変化との相関も非常に高かった。
実際、人の心理状態と脳の血流量の変化については未解明な部分が多く、商品の好き嫌い、コンテンツの好き嫌い、及び嗜好など、高次の心理状態まで特定することは、現在の実験結果からは困難である。しかしながら、上記実験結果より、少なくとも印象が残るほど興奮して視聴し、見入ってしまうコンテンツであったか(「有反応系」と定義する)、そうでないか(「無反応系」と定義する)は、脳血流の増減量をもとに特定が可能であると考えられる。
また、反応があったコンテンツであって、その興味の持ち方が興奮したり、驚いたり、緊張するという心理状態(「興奮系」と定義する)か、見入ってしまったり、集中してみるという心理状態(「集中系」と定義する)かという、コンテンツに対する反応の種別の識別も、脳血流が増加したか、又は減少したかを区別することによって大別することが可能と考えられる。
そこで本発明では、コンテンツに対するユーザの反応を上記3つの種別(無反応系、興奮系、集中系)のいずれかとし、反応識別部102において、脳血流の変化をもとに反応のいずれかの反応の種別かを識別し、また、有反応系の反応を示した時刻(以後、反応時刻候補という)を特定することとする。
なお、本発明においては、脳血流のうち、酸化ヘモグロビン濃度に着目し、以下では説明のため酸化ヘモグロビン濃度の増減量を用いて反応種別を認識することとする。ただし、必ずしも酸化ヘモグロビン濃度の増減量のみに限ったものではなく、トータルヘモグロビン濃度の増減量、又はこれらの組み合わせてもよい。例えば酸化ヘモグロビン濃度とトータルヘモグロビン濃度がともに同じ方向へ増減した場合を有反応系と特定し、又はトータルヘモグロビン濃度の増加量に対し酸化ヘモグロビン濃度が事前に定められた割合以上増加した場合を有反応系と特定してもよい。
また、反応識別部102は、反応種別の識別に使用する脳血流として、脳血流検知部320から取得した脳血流の測定結果に対して、平滑化処理、又は脱酸化ヘモグロビンを用いたベースライン補正を施してもよい。脳血流は生理現象に起因するノイズを含むため、平滑化処理を行うことでノイズを除去することが可能となる。また、脱酸化ヘモグロビンを基準にベースライン補正を行うことで、ノイズ及び生理現象による増加量を除去し、脳血流の増減を詳細に把握することが可能となる。
再び、図3を用いて説明する。反応識別部102は、所定の閾値として、第1の閾値412と第2の閾値413とを設けている。例えば、第1の閾値412を0.05とし、第2の閾値413を−0.05とする。このとき、反応識別部102は、脳血流の増減量の絶対値が所定の閾値を上まわる場合を「有反応系」と認識する。すなわち、脳血流が0.05を上まわり、又は−0.05を下まわる場合には、反応識別部102は、反応種別を有反応系と認識する。
より詳細には、反応識別部102は、脳血流が正の閾値である第1の閾値412を増加方向に超えた場合は「興奮系」の反応種別であると特定し、負の閾値である第2の閾値413を減少方向に超えた場合は「集中系」の反応種別であると特定する。
一方、脳血流が閾値以内(例えば、±0.05以内)の場合、反応識別部102は反応種別を「無反応系」と特定する。また、反応種別が「有反応系」(「興奮系」又は「集中系」)であると特定された時刻を反応時刻候補として特定する。
すなわち、反応識別部102は、取得した脳血流が第1の閾値412を上まわる場合、又は、脳血流が第2の閾値413を下まわる場合には、ユーザの画像コンテンツに対する反応種別を他の場合と区別して識別する。ここで、第1の閾値412は、基準時におけるユーザの脳血流よりも大きな値であり、第2の閾値413は、基準時におけるユーザの脳血流よりも小さな値である。
具体的には、反応識別部102は、取得した脳血流が第1の閾値412を上まわる場合には、ユーザの画像コンテンツに対する反応種別を興奮状態であると識別し、取得した脳血流が第2の閾値413を下まわる場合には、ユーザの画像コンテンツに対する反応種別を集中状態であると識別する。
図3において、0秒から30秒までのA社の一眼カメラの商品説明の動画が表示されている間と、30秒から60秒までB社のデジタルカメラの商品説明の動画が表示されている間とは、酸化ヘモグロビン濃度として測定される脳血流が閾値以内であるため、反応識別部102は、反応種別を「無反応系」と特定する。一方、60秒からC社のデジタルカメラの商品説明の動画が表示され、65秒に閾値以上に酸化ヘモグロビンの量が増加している。よって、反応識別部102は、測定開始後65秒経過時である反応時刻候補420における反応種別を「興奮系」と特定する。
なお、脳血流の増減は、個人差や検知する脳の部位にも依存するのが一般的である。そこで例えば、あらかじめブランクなどの動画を視聴し、その間の脳血流の増減量の平均値を「無反応系」と認識する閾値として算出する等、測定開始前に個人ごとにキャリブレーションを行ってもよい。
ここで、コンテンツの制作目的は、多くの場合には、そのコンテンツ内に含まれる商品、機能、価格、及び内容等をユーザに印象づけ、また覚えてもらうことである。
そこで発明者らは、コンテンツをより詳細に評価するため、コンテンツの視聴に関する実験において、被験者であるユーザの脳血流と、コンテンツ内に含まれる商品及びその機能等についての印象及び記憶との関連性を調べた。具体的には、コンテンツ視聴後のユーザへ、視聴したコンテンツに含まれる商品及びその機能等を問う簡単な筆記テストを行った。筆記テストは具体的には、「質問:本CMの社名は?」、「本CMの商品名はどれか(選択式)」などの問題である。結果は以下のとおりである。
脳血流が減少したコンテンツに対する機能等を問うテストの正解率の平均は80%であるのに対し、脳血流が増加したコンテンツに対する同じテストの正解率の平均は60%であった。これは、脳血流が増加するようなコンテンツを視聴したユーザの多くは、俳優、女優又はシーンに対して意識が向いてしまい、驚き、興奮、又は焦りなど、いわゆる頭に血が上るような心理状況となったために、商品の説明、及びその機能等には意識がいかなかったためと考えられる。一方、集中して視聴した場合に多く見られる、脳血流が減少する反応(集中系)が示されたコンテンツ視聴時においては、ユーザは機能、及び商品名等にも広く意識が行き届き、その結果、視聴後の筆記テストでも覚えている割合が多かったと考えられる。
商品のコマーシャルなどのコンテンツは、後の購買行動へとつなげるために、商品そのものについてユーザに強い印象を与え、また、商品名等を印象づける必要がある。
そこで、本実施の形態に係るコンテンツ評価装置110では、コンテンツに含まれる商品、商品名、及びその機能等にユーザの意識が向いているか否かについてもあわせて評価するために、コンテンツ視聴時におけるユーザの視線位置を含む視線情報を、脳血流とあわせて用いる。
以後、画像コンテンツに視覚的に含められる商品、会社名、機能の説明、及び価格などを表す画像を特定するための情報を、「提供情報」とよぶ。すなわち、提供情報は、コンテンツ製作者がユーザに着目して欲しい情報を含む。これにより、コンテンツ制作者は、提供情報の量、表示タイミング、及び画面上での各情報の配置などの適切さを、ユーザの心理状態の種別とあわせて判定することができる。
再度図1を参照して、視線検知部103は、コンテンツを視聴しているユーザの視線を検知する。具体的には、視線検知部103は、例えば、テレビ画面、PC画面、及び携帯画面など、コンテンツが表示される画面上の視線位置の座標を所定時間ごとに検知する。
図5は、本実施の形態において、ユーザがコンテンツを視聴する画面の座標系を示す図である。画面の横軸をX座標、縦軸をY座標とし、左上を原点(0、0)とする。1ピクセルを1単位として表し、X軸は右を正、Y軸は下を正として表す。図5(a)は画面上の位置や領域を説明する図である。図5(a)において、例えばユーザが点Aを注視している場合の視線位置は(200、300)となる。また、ユーザが点Aから右に600ピクセル、下に100ピクセル移動した点A’を注視している場合の視線位置は(800、400)となる。また、点Aと点A’で囲まれる長方形の領域Bのように所定の長方形の領域を(左上の点のX座標、左上の点のY座標、右下の点のX座標、右下の点のY座標)と表す。例えば領域Bは(200、300、800、400)となる。
また、視線検知部103は、10ms(ミリセック)等、所定の時間ごとに視線位置を検知する。これにより、注視度算出部104は、視線の移動や、所定の領域への滞留時間が計測可能となる。ここで、滞留時間とは、例えば、ユーザの視線位置の移動距離が事前に定められた閾値以内であった時間である。より具体的には、滞留時間は、検知された所定時間ごとの視線位置の推移から算出できる。例えば図5(b)において、視線が計測開始後3.5秒後から5.5秒後までの間、点C(400、380)に位置したとする。この場合、視線位置は、座標C(400、380)に、2秒間(=5.5−3.5)滞留していることが分かる。このように、注視度算出部104は、時間差分を算出することで滞留時間が特定できる。なお、視線位置の検知手法については、従来、被験者の眼球画像を撮影し、眼球における瞳孔の位置を用いて被験者の視線を検知するなど、様々な手法が知られており(例えば、特許文献2等)、本発明における視線検知部103も同様の手法で検知することとする。
次に、図6を参照して、提供情報蓄積部105が蓄積している提供情報について詳細に説明する。図6は、本実施の形態における提供情報1105のデータ構造を説明する図である。
図6に示されるように、提供情報蓄積部105は、少なくとも1つ以上のコンテンツに対応する提供情報1105を含む。各提供情報1105は、例えばコンテンツ1106の名称1108と、1つ以上の提供情報タグ1110とを含む。
提供情報タグ1110は、識別子と、コンテンツに提供画像が表示される表示時間と、その提供画像の表示領域と、その提供画像の属性とが対応付けられている。なお、1つの提供情報タグは、複数の提供画像及びそれらの属性をそれぞれ対応付けてもよい。
ここで提供画像とは、コンテンツ制作者がユーザに注目してもらいたいと考えて、コンテンツに含まれる画像のなかから選択した画像である。また、提供画像の属性とは、例えば、提供画像が有するコンテンツ内での役割(商品説明、機能説明)等であってもよく、提供画像が示す情報の種別(文字情報を伝えるロゴ、映像情報を伝える外観写真)等であってもよい。
すなわち、ユーザに、A社CM、B社CM、C社CM、D社CMという4社のCMを見せ、各CMに対する評価を取得する場合、各社のCMがコンテンツであり、各コンテンツに1つの提供情報が対応付けて定義されている。各コンテンツは、例えばカメラの外観写真、商品名のロゴ、及び使用場面等の提供画像を含んでおり、提供情報タグにより提供画像が特定される。
例えば、コンテンツ3に対応する提供情報1105を参照すると、コンテンツの名称は「C社デジタルカメラCM」である。識別子が1の提供情報タグには、対応する提供画像の表示時間が1秒から2秒であり、表示領域が(200、300、700、400)であり、属性がC社ロゴであることが示されている。
これは、1秒から2秒の間、表示領域(200、300、700、400)にC社のロゴを表す提供画像の表示がなされることを意味している。
また、識別子が2の提供情報タグには、対応する提供画像の表示時間が3秒から4秒であり、表示領域が(200、300、700、600)であり、属性がカメラであることが示されている。
これは、3秒から4秒の間、表示領域(200、300、700、600)にC社のカメラを表す提供画像が表示されることを意味している。
このように提供情報蓄積部105には、提供情報として、コンテンツ制作者が着目して欲しい提供画像の表示領域が蓄積されている。また、ユーザ側は、この表示領域に着目することで、商品名及び機能を覚え、又は印象づけられ、その結果、購買する動機へとつながることが期待できる。
しかしながら、コンテンツを視聴したユーザは、単に出演俳優又は女優などの人物、若しくはコンテンツのストーリーに主に意識がいき、商品や当該商品を販売する会社には意識がいかない結果、最終的に商品について覚えていないことも多々ある。我々の実験においても、例えば「興奮系」の反応を示すコンテンツの場合、出演俳優又は女優などの人物に意識がいき、商品及び当該商品を販売する会社には意識がいかなかったというユーザが多かった。
コンテンツ自体にインパクトを求めるような場合はそれでもいいかもしれないが、実際のコンテンツは、コンテンツ内で訴える機能及び商品などをユーザに記憶させ、印象づけたいとの目的から作成されるものである。
そこで、注視度算出部104は、ユーザが提供情報を注視しているか否かを示す注視の度合い(以後、注視度という)を判定する。
例えば、注視度算出部104は、提供情報1105を参照して、ユーザの視線位置に対し、その表示時間に対応する表示領域までの鉛直距離を算出する。算出された鉛直距離が、所定の閾値以上の場合、注視度算出部104は、ユーザが当該表示領域で特定される提供画像には着目していないと判断する。
そしてコンテンツに含まれる全ての提供情報タグのうち、ユーザに着目された提供画像を特定している提供情報タグの割合をもとに注視度算出部104は注視度を算出する。例えば、図6に示されるコンテンツ3において、提供情報タグが20個定義されており、そのうち10個の提供情報タグで特定される提供画像をユーザが注視した場合、注視度算出部104は、注視度を50%と算出する。
なお、提供情報蓄積部105は、図6(b)に示される提供情報1105aのように、タグ形式で記載された提供情報を蓄積してもよい。例えば、XML(Extensible Markup Language)によって提供情報を記載すること等が考えられる。
再度、図5を参照して、図5(b)は、C社の商品動画の一部シーンである。画面上の表示領域B(200、300、800、400)には、「手振れ補正機能付き」との機能を説明する文字情報を含む提供画像が表示されている。一方、視線は視線C(400、380)に位置している。したがって、提供画像の表示領域内に視線が位置しているため、注視度算出部104は、ユーザが商品説明に注視していると判断する。
なお、注視度算出部104は、視線位置の滞留時間を算出しておき、閾値以上の滞留がある場合にだけ注視していると判断してもよい。特に動画の場合、コンテンツに含まれる画面の切り替わりが頻繁に行われるため、視線は提供情報タグに示される表示領域に位置していても、ユーザはコンテンツを理解及び把握できていない場合もある。そこで、注視度算出部104は、閾値(1秒以上など)を設け、滞留時間と視線位置とで注視判定を行うこととしてもよい。
例えば、注視度算出部104は、ある時刻tにおける視線位置と、時刻tを含む表示時間に対応する表示領域との鉛直距離が事前に定められた閾値以内であり、かつ、視線位置の滞留時間が事前に定められた閾値以上であれば、ユーザが表示領域に対応する提供画像を注視していると判定してもよい。
また、注視度算出部104は、視線位置が表示領域内に滞留する時間が長いほど、注視度をより高く算出してもよい。例えば、滞留時間が長いほど、より大きな重みをつけて提供画像の注視を判定してもよい。注視度算出部104は、重みが付けられた注視の回数を集計することにより、滞留時間が長いほど、より高い注視度を算出することができる。
図7は、発明者らの実験においてみられた別のユーザの視線の位置の例を説明する図である。
図7(a)は、図5(b)と同様の、C社の商品動画の一部シーンである。図5(b)で説明したユーザの視線位置とは異なり、図7(a)に示されるユーザの視線位置は、視線D(700、100)に位置している。また、このシーンは3秒間継続するが、ユーザの視線位置は、3秒間、視線D(700、100)の位置に滞留している。
コンテンツ制作者としては、商品の説明に関する文字情報を示す「手振れ補正機能付き」という提供画像に着目して欲しいところ、視線Dに位置する俳優(女優)の顔に視線が滞留し続けてしまうため、領域に対して視線が大きく外れてしまう。視線の座標(700、100)に対し領域までの鉛直距離は、この場合、座標(700、100)から座標(700、300)までの距離となり、200(=(0、200))となる。例えば距離の閾値を100とすると、閾値以上のため、注視度算出部104は、ユーザが領域Bに注視していないと判定することとなる。
前述のとおり、注視度算出部104は、例えば各コンテンツに含まれる提供情報タグのうち、いくつの提供情報タグで特定される提供画像にユーザが注視していたかを示す割合で注視度を算出する。図6に示すように、コンテンツ3の「C社デジタルカメラCM」は、合計10個の提供情報タグを有している。ユーザは、例えば10個中、識別子が1である情報提供タグに対応する提供画像にのみ注視しておらず、それ以外の9個のシーンでは所定の領域内に視線が位置していたとする。この場合、9/10=90%の注視度ということになる。
図8は、発明者らが行った実験によって示された、視聴コンテンツと、脳血流と、注視度との対応関係について説明する図である。図8(a)は、図3(a)と同じ脳血流の時間変化を示す図である。また、図8(c)は、図8(b)に示されるユーザが視聴した各社のコンテンツ(商品説明動画)それぞれに対して算出された注視度を示している。
例えば0秒から30秒までのA社の商品説明動画時は、10個中2個の提供画像について、視線位置が表示領域から閾値以上離れていたため、注視度算出部104が算出する注視度は、80%となる。また、B社、D社の商品説明動画では、全ての提供画像の表示領域に視線が位置していたため、いずれも注視度が100%となっている。一方、60秒から90秒のC社の商品説明動画については、女優ばかりに注視してしまい、商品名や機能にほとんど視線がいかず、注視度が20%となっていた。
図8に示されるような、脳血流と、注視度との関係に基づいてコンテンツ評価装置110が備える評価情報決定部106は、コンテンツの評価を決定する。
具体的には、評価情報決定部106は、視線から算出した注視度と、脳血流から識別した反応種別をもとに、コンテンツに対する評価を決定する。より具体的には、評価情報決定部106は、評価情報蓄積部107に蓄積されている評価に関するテンプレート(以後、評価情報テンプレートという)を参照して評価を決定する。
図9は、本実施の形態に係る評価情報蓄積部107が蓄積している評価情報テンプレート2107を説明する図である。評価情報テンプレートは、例えば脳血流に基づく反応種別である「無反応系」、「興奮系」、「集中系」のそれぞれと、階級化された注視度のそれぞれとの組合せに評価情報を対応付けている。
ここでは説明のため、注視度の階級は、0%以上30%未満の比較的低いものと、30%以上100%未満の比較的高い場合の2階級を有することとする。
例えば反応種別が「無反応系」であり、注視度が0%以上30%未満の場合、コンテンツに対するユーザの興奮及びインパクトは低く、かつ、コンテンツ提供者が訴求したい機能及び商品へのユーザの注視度も低いと判断できる。よって、反応種別が無反応系であり、注視度が0%以上30%未満である場合に対応する評価情報として、「インパクトが低い傾向がある。また、提供情報のタイミングや配置を変更することで注視度を高めることが可能。」等の評価及び修正点などを含む評価情報テンプレートを評価情報蓄積部107は蓄積している。
あるいは、反応種別が「興奮系」であり、注視度が0以上30%未満の場合、コンテンツに対するユーザの興奮及びインパクトは高いものの、コンテンツ提供者が訴求したい機能及び商品へのユーザの注視度は低いと判断できる。よって、反応種別が興奮系であり、注視度が0%以上30%未満に対応する評価情報として、「インパクトが高いが、そのため提供情報への注視度が低い。提供情報のタイミングや配置を変更することで注視度を高めることが可能。」等の評価及び修正点などを含む評価情報テンプレートを評価情報蓄積部107は蓄積している。
この他、図9に記載のとおり、評価情報蓄積部107は、反応種別及び注視度のそれぞれの組ごとに評価情報テンプレートを蓄積しておく。
評価情報決定部106は、評価情報テンプレートを参照して、ユーザの反応種別と注視度とに対応する評価情報等を、当該ユーザのコンテンツに対する評価として決定することができる。
一般的に脳波信号は、そのままの波形や情報を見ただけでは解釈が困難な場合がある。また、本実施の形態に示すように、なんらかのコンテンツを視聴している間の生体信号は膨大な量となり、どこに着目し、どのように解釈すればよいか分からない場合も多い。そこで本実施の形態に示すように、各コンテンツにおける注視度と、脳血流に基づく反応種別とによって評価情報を提供することで、コンテンツ制作者等は容易にコンテンツ評価ができるようになる。
なお、評価情報決定部106によって決定されたコンテンツに対する評価は、コンテンツ評価結果として外部の提示部108が表示してもよい。
図10は、提示部108に表示されるコンテンツ評価結果2108を示す一例である。
C社のCMであるコンテンツに対し、コンテンツの評価として反応種別と、注視度と、評価及び改善点等が表示されている。すなわち、視聴開始から90秒から120秒までの間にユーザが視聴したC社の商品説明動画については、閾値以上の反応がある。従って反応種別は、「興奮系」と示されている。また、注視度は20%であると示されている。そしてこれらの統合評価として「インパクトが高いが、そのため提供情報への注視度が低い。提供情報のタイミングや配置を変更することで注視度を高めることが可能」と示されている。
以上述べた、本実施の形態に係るコンテンツ評価装置110の動作フローを図11、図12、図13、図14、及び図15を用いて説明する。
図11は、本発明の実施の形態1におけるコンテンツ評価装置110の処理の流れを示すフローチャートである。
脳血流検知部320は、ユーザの脳血流を検知する(ステップS101)。検知された脳血流の、基準時からの増減量をもとに、反応識別部102は、ユーザの反応を検知する(ステップS102)。
図12は、反応種別を識別する処理(図11のステップS102)の詳細なフローチャートである。反応識別部102は、所定の閾値(例えば±0.05など)を設けて、閾値以上に脳血流が増加又は現象した場合(ステップS201)に有反応系と識別する(ステップS202)。一方、閾値未満の場合は無反応系と識別する(ステップS203)。次に、閾値以上の場合は、反応識別部102は、脳血流の変化が増加か減少かによって反応種別をさらに識別する。
例えば脳血流が増加しているかを判断し(ステップS204)、増加している場合(ステップS204でYes)は、「興奮系」の反応種別と識別し(ステップS205)、減少している場合(ステップS204でNo)は、「集中系」の反応種別と識別する(ステップS206)。なお、脳血流の検知(ステップS101)と、反応種別の識別(ステップS102)とは並列処理としてもよい。
一方、図11を参照して、ステップS101と並行して、視線検知部103は、所定時間ごとに視線の位置を検知する(ステップS103)。次に、視線検知部103において得られた視線の位置の時系列データを元に、注視度算出部104は、視線位置と滞留時間とを特定する(ステップS104)。
図13は、視線の滞留時間を特定する処理(図11のステップS104)の詳細なフローチャートである。
注視度算出部104は、視線検知の間(すなわち、コンテンツ評価装置110がコンテンツの評価に必要な全ての視線位置を取得するまで)、以下に述べるステップS301から306までの処理を繰り返し行うことで、視線位置の滞留時間を算出する。
まず、注視度算出部104は、現在の視線位置を示す座標をバッファに蓄積する(ステップS302)。その後、次のサンプリングのタイミングで現在の視線位置を示す座標を参照し(ステップS303)、バッファに蓄積されている座標と、現在の座標との差分を算出する(ステップS304)。例えば、X座標、Y座標ともに±10などの所定の閾値を設けておき、差分が閾値以内であるか否かを判断する(ステップS305)。差分が閾値以上の場合(ステップS305でYes)、視線が移動していると判断できるため、注視度算出部104は、再びループ処理を行う(ステップS306)。
一方、視線位置の差分が閾値未満の場合(ステップS305でNo)、注視度算出部104は、滞留時間を測定するために、まず現在の時刻をバッファに蓄積する(ステップS307)。そして、視線位置の差分が閾値未満の間、サンプリングのタイミングごとに現在時刻を参照しつつ(ステップS309)、ループ処理を行う(ステップS308からS310)。視線位置の差分が閾値を超えるとループを抜けるので(ステップS310)、抜けた時刻とバッファに蓄積されている時刻との差分を算出する(ステップS311)。その後、注視度算出部104は、得られた時刻の差分を滞留時間として特定する(ステップS312)。これにより、視線位置と当該視線位置への滞留時間とが、逐次得られることとなる。
再度、図11を参照して、注視度算出部104は、次に、提供情報蓄積部105に蓄積された提供情報を参照する(ステップS105)。そして注視度算出部104は、視線の位置と滞留時間とをもとに、各コンテンツに含まれる全ての提供画像について、ユーザが注視したか否かを判定することで、注視度を算出する(ステップS106)。
図14は、注視度を算出する処理(図11のステップS106)の詳細なフローチャートである。本実施の形態に係る注視度算出部104は、複数の提供画像を含む1つのコンテンツごとに、注視度を算出することとする。
注視度算出部104は、まず、提供情報タグの個数だけ以下のループ処理を行う(ステップS403からS412まで)。すなわち、注視度算出部104は、各提供情報タグに示される表示時間を参照し(ステップS404)、また、これに対応する提供画像の表示領域を参照する(ステップS405)。図6に示す識別子が1の提供情報タグを例に説明すると、1秒から2秒が表示時間であり、(200、300、750、400)が社名を示すロゴである提供画像が表示される表示領域となる。
そして注視度算出部104は、各提供情報タグに対応する表示時間内の視線の位置が表示領域内に位置するか否かを判断する(ステップS406)。ここで、位置していなければ(ステップS406でNo)、ユーザは表示領域を見ていないため、対応する提供画像は注視されていない提供画像であると特定する(ステップS407)。一方、位置する場合(ステップS406でYes)、さらに、視線位置の滞留時間が閾値以上か否かを判断する(ステップS410)。
ここで、滞留時間が閾値未満の場合(ステップS410でNo)は、表示されているコンテンツの内容をユーザが把握できていない場合も考えられるので、対応する提供画像は注視されていないと特定する(ステップS407)。一方、滞留時間が閾値以上の場合(ステップS410でYes)、対応する提供画像は注視されていると特定する(ステップS411)。注視度算出部104は、提供情報に含まれる全ての提供情報タグのそれぞれについて、ステップS403からステップS412までの処理を繰り返した後に、ループ処理を抜ける(ステップS412)。その結果、提供情報タグによって特定される提供画像ごとに、ユーザによって注視された提供画像であるか否かが特定される。これにより、注視度算出部104は、コンテンツに含まれる提供情報タグの総数に対する、ユーザが注視した提供画像を特定する提供情報タグの数の割合を注視度として算出する(ステップS413)。
次に、再度図11を参照して、評価情報決定部106は、評価情報蓄積部107に蓄積された評価情報テンプレートを参照する(ステップS107)。そして、反応種別と注視度とをもとに評価を決定する(ステップS108)。
図15は、評価情報を決定する処理(図11のステップS108)の詳細なフローチャートである。評価情報決定部106は、反応識別部102で特定されたコンテンツに対するユーザの反応種別を参照し(ステップS501)、注視度算出部104で算出されたコンテンツに対するユーザの注視度を参照する(ステップS502)。そして反応種別と注視度とに対応した評価情報を評価情報蓄積部107に蓄積された評価情報テンプレートの中から選択することで、コンテンツに対するユーザの評価を決定する(ステップS503)。
なお、本実施の形態に係る取得部101は、脳血流検知部320と視線検知部103とを有することとしたが、取得部101が脳血流検知部320と視線検知部103とを有さない場合にも、同様の発明の効果を奏する。例えば、取得部101は、コンテンツ評価装置110の外部装置によって取得された脳血流と視線位置とを記録媒体等から読み出すことで脳血流と視線位置とを取得してもよい。また、取得部101は、コンテンツ評価装置110の外部装置が取得した脳血流と視線位置とを有線又は無線の通信インタフェースを介して取得してもよい。この場合における、コンテンツ評価装置110の処理の流れを図16に示す。なお、図11と同じ処理を行うステップについては、同一の符号を付し、詳細な説明を省略する。
図16は、本発明の実施の形態1におけるコンテンツ評価装置110が生体信号を外部装置から取得する場合の処理の流れを示すフローチャートである。図16に示されるように、取得部101は、コンテンツ評価装置110の外部装置によって取得された脳血流データ及び視線データを取得する(S101a)。この場合、ステップS102と、ステップS104〜ステップS106とは、並列に実行される必要はなく、シーケンシャルに処理することができる。
なお、本実施の形態に係る注視度算出部104が行う注視度の算出方法として、表示領域と視線位置との距離及び視線の滞留時間の少なくとも一方と、閾値とを比較して判定する方法を説明したが、これに限ったものではなく、様々なバリエーションが考えられる。以下、一例を説明する。
本実施の形態に係る注視度算出部104は、着目すべき表示領域に視線が位置するか否かによって注視の判定を行った。例えば、図7において、表示領域である領域B(200、300、800、400)に対し、視線との鉛直距離は200と算出していた。しかし、シーンによっては、同時刻に表示領域が複数存在する場合もある。以下、図17を用いて説明する。
図17に示される画面は、表示領域として領域B(200、300、800、400)と、領域C(400、50、600、150)とを含む。対してユーザの視線位置は視線D(450、100)である。この場合、視線位置は領域Bからは離れている。しかし、視線位置は、カメラの外観が表示されている領域Cには位置している。コンテンツ制作者にとって、コンテンツとしては、機能を説明する文字も訴えたい項目ではあるが、カメラの外観も訴えたい項目である。この場合、注視度算出部104は、領域B及び領域Cのうち、いずれか一方の表示領域に視線位置が入っていれば、ユーザが提供画像を注視していると判断してもよい。ユーザは、同時に2箇所は見ることはできないからである。
また、本実施の形態に係る注視度算出部104は、滞留時間が閾値以上(例えば1秒以上など)の場合に、ユーザが注視していると判定していたが、これに限ったものではない。例えば、提供されるコンテンツの総視聴時間に対する滞留時間の割合が事前に定められた閾値以上となる場合に、注視度算出部104はユーザが対応する提供画像を注視していると判定してもよい。
また、注視度算出部104は、提供されるコンテンツのトータル時間に対する滞留時間の割合が大きいほど、滞留している提供画像への注視度をより大きく算出してもよい。提供されるコンテンツのトータル時間に対し滞留時間が長ければ長いほど、ユーザは注視していると考えられるからである。
また、注視度算出部104が注視度を算出する際には、提供情報タグごとに重みをつけて注視度を算出してもよい。例えば、コンテンツに10個の提供情報タグP〜P10が含まれており、それぞれにw〜w10の重みが対応付けられている場合、注視度算出部104は、注視度を、Σw/Σwとして算出してもよい。ここで、wは、注視度算出部104によってユーザが注視していると判定された提供画像を含む提供情報タグの重みであり、wは、全ての提供情報タグに与えられた重みである。
さらにまた、注視度算出部104は、ユーザが注視した提供画像の数を用いて注視度を算出してもよい。例えば、提供情報タグにより特定される提供画像の総数に対する、ユーザが注視した提供画像の数の割合を注視度として算出してもよい。
また、提供画像が文字情報を表す場合(すなわち、提供画像の属性が、ロゴなどの文字情報である場合)には、注視度算出部104は、視線がその文字情報を追っているか否かを考慮してもよい。すなわち、文字情報を表す提供画像の表示領域に対しては、視線位置が単に表示領域から事前に定められた距離以内に位置するだけではなく、当該文字情報の書字方向に対応するように視線位置が移動しているか等を考慮することとしてもよい。図18を用いて説明する。
図18は、本実施の形態において文字情報に対するユーザの注視度の算出方法を説明する図である。
図18(a)及び(b)において、ユーザの視線位置は位置D(250、860)に滞留しているとする。一方、コンテンツ制作者がユーザに着目して欲しい領域と想定している表示領域は、領域B(200、300、800、400)である。よって、視線位置は、表示領域内に位置する。従って、単に表示領域と視線位置との距離で判定する場合、図18(a)及び(b)のいずれの場合であっても、注視度算出部104は、ユーザが領域Bを注視していると判定する。
しかしながら、領域Bは「手振れ補正機能付き」という左から右へ書かれた横書きの文字情報を表している。したがって、本当に領域Bに着目しているユーザであれば、左から右へ文字を追うのが一般的である。したがって、文字情報を表す提供画像の場合、ユーザが当該文字情報を読む場合に行う視線位置の移動と一致した視線位置の移動がみられるか否かの判断を加えることで、より精度よく注視判定が可能となる。例えば、図18(a)において、視線位置が領域Bの左端から右端まで移動した場合には、注視度算出部104はユーザが領域Bを注視していると判定してもよい。また、図18(b)において、視線位置が領域Bの左端で滞留している場合には、注視度算出部104はユーザが領域Bを注視していないと判定してもよい。さらにまた、たとえ表示領域内に視線が位置していても視線が滞留している場合には重みなどを用いて注視度を低く算出してもよい。
すなわち、注視度算出部104は、提供画像が文字情報を表す場合には視線位置の移動方向と文字情報の書字方向とがより一致するほど、注視度をより高く算出してもよい。提供画像が文字情報を表すこと、及びその書字方向を表す情報は、提供情報タグが提供画像の属性として事前に含んでおくこと等が考えられる。
さらにまた、注視度算出部104は、提供画像が文字情報を表す場合には、視線位置の移動距離が事前に定められた値以上となる場合にのみ、注視していると判定してもよい。例えば、文字情報を表す画像領域の横幅(X座標方向の長さ)の7割以上、視線位置が移動した場合にのみユーザが当該提供画像に注視していると判断してもよい。
すなわち、注視度算出部104は、コンテンツ視聴時の一般的な視線移動を事前に数値化したモデルと、ユーザの視線位置との乖離度合いが事前に定められた閾値以内であれば、ユーザはコンテンツを注視していると判断する。
以上述べた本実施の形態に係るコンテンツ評価装置110によれば、コンテンツを視聴したユーザの生体信号から、コンテンツに対するユーザの心理的な反応種別と、コンテンツに含まれる特定の画像への注視度とを評価軸として、コンテンツを評価することができる。その結果、コンテンツ制作者は、心理的な反応種別と注視度という評価軸のうえに、コンテンツの制作目的に照らして望ましいコンテンツを容易に位置付けることができる。したがって、コンテンツの制作者は、コンテンツ評価装置によって決定された評価と望ましいコンテンツとのずれを評価できる。したがって、コンテンツの制作者は、コンテンツ評価装置によって決定された評価をコンテンツの改善へ活用することが容易となる。
(実施の形態2)
前述した実施の形態1に係るコンテンツ評価装置110は、被験者ごとのコンテンツ視聴時の生体信号からコンテンツに対する評価を行った。すなわち、実施の形態1では、1人の被験者に対して、1つの評価を決定するコンテンツ評価装置110について説明した。
一方、実施の形態2に係るコンテンツ評価装置は、複数の被験者の脳波信号の分布をもとにコンテンツに対する評価を行う。すなわち、本実施の形態に係るコンテンツ評価装置は、複数のユーザに対して、1つの評価を決定する。
コマーシャルや商品説明動画などのコンテンツは、個人のみならず、複数人のユーザを対象として発信されることにより、商品やサービスに対する人々の認知を促し、商品購入への行動へと導くことを目的として作成されるのが一般的である。したがって、コンテンツに対する評価も、個人のみならず、複数のユーザに対し、どのように受け入れられているかを知りたいというニーズが非常に高い。そこで本実施の形態に係るコンテンツ評価装置は、コンテンツ視聴時の生体信号を複数人から取得し、複数人の生体信号の分布を算出する。そしてその分布状態からコンテンツに対する評価を生成し、提供する。
図19は本実施の形態に係るコンテンツ評価装置110aのシステム構成図である。実施の形態1に係るコンテンツ評価装置110と同様の構成要素には同様の符号を付与し、詳細な説明を省略する。
本実施の形態に係るコンテンツ評価装置110aは、取得部101aと、反応識別部102aと、注視度算出部104aと、提供情報蓄積部105と、評価情報決定部106aと、評価情報蓄積部107とを備える。
取得部101aは、複数人のユーザの脳血流と、視線位置とを取得する。取得部101aは、外部装置がファイルへ書き出した複数人の脳血流データ及び視線データを読み出してもよく、取得部101a自身が複数のユーザから計測してもよい。ここでは、取得部101aは複数脳血流検知部111と複数視線検知部112とを有しており、取得部101a自身が複数ユーザの生体信号を計測するものとする。
複数脳血流検知部111は、複数人のユーザの脳血流を検知する。実施の形態1では、脳血流検知部320が1つの脳血流センサであり、1人のユーザの脳血流を検知するものとして説明を行った(図2)。これに対し、複数脳血流検知部111は、これら脳血流センサを複数有する。あるいは、各ユーザが装着した脳血流センサで検知した脳血流の情報を複数人分受け付ける受信手段として構成してもよい。また、複数人の計測を同時に行う形式でもよいし、ユーザごとに計測し、それを後に全員分集計する形式でもよい。
例えば映画館、又は自宅などで複数人のユーザが特定のコンテンツを視聴し、そのコンテンツの評価を行う場合は、同時に脳血流を検知する場合もあると考えられる。あるいは、各企業における商品開発において商品又はCMなどの評価を実験室で行うような場合は、ユーザごとに計測を行い、後に全員分の脳血流のデータをもとに評価を算出するような形式も考えられる。
複数視線検知部112は、複数人のユーザの視線情報を検知する。複数脳血流検知部111と同様、複数ユーザのコンテンツに対する視線の移動を検知する。
反応識別部102aは、複数のユーザのそれぞれの反応種別を識別する。具体的には、複数脳血流検知部111で検知された各ユーザの脳血流から、ユーザごとの反応種別を識別する。なお、反応種別は実施の形態1に係る反応識別部102と同様、脳血流の増減をもとに識別される。
注視度算出部104aは、複数のユーザのそれぞれの注視度を算出する。具体的には、複数視線検知部112で検知された各ユーザの視線情報から、ユーザごとの注視度を算出する。注視度の算出は、実施の形態1に係る注視度算出部104と同様、提供情報蓄積部105に蓄積された提供情報を参照し、表示領域に対する視線の有無等をもとに提供画像ごとの注視度を算出する。
本実施の形態に係る評価情報決定部106aは、注視度算出部104aによって算出された注視度と、反応識別部102aによって識別された反応種別との組合せごとのユーザ数の割合に対応する評価情報を、画像コンテンツに対する複数のユーザの評価として決定する。
より詳細には、評価情報決定部106aは、反応分布算出部113を有する。反応分布算出部113は、各ユーザの反応種別及び注視度をそれぞれ軸としたユーザ数の2次元分布である反応分布を算出する。言いかえると、反応分布とはユーザの人数を度数とし、反応種別と注視度とを変数として生成された分割表(クロス表)である。
例えば、本実施の形態では、注視度は「30%以上から100%以下」の比較的高い組合せ(以下注視度「高」とよぶ)と、「0%以上から30%未満」の比較的低い組合せ(以下、注視度「低」とよぶ)の2つに分類される。また、脳血流により識別される反応種別は、実施の形態1と同様に、「無反応系」、「興奮系」、「集中系」の3つに分類される。反応分布算出部113は、これらの組み合わせである合計6つの組合せのうち、各ユーザがどの組合せに属するかを判定し、各組合せに属するユーザ数の割合を反応分布として算出する。
評価情報蓄積部107aは、反応種別と注視度との組合せごとのユーザ数の割合に対応付けられた評価情報を含む評価情報テンプレートを事蓄積している。
図20は、本実施の形態における反応分布算出部113が算出する反応分布の一例を説明する図である。この図の作成に先立ち、コンテンツ評価装置110aは、あるコンテンツに対する、20名のユーザの脳血流及び視線を検出する。その後コンテンツ評価装置110aは、このコンテンツに対する、ユーザそれぞれの反応種別と注視度とを求める。
反応分布算出部113は、生体信号を取得した複数ユーザの各々が、3種類の反応種別の各々と2種類の注視度の各々との組合せとして図20に示される合計6つの組合せのうち、いずれの組合せに属するかを判定する。反応分布算出部113は、全てのユーザについて、その組合せを判定した後、組合せごとに該当するユーザ数の割合を算出する。図20は、こうして算出されたユーザ数の分布である反応分布3113を示す。
なお、図20に示される反応分布3113は全ユーザ数を100%とし、各組合せに属する人数をパーセント(%)で示している。例えば、注視度が0%〜30%未満であり、かつ、反応種別が無反応系であるユーザが1名であると、対応する組合せに属するユーザ数の割合は1/20で5%となる。同様に、注視度が0%〜30%未満であり、かつ、反応種別が興奮系であるユーザが9名であると、対応する組合せに属するユーザ数の割合は9/20=45%となる。また、注視度が0〜30%未満であり、かつ、反応種別が集中系であるユーザが1名であると、対応する組合せに属するユーザ数の割合は1/20で5%となる。
同様に、注視度が30%以上〜100%以下である場合において、反応種別が無反応系であるユーザは0名であり、興奮系であるユーザは1名であり、集中系であるユーザは8名である。したがって、対応する組合せに属するユーザ数の割合は、それぞれ、0%、5%、40%となっている。なお、本実施の形態では、各ユーザはこの6つの組合せのいずれかに分類されるため、ユーザ数の割合の合計は100%(=5+45+5+0+5+40)となる。
さらに反応分布算出部113は、これら複数ユーザの反応の分布から、特徴的な反応分布のパターンを算出する。ここで、特徴的な反応分布のパターンとは、反応分布を特徴付ける特徴量である。例えば、評価情報決定部106aが備える反応分布算出部113は、反応種別と注視度との組合せごとのユーザ数の割合のうち、大きい順に事前に定められた順位以内となる割合に対応する反応種別と注視度との組合せを、特徴的な反応分布のパターンとして算出する。また、評価情報決定部106aは、反応分布算出部113によって算出された組合せに対応する評価情報を画像コンテンツに対する複数のユーザの評価として決定する。
より具体的には、本実施の形態に係る反応分布算出部113は、ユーザが属する割合が高い上位2つの組合せを、特徴的な反応分布のパターンとして算出する。図20の例の場合、注視度「低」かつ反応種別が「興奮系」である組合せに属するユーザ数の割合が45%であり、最も大きい。また、注視度「高」かつ反応種別が「集中系」である組合せに属するユーザ数の割合が40%であり、2番目に大きい。したがって、反応分布算出部113は、この2つの組合せを、本実施の形態における特徴的な反応分布のパターンとして算出する。
なお、上位2つの組合せであっても、分布に偏りがあり一方が他方よりも極端に高い場合もある。そこで、反応分布算出部113は、閾値(例えば20%)を設け、ユーザ数の割合が閾値以下となる組合せを、特徴的な反応分布のパターンから除外することとしてもよい。反応が所定の閾値以上であってかつ、複数に分布する場合に分布のパターンを特定することが可能となる。
図21は、本実施の形態における評価情報蓄積部107aが蓄積している評価情報テンプレートの一例を説明する図である。図21に示されるように、評価情報蓄積部107aには、反応の分布に応じた評価情報テンプレート2107aが蓄積されている。
例えば、図21は、図20に示される反応分布3113に対応する評価情報テンプレート2107aを示す。評価情報テンプレート2107aは、特徴的な反応分布のパターンとして、反応種別が「興奮系」かつ注視度「低」の組合せと、反応種別が「集中系」かつ注視度「高」の組合せとの2つが算出された場合に対応する評価情報テンプレートの一例である。
評価情報テンプレート2107aが含む評価は、例えば「注視度が高いユーザは集中して視聴できています。一方、注視度が低く焦っているユーザもいます。提供情報のタイミングを変更することで注視度を高めることが可能です。」といった内容である。
なお、コンテンツ評価装置110aは、評価情報決定部106aによって決定された評価を提示部108に提示してもよい。
例えば、本発明の使用者がコンテンツ製作者であり、製作したコンテンツに対してユーザがどのような印象を受けるか、コンテンツに対する評価を知りたい場合を考える。
一般的に、CMなどのコンテンツには、提供商品や価格、ブランドなど、ユーザに注視して欲しい項目がある。また、ユーザもこれら情報に興味を持つため、ユーザがCM等の視聴に集中すると、脳血流が減少する結果が実験より得られている。
そしてこのコンテンツ製作者も、ユーザが集中して視聴し、商品やサービスなどを理解して欲しいと望んで、コンテンツを製作したものとする。
この場合、ユーザの反応は「集中系」かつ注視度「高」が最も望ましい組合せということになる。しかし、必ずしも製作者の意図したとおりにユーザが反応するとは限らない。
一般に、コンテンツ製作者は、単にそのコンテンツが集中して見られているか等、ユーザが希望する反応を示すか否かという評価のみならず、ユーザが示す反応が希望する反応ではない場合、ユーザはどのような反応を示すのかを知ることに関心がある。また、ユーザの反応がどのような分散を生じているか等、ユーザの反応の分布を知ることにも、コンテンツ制作者は関心がある。さらに、ユーザの反応の分布をどのように解釈し、後にコンテンツの修正へと反映するか等を知ることにも関心がある。
本実施の形態における評価情報テンプレート2107aは、反応種別が「興奮系」、かつ注視度「低」の組合せと、反応種別が「集中系」、かつ注視度「高」の組合せが特徴的な反応分布のパターンとして算出された場合に対応する。この反応分布のパターンに該当するコンテンツは、コンテンツに提示される商品及び説明の提示タイミング及び配置が悪い。そのため、ユーザがこれらのコンテンツに含まれる提供画像を追えず焦っている状態、又は、ユーザが印象的なシーンやタレントに注意を引きつけられ、ドキドキしている状態などが想定される。すなわち、「興奮系」の反応が生じ、かつ注視度が低いユーザもいることを示している。そこで、「提供情報のタイミングを変更することで注視度を高めることが可能です。」等、ユーザの反応の分布のパターンを考慮した適切な評価をコンテンツ評価装置110aがユーザに提供することで、ユーザは、コンテンツの修正点又は総合的な評価を得ることができる。
一方、図22は別の特徴的な反応分布のパターンに対応する評価情報テンプレートを説明する図である。図22に示される評価情報テンプレート2107bは、反応種別が「無反応系」、かつ注視度「高」の組合せと、反応種別が「集中系」、かつ注視度「高」の組合せとが、特徴的な反応分布のパターンとして算出された場合に対応する評価情報テンプレートである。
評価情報テンプレート2107bが含む評価は、例えば「注視度が高いユーザは集中して視聴できています。一方、注視度は高いが反応の低いユーザもいます。ユーザの興味を引くコンテンツへ修正することで、よりよいコンテンツになります。」といった内容である。
前述の図21に示される評価情報テンプレートの例と特徴的な反応分布のパターンが異なるため、評価の内容も異なっていることが分かる。
この反応分布のパターンに該当するコンテンツは、コンテンツに提示される商品及び説明の、提示タイミング及び配置が適切である。そのため、ほとんどのユーザはコンテンツに含まれる提供画像に追従でき、注視度が「高」となっている。しかし、コンテンツ自体に面白さ又は興味を引く部分がないため、ユーザはコンテンツに飽きている状態、又は、興味がない状態であることが想定される。すなわち、「無反応系」の反応が生じていることを示している。
そこで、「ユーザの興味を引くコンテンツへ修正することで、よりよいコンテンツになります」等、ユーザの反応分布のパターンを考慮した評価をコンテンツ評価装置110aがユーザに提供することで、ユーザは、コンテンツの修正点又は総合的な評価を得ることができる。
なお、本実施の形態に係るコンテンツ評価装置110aは、修正を促すメッセージを示しているが、さらに具体的な修正案を提供することとしてもよい。例えば、コンテンツ評価装置110aは、反応種別が興奮系であり、かつ、注視度が所定の閾値より低い区間(開始時間から終了時間)を決定し、提示部108に表示してもよい。この区間は、ユーザが、コンテンツに含まれる提供画像を追えず、焦っていると考えられるため、当該区間をコンテンツの制作者に示すことで修正を促すことができる。
特に、商品又はブランドのCM、並びに、商品説明コンテンツ等は、多くの視聴者であるユーザに対する評価が重要な場合も多い。また、多くの視聴者であるユーザが感じる印象や評価は、必ずしも同様ではなく、様々なバリエーションに富むことも多い。そこで、本実施の形態に示すコンテンツ評価装置110aのように、生体信号である脳血流変化と視線とに基づく視聴者であるユーザの心理状態の分布をもとに、分布に応じた評価をコンテンツ制作者へ提供することで、コンテンツに対するより適切な評価を得ることができる。その結果、コンテンツ制作者は、コンテンツの改善を容易に促すことが可能となる。
次に、本実施の形態に係るコンテンツ評価装置110aの動作フローを、図23及び図24を用いて説明する。なお、実施の形態1と同様のステップには同様の符号を付与し、詳細な説明を省略する。
図23は、実施の形態2におけるコンテンツ評価装置110aの処理の流れを示すフローチャートである。まず複数脳血流検知部111は、複数の視聴者であるユーザの脳血流を検知する(ステップS111)。検知された脳血流の増減量をもとに、反応識別部102は、ユーザごとに反応種別を識別する(ステップS102)。これと並行して、複数視線検知部112は、複数の視聴者であるユーザの視線の位置を所定時間ごとに検知する(ステップS113)。続いて、複数脳血流検知部111は、得られた視線の位置の時系列データを元に、視線の位置と滞留時間とを特定する(ステップS104)。
次に、複数視線検知部112は、提供情報蓄積部105に蓄積された提供情報を参照する(ステップS105)。そして注視度算出部104は、各ユーザの視線の位置と滞留時間とをもとに、注視度を算出する(ステップS106)。
以上で述べたステップにおいて、各ユーザの反応と、注視度とが算出される。そこで次に、評価情報決定部106aが備える反応分布算出部113は、これらの情報を元に、複数ユーザの反応分布を算出する(ステップS116)。
図24は、反応分布を算出する処理(図23のステップS116)の詳細なフローチャートである。反応分布算出部113は、以下に述べるステップS601〜ステップS605までの各処理を、ユーザごとに取得した全ての生体信号に対して施す。
反応分布算出部113は、まず、反応識別部102により識別された反応種別を参照し(ステップS602)、さらに、注視度算出部104により算出された注視度を参照する(ステップS603)。次に、反応分布算出部113は、参照した反応種別と注視度とに該当する組合せに属するユーザ数を1インクリメントする(ステップS604)。
これらの繰り返し処理により、組合せごとに属するユーザの人数を集計する。最後に、本実施の形態に係る反応分布算出部113は、組合せごとに集計されたユーザ人数のうち、例えば上位2つの組合せを、特徴的な反応分布のパターンとして特定する(ステップS606)。
次に、再度図23を参照して、評価情報決定部106aは、評価情報蓄積部107aを参照する(ステップS117)。そして、反応種別と注視度とをもとに、対応する評価情報テンプレートに含まれる評価情報を、コンテンツに対する複数ユーザの評価として決定する(ステップS114)。
図25は、評価情報を決定する処理(図23のステップS114)の詳細なフローチャートである。評価情報決定部106aは、反応分布算出部113で算出された反応分布のパターンを参照し(ステップS701)、算出された反応分布のパターンに対応する評価情報テンプレートを評価情報蓄積部107より選択することで、評価情報を決定する(ステップS702)。
なお、図23に示されるように、コンテンツ評価装置110aは、決定された評価情報を、コンテンツに対する評価として提示部108に表示してもよい(ステップS109)。
なお、以上の説明において、本実施の形態に係る取得部101aは、複数脳血流検知部111と、複数視線検知部112とを有する構成として説明した。しかし、取得部101aが外部装置によって計測された脳血流と視線位置とを取得しても、同様の効果を奏する。
図26は、取得部101aが外部装置によって計測された脳血流データと視線位置データとを取得する場合における、コンテンツ評価装置110aの処理の流れを示すフローチャートである。
取得部101aは、外部の計測装置で計測された脳血流データ及び視線データを取得する。脳血流データには、複数のユーザの脳血流を示す情報が含まれている。また、視線データには、脳血流データと同じユーザの、視線位置を示す情報が含まれている。なお、他の構成要素は、図23と同一であるため、詳細な説明は省略する。
なお、本実施の形態に係る反応分布算出部113は説明のため、反応分布のうちユーザ数が上位2つの組合せを用いるという条件によって、特徴的な反応分布のパターンを算出した。これはユーザ20名に対し1名(つまり5%)しか該当しない、などの度数の低い組合せは、ノイズや例外として除去し、上位2つの組合せなど、多くのユーザが属する組合せを用いて評価を決定することで、大衆的な評価を得るためである。
一方、特徴的な反応分布のパターンの求め方はこれに限ったものではない。例えば、所定の閾値を設け、注視度が閾値以上となる複数の組合せを特徴的な反応分布のパターンとしてもよい。この場合2つに限らず、3つ、4つ等、複数の組合せが特定され、それぞれのパターンに応じた評価を生成することとなる。
また、コンテンツの内容又はコンテンツを評価する観点によっては、一部のユーザの反応に貴重な情報が含まれる場合がある。この場合、コンテンツ製作者及び評価を参照する者としては、貴重な情報を含む一部のユーザの反応に、他のユーザより大きな重みをつけた評価を欲する場合もある。そこで、コンテンツ評価装置は、これらを考慮してコンテンツの評価を決定することとしてもよい。以下具体例を用いて説明する。
図27は、あるコンテンツに対する複数ユーザの反応種別と注視度とを軸とする反応分布3113aを示す。例えば、注視度が高く、「集中系」の反応種別を示すユーザの割合は80%となっている。また、注視度が低く、「興奮系」の反応種別を示すユーザの割合は20%となっている。一方、それ以外の組合せに分類されたユーザの割合は0%となっている。
例えばコンテンツ制作者は、本コンテンツに対しては集中して注視して欲しいと思って作成したものとする。これに対して、80%のユーザ側が注視度「高」、かつ「集中系」の組合せに分類されている。したがって、ほとんどのユーザが希望する反応を示していることとなる。
しかしごく一部のユーザ(20%)は、コンテンツ制作者が希望する反応を示していない。これらの少数人の反応を参照すると、注視度「低」かつ「興奮系」の組合せに分類されている。したがって、20%のユーザにとっては提供される情報のタイミングが悪く、またユーザが視聴時に情報を追えずに焦っている等、一部のユーザの評価を知ることができる。
そこで、例えば希望する組合せや反応をあらかじめコンテンツ評価装置110aへ入力しておき、入力された希望する組合せに分類されないユーザが、いずれの組合せに属するかを判定することにより、複数ユーザに対するコンテンツの評価を決定することとしてもよい。
(変形例1)
実施の形態2に係るコンテンツ評価装置110aは、複数ユーザの反応の分布を算出し、分布を用いてコンテンツの評価を決定した。しかし、さらに、ユーザの年齢又は性別など、ユーザの属性を考慮してもよい。以下、具体例を用いて説明する。
図28は、本変形例に係るコンテンツ評価装置110bのシステム構成図である。図19に示される実施の形態2に係るコンテンツ評価装置110aと同様の構成要素には同様の符号を付与し、説明を省略する。
取得部101bは、複数のユーザそれぞれの生体信号である、脳血流と視線位置とを取得する。取得部101bは、さらにユーザごとの属性情報を、生体信号に対応付けて取得する。ここで、属性情報とは、例えば性別及び年齢など、ユーザの属性を表すもののうち、少なくとも1つを示す情報である。例えば、あるユーザ(被験者)は、20代男性であり、このユーザの脳血流がいかほどで、どのように視線位置が移動したか、といった情報を取得する。
取得部101bは、生体信号を直接計測してもよく、外部装置が計測したデータを読み込んでもよい。なお、取得部101bが生体信号を直接計測する場合には、コンテンツ評価装置110bは、ユーザの属性を生体信号に付加するためのユーザ属性入力部114を備える。
評価情報決定部106bは、注視度及び反応種別を取得したユーザの属性に対応する評価情報テンプレートを参照して、画像コンテンツに対する当該ユーザの評価を決定する。
より詳細には、評価情報決定部106bは、反応分布算出部113bと、反応比較部115とを有する。
反応分布算出部113bは、実施の形態2に係る反応分布算出部113と同様に、複数ユーザの反応分布を算出する。本変形例に係る反応分布算出部113bではさらに、ユーザの属性ごとに反応分布を算出する。
反応比較部115は、反応分布算出部113bで算出された属性別の反応分布と、評価情報蓄積部107bに属性別に蓄積されている評価情報テンプレートとを比較する。
評価情報蓄積部107bは、ユーザの性別及び年齢のうち少なくとも1つを含む属性に対応付けて評価情報テンプレートを蓄積している。
図29は反応比較部115が行う反応分布の比較を説明する図である。ここで、ユーザ属性としては、ユーザの性別が取得されるものとする。すなわち、ユーザの反応種別及び視線位置を示す情報には、男性又は女性のいずれかの属性情報が付加されている。
図29(a)はあるコンテンツに対する複数ユーザ全員の反応分布を示す図である。図29(a)は男性及び女性の両方、すなわち実験に参加した全ユーザを対象として算出された反応分布である。分布は全体を100%とし、各組合せに属する人数の割合をパーセント(%)で示している。例えば、注視度「低」かつ反応種別が無反応であるユーザの割合は5%である。また、注視度「低」かつ反応種別が興奮系であるユーザの割合は35%である。また、また、注視度「低」かつ反応種別が集中系であるユーザの割合は5%となっている。
同様に、注視度「高」であるユーザに注目すると、反応種別が無反応系であるユーザ、反応種別が興奮系であるユーザ、及び反応種別が集中系であるユーザそれぞれの割合は15%、10%、30%となっている。
例えば割合が上位2つの組合せを特徴的な反応分布のパターンとすると、反応分布3113bにおいては、注視度「低」かつ興奮系の組合せと、注視度「高」かつ集中系の組合せとが特徴的な反応分布のパターンとなる。
一方、図29(b)は属性が「男性」のみのユーザを対象として算出された反応分布である。例えば、注視度「低」であるユーザに注目すると、反応種別が無反応系であるユーザ、反応種別が興奮系であるユーザ、及び反応種別が集中系であるユーザそれぞれの割合は5%、60%、0%となっている。また注視度「高」であるユーザに注目すると、反応種別が無反応系であるユーザ、反応種別が興奮系であるユーザ、及び反応種別が集中系であるユーザそれぞれの割合は20%、5%、10%となっている。
男性のみを対象として算出された反応分布は、注視度「低」かつ反応種別が興奮系である組合せに属するユーザ数の割合が60%と多数を占めている。すなわち、全ユーザを対象として算出された反応分布と比較すると、分布が大きく異なっている。より詳細には、男性のみを対象として算出された反応分布において、割合が上位2つの組合せは注視度「低」かつ興奮系の組合せと、注視度「高」かつ無反応系の組合せである。なお、例えば下限の閾値を20%とすると、注視度「高」かつ無反応系の組合せは特徴ある反応分布のパターンとしては算出されず、結果、注視度「低」かつ興奮系の組合せのみが特徴ある反応分布のパターンとなる。
一方、図29(c)は属性が「女性」のみのユーザの反応分布である。注視度「低」であるユーザに注目すると、反応種別が無反応系であるユーザ、反応種別が興奮系であるユーザ、及び反応種別が集中系であるユーザそれぞれの割合は5%、10%、10%となっている。また注視度「高」であるユーザに注目すると、反応種別が無反応系であるユーザ、反応種別が興奮系であるユーザ、及び反応種別が集中系であるユーザはそれぞれ0%、15%、50%となっている。女性のみの反応分布では、注視度「高」かつ集中系の割合が50%と大数を占めている。すなわち、全ユーザを対象として算出された反応分布と比較すると、やはり反応分布が大きく異なっている。例えば、割合が上位2つの組合せは、注視度「高」かつ興奮系の組合せと、注視度「高」かつ集中系の組合せである。また、例えば下限の閾値を20%とすると、注視度「高」かつ興奮系の組合せは特徴ある反応分布のパターンとしては算出されず、結果、注視度「高」かつ集中系の組合せのみが特徴ある反応分布のパターンとなる。
つまり、ユーザ全体としては確かに注視度「低」かつ興奮系の組合せに属するユーザと、注視度「高」かつ集中系の組合せに属するユーザとに分布が分かれたが、実は注視度「低」かつ興奮系の組合せに属するユーザのほとんどは男性であり、一方、注視度「高」かつ集中系の組合せに属するユーザのほとんどは女性ということになる。
次に、図30を参照して、評価情報蓄積部107bに蓄積された評価情報テンプレートの一例を示す。
図30(a)に示される評価情報テンプレート2107cは、属性に関わらず全ユーザに関連づけられた評価情報テンプレートの一例である。より詳細には、評価情報テンプレート2107cは、注視度「低」かつ興奮系の組合せと、注視度「高」かつ集中系の組合せとが特徴的な反応分布のパターンである反応分布に対応する評価情報テンプレートである。そのため、評価情報テンプレート2107cは、「全体としては、注視度が高いユーザは集中して視聴できています。一方、注視度が低く焦っているユーザもいます。提供情報のタイミングを変更することで注視度を高めることが可能です。」との評価情報を含んでいる。
図30(b)に示される評価情報テンプレート2107dは、属性が男性であるユーザに関連づけられた評価情報テンプレートの一例である。より詳細には、評価情報テンプレート2107dは、注視度「低」かつ興奮系の組合せが特徴的な反応分布のパターンである反応分布に対応する男性用の評価情報テンプレートである。そのため、評価情報テンプレート2107dは、「ユーザ属性「男性」は、注視度が低く焦っているユーザもいます。提供情報のタイミングを変更することで注視度を高めることが可能です。」との評価情報を含んでいる。
また、図30(c)に示される評価情報テンプレート2107eは、属性が女性であるユーザに関連づけられた評価情報テンプレートの一例である。より詳細には、評価情報テンプレート2107eは、注視度「高」かつ集中系の組合せが特徴的な反応分布のパターンである反応分布に対応する女性用の評価情報テンプレートである。そのため、評価情報テンプレート2107eは、「ユーザ属性「女性」は注視度が高いユーザは集中して視聴できています。」との評価情報を含んでいる。
コンテンツによっては、ユーザは一律の反応や反応の分布を示すのではなく、男性のみ、あるいは女性のみが好む、又は、好まないコンテンツなどもある。したがって、性別などの属性ごとに反応分布が異なる場合も多い。そこで本変形例に係るコンテンツ評価装置110cのように、さらにユーザの属性を考慮し、ユーザの属性ごとに特徴的な反応分布のパターンを算出してもよい。属性による反応分布の違いを考慮して評価を決定することで、コンテンツ制作者は、より具体的な評価を得ることができる。また、決定された評価を、コンテンツの修正、又はマーケティングなどへ応用することも可能となる。例えば、本変形例の場合、女性に対しては注視度「低」かつ集中系の組合せに高い割合が得られている。すなわち、女性に対しては、コンテンツ製作者側が最も望む反応が得られている。したがって、男性のみに対してコンテンツを修正するなども考えられる。
なお、コンテンツ評価装置110cは、全ユーザの反応分布と比較して属性ごとの反応分布が事前に定められた閾値よりも大きく異なる場合のみ、属性ごとの評価を決定してもよい。なぜなら、属性ごとに算出された反応分布と全ユーザの反応分布とに顕著な差が生じない場合は、属性ごとの評価は必要ないためである。
また、本変形例では、属性として男性と女性という性別を例に説明を行ったが、これに限ったものではない。例えば、子供、成人、及び高齢者の各々を異なる属性としてもよい。すなわち、反応分布をユーザの階級化された年齢ごとに算出してもよい。この場合、コンテンツ評価装置110cは、属性間の反応分布の違いに応じた評価を決定してもよい。
(変形例2)
変形例2に係るコンテンツ評価装置110は、複数ユーザの各々が同一のコンテンツを複数回視聴した場合に、視聴ごとに反応分布を算出する。また、視聴回数の増加にともなう反応分布の変化に応じてコンテンツの評価を決定する。以下、具体例を用いて説明を行う。
図31は、実施の形態2の変形例2に係るコンテンツ評価装置110cのシステム構成図である。なお、図28に示される変形例1に係るコンテンツ評価装置110bと同一の構成要素については同一の符合をつけ、詳細な説明は省略する。
本変形例に係る取得部101cは、複数のユーザの各々が同一のコンテンツを複数回視聴した場合の、視聴ごとの反応種別と視線位置とを取得する。
反応識別部102cは、複数ユーザの各々が同一の画像コンテンツを複数回視聴する場合に、視聴ごとに反応種別を識別する。
注視度算出部104cは、複数ユーザの各々が同一の画像コンテンツを複数回視聴する場合に、視聴ごとに注視度を算出する。
評価情報蓄積部107cは、何回目の視聴かを示す視聴回数と、反応種別及び注視度の組合せごとのユーザ数の割合とに対応付けられた評価情報を含む評価情報テンプレートを蓄積している。
評価情報決定部106cは、算出された注視度と識別された反応種別との組合せごとのユーザ数の割合を視聴回数ごとに算出する。また、評価情報テンプレートを参照し、視聴回数と、当該視聴回数におけるユーザ数の割合とに対応する評価情報を、画像コンテンツに対する複数のユーザの評価として決定する。
これにより、繰り返し視聴することを前提として制作されるコンテンツに対する、複数視聴者による全体的な評価傾向を決定することができる。
より詳細には、評価情報決定部106cは、反応分布算出部113cと、反応比較部115cとを有する。
反応分布算出部113cは、複数ユーザの各々が同一のコンテンツを複数回に渡り視聴した場合において、コンテンツの視聴回数ごとに反応分布を算出する。
反応比較部115cは、反応分布算出部113で視聴回数ごとに算出された反応分布を比較し、比較結果を決定する。
図32は、本変形例に係る反応分布算出部113cが算出する反応分布の一例を説明する図である。図32(a)は、ユーザが1回目に、あるコンテンツを視聴した場合に算出された反応分布3113eを示す図である。分布は全体を100%とし、各組合せに属する人数の割合をパーセント(%)で示している。注視度「低」のユーザに注目すると、反応種別が無反応系であるユーザの割合、反応種別が興奮系であるユーザの割合、及び反応種別が集中系であるユーザの割合はそれぞれ、15%、40%、0%となっている。同様に、注視度「高」のユーザに注目すると、反応種別が無反応系であるユーザの割合、反応種別が興奮系であるユーザの割合、及び反応種別が集中系であるユーザの割合はそれぞれ、10%、25%、10%となっている。ユーザ数の割合が上位2位以内の組合せを特徴的な反応分布のパターンとすると、注視度「低」かつ興奮系である組合せと、注視度「高」かつ興奮系である組合せとが、特徴的な反応分布のパターンとなる。ユーザの傾向としては、主に「興奮系」の反応を示し、注視度「低」のユーザが比較的多い。
一方、図32(b)は、同一のコンテンツを2回目に視聴した場合に算出された反応分布3113fを示す。注視度「低」のユーザに注目すると、反応種別が無反応系であるユーザの割合、反応種別が興奮系であるユーザの割合、反応種別が集中系であるユーザの割合は、それぞれ5%、10%、0%となっている。また、注視度「高」のユーザに注目すると、反応種別が無反応系であるユーザの割合、反応種別が興奮系であるユーザの割合、反応種別が集中系であるユーザの割合は、それぞれ0%、30%、50%となっている。ユーザ数の割合が上位2位以内の組合せを特徴的な反応分布のパターンとすると、特等的な反応分布のパターンとして、注視度「高」かつ興奮系である組合せと、注視度「高」かつ集中系である組合せとが算出される。
図32(a)に示される1回目の反応分布のパターンと、図32(b)に示される2回目の分布のパターンとを比較すると、変化を生じていることが分かる。反応比較部115cは、こうした異なる視聴回数に対応する反応分布の比較結果を決定する。
例えば、反応比較部115cは、N回目(N≧2)の視聴ごとに、最もユーザ数の割合の高い組合せを、N回目における比較結果として決定してもよい。具体的には、図32を参照して、1回目は注視度「低」かつ興奮系の組合せの割合が最も高く、2回目は注視度「高」かつ集中系の組合せの割合が最も高い。よって、反応比較部115cは、注視度「高」かつ集中系の組合せを、2回目の比較結果として決定してもよい。
また、反応比較部115cは、N回目(N≧2)の視聴ごとに、N−1回目の反応分布と比較してユーザ数の割合の変化が最も大きい組合せをN回目の反応分布の比較結果として決定してもよい。
評価情報決定部106cは、反応分布算出部113cによって算出された特徴的な反応分布のパターンと、反応比較部115cによって出力された反応分布の比較結果とを考慮し、評価を決定する。具体的には評価情報蓄積部107cに蓄積された、評価情報テンプレートを参照し、特徴的な反応分布のパターンと、反応分布の比較結果とに対応する評価情報テンプレートに含まれる評価情報を、コンテンツに対するユーザの評価として決定する。
図33は評価情報テンプレートの一例である。
図33(a)に示される評価情報テンプレート2107fは、1回目の視聴に対応する評価情報テンプレートの一例である。より詳細には、評価情報テンプレート2107fは、注視度「低」かつ興奮系の組合せと、注視度「高」かつ興奮系の組合せとを、特徴的な反応分布のパターンとする反応分布に対応する評価情報テンプレートである。そのため、評価情報テンプレート2107fは、「多くのユーザが興奮系の反応を示しています。一方、注視度が低いユーザもいます。提供情報のタイミングを変更することで注視度を高めることが可能です。」との評価情報を含んでいる。
図33(b)に示される評価情報テンプレート2107gは、2回目の視聴に対応する評価情報テンプレートの一例である。より詳細には、評価情報テンプレート2107gは、注視度「高」かつ集中系の組合せが、2回目の視聴における反応分布の比較結果として決定された場合に対応する評価情報テンプレートである。そのため、評価情報テンプレート2107gは、「2回目は、多くのユーザが注視して視聴できています。集中系と興奮系の反応を示すユーザが多くいます。」との評価情報を含んでいる。
コンテンツ評価装置110cは、評価情報テンプレートが含んでいるこれらの評価情報をコンテンツに対する評価として決定する。
例えばCMなどのコンテンツは、知名度を上げるため、面白いシーン又は驚かせるシーンなど、商品の内容及び機能はともかく、まずはインパクトを与えることを目的とする構成によって製作されているものも多い。そしてユーザが何度も見るうちにインパクトは減少し、実際の商品、価格、及び機能などに注意がいくようになることを目的としている場合も多い。
また、視聴するユーザも、1回目は驚いたり興奮したりし、2回目以降は集中して視聴する傾向を示す場合も多い。上記の例はこのような反応の傾向を示したものである。コンテンツ製作者としては想定どおりの反応を示すか否かを知りたい場合も多い。そこで本変形例に係るコンテンツ評価装置110cのように、1回目と2回目との反応分布の変化を用いて評価を決定することにより、コンテンツ制作者により必要とされる評価を得ることが可能となる。その結果、コンテンツ制作者は、コンテンツの評価をコンテンツの修正等へと応用することができる。
なお、本変形例に係るコンテンツ評価装置110cは、複数のユーザ各々に、同一のコンテンツを複数回視聴させた場合の生体信号からコンテンツの評価を決定したが、1人のユーザに同一のコンテンツを複数回視聴させた場合の生体信号からコンテンツの評価を決定してもよい。すなわち、反応識別部は、ユーザが同一の画像コンテンツを複数回視聴する場合に、視聴ごとの反応種別を識別し、注視度算出部は、ユーザが同一の画像コンテンツを複数回視聴する場合に、視聴ごとの注視度を算出し、評価情報蓄積部は、何回目の視聴かを示す視聴回数と、反応種別及び注視度の組合せとに対応付けられた評価情報を含む評価情報テンプレートを蓄積し、評価情報決定部は、評価情報テンプレートを参照し、視聴回数と、当該視聴回数において識別された反応種別及び算出された注視度の組合せとに対応する評価情報を、画像コンテンツに対するユーザの評価として決定してもよい。
なお、本変形例に係る反応識別部102cは、ユーザが1回目に画像コンテンツを視聴したときの脳血流と、同一の画像コンテンツを2回目以降に視聴したときとの脳血流との差分に基づいて反応種別を認識してもよい。
例えば、1回目の視聴時の脳血流と、N回目(ただし、N≧2)以降の視聴時の脳血流との差分の絶対値が、事前に定められた閾値よりも大きい場合には、反応識別部102cは、ユーザが無反応系とは異なる反応種別を示したと認識してもよい。また、反応識別部102cは、1回目とN回目との脳血流の差分の絶対値が閾値より大きい場合において、N回目の視聴時の脳血流が正の値であれば反応種別を興奮系と認識し、負の値であれば反応種別を集中系と認識してもよい。
また、本変形例において、コンテンツの例としてCMを用いて説明を行ったが、この他、テレビ番組、デジタルサイネージ等の映像広告、及びWeb広告など、デジタルコンテンツ一般に対しても応用可能である。これらデジタルコンテンツは、被験者に連続して視聴させることができ、また、その場でコンテンツの修正を行うことも可能である。したがって、コンテンツを視聴してもらい、評価と修正を繰り返し行うことで、よりコンテンツ製作者が求めるコンテンツの生成が可能となる。
以上、本発明の実施の形態1及び2並びにその変形例に係るコンテンツ評価装置について説明したが、本発明はこれらの実施の形態及びその変形例に限定されるものではない。
例えば、実施の形態1及び2並びにその変形例に係る反応識別部は、閾値と脳血流との比較によって、画像コンテンツに対するユーザの反応種別を識別した。しかし、反応識別部は他の方法によって、反応種別を識別してもよい。
例えば、ユーザの、基準時における脳血流を上まわる脳血流を正の領域で表し、基準時における脳血流を下まわる脳血流を負の領域で表す場合に、反応識別部102、102a、102b、及び102cは、事前に定められた時間区間に取得された脳血流の積分値が、正の領域において第1の値を超える場合は、ユーザの画像コンテンツに対する反応種別を興奮状態であると識別し、脳血流の積分値が負の領域において第2の値を超える場合は、ユーザの画像コンテンツに対する反応種別を集中状態であると識別してもよい。図4を参照して、具体的に説明する。
基準時を脳血流の計測開始時刻とすると、図4(a)〜図4(c)に示される0秒が基準時となる。ここで、図4(b)に示される酸化ヘモグロビン濃度のグラフは、正の領域で推移している。したがって、図4(b)に示される酸化ヘモグロビン濃度のグラフを例えば0秒から10秒までの区間で積分した積分値が事前に定められた閾値を超えていれば、反応識別部102、102a、102b、及び102cは、ユーザの画像コンテンツに対する反応種別を興奮状態であると識別してもよい。
また、図4(c)に示される酸化ヘモグロビン濃度のグラフは、負の領域で推移している。したがって、図4(c)に示される酸化ヘモグロビン濃度のグラフを、例えば0秒から10秒までの区間で積分した積分値が、事前に定められた閾値を超えていれば、反応識別部102、102a、102b、及び102cは、ユーザの画像コンテンツに対する反応種別を集中状態であると識別してもよい。
脳血流の閾値ではなく積分値を使用することにより、いわゆるローパスフィルタ処理と同様に、計測値に含まれるノイズの影響を低減させることができる。
また、実施の形態1及び2並びにその変形例に係る評価情報蓄積部が蓄積する評価情報テンプレートは、前述したもの以外にも様々なものが考えられる。すなわち、評価情報蓄積部は、反応種別が集中状態であり、注視度が高いほど、より高い評価を表す評価情報を反応種別と注視度との組に対応付けて含む、任意の評価情報テンプレートを蓄積してもよい。前述したように、コンテンツがCM映像等である場合には、ユーザの心理状態が集中系であり、コンテンツ制作者がアピールしたい提供画像に注視している状態が、好ましい状態と想定されるためである。
また、実施の形態1及び2並びにその変形例に係る注視度算出部は、視線位置が提供画像の表示領域内に位置する場合において、視線位置が提供画像の表示時間より前から表示領域内に位置する場合は、視線位置が提供画像の表示時間より後から表示領域内に位置する場合よりも低く注視度を算出してもよい。
これにより、ユーザの視線位置と提供画像とが偶然一致した場合に、注視度が高く算出されることを防ぐことができる。したがって、注視度算出部はより高い精度で注視度を算出することができる。
なお、実施の形態1及び2並びにその変形例で説明したコンテンツ評価装置は、コンピュータにより実現することも可能である。図34は、実施の形態1及び2並びにその変形例に係るコンテンツ評価装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
コンテンツ評価装置110、110a、110b、及び110cは、コンピュータ34と、コンピュータ34に指示を与えるためのキーボード36及びマウス38と、コンピュータ34の演算結果等の情報を提示するためのディスプレイ32と、コンピュータ34で実行されるプログラムを読み取るためのCD−ROM(Compact Disc−Read Only Memory)装置40及び通信モデム(図示せず)とを含む。
コンテンツ評価装置110、110a、110b、及び110cが行う処理であるプログラムは、コンピュータで読取可能な媒体であるCD−ROM42に記憶され、CD−ROM装置40で読み取られる。又は、コンピュータネットワークを通じて通信モデム52で読み取られる。
コンピュータ34は、CPU(Central Processing Unit)44と、ROM(Read Only Memory)46と、RAM(Random Access Memory)48と、ハードディスク50と、通信モデム52と、バス54とを含む。
CPU44は、CD−ROM装置40又は通信モデム52を介して読み取られたプログラムを実行する。ROM46は、コンピュータ34の動作に必要なプログラムやデータを記憶する。RAM48は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク50は、プログラムやデータなどを記憶する。通信モデム52は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス54は、CPU44、ROM46、RAM48、ハードディスク50、通信モデム52、ディスプレイ32、キーボード36、マウス38及びCD−ROM装置40を相互に接続する。
さらに、上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integrated Circuit:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、USBメモリ、SDカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
本発明は、コンテンツ評価装置等に適用でき、特に、画像コンテンツ視聴の際のユーザの生体信号を分析することで画像コンテンツに対するユーザの評価を決定するコンテンツ評価装置等に適用できる。
32 ディスプレイ
34 コンピュータ
36 キーボード
38 マウス
40 CD−ROM装置
42 CD−ROM
44 CPU
46 ROM
48 RAM
50 ハードディスク
52 通信モデム
54 バス
101、101a、101b、101c 取得部
102、102a、102c 反応識別部
103 視線検知部
104、104a、104c 注視度算出部
105 提供情報蓄積部
106、106a、106b、106c 評価情報決定部
107、107a、107b、107c 評価情報蓄積部
108 提示部
110、110a、110b、110c コンテンツ評価装置
111 複数脳血流検知部
112 複数視線検知部
113、113b、113c 反応分布算出部
114 ユーザ属性入力部
115、115c 反応比較部
220、222、223、224、225、1106 コンテンツ
250 被験者
320 脳血流検知部
321 受光部
322 発光部
402、403、404 グラフ
412 第1の閾値
413 第2の閾値
420 反応時刻候補
1105、1105a 提供情報
1108 コンテンツの名称
1110 提供情報タグ
2107、2107a、2107b、2107c、2107d、2107e、2107f、2107g 評価情報テンプレート
2108 コンテンツ評価結果
3113、3113a、3113b、3113c、3113d、3113e、3113f 反応分布

Claims (18)

  1. 画像コンテンツ視聴の際のユーザの生体信号を分析することで前記画像コンテンツに対する前記ユーザの評価を決定するコンテンツ評価装置であって、
    前記ユーザの脳血流量と視線位置とを取得する取得部と、
    取得した前記脳血流量を基に前記ユーザの前記画像コンテンツに対する心理的な反応の種別である反応種別を識別する反応識別部と、
    前記画像コンテンツ内に含まれる画像である提供画像の表示領域と、前記提供画像が前記表示領域に表示される表示時間とを含む情報である提供情報を蓄積している提供情報蓄積部と、
    前記提供情報を参照し、前記表示時間における前記視線位置と前記表示領域との位置関係基づいて、前記ユーザが前記提供画像を注視している度合いである注視度を算出する注視度算出部と、
    前記注視度と前記反応種別との組に対応付けられた前記画像コンテンツの評価情報を含む評価情報テンプレートを蓄積している評価情報蓄積部と、
    前記評価情報テンプレートを参照し、前記注視度算出部により算出された注視度と、前記反応識別部により識別された反応種別とに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定する評価情報決定部とを備える
    コンテンツ評価装置。
  2. 前記反応識別部は、取得した前記脳血流が第1の閾値を上まわる場合、又は、当該脳血流が第2の閾値を下まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を他の場合と区別して識別し、
    前記第1の閾値は、基準時における前記ユーザの脳血流よりも大きな値であり、
    前記第2の閾値は、前記基準時における前記ユーザの脳血流よりも小さな値である
    請求項1に記載のコンテンツ評価装置。
  3. 前記反応識別部は、取得した前記脳血流が前記第1の閾値を上まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を興奮状態であると識別し、
    取得した前記脳血流が前記第2の閾値を下まわる場合には、前記ユーザの前記画像コンテンツに対する反応種別を集中状態であると識別する
    請求項2に記載のコンテンツ評価装置。
  4. 前記ユーザの、前記基準時における脳血流を上まわる脳血流を正の領域で表し、当該基準時における脳血流を下まわる脳血流を負の領域で表し、
    前記反応識別部は、事前に定められた時間区間に取得された前記脳血流の積分値が、正の領域において第1の値を超える場合は、前記ユーザの前記画像コンテンツに対する反応種別を興奮状態であると識別し、前記脳血流の積分値が、負の領域において第2の値を超える場合は、前記ユーザの前記画像コンテンツに対する反応種別を集中状態であると識別する
    請求項2に記載のコンテンツ評価装置。
  5. 前記評価情報蓄積部は、前記反応種別が前記集中状態であり、前記注視度が高いほど、より高い評価を表す前記評価情報を当該反応種別と当該注視度との組に対応付けて含む前記評価情報テンプレートを蓄積している
    請求項3又は4に記載のコンテンツ評価装置。
  6. 前記評価情報蓄積部は、前記反応種別と前記注視度との組合せごとのユーザ数の割合に対応付けられた前記評価情報を含む前記評価情報テンプレートを事前に蓄積しており、
    前記注視度算出部は、複数のユーザのそれぞれの前記注視度を算出し、
    前記反応識別部は、前記複数のユーザのそれぞれの前記反応種別を識別し、
    前記評価情報決定部は、算出された前記注視度と、識別された前記反応種別との組合せごとのユーザ数の割合に対応する前記評価情報を、前記画像コンテンツに対する前記複数のユーザの評価として決定する
    請求項1に記載のコンテンツ評価装置。
  7. 前記評価情報決定部は、前記組合せごとのユーザ数の割合のうち、大きい順に事前に定められた順位以内となる割合に対応する、前記反応種別と前記注視度との組合せを算出し、算出された当該組合せに対応する前記評価情報を前記画像コンテンツに対する前記複数のユーザの評価として決定する
    請求項6に記載のコンテンツ評価装置。
  8. 前記評価情報蓄積部は、ユーザの性別及び年齢のうち少なくとも1つを含む属性に対応付けて前記評価情報テンプレートを蓄積しており、
    前記評価情報決定部は、前記ユーザの属性に対応する前記評価情報テンプレートを参照して、前記画像コンテンツに対する当該ユーザの評価を決定する
    請求項1に記載のコンテンツ評価装置。
  9. 前記反応識別部は、前記ユーザが同一の画像コンテンツを複数回視聴する場合に、視聴ごとの反応種別を識別し、
    前記注視度算出部は、前記ユーザが前記同一の画像コンテンツを複数回視聴する場合に、視聴ごとの注視度を算出し、
    前記評価情報蓄積部は、何回目の視聴かを示す視聴回数と、前記反応種別及び前記注視度との組合せとに対応付けられた前記評価情報を含む前記評価情報テンプレートを蓄積し、
    前記評価情報決定部は、前記評価情報テンプレートを参照し、前記視聴回数と、当該視聴回数において識別された前記反応種別及び算出された前記注視度の組合せとに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定する
    請求項1に記載のコンテンツ評価装置。
  10. 前記画像コンテンツはCM映像のコンテンツである
    請求項9に記載のコンテンツ評価装置。
  11. 前記反応識別部は、前記ユーザが1回目に前記同一の画像コンテンツを視聴したときの脳血流と、2回目以降に当該同一の画像コンテンツを視聴したときとの脳血流との差分に基づいて前記反応種別を認識する
    請求項9に記載のコンテンツ評価装置。
  12. 前記反応識別部は、複数のユーザの各々が前記同一の画像コンテンツを複数回視聴する場合に、前記ユーザごと及び視聴ごとに反応種別を識別し、
    前記注視度算出部は、前記複数のユーザの各々が前記同一の画像コンテンツを複数回視聴する場合に、前記ユーザごと及び視聴ごとに注視度を算出し、
    前記評価情報蓄積部は、何回目の視聴かを示す視聴回数と、前記反応種別及び前記注視度の組合せごとのユーザ数の割合とに対応付けられた前記評価情報を含む前記評価情報テンプレートを蓄積し、
    前記評価情報決定部は、前記視聴回数ごとに、前記算出された注視度と、前記識別された反応種別との組合せごとのユーザ数の割合を算出し、前記視聴回数と、当該視聴回数における前記ユーザ数の割合とに対応する前記評価情報を、前記画像コンテンツに対する前記複数のユーザの評価として決定する
    請求項1に記載のコンテンツ評価装置。
  13. 前記注視度算出部は、前記視線位置が前記表示領域内に滞留する時間が長いほど、前記注視度をより高く算出する
    請求項1に記載のコンテンツ評価装置。
  14. 前記注視度算出部は、前記提供画像が文字情報を表す場合には、前記視線位置の移動方向と当該文字情報の書字方向とがより一致するほど、前記注視度をより高く算出する
    請求項13に記載のコンテンツ評価装置。
  15. 前記注視度算出部は、前記視線位置が前記提供画像の前記表示領域内に位置する場合において、当該視線位置が当該提供画像の前記表示時間より前から当該表示領域内に位置する場合は、当該視線位置が当該提供画像の前記表示時間より後から当該表示領域内に位置する場合よりも低く前記注視度を算出する
    請求項13に記載のコンテンツ評価装置。
  16. 前記注視度算出部は、前記提供情報に含まれる前記表示時間ごとに、当該表示時間における前記視線位置と当該表示時間に対応付けられた前記表示領域との距離が事前に定められた閾値未満であるか否かを判定し、前記閾値未満であれば前記ユーザが当該表示時間は注視していたと判定し、かつ、前記提供情報に含まれる前記表示時間の総数に対する、前記ユーザが注視していたと判定された表示時間の総数の割合として前記注視度を算出する
    請求項3に記載のコンテンツ評価装置。
  17. 画像コンテンツ視聴の際のユーザの生体信号を分析することで前記画像コンテンツに対する前記ユーザの評価を決定するコンテンツ評価方法であって、
    前記ユーザの脳血流量と視線位置とを取得する取得ステップと、
    取得した前記脳血流量を基に前記ユーザの前記画像コンテンツに対する心理的な反応の種別である反応種別を識別する反応識別ステップと、
    前記画像コンテンツ内に含まれる画像である提供画像の表示領域と、前記提供画像が前記表示領域に表示される表示時間とを含む情報である提供情報を参照し、前記表示時間における前記視線位置と前記表示領域との位置関係基づいて、前記ユーザが前記提供画像を注視している度合いである注視度を算出する注視度算出ステップと、
    前記注視度と前記反応種別との組に対応付けられた前記画像コンテンツの評価情報を含む評価情報テンプレートを参照し、前記注視度算出ステップにより算出された注視度と、前記反応識別ステップにより識別された反応種別とに対応する評価情報を、前記画像コンテンツに対する前記ユーザの評価として決定する評価情報決定ステップとを含む
    コンテンツ評価方法。
  18. 請求項17に記載のコンテンツ評価方法をコンピュータに実行させる
    プログラム。
JP2011103149A 2011-05-02 2011-05-02 コンテンツ評価装置、方法、及びそのプログラム Active JP5624512B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011103149A JP5624512B2 (ja) 2011-05-02 2011-05-02 コンテンツ評価装置、方法、及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011103149A JP5624512B2 (ja) 2011-05-02 2011-05-02 コンテンツ評価装置、方法、及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2012234405A true JP2012234405A (ja) 2012-11-29
JP5624512B2 JP5624512B2 (ja) 2014-11-12

Family

ID=47434659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011103149A Active JP5624512B2 (ja) 2011-05-02 2011-05-02 コンテンツ評価装置、方法、及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5624512B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015054240A (ja) * 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
WO2016056642A1 (ja) * 2014-10-08 2016-04-14 イービーエム株式会社 血流シミュレーションのための血流解析機器、その方法及びコンピュータソフトウエアプログラム
WO2016084834A1 (ja) * 2014-11-25 2016-06-02 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法
JP2016146075A (ja) * 2015-02-09 2016-08-12 日本放送協会 映像評価装置およびそのプログラム
JP2019136183A (ja) * 2018-02-07 2019-08-22 株式会社デンソー 感情識別装置
JP2019166101A (ja) * 2018-03-23 2019-10-03 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2020129426A1 (ja) * 2018-12-20 2020-06-25 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP2020116173A (ja) * 2019-01-24 2020-08-06 パナソニックIpマネジメント株式会社 印象評価システム、及び、印象評価方法
JP2020142015A (ja) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド 表示装置、表示方法、及び表示プログラム
KR20210062939A (ko) * 2019-11-22 2021-06-01 이화여자대학교 산학협력단 스트레스를 관리하기 위한 인지행동기법 컨텐츠를 제공하는 방법 및 시스템
JP2021087825A (ja) * 2021-02-26 2021-06-10 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2022545868A (ja) * 2019-08-29 2022-11-01 ルーシッド ラブス インコーポレイテッド 選好度決定方法及びそれを利用した選好度決定用デバイス
WO2022230440A1 (ja) * 2021-04-27 2022-11-03 オムロン株式会社 コンテンツ評価装置、コンテンツ評価方法およびコンテンツ評価プログラム
JP7386438B2 (ja) 2018-12-20 2023-11-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP7442705B1 (ja) 2023-02-10 2024-03-04 アース製薬株式会社 マーケティング素材の評価方法、評価装置、及びマーケティング素材の製造方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817057B2 (en) 2016-11-08 2020-10-27 Sony Corporation Information processing device, information processing method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344904A (ja) * 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344904A (ja) * 2001-02-06 2002-11-29 Sony Corp コンテンツ再生装置、コンテンツ受信装置、コンテンツ呈示制御方法、コンテンツ評価収集解析方法、コンテンツ評価収集解析装置、コンテンツ評価集計管理方法およびコンテンツ評価集計管理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNJ200610052200; 橋本 圭輔他: '視線計測によるメディアコンバージェンス広告システムの評価' FIT2005 第4回情報科学技術フォーラム 一般講演論文集 第3分冊 , 20050822, 493〜494頁, 社団法人情報処理学会 社団法人電子情報通信学会 *
JPN6014037101; 橋本 圭輔他: '視線計測によるメディアコンバージェンス広告システムの評価' FIT2005 第4回情報科学技術フォーラム 一般講演論文集 第3分冊 , 20050822, 493〜494頁, 社団法人情報処理学会 社団法人電子情報通信学会 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535432B1 (ko) * 2013-09-13 2015-07-13 엔에이치엔엔터테인먼트 주식회사 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
JP2015054240A (ja) * 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
JPWO2016056642A1 (ja) * 2014-10-08 2017-07-27 イービーエム株式会社 血流シミュレーションのための血流解析機器、その方法及びコンピュータソフトウエアプログラム
WO2016056642A1 (ja) * 2014-10-08 2016-04-14 イービーエム株式会社 血流シミュレーションのための血流解析機器、その方法及びコンピュータソフトウエアプログラム
JPWO2016084834A1 (ja) * 2014-11-25 2017-11-16 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法
WO2016084834A1 (ja) * 2014-11-25 2016-06-02 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法
JP2016146075A (ja) * 2015-02-09 2016-08-12 日本放送協会 映像評価装置およびそのプログラム
JP7080657B2 (ja) 2018-02-07 2022-06-06 株式会社デンソー 感情識別装置
JP2019136183A (ja) * 2018-02-07 2019-08-22 株式会社デンソー 感情識別装置
JP2019166101A (ja) * 2018-03-23 2019-10-03 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2020129426A1 (ja) * 2018-12-20 2020-06-25 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP7386438B2 (ja) 2018-12-20 2023-11-27 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP2020116173A (ja) * 2019-01-24 2020-08-06 パナソニックIpマネジメント株式会社 印象評価システム、及び、印象評価方法
JP7165910B2 (ja) 2019-01-24 2022-11-07 パナソニックIpマネジメント株式会社 印象評価システム、及び、印象評価方法
WO2020183792A1 (ja) * 2019-03-08 2020-09-17 株式会社Jvcケンウッド 表示装置、表示方法、及び表示プログラム
JP7215246B2 (ja) 2019-03-08 2023-01-31 株式会社Jvcケンウッド 表示装置、表示方法、及び表示プログラム
JP2020142015A (ja) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド 表示装置、表示方法、及び表示プログラム
JP2022545868A (ja) * 2019-08-29 2022-11-01 ルーシッド ラブス インコーポレイテッド 選好度決定方法及びそれを利用した選好度決定用デバイス
KR102393494B1 (ko) 2019-11-22 2022-05-03 이화여자대학교 산학협력단 스트레스를 관리하기 위한 인지행동기법 컨텐츠를 제공하는 방법 및 시스템
KR20210062939A (ko) * 2019-11-22 2021-06-01 이화여자대학교 산학협력단 스트레스를 관리하기 위한 인지행동기법 컨텐츠를 제공하는 방법 및 시스템
JP7074221B2 (ja) 2021-02-26 2022-05-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2021087825A (ja) * 2021-02-26 2021-06-10 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2022230440A1 (ja) * 2021-04-27 2022-11-03 オムロン株式会社 コンテンツ評価装置、コンテンツ評価方法およびコンテンツ評価プログラム
TWI815391B (zh) * 2021-04-27 2023-09-11 日商歐姆龍股份有限公司 內容評價裝置、內容評價方法以及內容評價程式
JP7442705B1 (ja) 2023-02-10 2024-03-04 アース製薬株式会社 マーケティング素材の評価方法、評価装置、及びマーケティング素材の製造方法

Also Published As

Publication number Publication date
JP5624512B2 (ja) 2014-11-12

Similar Documents

Publication Publication Date Title
JP5624512B2 (ja) コンテンツ評価装置、方法、及びそのプログラム
US11200964B2 (en) Short imagery task (SIT) research method
JP5119375B2 (ja) 集中有無推定装置及びコンテンツ評価装置
US11056225B2 (en) Analytics for livestreaming based on image analysis within a shared digital environment
Soleymani et al. Multimodal emotion recognition in response to videos
US20190034706A1 (en) Facial tracking with classifiers for query evaluation
CN105339969B (zh) 链接的广告
JP5789735B2 (ja) コンテンツ評価装置、方法、及びそのプログラム
US20170095192A1 (en) Mental state analysis using web servers
US20100004977A1 (en) Method and System For Measuring User Experience For Interactive Activities
US20120083675A1 (en) Measuring affective data for web-enabled applications
EP2788943A2 (en) Affect based evaluation of advertisement effectiveness
US20160379505A1 (en) Mental state event signature usage
US20130115582A1 (en) Affect based concept testing
US20130102854A1 (en) Mental state evaluation learning for advertising
US20170105668A1 (en) Image analysis for data collected from a remote computing device
US20140058828A1 (en) Optimizing media based on mental state analysis
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US10817057B2 (en) Information processing device, information processing method, and program
US20130238394A1 (en) Sales projections based on mental states
Chynał et al. Shopping behaviour analysis using eyetracking and EEG
Porcu et al. Towards the prediction of the quality of experience from facial expression and gaze direction
US20130052621A1 (en) Mental state analysis of voters
CN112613364A (zh) 目标物体的确定方法、系统、存储介质和电子设备
WO2014105266A1 (en) Optimizing media based on mental state analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140926

R151 Written notification of patent or utility model registration

Ref document number: 5624512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151