JP2020049005A - 印象評価システム、及び、印象評価方法 - Google Patents

Abstract

【課題】被験者の対象物への印象を評価することができる印象評価システムを提供する。【解決手段】印象評価システム１０は、対象物が映る画像を提示する提示部２０と、上記画像の画像特徴量を取得する特徴量取得部４４と、上記画像の提示が視覚刺激として与えられたときの被験者の脳波を計測する脳波計測部３０と、計測された脳波から事象関連電位を取得するＥＲＰ取得部４５と、取得された画像特徴量および取得された事象関連電位に基づいて、被験者の対象物に対する印象を評価する印象評価部とを備える。【選択図】図２

Description

本発明は、印象評価システム、及び、印象評価方法に関する。

脳波を用いて人の状態を推定する技術が提案されている。特許文献１には、脳波に基づいて安全運転を支援することができる装置が開示されている。

国際公開第２０１０／０１６２４４号

本発明は、被験者の対象物への印象を評価することができる印象評価システム及び印象評価方法を提供する。

本発明の一態様に係る印象評価システムは、対象物が映る画像を提示する提示部と、前記画像の画像特徴量を取得する特徴量取得部と、前記画像の提示が視覚刺激として与えられたときの被験者の脳波を計測する脳波計測部と、計測された前記脳波から事象関連電位（ＥＲＰ：Ｅｖｅｎｔ−Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ）を取得するＥＲＰ取得部と、取得された前記画像特徴量および取得された前記事象関連電位に基づいて、前記被験者の前記対象物に対する印象を評価する印象評価部とを備える。

本発明の一態様に係る印象評価方法は、対象物が映る画像を提示し、前記画像の画像特徴量を取得し、前記画像の提示が視覚刺激として与えられたときの被験者の脳波を計測し、計測された前記脳波から事象関連電位を取得し、取得された前記画像特徴量および取得された前記事象関連電位に基づいて、前記被験者の前記対象物に対する印象を評価する。

本発明の一態様に係るプログラムは、前記印象評価方法をコンピュータに実行させるためのプログラムである。

本発明によれば、被験者の対象物への印象を評価することができる印象評価システム及び印象評価方法が実現される。

図１は、実施の形態に係る印象評価システムの概要を示す図である。 図２は、実施の形態に係る印象評価システムの機能構成を示すブロック図である。 図３は、提示部によって提示される画像の一例を示す図である。 図４は、提示部によって提示される画像の別の一例を示す図である。 図５は、実施の形態に係る印象評価システムの動作のフローチャートである。 図６は、事象関連電位を説明するための図である。 図７は、重回帰モデルを用いた印象の評価方法を示す図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

（実施の形態）
［印象評価システムの概要］
まず、実施の形態に係る印象評価システムの構成について説明する。図１は、実施の形態に係る印象評価システムの概要を示す図である。図２は、実施の形態に係る印象評価システムの機能構成を示すブロック図である。

実施の形態に係る印象評価システム１０は、提示部２０と、脳波計測部３０と、情報処理装置４０とを備え、提示部２０によって提示される画像を見た被験者５０の当該画像に対する印象を評価するシステムである。提示部２０は、例えば、人が被写体として映る画像を提示する。図３及び図４は、提示部２０によって提示される画像の一例を示す図である。なお、図３及び図４は、人の上半身が映る画像であるが、提示部２０によって提示される画像には、人の顔、人の上半身、および、人の全身のうちのいずれかが映っていればよい。

図３及び図４は、同一人物を被写体とする画像であるが、画像が撮影された照明環境が異なる。具体的には、図４に示される画像は、図３に示される画像よりも顔に影が発生しやすい照明環境で撮影されている。このような２つの画像を見た被験者５０の、画像に映る人の印象（例えば、信頼感、親しみやすさなど）が定量的に評価できれば、人が魅力的に見える照明環境を明らかにすることができる。つまり、印象評価システム１０は、照明装置の開発、照明プラン設計の改善などに利用することができる。一般に、適切な照明装置の選択は専門家でないと難しいが、印象評価システム１０の評価結果によれば、専門家でなくとも手軽に照明装置を選択できる。なお、被験者５０の画像に映る人の印象は、例えば、信頼感、及び、親しみやすさなどの項目の評価値によって示される。

［印象評価システムの構成］
以下、このような印象評価システム１０が備える構成要素について引き続き図１及び図２を参照しながら説明する。

提示部２０は、評価の対象物が映る画像を提示する。評価の対象物は、例えば、人である。対象物は、動物などの人以外の生命体であってもよいし、非生命体であってもよく、特に限定されない。提示部２０は、例えば、画像を表示するディスプレイ装置であり、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。

脳波計測部３０は、被験者５０の脳波を計測する。脳波計測部３０は、例えば、被験者５０の頭部に装着されるヘッドセット型の脳波計である。

情報処理装置４０は、パーソナルコンピュータまたはサーバ装置などの情報処理装置である。情報処理装置４０は、情報処理部４１と、記憶部４２とを備える。

情報処理部４１は、提示部２０によって被験者５０に提示される画像（つまり、画像データ）、及び、画像の提示が視覚刺激として与えられたときの被験者５０の脳波（つまり、脳波データ）を入力として被験者５０の画像に映る人に対する印象を評価する。情報処理装置４０は、具体的には、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部４１は、具体的には、提示制御部４３と、特徴量取得部４４と、ＥＲＰ取得部４５と、印象評価部４６とを備える。

記憶部４２は、情報処理部４１が情報処理を実行するためのプログラム、当該情報処理に必要な各種情報、及び、被験者５０への提示の対象となる画像などが記憶される記憶装置である。記憶部４２は、例えば、半導体メモリなどによって実現される。

［動作］
次に、印象評価システム１０の動作について説明する。図５は、印象評価システム１０の動作のフローチャートである。なお、図５のフローチャートに示される処理の順序は一例である。処理の順序は変更されてもよいし、複数の処理（例えば、画像特徴量の取得処理と事象関連電位の取得処理）が並行して行われてもよい。

まず、提示部２０は、人が被写体として映る画像を提示する（Ｓ１１）。具体的には、情報処理装置４０の提示制御部４３は、記憶部４２に記憶された画像を読み出し、当該画像を提示部２０に提示させる。記憶部４２に記憶された画像は、例えば、実写画像であるが、シミュレーションなどによって作成された、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）であってもよい。

次に、特徴量取得部４４は、提示部２０によって提示される画像の画像特徴量を取得する（Ｓ１２）。例えば、特徴量取得部４４は、提示部２０によって提示される画像を提示制御部４３から取得し、取得した画像を解析することにより、画像特徴量を取得する。画像特徴量には、画像に含まれる人の特徴を示す第一画像特徴量と、画像自体の特徴を示す第二画像特徴量とが含まれる。

第一画像特徴量は、例えば、画像に含まれる人の表情、性別、及び、年齢などである。特徴量取得部４４は、例えば、顔認識技術を用いた解析によって第一画像特徴量を取得することができる。特徴量取得部４４は、例えば、画像に含まれる人の、表情、性別、及び、年齢のうち少なくとも１つを第一画像特徴量として取得する。

第二画像特徴量は、例えば、画像の色相、明度、彩度、及び、輝度勾配などである。画像の色相は、より具体的には、画像全体の平均色相であるが、画像のうち人が映っている部分の平均色相であってもよい。画像の明度、及び、画像の彩度についても同様である。画像の輝度勾配は、例えば、画像の縦方向または横方向における輝度勾配である。特徴量取得部４４は、例えば、画像の色相、明度、彩度、及び、輝度勾配のうち少なくとも１つを第二画像特徴量として取得する。

なお、提示の対象となる画像は、当該画像の画像特徴量とともに記憶部４２に記憶されていてもよい。この場合、特徴量取得部４４は、提示部２０によって提示される画像の画像特徴量を記憶部４２から取得することができる。

次に、脳波計測部３０は、画像の提示が視覚刺激として与えられたときの被験者５０の脳波を計測する（Ｓ１３）。ＥＲＰ取得部４５は、計測された脳波から事象関連電位（ＥＲＰ：Ｅｖｅｎｔ−Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ）を取得する（Ｓ１４）。図６は、事象関連電位を説明するための図（脳波の波形の一例を示す図）である。

事象関連電位には、Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、及び、Ｎ２成分などのピーク成分が含まれる。頭文字である「Ｐ」及び「Ｎ」は、極性を示す。「Ｐ」は、陽性の電圧変位（図６において下方に突出する電圧変位）を示し、「Ｎ」は、陰性の電圧変位（図６において上方に突出する電圧変位）を示す。

頭文字に続く数字は、潜時を示す。数字の「１」は、被験者５０が視覚刺激を受けてからおよそ１００ｍｓ後に現れるピーク成分であることを示す。数字の「２」は、被験者５０が視覚刺激を受けてからおよそ２００ｍｓ後に現れるピーク成分であることを意味し、数字の「３」は、被験者５０が視覚刺激を受けてからおよそ３００ｍｓ後に現れるピーク成分であることを意味する。なお、これらの成分のうちＰ３成分は、他の成分と比べてＳ／Ｎ比が高く、信号処理に適している。

また、図６に示されていない事象関連電位として、後期陽性成分（ＬＰＰ：Ｌａｔｅ Ｐｏｓｉｔｉｖｅ Ｐｏｔｅｎｔｉａｌ）、及び、ミスマッチ陰性電位（ＭＭＮ：Ｍｉｓｍａｔｃｈ Ｎｅｇａｔｉｖｉｔｙ）などが例示される。ＥＲＰ取得部４５はこのような事象関連電位を取得してもよい。ステップＳ１４において、ＥＲＰ取得部４５は、例えば、Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、Ｎ２成分、後期陽性成分、及び、ミスマッチ陰性電位の少なくとも１つの、潜時、振幅、及び、積分値の少なくとも１つを事象関連電位として取得する。

事象関連電位を取得するための具体的な信号処理は、以下のようになる。ＥＲＰ取得部４５は、計測された脳波に対してバンドパスフィルタを適用し、脳波から高周波ノイズとドリフト成分とを除去する。

次に、ＥＲＰ取得部４５は、提示部２０によって画像が提示されたタイミングを起点（０ｍｓ）として、−１００ｍｓ〜１０００ｍｓの区間の脳波を抽出し、抽出した脳波に対して、抽出した脳波の−１００ｍｓ〜０ｍｓの区間における平均振幅を用いたベースライン補正を行なう。

例えば、同一の画像が複数回提示されれば、ステップＳ１３においては脳波の複数回の計測が可能となる。ＥＲＰ取得部４５は、複数回分の脳波それぞれに対してこのような信号処理（バンドパスフィルタの適用、及び、ベースライン補正）を行う。続いて、ＥＲＰ取得部４５は、信号処理済みの複数回分の脳波を加算平均処理することにより背景脳波を除去する。このとき、眼球運動に伴う眼電位ノイズが重畳している脳波は、加算平均処理の対象から除外する。

次に、ＥＲＰ取得部４５は、加算平均処理された脳波に所望の成分（Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、Ｎ２成分、後期陽性成分、または、ミスマッチ陰性電位）を得るためのバンドパスフィルタを適用する。そして、ＥＲＰ取得部４５は、得られた成分の潜時（ここでの潜時は正確な潜時を意味する）、振幅（言い換えれば、ピークレベル）、及び、積分値（言い換えれば、面積）のうち少なくとも１つを算出する。

このようなステップＳ１４の処理の後、印象評価部４６は、ステップＳ１２において取得された画像特徴量と、ステップＳ１４において取得された事象関連電位とに基づいて被験者５０の画像に映る人に対する印象を評価する（Ｓ１５）。印象評価部４６は、例えば、重回帰モデルを用いて被験者５０の画像に映る人に対する印象を評価する。図７は、重回帰モデルを用いた印象の評価方法を示す図である。図７に示されるように、印象評価部４６は、あらかじめ定義された重回帰モデルに、ステップＳ１２で取得された画像特徴量、及び、ステップＳ１４で取得された事象関連電位を入力する。これにより、重回帰モデルから印象（例えば、親しみやすさ）の評価値（例えば、７０％）が評価結果として出力される。印象の評価値は、例えば、提示制御部４３によって提示部２０に表示される。

重回帰モデルは、実測データにより構成されたデータベースに基づいて作成される。例えば、上記ステップＳ１１〜ステップＳ１４の処理を複数の被験者に対して行い、複数の被験者のそれぞれに主観評価結果（印象の評価値）をアンケートする。この結果、画像特徴量、事象関連電位、及び、主観評価結果が紐づけられたデータベースが得られる。重回帰モデルは、このようなデータベースを重回帰分析することで得られる。重回帰モデルは、例えば、記憶部４２にあらかじめ記憶される。

なお、被験者５０の画像に映る人に対する印象を評価するための方法は、重回帰分析に限定されない。その他の手法として、主成分回帰分析、ＰＬＳ（Ｐａｒｔｉａｌ Ｌｅａｓｔ Ｓｑｕａｒｅｓ）回帰分析、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ナイーブベイズ、最近傍法、ランダムフォレスト、または、線形判別分析などを用いた手法が用いられてもよい。

なお、ステップＳ１５において、印象評価部４６は、少なくとも１つの画像特徴量および少なくとも１つの事象関連電位に基づいて、被験者５０の画像に映る人に対する印象を評価すればよい。しかしながら、例えば、画像特徴量として第一画像特徴量、及び、第二画像特徴量のそれぞれが用いられれば、印象評価部４６は、印象の評価精度を向上することができる。

［効果等］
対象物が映る画像のみを用いて当該対象物の印象を評価する方法、つまり、画像の物理的な状態に基づいて対象物の印象を評価する方法では、被験者５０が実際に感じる印象を定量化することが難しい。つまり、評価精度に課題がある。一方、被験者５０の脳波だけを用いて対象物の印象を評価する方法も評価精度が低くなる懸念がある。

これに対し、印象評価システム１０は、対象物が映る画像を提示する提示部２０と、上記画像の画像特徴量を取得する特徴量取得部４４と、上記画像の提示が視覚刺激として与えられたときの被験者５０の脳波を計測する脳波計測部３０と、計測された脳波から事象関連電位を取得するＥＲＰ取得部４５と、取得された画像特徴量および取得された事象関連電位に基づいて、被験者５０の対象物に対する印象を評価する印象評価部とを備える。

このような印象評価システム１０は、比較的客観的な印象を示す画像の特徴量、及び、比較的主観的な印象を示す被験者５０の脳波の両方を用いて、被験者５０の対象物に対する印象を評価することができる。印象評価システム１０は、画像の特徴量及び被験者５０の脳波の一方のみに基づいて評価を行う印象評価システムよりも、被験者５０の対象物に対する印象を高い精度で評価することができる。

また、例えば、対象物は、人であり、画像には、人の顔、人の上半身、および、人の全身のうちのいずれかが映る。

このような印象評価システム１０は、被験者５０の人に対する印象を評価することができる。

また、例えば、画像特徴量には、画像に含まれる対象物の特徴を示す第一画像特徴量と、画像自体の特徴を示す第二画像特徴量とが含まれる。印象評価部４６は、取得された第一画像特徴量及び第二画像特徴量と、取得された事象関連電位とに基づいて、被験者５０の対象物に対する印象を評価する。

このような印象評価システム１０は、第一画像特徴量及び第二画像特徴量の一方のみに基づいて評価を行う印象評価システム１０よりも、被験者５０の対象物に対する印象を高い精度で評価することができる。

また、例えば、対象物は、人であり、特徴量取得部４４は、画像に含まれる人の、表情、性別、及び、年齢のうち少なくとも１つを第一画像特徴量として取得する。

このような印象評価システム１０は、人の、表情、性別、及び、年齢のうち少なくとも１つを第一画像特徴量として取得することができる。

また、例えば、特徴量取得部４４は、画像の色相、明度、彩度、及び、輝度勾配のうち少なくとも１つを第二画像特徴量として取得する。

このような印象評価システム１０は、画像の色相、明度、彩度、及び、輝度勾配のうち少なくとも１つを第二画像特徴量として取得することができる。

また、例えば、ＥＲＰ取得部４５は、Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、Ｎ２成分、後期陽性成分、及び、ミスマッチ陰性電位の少なくとも１つの、潜時、振幅、及び、積分値の少なくとも１つを事象関連電位として取得する。

このような印象評価システム１０は、Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、Ｎ２成分、後期陽性成分、及び、ミスマッチ陰性電位の少なくとも１つの、潜時、振幅、及び、積分値の少なくとも１つを事象関連電位として取得することができる。

また、例えば、提示部２０によって提示される画像は、実写画像である。

このような印象評価システム１０は、対象物が映る実写画像を提示することにより、被験者５０の対象物に対する印象を評価することができる。

また、例えば、提示部２０によって提示される画像は、ＣＧである。

このような印象評価システム１０は、対象物が映るＣＧを提示することにより、被験者５０の対象物に対する印象を評価することができる。

また、印象評価システム１０などのコンピュータによって実行される印象評価方法は、対象物が映る画像を提示し、上記画像の画像特徴量を取得し、上記画像の提示が視覚刺激として与えられたときの被験者５０の脳波を計測し、計測された脳波から事象関連電位を取得し、取得された画像特徴量および取得された事象関連電位に基づいて、被験者５０の対象物に対する印象を評価する。

このような印象評価方法は、客観的な印象を示す画像の特徴量、及び、主観的な印象を示す被験者５０の脳波の両方を用いて、被験者５０の対象物に対する印象を評価することができる。印象評価方法は、画像の特徴量及び被験者５０の脳波の一方のみに基づいて評価を行う印象評価方法よりも、被験者５０の対象物に対する印象を高い精度で評価することができる。

（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。

例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本発明は、上記実施の形態の情報処理装置に相当する印象評価システムとして実現されてもよいし、印象評価方法として実現されてもよいし、印象評価方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

また、上記実施の形態では、印象評価システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。印象評価システムが複数の装置によって実現される場合、上記実施の形態で説明された印象評価システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

また、印象評価システムは、クライアントサーバシステムとして実現されてもよい。例えば、情報処理装置がサーバ装置として実現され、提示部、及び、脳波計測部がクライアント装置として実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１０ 印象評価システム
２０ 提示部
３０ 脳波計測部
４３ 提示制御部
４４ 特徴量取得部
４５ ＥＲＰ取得部
４６ 印象評価部
５０ 被験者

Claims (10)

1. 対象物が映る画像を提示する提示部と、
   前記画像の画像特徴量を取得する特徴量取得部と、
   前記画像の提示が視覚刺激として与えられたときの被験者の脳波を計測する脳波計測部と、
   計測された前記脳波から事象関連電位（ＥＲＰ：Ｅｖｅｎｔ−Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ）を取得するＥＲＰ取得部と、
   取得された前記画像特徴量および取得された前記事象関連電位に基づいて、前記被験者の前記対象物に対する印象を評価する印象評価部とを備える
   印象評価システム。
2. 前記対象物は、人であり、
   前記画像には、人の顔、人の上半身、および、人の全身のうちのいずれかが映る
   請求項１に記載の印象評価システム。
3. 前記画像特徴量には、前記画像に含まれる対象物の特徴を示す第一画像特徴量と、前記画像自体の特徴を示す第二画像特徴量とが含まれ、
   前記印象評価部は、取得された第一画像特徴量及び第二画像特徴量と、取得された前記事象関連電位とに基づいて、前記被験者の前記対象物に対する印象を評価する
   請求項１または２に記載の印象評価システム。
4. 前記対象物は、人であり、
   前記特徴量取得部は、前記画像に含まれる人の、表情、性別、及び、年齢のうち少なくとも１つを前記第一画像特徴量として取得する
   請求項３に記載の印象評価システム。
5. 前記特徴量取得部は、前記画像の色相、明度、彩度、及び、輝度勾配のうち少なくとも１つを前記第二画像特徴量として取得する
   請求項３または４に記載の印象評価システム。
6. 前記ＥＲＰ取得部は、Ｐ１成分、Ｐ２成分、Ｐ３成分、Ｎ１成分、Ｎ２成分、後期陽性成分（ＬＰＰ：Ｌａｔｅ Ｐｏｓｉｔｉｖｅ Ｐｏｔｅｎｔｉａｌ）、及び、ミスマッチ陰性電位（ＭＭＮ：Ｍｉｓｍａｔｃｈ Ｎｅｇａｔｉｖｉｔｙ）の少なくとも１つの、潜時、振幅、及び、積分値の少なくとも１つを前記事象関連電位として取得する
   請求項１〜５のいずれか１項に記載の印象評価システム。
7. 前記画像は、実写画像である
   請求項１〜６のいずれか１項に記載の印象評価システム。
8. 前記画像は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）である
   請求項１〜６のいずれか１項に記載の印象評価システム。
9. 対象物が映る画像を提示し、
   前記画像の画像特徴量を取得し、
   前記画像の提示が視覚刺激として与えられたときの被験者の脳波を計測し、
   計測された前記脳波から事象関連電位を取得し、
   取得された前記画像特徴量および取得された前記事象関連電位に基づいて、前記被験者の前記対象物に対する印象を評価する
   印象評価方法。
10. 請求項９に記載の印象評価方法をコンピュータに実行させるためのプログラム。

Images