JP2019105882A - 評価装置、方法およびプログラム - Google Patents

Abstract

【課題】評価対象に対する被験者の反応に基づいて上記評価対象を評価する場合に、評価対象についてより信頼性の高い評価を行えるようにする。【解決手段】評価対象に対する被験者の反応に基づいて評価対象の評価を行う評価装置にあって、評価対象に対する被験者の反応を表す動作データを取得し、被験者の属性を表す属性データを取得し、属性データに基づいて、動作データの信頼の度合いを表す信頼値を算出し、動作データと算出された信頼値とに基づいて評価対象に対する評価値を算出し、評価を行う。【選択図】図１

Description

この発明は、評価対象に対する被験者の反応に基づいて前記評価対象の評価を行う評価装置、方法およびプログラムに関する。

実験や展示などの良し悪しを評価する方法として、アンケートによる評価方法が従来から使用されており、その一つとしてセマンティック・ディファレンシャル法（ＳＤ法）が広く知られている（例えば、非特許文献１を参照）。アンケートによる評価は、系統的な評価が可能である。しかし、一つの事象全体としての評価となるため、その事象の中に小さなイベントが連続的に起こり、そのイベントの逐次評価を行いたい場合には適さない。

一方、人またはロボットが言葉や動きのやりとりをしている状態を評価する場合、やりとりを途中で中断させて評価することは、場の雰囲気を壊して正確な評価ができなくなる等の恐れがあり、適切ではない。そのため、正確な評価を行い、その後の改善を行うためには、連続的な評価を取得することが重要となる。ここで、被験者もしくは評価者からの評価が高くなるようにアルゴリズムの改善を行ったり、システムを改良することを学習と呼ぶ。

連続的なデータとしては、表情、声、視線、姿勢、向き、動きなどといった評価者の動作に関わる情報や、心拍、発汗などといった生理情報などがある。従来、人間同士の会話において次回の話者を推定するために、視線情報をリアルタイムで利用する技術が知られている（例えば、非特許文献２を参照）。

しかし、従来技術では、成人だけが評価者であったり、評価者が異なると推定システムが適用できなくなったりする問題があり、技術の適用可能な属性に偏りがある。

実際のフィールド実験や展示では、幅広い年代や性別など属性にばらつきが生じるため、属性が変わっても学習方法が同じ場合、適切な学習が行えない可能性がある。特に実際のフィールドにおいては、親子連れが多く訪れる。

従来、子どもを対象とした実験の多くで言われているように、子どもは大人と違って自分自身の考えをきちんと整理できていなかったり、表現できていないことがあり、子どもが直接評価判定を下すことは難しい。その代わり、表情や視線などといった動作に関わる情報などを取得し、それらを評価値として利用する方法が知られている（例えば、非特許文献３参照）。

従来では、被験者もしくは評価者の属性に合わせて、表情を推定するなどは行っているが、複数の入力がある場合に、それらの入力特性を考慮して評価するには至っていない。

実際の例を挙げると、押しボタンスイッチなどを設けて評価を行うとき、評価者が子どもの場合には、ボタンスイッチを押す行為自体に楽しみを見出し、ボタンスイッチの押下されたカウント数と実際の評価が結びつかない場合が多々ある。一方、表情や笑い声、視線などは感情や着目度を直接表していることが多く、評価の信頼性が高くなる。逆に評価者が大人の場合、公共の場では自身の感情表現を抑える傾向にあるので、表情などのデータよりも、ボタンスイッチを押すという行為自体の評価の信頼性が高くなる。

市原茂、「セマンティック・ディファレンシャル法（ＳＤ法）の可能性と今後の課題」、人間工学、45.5 (2009) : 263-269 Ishii, Ryo, et al., "Analysis of Respiration for Prediction of ‘Who Will Be Next Speaker and When?’ in Multi-Party Meetings.", Proceedings of the 16th International Conference on Multimodal Interaction. ACM, 2014. 澤畠康仁 他、「番組視聴時の視線分布と番組内容理解度の関係」、The Journal of The Institute of Image Information and Television Engineers 62.4 (2008): 587-594

複数種類の被験者情報を入力として学習等を行う際、従来技術では、被験者の属性が異なる場合でも、学習方法は統一的であり、被験者の属性を反映していなかった。しかし、被験者の属性が異なると、表情や声といった被験者が表出する動作情報の割合は変化し、被験者が表出する情報と評価自体が直接結びつかない場合も存在する。従来技術ではこれらの場合に被験者の属性を反映していないため、適切な学習が行えない要因となっていた。

この発明は上記事情に着目してなされたもので、その目的とするところは、評価対象に対する被験者の反応に基づいて上記評価対象を評価する場合に、評価対象についてより信頼性の高い評価を行えるようにした評価装置、方法およびプログラムを提供しようとするものである。

上記課題を解決するために、この発明の第１の態様は、評価対象に対する被験者の反応に基づいて前記評価対象の評価を行う評価装置にあって、前記評価対象に対する前記被験者の反応を表す動作データを取得し、前記被験者の属性を表す属性データを取得し、前記属性データに基づいて、前記動作データの信頼の度合いを表す信頼値を算出し、前記動作データと前記信頼値とに基づいて前記評価対象に対する評価値を算出するようにしたものである。

この発明の第２の態様は、評価対象に対する評価値を、評価値算出部により算出された前記評価値に基づいて学習する学習部と、学習対象となる学習データと前記学習データに対する学習評価値とを関連付けて格納する学習データベースと、をさらに具備し、前記評価対象が前記学習データベースに前記学習データとして格納されているか否かを判定する。そして、前記評価対象が前記学習データベースに前記学習データとして格納されていないと判定された場合には、前記評価対象を前記学習データとし、かつ前記評価値算出部により算出された前記評価対象に対する評価値を前記学習評価値として、前記学習データベースに格納し、前記評価対象が前記学習データベースに前記学習データとして格納されていると判定された場合には、当該学習データに関連付けられている前記学習評価値を、前記算出された前記評価対象に対する評価値により変更するようにしたものである。

この発明の第３の態様は、前記評価対象に対する前記被験者の反応を表す生体データおよび動きデータの少なくとも一つをあらかじめ定められた期間にわたって収集し、前記収集された生体データおよび動きデータの少なくとも一つに対し正規化処理を行い、正規化処理されたデータを前記動作データとするようにしたものである。

この発明の第４の態様は、前記動作データを、前記被験者の意識的な反応を表す意識的動作データと、前記被験者の無意識な反応を表す無意識的動作データとに分離し、前記意識的動作データの信頼値と、前記無意識的動作データの信頼値とを算出し、前記意識的動作データに前記算出処理部により算出された前記意識的動作データの信頼値を乗じて得られた値と、前記無意識的動作データに前記算出処理部により算出された前記無意識的動作データの信頼値を乗じて得られた値とを合成することにより、前記評価値を算出するようにしたものである。

この発明の第５の態様は、前記被験者の属性を示す値をｘ、前記被験者の属性の種類ごとにあらかじめ定められた値をα、βとするとき、前記意識的動作データの信頼値を
ｆ（ｘ）＝１／（１＋ｅｘｐ（−αｘ＋β））
により算出し、前記無意識的動作データの信頼値を１−ｆ（ｘ）により算出するようにしたものである。

この発明の第１の態様によれば、評価対象に対する被験者の反応を表す動作データと、上記被験者の属性データに基づいて算出される信頼値とに基づいて、評価対象に対する評価値が算出される。このため、被験者の反応を表す動作データのみにより評価対象を評価する場合に比べ、被験者の属性を反映したより一層信頼性の高い評価を行うことができる。

この発明の第２の態様によれば、評価対象に対する被験者の反応を表す動作データと、属性データに基づいて算出される信頼値とに基づいて算出された、評価対象に対する評価値を用いて学習が行われる。すなわち、被験者の属性を反映した学習が行われる。このため、学習結果を用いて評価を行う場合にも、信頼性の高い評価を行うことができる。

この発明の第３の態様によれば、一定期間にわたって収集された生体データおよび動きデータの少なくとも一つに対し正規化処理が行われるので、生体データおよび動きデータに基づく評価値の算出処理を最適化することが可能となる。

この発明の第４の態様によれば、被験者の動作データが、意識的な反応を表す意識的動作データと、無意識な反応を表す無意識的動作データとに分離され、これらのデータごとに信頼値が算出される。このため、被験者の意識的な反応と無意識な反応の各々についてより適切な信頼値を算出することができ、これにより評価値の信頼性をさらに高めることができる。

この発明の第５の態様によれば、被験者の属性を示す値をｘ、被験者の属性の種類ごとにあらかじめ定められた値をα、βとするとき、意識的動作の信頼値および無意識的動作の信頼値を、それぞれｆ（ｘ）＝１／（１＋ｅｘｐ（−αｘ＋β））および１−ｆ（ｘ）として算出することができ、これにより被験者の属性の種類を考慮したより評価を行うことができる。

すなわちこの発明の各態様によれば、評価対象に対する被験者の反応に基づいて上記評価対象を評価する場合に、評価対象についてより信頼性の高い評価を行うことができる評価装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る評価装置の機能構成を示すブロック図。 図１に示した評価装置による処理手順の一例を示すフローチャート。 図２に示した処理のうち信頼値算出処理の一例を示すフローチャート。 図２に示した処理のうち評価値算出処理の一例を示すフローチャート。 信頼値算出のために用いられるシグモイド関数の例を示す図。 被験者情報検出機器から情報処理装置に送られるデータの例を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［一実施形態］
（構成）
図１は、この発明の一実施形態に係る評価装置を備えるシステムの機能構成を示すブロック図である。図中、１は評価装置としての情報処理装置、２は被験者情報検出機器、３は被験者、４は表示装置、５はオペレータ端末をそれぞれ示している。

オペレータ端末５は、例えばシステムのオペレータが使用するパーソナルコンピュータであり、上記オペレータが被験者に提示すべき評価対象を設定するために使用される。またオペレータ端末５は、後述する情報処理装置１により得られた評価結果もしくは学習結果の出力先としても使用される。ただし、オペレータ端末５は、必須の構成要素ではなく、情報処理装置１に内蔵することもでき、省略することもできる。

表示装置４は、例えば、評価対象となる文章、画像、映像等を被験者３に提示するために使用されるディスプレイである。なお、評価対象を音声として出力するスピーカ等に置き換えることも可能である。また表示装置４は、情報処理装置１に内蔵することもでき、あるいは、展示物や実演等の現物を評価対象とする事例では省略することもできる。

被験者情報検出機器２は、動作情報検出部２１と、属性情報検出部２２と、出力部２３とを備える。

動作情報検出部２１は、動き情報検出部２１１と、生体情報検出部２１２とを備える。動き情報検出部２１１は、上記表示装置４により被験者に対し提示された評価対象に対する被験者３の反応を、被験者の動きを表す情報として検出する。被験者の動きを表す情報としては、例えば、被験者の表情、声、視線、姿勢、向き等の、被験者の無意識な動作が挙げられる。この無意識な動作は、例えばカメラにより撮像された被験者の顔や姿の画像から検出したり、マイクから収音された音から検出したり、被験者の体に装着された加速度センサや測距センサ等を用いて検出することができる。表情を表すデータの一例としては、喜び、驚き、怒り、悲しみ、無表情の各割合を表す数値データや笑顔度合いデータなどが挙げられる。この表情を表すデータは、例えばカメラにより撮像された被験者の顔画像から既知の顔画像分析技術により取得されるもので、具体例については後に詳しく述べる。

また動き情報検出部２１１は、被験者が操作可能な押しボタンスイッチを備える。押しボタンスイッチは、被験者の意識的な動作を検出するために使用される。例えば、押しボタンスイッチは２個用意される。一方の押しボタンスイッチは、評価対象物に対し被験者が面白いと感じたときにその意思を入力するために使用される。これに対し他方の押しボタンスイッチは、評価対象物に対し被験者が面白くないと感じたときにその意思を入力するために使用される。また面白さのレベルおよび面白くないと感じたときのそのレベルは、例えば、押しボタンスイッチの押下回数または押下時間により入力することが可能である。

生体情報検出部２１２は、上記表示装置４により被験者に対し提示された評価対象に対する被験者３の反応を、被験者の生体情報もしくは生理情報として検出する。生体情報もしくは生理情報としては、例えば、被験者の心拍や発汗が挙げられる。これらの生体情報の検出には、例えば、被験者に装着されるホルター心電計を用いることができる。

なお、動作情報検出部２１は、動き情報検出部２１１と生体情報検出部２１２の両方を必ずしも備える必要はなく、検出する動作情報はシステムの管理者等が任意に設定することができる。

属性情報検出部２２は、被験者３の属性情報を検出または取得する。属性情報検出部２２で検出または取得される属性情報には、例えば、年齢、性別、職業などが含まれる。例えば、属性情報検出部２２は、被験者の属性情報を記録したＷｅｂ上のデータベースや被験者が所持するスマートフォン等から上記属性に関する個人情報を読み出すことにより属性情報を取得する。もしくはオペレータが任意に入力することも可能である。また属性情報検出部２２は、被験者の顔画像から年齢等を自動推定するソフトウェア等を用いて属性情報を検出するものであってもよい。

出力部２３は、上記動作情報検出部２１で動作情報として検出された動き情報と生体情報を含む動作データ、および属性情報検出部２２で属性情報として検出された属性データを、所定の周期で情報処理装置１へ出力する。以下、動作データと属性データをまとめて被験者データとも呼ぶ。

情報処理装置１は、例えばパーソナルコンピュータまたはサーバ装置からなり、入出力インタフェースユニット１１と、処理ユニット１２と、記憶ユニット１３とを備えている。

入出力インタフェースユニット１１は、例えば有線または無線インタフェースを有し、外部機器、例えば、被験者情報検出機器２やオペレータ端末５から出力される各種情報を受信する機能と、評価対象、評価結果または学習結果を表す情報を送信する機能とを有する。有線インタフェースとしては、例えばＬＡＮ（Local Area Network）が使用され、また無線インタフェースとしては、例えばBluetooth（登録商標）などの小電力無線データ通信規格を採用したインタフェースが使用される。なお、被験者情報検出機器２は情報処理装置１内に内蔵するようにしてもよい。

記憶ユニット１３は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読み出しが可能な不揮発性メモリを用いたものであり、この実施形態を実現するために必要な記憶領域として、プログラム記憶部の他に、データ記憶部１３１と、信頼性評価データベース（ＤＢ）１３２と、学習データベース（ＤＢ）１３３と、出力データ記憶部１３４とを備えている。

処理ユニット１２は、ＣＰＵ（Central Processing Unit）を有し、この実施形態を実施する上で必要な処理機能として、評価対象取得部１２１と、出力処理部１２２と、データ取得部１２３と、正規化部１２４と、信頼値算出部１２５と、評価値算出部１２６と、学習部１２７とを備えている。これらの処理機能は、いずれも、図示しないプログラム記憶部に格納されたアプリケーションプログラムを上記ＣＰＵに実行させることにより実現される。

次に、情報処理装置１の処理ユニット１２が備える構成についてさらに説明する。以下では、特に、動作データとして、被験者の表情データと、押しボタンスイッチにより入力される、評価対象が面白いか面白くないかを表す情報とが入力され、属性データとして年齢を表す情報が入力される場合を例に挙げて説明するが、他のデータに置き換えることもでき、他のデータを追加的に利用することも可能である。

評価対象取得部１２１は、被験者に提示すべき評価対象を表す情報を取得する。例えば、オペレータ端末５から、オペレータにより設定された評価対象の情報を取得する。また、図示しないＷｅｂ上のデータベース等から、事前に登録された評価対象の情報を図示しないネットワークを介して取得したり、学習データベース１３３に記憶された学習結果を評価対象の情報として取得することもできる。評価対象取得部１２１は、上記取得した評価対象を表す情報を出力処理部１２２に送る。

出力処理部１２２は、上記評価対象取得部１２１から送られた評価対象を表す情報を出力データ記憶部１３４に記憶させ、この記憶された評価対象を表す情報のうち被験者に提示すべき評価対象を表す情報を入出力インタフェースユニット１１から表示装置４へ出力する。また出力処理部１２２は、上記表示装置４へ出力した評価対象を表す情報を、その出力時刻とともに、学習部１２７へも出力する。

また出力処理部１２２は、オペレータの要求に従って、評価値算出部１２６により算出された評価結果を表すデータと、学習データベース１３３に記憶された学習結果を表すデータを選択的に読み出し、入出力インタフェースユニット１１から表示装置４またはオペレータ端末５へ送出する。なお、出力処理部１２２は、上記評価結果または学習結果を表すデータを図示しない他の外部機器等に送信することも可能である。

例えば、出力処理部１２２は、出力データ記憶部１３４に格納されたデータをあらかじめ定められた時刻に読み出して出力する。出力されるデータセットは、例えば、出力時刻と出力対象データとの組である。出力対象データの一例として、被験者に提示すべき文章等の評価対象を表すデータが考えられる。

データ取得部１２３は、上記被験者情報検出機器２から出力された被験者データ、すなわち、動き情報および生体情報を含む動作データと、属性データを、入出力インタフェースユニット１１を介して所定の周期で取得し、データ記憶部１３１に格納する。

正規化部１２４は、データ記憶部１３１に格納された動きデータ、生体データおよび属性データを一定時間分ずつ読み出し、この一定時間分の動きデータ、生体データおよび属性データに対しリサンプリング処理を行う。また正規化部１２４は、上記読み出された動きデータおよび生体データについて正規化処理を行う。

例えば、正規化部１２４は、リサンプリング周期が１分の場合、上記動きデータおよび生体データについてそれぞれ１分毎の平均値を算出する。なお、リサンプリング周期は任意に変更可能である。また正規化部１２４は、上記リサンプリング処理された動きデータおよび生体データに対して、さらに正規化処理を行う。正規化処理の一例については後に詳しく述べる。

信頼値算出部１２５は、信頼性評価ＤＢ１３２を用いて、被験者の属性に基づく、当該被験者の動作データの信頼の度合いを表す信頼値を算出する。信頼性評価ＤＢ１３２には被験者の属性毎の規定モデルが格納されている。

例えば一実施形態では、信頼値算出部１２５は、正規化部１２４により正規化処理された被験者の動きデータおよび生体データを、意識的動作データと無意識的動作データとに分離する。そして信頼値算出部１２５は、信頼性評価ＤＢ１３２に格納された被験者の属性毎の規定モデルに従い、上記正規化部１２４によりリサンプリングされた属性データに基づいて、意識的動作データの信頼値と無意識的動作データの信頼値をそれぞれ算出する。信頼値の算出処理の一例については後に詳しく述べる。信頼値算出部１２５は、上記算出された信頼値を、上記意識的動作データおよび無意識的動作データと共に、評価値算出部１２６へ出力する。

評価値算出部１２６は、信頼値算出部１２５から出力された意識的動作データおよび無意識的動作データの各々について、同時に信頼値算出部１２５から出力された信頼値を加味した評価値を算出する。例えば、一実施形態では、評価値算出部１２６は、意識的動作データに意識的動作データの信頼値を乗じ、かつ無意識的動作データに無意識的動作データの信頼値を乗じる。そして評価値算出部１２６は、上記信頼値を乗じた意識的動作データと信頼値を乗じた無意識的動作データとを合計することにより、動作データの評価値を算出する。

すなわち、評価値算出部１２６は、被験者情報検出機器２により検出された被験者の動き情報および生体情報について、意識的動作データおよび無意識的動作データ別に、被験者の属性情報に基づく重み付けを行った上で評価を行う。評価値算出部１２６は、上記算出された評価値を、例えば、時刻データと共に、出力処理部１２２および学習部１２７へ出力する。

学習部１２７は、評価値算出部１２６により評価値が算出されるごとに、当該評価値と、学習ＤＢ１３３に記憶された学習結果とに基づいて、上記評価値について学習処理を行い、この学習処理後の評価値を上記学習ＤＢ１３３に格納する。上記学習処理の一例についても、後に詳しく述べる。

（動作）
次に、以上のように構成された評価装置としての情報処理装置１による情報処理動作を説明する。図２はその処理手順と処理内容を示すフローチャートである。

（１）評価対象を表す情報の提示
ここでは、評価対象として文章データを提示する場合を例にとって説明する。オペレータがオペレータ端末５において評価対象となる文章データを入力すると、この文章データはオペレータ端末５から情報処理装置１へ送信される。

情報処理装置１は、評価対象取得部１２１の制御の下、ステップＳ１０により評価対象となるデータの受信の有無を監視している。この状態で、上記オペレータ端末５から文章データが送られると、ステップＳ１１により上記オペレータ端末５から送信された文章データを入出力インタフェースユニット１１を介して取り込み、出力処理部１２２に渡す。出力処理部１２２は、上記文章データを出力データ記憶部１３４に記憶させると共に、入出力インタフェースユニット１１から表示装置４へ送信する。この結果、表示装置４では上記文章データが表示され、当該文章データが評価対象として被験者３に提示される。なお、ＷＥｂ上のデータベースまたは学習ＤＢ１３３から評価対象の文章データを取得して、表示装置４に表示させることも可能である。

出力処理部１２２はまた、後述する学習処理のため、表示装置４へ出力した文章データを、その出力時刻を示すデータとともに学習部１２７へも出力する。

（２）被験者データの取得
被験者情報検出機器２において、被験者は上記表示装置４に表示された文章データに対する評価、例えば面白いか面白くないかを押しボタンスイッチを操作することで入力する。そうすると、上記押しボタンスイッチの操作情報は動き情報検出部２１１により検出される。

また動き情報検出部２１１では、上記文章データを読んだ被験者の表情、声、視線、姿勢、向き等の被験者の無意識な動作が、一定の検出周期で、顔画像や音声、位置情報、体の動きを表す加速度データにより検出される。このうち、表情については、例えば喜び、驚き、怒り、悲しみ、無表情に分類されてそのレベルが数値化される。上記検出された押しボタンスイッチによる入力情報と被験者の表情等の検出情報は、動きの検出情報として被験者の識別情報（被験者ＩＤ）と共に出力部２３から情報処理装置１へ送信される。

上記動き情報検出部２１１による動きの検出動作と並行して、生体情報検出部２１２では、上記文章データを読んだ被験者の生体情報、例えば心拍や発汗が、上記一定の検出周期で心電計やポリグラフ計などにより検出され、その検出データは被験者ＩＤと共に出力部２３から情報処理装置１へ送信される。

さらに被験者情報検出機器２では、属性情報検出部２２において、被験者の属性情報、例えば年齢、性別、職業が検出される。この属性情報の検出は、例えば、Ｗｅｂ上のデータベースや被験者が所持するスマートフォン等から被験者の属性に関する情報を取得することによりなされたり、オペレータにより入力される。なお、被験者の顔画像から年齢等を推定するようにしてもよい。上記属性情報は、被験者ＩＤと共に出力部２３から情報処理装置１へ送信される。

ここで、図６は、被験者情報検出機器２の出力部２３から出力される被験者データの例を示す図である。図６の例では、表情データとして、喜び（Joy）、驚き（Surprise）、怒り（Angry）、悲しみ（Sorrow）、無表情（Expressionless）の各割合が取得され、ボタンデータとして、被験者が面白いと感じたときに操作するための押しボタンスイッチ（「面白いボタン」）が押された回数（Funny）と、被験者が面白くないと感じたときに操作するための押しボタンスイッチ（「面白くないボタン」）が押された回数（Nofunny）が取得され、時刻および被験者ＩＤとともに所定の周期で情報処理装置１に送られている。例えば、図６の例では、喜び（Joy）のデータだけを評価に用いることも、喜び（Joy）と怒り（Angry）の比を評価に用いることもでき、同様に、面白いボタンが押された回数（Funny）だけを評価に用いることも、面白いボタンが押された回数（Funny）と面白くないボタンが押された回数（Nofunny）との比を評価に用いることもでき、評価対象の性質等に応じてシステムの管理者等が自由に設定することができる。

動作情報検出部２１および属性情報検出部２２で取得されるデータは、複数の装置で取得されても１つの装置で取得されてもよい。図６は、表情データと年齢データとが１つの装置で取得され、ボタンデータが別の装置で取得されたときのデータ例を示している。図６に示すように、それぞれの装置のサンプリング数が異なる場合、ある時刻において取得されていないデータは空欄として送信される。

なお、図６のデータは、市販のソフトウェアを用いて取得されたデータの一例であり、表情の解析には様々な手法を用いることが可能である。

情報処理装置１は、データ取得部１２３の制御の下、ステップＳ１２により被験者データの受信の有無を監視している。この状態で、被験者情報検出機器２から被験者データ、つまり動きデータ、生体データおよび属性データが送られると、当該被験者データをステップＳ１３により入出力インタフェースユニット１１を介して受信して、データ記憶部１３１に記憶させる。以後、被験者情報検出機器２から被験者データが送られるごとに、当該被験者データを受信してデータ記憶部１３１に蓄積させる。

（３）正規化処理
情報処理装置１は、正規化部１２４の制御の下、一定時間が経過するごとに、ステップＳ１４においてデータ記憶部１３１から上記一定時間分の被験者データを読み出し、当該読み出された被験者データのうち、動きデータ、生体データおよび属性データについてリサンプリング処理を行い、さらに動きデータおよび生体データについて正規化処理を行う。

例えば、リサンプリング周期は１分に設定され、上記動きデータおよび生体データについてそれぞれ１分毎の平均値が算出される。正規化処理では、あらかじめ定められた正規化周期で、被験者のＩＤ毎に、動きデータおよび生体データ各々の合計値が１となるように変換される。より具体的には、正規化周期１５分で表情データの検出値の合計値が１２００、押しボタンスイッチによる押下回数の合計値が８０である場合、各分の表情データはそれぞれ１２００で除算され、押下回数はそれぞれ８０で除算される。なお、正規化処理の変換は、合計値が１となる変換でなくても、分布がガウス分布になる変換でも、その他の変換処理を利用しても良い。リサンプリング処理された属性データと、正規化処理された動きデータおよび生体データは、信頼値算出部１２５に送られる。

（４）信頼値の算出処理
情報処理装置１は、ステップＳ１５において、信頼値算出部１２５の制御の下、動作データの信頼値を以下のように算出する。

図３は、信頼値算出処理の一例を示すフローチャートである。

ステップＳ１５１において、信頼値算出部１２５は、正規化部１２４から、リサンプリング処理された属性データと、リサンプリング処理され正規化処理された動きデータおよび生体データとを取得する。

次いで、ステップＳ１５２において、信頼値算出部１２５は、動作データ、つまり動きデータおよび生体データを、意識的動作データと無意識的動作データとに分離する。意識的動作データの例として、例えば、アンケートや、拍手、押しボタンスイッチが押された回数などがある。無意識的動作データの例として、例えば、表情や、心拍、発汗などといった生理情報がある。声、視線、姿勢、向きなどのように、意識的動作データと無意識的動作データのどちらに分類してもよいデータもあり、どの属性をどちらに分類するかはシステムの管理者等があらかじめ決めておくことができる。

次いで、ステップＳ１５３において、信頼値算出部１２５は、信頼性評価ＤＢ１３２に基づき、属性データに応じた意識的動作データの信頼値を算出する。信頼性評価ＤＢ１３２には、被験者の属性毎の規定モデルが予め格納されている。規定モデルは、例えばシグモイド関数によって定義される。図５にその一例を示す。信頼値算出部１２５は、被験者の属性を数値として示す値をｘ、属性の種類ごとにあらかじめ定められたパラメータをα、βとするとき、意識的動作データの信頼値を
ｆ（ｘ）＝１／（１＋ｅｘｐ（−αｘ＋β））
により算出する。

次に、ステップＳ１５４において、信頼値算出部１２５は、無意識的動作データの信頼値を算出する。一例として、無意識的動作データの信頼値は、意識的動作データの信頼値を１から減算することにより、すなわち、１−ｆ（ｘ）として算出される。

例えば、属性の種類が年齢である場合、α＝１／５、β＝−４０の初期値をとる。αとβの値は、あらかじめ定められた更新タイミングでシグモイド関数をフィッティングされることにより更新されることができる。フィッティング方法の一例として、被験者の属性をｘとしたときの、無意識動作データと意識的動作データの合計値に対する意識的動作データの値の比がｆ（ｘ）となるようにフィッティングさせることができる。αとβを任意の固定値にすることも可能である。

ステップＳ１５５において、信頼値算出部１２５は、上記意識的動作データ、無意識的動作データ、意識的動作データの信頼値、および無意識的動作データの信頼値を、評価値算出部１２６に出力する。

（５）評価値算出処理
情報処理装置１は、ステップＳ１６において、評価値算出部１２６により、信頼値算出部１２５から出力された動作データと算出された信頼値とに基づいて、動作データの評価値を以下のように算出する。

図４は、評価値算出処理の一例を示すフローチャートである。

ステップＳ１６１において、評価値算出部１２６は、信頼値算出部１２５から動作データ、つまり上記意識的動作データおよび無意識的動作データと、当該意識的動作データの信頼値および無意識的動作データの信頼値を取得する。

ステップＳ１６２において、評価値算出部１２６は、動作データに信頼値を重み付けとして適用して、評価値を算出する。一例としては、意識的動作データに意識的動作データの信頼値を乗じた値が意識的動作データの評価値として算出され、無意識的動作データに無意識的動作データの信頼値を乗じた値が無意識的動作データの評価値として算出される。次いで、上記算出された意識的動作データの評価値と無意識的動作データの評価値とを合成する。合成には、例えば加算処理が用いられる。かくして、動作データの評価値が動作データ評価値として算出される。

これにより、複数種類の情報を入力とする際に、それぞれの情報に被験者の属性に基づく重み付けをして評価に用いることができる。なお、複数種類の属性を用いる場合、それぞれの属性毎の信頼値をさらに乗じた値を評価値として算出することができる。一例として、属性１（例えば年齢）に対して得られた信頼値をｆ_１（ｘ）、属性２（例えば性別）に対して得られた信頼値をｆ_２（ｘ）とすると、意識的動作データにｆ_１（ｘ）×ｆ_２（ｘ）を乗じたものを意識的動作データの評価値とすることができ、無意識的動作データに（１−ｆ_１（ｘ））×（１−ｆ_２（ｘ））を乗じたものを無意識的動作データの評価値とすることができる。

ステップＳ１６３において、評価値算出部１２６は、算出された動作データ評価値を出力する。一例として、評価値算出部１２６は、算出された動作データ評価値を、評価対象との関連付けを示すデータ、例えば被験者情報検出機器２により動作データが取得された時刻を示すデータと共に、出力処理部１２２と学習部１２７とに送ることができる。

（６）学習処理
情報処理装置１は、学習部１２７の制御の下、ステップＳ１７において、評価値算出部１２６によって新たに算出された動作データ評価値と、学習ＤＢ１３３に記憶された学習結果とに基づいて、上記動作データ評価値について以下のように学習処理を行う。

すなわち、学習ＤＢ１３３には、それまでに学習した学習データと各学習データに対する学習評価値が格納されており、学習部１２７は、評価値算出部１２６から送られてきた時刻データおよび動作データ評価値と、出力処理部１２２から送られてきた出力時刻および評価対象データと、上記学習ＤＢ１３３に記憶された過去の学習結果とに基づいて、上記動作データ評価値について学習処理を行う。

以下、面白さを感じる文章を学習データ例として用いた実施例について説明する。面白さを感じる文章の例として、駄洒落、小話、問答（例えば、「こんな〇○はイヤだ」というお題と、〇○に入れる回答のセット）等が挙げられる。ただし、学習データは、文章データに限られるものでなく、システムの管理者等が任意に設定することができる。

学習ＤＢ１３３には、それまでに学習した文章データと各文章データに対する面白さ評価値が格納されている。初期設定の一例として、学習ＤＢ１３３には、文章データと、例えばランダムフォレスト法やニューラルネットワークを用いて分類された各文章データの面白さ評価値が初期値として格納されている。分類は０か１の２値にすることも可能であるし、レートをつけることも可能である。学習方法もシステム管理者の任意に設定することが可能である。

学習部１２７は、出力処理部１２２から送られてきた評価対象データと、評価値算出部１２６から送られてきた動作データ評価値とを関連づける。より具体的には、学習部１２７は、出力処理部１２２から評価対象データとともに送られてきた評価対象の出力時刻を示すデータを識別し、その出力時刻に対応する時刻情報を備える、評価値算出部１２６から送られてきた動作データ評価値を識別し、評価対象データと動作データ評価値とを関連づける。

次いで、学習部１２７は、評価対象データ、すなわち評価対象とされた文章データが、学習ＤＢ１３３に学習データとして格納されているか否かを判定する。学習ＤＢ１３３に学習データとして格納されていないと判定された場合、学習部１２７は、当該評価対象データを学習データとし、当該評価対象データに関連づけられた動作データ評価値を学習評価値として学習ＤＢ１３３を更新する。すでに評価対象データが学習ＤＢ１３３に学習データとして格納されていると判定された場合、学習部１２７は、学習ＤＢ１３３の学習評価値のみを、当該評価対象データに関連付けられた動作データ評価値により更新することができる。学習ＤＢ１３３に格納された学習結果は、オペレータ等の要求に応じて、随時、出力処理部１２２を通じて出力されることができる。

（７）出力処理
情報処理装置１は、出力処理部１２２の制御の下、ステップＳ１８において、上記学習処理により更新された評価値のデータを学習ＤＢ１３３から読み出し、オペレータ端末５へ送信する。なお、出力処理部１２２では、ステップＳ１６で算出された評価値、ステップＳ１５で得られた信頼値、ステップＳ１４で得られた正規化された動きの検出情報および生体検出情報と、属性情報、またはステップＳ１３で得られた被験者データを出力することも可能である。出力先は、表示装置４としてもよく、またオペレータが事前に指定した外部の端末であってもよい。

一例として、学習部１２７による学習結果をオペレータ端末５などの外部機器に出力する場合、例えば、学習ＤＢ１３３内の学習評価値が高いものから順に学習結果として出力することができる。

（効果）
以上詳述したように、この発明の一実施形態では、システムのオペレータ等によって設定された文章データを評価対象として取得し、当該文章データを出力して被験者に提示し、提示した文章データに対する被験者の反応を検出する。特に、被験者の反応のうち、被験者の意識的な反応を表す意識的動作として、押しボタンスイッチが押された回数を検出し、被験者の無意識的な反応を表す無意識的動作として、被験者の顔画像から取得される、喜び、驚き、怒り、悲しみ、無表情の各割合を表す数値を検出する。また、被験者の属性を表す属性データとして、被験者の年齢を取得または推定する。年齢としての属性に対応する規定モデルを用いて、被験者の年齢から、意識的動作データおよび無意識的動作データの各々について、それぞれの信頼の度合いを表す信頼値を算出する。そして、意識的動作データおよび無意識的動作データの各々にそれぞれの信頼値を乗じてから合成することによって、動作データ全体の評価値を算出するようにしている。さらに、評価対象を被験者への提示のために出力した時刻と、動作データが取得された時刻とに基づいて、評価対象とそれに対する評価値とを関連づけて学習に用いるようにしている。

したがって、一実施形態によれば、オペレータによる入力または所定のアルゴリズムを用いるなど、評価対象をフレキシブルに設定して評価を行うことができる。また、経時的に収集されたデータを利用できるので、複数のイベントを含む評価対象群についても、全体評価だけでなく、含まれるイベントごとに逐次評価を行うことができる。特に、時間的に連続した一連のイベントについても、イベントを中断させることなく、所望のタイミングおよび所望の期間について、より詳細かつ正確な評価を行うことができる。さらに、属性を加味した評価が行えるので、来場者等の年代や性別を問わず被験者もしくは評価者になってもらうことができ、より多くの標本数に基づいた評価を行うことができる。また、大人では表出しにくい種類の反応を、子どもの被験者から検出することにより、従来は得がたかった多様な評価を行うことができる。

複数種類の動作情報を入力に用いる場合にも、それぞれに被験者の属性に基づく重み付けをして評価に用いることができるので、より信頼性の高い評価を行うことができる。また、属性に応じて異なるモデルを設定することにより、性差よりも年齢差の因子を強めるなど、システムの管理者等が評価環境を自由に設定することもできる。属性に応じたモデルは、シグモイド関数等のフィッティングにより最適化を図ることもできる。さらに、複数の属性を加味したより詳細な評価値を算出することもできる。また、上記評価値算出方法は、取得する動作データおよび属性データの種類が増えても適用できるので、評価に用いるデータをシステム管理者が自由に設定することができる。

また、一実施形態によれば、５種類の表情それぞれの割合を検出し、正規化して評価に用いているので、単に笑顔だけを検出する場合に比べ、より複雑かつ多様な評価を行うことができる。また、押しボタンスイッチを２個用意し、被験者が面白いと感じたときにボタンスイッチを押下した回数だけでなく、面白くないと感じたときに押下した回数も評価に用いているので、より正確な評価を行うことができる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、動き情報検出部２１１が備える検出装置の一例として、被験者が操作可能な押しボタンスイッチを示したが、被験者が評価スコアや感想等を入力できるキーボードやディスプレイを用いることも可能である。また、被験者の拍手を検出する音量センサや振動センサ等を採用することもできる。また、測距センサ等で位置情報を取得することも可能である。また、加速度センサだけでなく、角速度センサや地磁気センサなどを用いることも可能である。

また、評価対象が情報処理装置１の出力処理部１２２を経て提示される実施例を説明したが、必ずしも出力処理部１２２を経由する必要はない。さらに、上述のように、評価対象の提示方法は、表示装置４上での提示に限られるものではない。評価対象は、他の外部機器を用いて表示装置４上に出力されることもでき、図示しないスピーカ等により音声出力されることもでき、実演によって提示されることもでき、様々な実施形態が可能である。

信頼性評価に用いる規定モデルの例としてシグモイド関数を示したが、他の様々な関数を用いることが可能である。また、動作データを意識的動作データと無意識的動作データとに分離して信頼値を求める手法を例示したが、動作データを分離せずに、属性に応じた信頼値を求めることもできる。

さらに、学習データが学習ＤＢ内にあるか否かの判定をして更新を行う学習例を挙げて説明したが、学習方法は、システム管理者が適切に設定することができる。

その他、動作データおよび属性データの種類やその取得手段、信頼値算出の方法、ならびに一連の処理手順および処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…情報処理装置、２…被験者情報検出機器、３…被験者、４…表示装置、５…オペレータ端末、１１…入出力インタフェースユニット、１２…処理ユニット、１３…記憶ユニット、２１…動作情報検出部、２２…属性情報検出部、２３…出力部、１２１…評価対象取得部、１２２…出力処理部、１２３…データ取得部、１２４…正規化部、１２５…信頼値算出部、１２６…評価値算出部、１２７…学習部、１３１…データ記憶部、１３２…信頼性評価データベース、１３３…学習データベース、１３４…出力データ記憶部、２１１…動き情報検出部、２１２…生体情報検出部。

Claims (7)

1. 評価対象に対する被験者の反応に基づいて前記評価対象の評価を行う評価装置であって、
   前記評価対象に対する前記被験者の反応を表す動作データを取得する第１の取得部と、
   前記被験者の属性を表す属性データを取得する第２の取得部と、
   前記属性データに基づいて、前記動作データの信頼の度合いを表す信頼値を算出する信頼値算出部と、
   前記動作データと前記信頼値とに基づいて前記評価対象に対する評価値を算出する評価値算出部と
   を具備する評価装置。
2. 前記評価対象に対する評価値を、前記評価値算出部により算出された前記評価値に基づいて学習する学習部と、
   学習対象となる学習データと前記学習データに対する学習評価値とを関連付けて格納する学習データベースと
   をさらに具備し、
   前記学習部は、
   前記評価対象が前記学習データベースに前記学習データとして格納されているか否かを判定する判定部と、
   前記評価対象が前記学習データベースに前記学習データとして格納されていないと判定された場合、前記評価対象を前記学習データとし、かつ前記評価値算出部により算出された前記評価対象に対する評価値を前記学習評価値として、前記学習データベースに格納する第１の処理部と、
   前記評価対象が前記学習データベースに前記学習データとして格納されていると判定された場合、当該学習データに関連付けられている前記学習評価値を、前記算出された前記評価対象に対する評価値により変更する第２の処理部と
   を備える、請求項１に記載の評価装置。
3. 前記第１の取得部は、
   前記評価対象に対する前記被験者の反応を表す生体データおよび動きデータの少なくとも一つを、あらかじめ定められた期間にわたって収集する収集部と、
   前記収集された生体データおよび動きデータの少なくとも一つに対し正規化処理を行い、正規化処理されたデータを前記動作データとする正規化処理部と
   を備える、請求項１又は２に記載の評価装置。
4. 前記信頼値算出部は、
   前記動作データを、前記被験者の意識的な反応を表す意識的動作データと、前記被験者の無意識な反応を表す無意識的動作データとに分離する分離部と、
   前記意識的動作データの信頼値と、前記無意識的動作データの信頼値とを算出する算出処理部と
   を備え、
   前記評価値算出部は、前記意識的動作データに前記算出処理部により算出された前記意識的動作データの信頼値を乗じて得られた値と、前記無意識的動作データに前記算出処理部により算出された前記無意識的動作データの信頼値を乗じて得られた値とを合成することにより、前記評価値を算出する、
   請求項１又は２に記載の評価装置。
5. 前記算出処理部は、前記被験者の属性を示す値をｘ、前記被験者の属性の種類ごとにあらかじめ定められた値をα、βとするとき、前記意識的動作データの信頼値を
   ｆ（ｘ）＝１／（１＋ｅｘｐ（−αｘ＋β））
   により算出し、前記無意識的動作データの信頼値を１−ｆ（ｘ）により算出する、
   請求項４に記載の評価装置。
6. プロセッサと記憶部とを備える評価装置が、評価対象に対する被験者の反応に基づいて前記評価対象の評価を行う評価方法であって、
   前記評価装置が、前記評価対象に対する前記被験者の反応を表す動作データを取得する第１の取得過程と、
   前記評価装置が、前記被験者の属性を表す属性データを取得する第２の取得過程と、
   前記評価装置が、前記属性データに基づいて、前記動作データの信頼の度合いを表す信頼値を算出する信頼値算出過程と、
   前記評価装置が、前記動作データと前記信頼値とに基づいて前記評価対象に対する評価値を算出する評価値算出過程と
   を具備する評価方法。
7. 請求項１乃至請求項５の何れかに記載の評価装置の各手段をプロセッサに実行させるプログラム。