JP2010094493A - 視認情景に対する視認者情感判定装置 - Google Patents

Abstract

【課題】視認者の生理反応をより正確に把握する。
【解決手段】視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化とそれに伴う加速度を算出する解析部１０２と、興味の低い対象物を見ている場合の生理反応データの変化とそれに伴う加速度を含む情報を平常値Ｈとして蓄積し、興味の高い対象物を見ている場合の生理反応データの変化とそれに伴う加速度を含む情報を感動値Ｋとして蓄積し、解析部１０２によって算出された生理反応データの変化とそれに伴う加速度を含む情報を解析値Ａとして蓄積する蓄積部１０３と、解析値Ａを、平常値Ｈあるいは感動値Ｋと比較する。一方、視認者の顔の各部の変化を算出することによる顔解析手法により、視認者の特定の対象物に対する感情を改正し、情動と感票を合わせて診断する診断部１０４とを備えていることを特徴とする視認情景に対する視認者情感判定装置。
【選択図】図２

Description

本発明は、視認情景に対する視認者情感判定装置に関し、特に、視認情景を視認した際の視認者の生理反応の変化を解析し、対象物及び視認者自身の能力を評価する技術に関する。

従来、テレビ番組などの映像コンテンツを評価するために、視聴率を測定することが行われている。しかしながら、視聴率だけでは、テレビチャンネルを合わせたとしても、視認者が実際に視聴したかどうか分からず、加えて、信頼性を向上させるためには莫大な視認者数が必要とされる、などの問題があった。そこで、視認者の眼球運動を撮像し、得られたデータから映像コンテンツの評価を行う技術が開示されている。

特開２００４−２８２４７１号公報

上記、特許文献に記載の技術では、眼球運動を撮像することにより得られたデータとして、視線の動き、瞳孔面積、瞬目発生頻度などを用いて、映像コンテンツについて興味の度合いを判定し、映像コンテンツの評価を行っている。これにより、少ない被験者数で、従来テレビ放送で行われていた視聴率を指標とする評価手法よりも、信頼性のある高次な評価を実現している。

しかしながら、上記特許文献に記載の技術のように、眼球運動の映像より得られた、視線の動き、瞳孔面積、瞬目発生頻度などのデータだけでは、視認者の生理反応を正確に把握することが困難であった。すなわち、上記特許文献に記載の技術では、瞬目発生頻度が減少した場合、対象物に興味があると判定し、眼球中心の位置や瞳孔面積から、視認者の情動の変化を解析しているが、これらは、対象物に対する視認者の興味の有無を単純に判定しているに過ぎず、より細かな視認者の情感（情動と感情の）を判定をしているわけではない。

また、上記特許文献に記載の技術は、テレビ番組などの映像コンテンツに対する興味の評価を行っており、その他の場面に適用することは想定されていない。

そこで、前記課題を解決するため、本発明の目的は、視認者の生理反応をより正確にきめ細かに把握し、様々な状況において、対象物及び視認者自身の能力をより正確にきめ細かに評価する、視認情景（聴覚、味覚、触覚、臭覚の刺激を含む）に対する視認者情感判定装置を提供することにある。

前記課題を解決するため、請求項１の発明は、特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する情感を診断する、視認情景に対する視認者情感判定装置において、前記視認者の視認映像及び前記視認者の顔の映像、眼球運動映像を受信する受信部と、前記視認者の顔映像により、前記視認者の顔の各部の変化を算出し、また、前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の生理反応データの変化とそれに伴う速度と加速度を算出する解析部と、前記視認者の顔の各部の平常時の位置（平常感情値）と前記視認者が興味の低く注目しない対象物を見ている場合の生理反応データの変化とそれに伴う速度と加速度を含む情報を平常情動値として蓄積し、前記視認者の怒り、恐怖、嫌悪、幸福（喜び）、悲しみ、驚きなどの視認者の情感の高い時の変化値を高感情値とし、また、前記視認者が興味が高く注目する対象物を見ている場合の生理反応データの変化とそれに伴う速度と加速度を含む情報を高情動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化とそれに伴う速度と加速度を含む情報を解析値として蓄積する蓄積部と、前記解析値を平常感情値および平常情動値（双方あわせて平常値と呼ぶ）あるいは前記高感情値および前記高情動値（双方あわせて感動値と呼ぶ）と比較することにより、前記視認者の前記特定の対象物に対する情感および視認者自身の反応能力を診断する診断部と
必要により、身体温度測定機能を備え、身体の平常温度とエキサイト時での身体の温度測定による興奮度を診断する部分
とを備えたことを特徴とする視認情景に対する視認者情感判定装置を備えたことを特徴とする。

請求項目１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合を含む。
さらに、聴覚、味覚、触覚、臭覚の刺激を受ける場合も同様の反応を示すので、これらの刺激（５感）に対する瞳孔径および視点の動きと顔の各部位の動きを解析して対象物への同様の情感判定行うことを備えたことを特徴とする。

前記「平常情動値」と「高情動値」は誰でも「平常情動値」と「高情動値」を示す基本映像を視認することにより計測し、「平常感情値」、「高感情値」は顔の動きの「平常時」の顔の各部の位置（平常感情値）と「怒り」、「恐怖」、「嫌悪」、「幸福（喜び）」、「悲しみ」、「驚き」を示す最大の表情を演じてもらい、そのときの顔の各部の動きの変位値をもって「怒り度」、「恐怖度」、「嫌悪度］、「幸福（喜び）度」、「悲しみ度」、「驚き度」の高感情値として計測することを備えたことを特徴とする。

また、請求項２の発明は、請求項１に記載の視認情景に対する視認者情感判定装置において、前記生理反応データの変化とそれに伴う速度と加速度は、前記視認者の視点が前記特定の対象物に接近する際の接近速度および加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱速度および加速度であり、前記診断部は、前記接近速度および加速度が大きいほど前記特定の対象物に興味があり、前記接近速度および加速度が小さいほど前記特定の対象物に興味がないと診断し、前記離脱速度および加速度が大きいほど前記特定の対象物に興味がなく、前記離脱速度および加速度が小さいほど前記特定の対象物に興味があると診断することを特徴とする。
なお、視認対象は、対象物の中のある部分（たとえば商品の場合、商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等）でも良い。

また、請求項３の発明は、請求項２に記載の視認情景に対する視認者情感判定装置において、前記解析部は、前記視認者の頭に装着されたカメラにより撮影された視認映像内の静止物の位置を基点として、視認映像内の静止物の位置の変化から計算して、前記視認者の頭の移動距離、移動速度及び移動加速度を算出し、視認映像内の視点の位置の変化を加算して、前記頭の動きを含む、前記特定の対象物に対する視点の接近速度および加速度あるいは離脱速度および加速度を算出することを特徴とする。
前記視認者の頭の移動方向と距離、移動速度及び移動加速度の算出には、ジャヤイロスコープによる測定方法等、既存の方法を利用しても良い。

また、請求項４の発明は、請求項１に記載の視認情景に対する視認者情感判定装置において、前記生理反応データの変化に伴う速度および加速度は、前記視認者の瞳孔径の拡大速度および加速度、あるいは、前記視認者の瞳孔径の縮小速度および加速度であり、前記診断部は、前記瞳孔径が大きく、かつその拡大速度および加速度が大きいほど前記特定の対象物に興味があると診断し、瞳孔径が小さく、かつ、前記縮小速度および加速度が大きいほど前記特定の対象物に興味がないと診断することを特徴とする。

請求項５の発明は請求項１に記載の視認情景に対する視認者の情感判定装置において、前記視認者の顔映像の各部位（鼻、目、口、眉等）の動きを計測し、その変化量を測定して、変化した各部位の大きさにより、視認者の表情による感情の大きさを判定することを特徴とする。
この判定と請求項１から４までの視認対象への視認時の眼球運動による興味・関心度による情動の大きさを合わせて、視認対象物に対する視認者の情感を判定することを特徴とする。
感情（Ｆｅｅｌｉｎｇ：Ｆ）の基本６要素である「幸福（喜び）＝Ｈａｐｐｉｎｅｓｓ（Ｊｏｙ）」、「悲しみ＝Ｓａｄｎｅｓｓ」、「怒り＝Ａｎｇｅｒ」、「恐怖＝Ｆｅａｒ」、「嫌悪＝Ｄｉｓｇｕｓｔ（Ｄｉｓｌｉｋｅ）」、「驚き＝Ｓｕｒｐｒｉｓｅ」の度合いを
「幸福（喜び）度」＝ＨＡ
「悲しみ度」＝ＳＡ
「怒り度」＝ＡＮ
「恐怖度」＝ＦＥ
「嫌悪度」＝ＤＩ
「驚き度」＝ＳＵ
と定義し、
情動（＝Ｅｍｏｔｉｏｎ（Ｅ））と感情（＝Ｆｅｅｌｉｎｇ（Ｆ）６要素）の大きさを合わせてＥＦ値と定義する。ＥＦ値とその一般的判定の代表例を表１に示すが、すべてにおいて、視認者、視認対象、その時の状況により、判定内容は微妙に調整が必要である。

一般に情動値（Ｅ）が低い場合は対象に対して退屈か眠いか倦怠感がある。その場合、各感情値（Ｆ）の判定は不可能である。したがって消極的評価であると判定できる。
情動値（Ｅ）が平常の場合は、対象に特別な興味・関心は少なく注目も少ない。この場合は一般的に各感情（Ｆ）も大きくなることは少ない。したがって特に情感を正確に判定できるとはいえない。情動値（Ｅ）が高い場合で各感情が高い場合、幸福感（ＨＡ）が高いと積極的、効果的と判定できる。しかし、悲しさ（ＳＡ）の表情があると、対象に対して非積極的と判定できる。
また、怒り、恐怖、嫌悪感が表れたらマイナス反応であり、対象に対して注目しているが逆効果であるといえる。驚き感が表れたら驚いて注目（関心）しており、対象により異なるが、一般には効果的反応である。
また、視認対象が、たとえば映画などの、故意にそれぞれの感情を誘う内容の場合、感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）、悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が狙いどおりに高い場合は意図どおりの反応をしていることになり効果的と判定できる。
以下、各対象により、具体的な判定方法を述べる。

請求項６の発明は、請求項１に記載の視認情景に対する視認者情感判定装置において、
請求項目１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合と、音声だけを聞いているとき、匂いをかいでいるとき、体のある部分が対象物と接触しているとき、食べているときの味覚を感じているとき、またはそれらの複数の刺激があったときの視認者の瞳孔径および視点の動きと顔の各部位の動きを解析して、それらの刺激物を対象にした情感判定をすることを特徴とする。
特に、これら前記の刺激に対して、情動値（Ｅ）が低いと、その刺激に対して反応がないと判定できる。また、情動値（Ｅ）が高い場合、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高い場合は、その刺激は快適と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は一般的にその刺激は視認者にとって快適でないと判定できる。
注目していて、驚き（ＳＵ）が高い場合は状況によるが、一般に意外性を感じていると判定できる。

請求項７の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、商品であり、前記診断部は、前記視認者の前記商品に対する購買意欲を診断することを特徴とする。
情動値（Ｅ）が低い（関心がない）場合は明らかに購買につながらないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで購買意欲が高いとはいえない。
ただし、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）が高い場合は購買に積極的と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は一般的に購買に消極的と判定できる。

また、請求項８の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、学習対象（講演会、読書、教師の動き、教材等）であり、前記診断部は、前記視認者の前記学習対象に対する学習意欲を診断することを特徴とする。
情動値（Ｅ）が低い（関心がない）場合は明らかに関心がなく「退屈している」と判定できる。
しかし、情動値（Ｅ）が高く（注目している）場合は学習意欲が高いといえる。
一般的に学習の内容がそれぞれの感情を誘う内容の場合、感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）、悲しみ（ＳＡ）、怒り（ＡＮ）、恐怖（ＦＥ）、嫌悪（ＤＩ）が狙い通りに高い場合はその学習は良いと判定できる。ただし、問題に取り組んでいる場合、悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は何か戸惑っており、この学習に問題あり、と判定できる。

請求項９の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記特定の対象物は、テレビ、映画等の映像コンテンツであり、
前記視認者は、前記映像コンテンツ視認者である。
映像コンテンツ製作者が、視聴者に期待する映像コンテンツの各場面の、興味・関心による注目度、および各基本感情の幸福（喜び）度、驚き度、悲しみ度、怒り度，恐怖度、嫌悪感度および興奮度のレベルを、コンテンツソフトプログラムの時間軸上に設定しておき、前記映像コンテンツ映写時に、視聴者の注目度および幸福（喜び）度（ＨＡ）、驚き度（ＳＵ）、悲しみ度（ＳＡ）、怒り度（ＡＮ）、恐怖度（ＦＥ）、嫌悪感度（ＤＩ）および興奮度が、映像コンテンツ製作者の期待したレベルにどの程度達しているかを診断し、映像コンテンツの評価をすることを特徴とする。
なお、対象コンテンツには映像と同時に音を含むが、映像なしで音だけの場合もありうる。
最も有効な利用方法は製作映画の事前評価、ＣＭの視聴者反応評価である。

請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記特定の対象物は、テレビ、映画等の映像コンテンツであり、
前記視認者は、前記映像コンテンツ視認者である。
映像コンテンツの特定の場面または静止画において、複数の視認者の瞳孔径による注目点の分布を表示し、コンテンツ制作者の訴求点と比較して、コンテンツの訴求レベルを判定することを特徴とする。

また、請求項１１の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記受信部は、２つのテレビ電話から、それぞれの通話者の顔と前記視認映像及び前記眼球運動映像を受信し、前記診断部は、一方の通話者から他方の通話者に対する情感をそれぞれ診断し、さらに、一方の通話者から他方の通話者に対する情感の診断結果を他方の通話者のテレビ電話または診断センター等の仲介者に送信する送信部を備えていることを特徴とする。
情動値（Ｅ）が低い（関心がない）場合は明らかに相手に関心がなく、相性がないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで相性が良いとはいえない。
ただし、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ相性が良いと判定できる。
驚き（ＳＵ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、話しの内容による反応の場合は相槌の意味で相性は良いと判定できる。しかし、話しの内容と無関係で、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は相性が良いとする判定はできない。

また、請求項１２の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、言葉を話すことが困難な人、あるいは、動物であり、彼らの視認対象は彼らの視認するものすべて（５感を含む）であり、彼らの視認対象への情感を判定することを特徴とする。
視認者が人間（たとえば、赤ん坊、認知症者）の場合、情動値（Ｅ）が低い（関心がない）場合は明らかに視認対象に関心がないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで相性が良いとはいえない。
情動値（Ｅ）に関係なく、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ状況がよいと判定できる。また、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は不満があると判定できる。
視認者が動物の場合、情動値（Ｅ）が低い場合は明らかに視認対象に関心がないと判定できる。
逆に情動値（Ｅ）が高い場合は視認対象に関心があると判定できる。

また、請求項１３の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、本発明の視認者情感判定装置をロボットに組み込み、前記視認者は、情感を持つ人間であり、動物であり、視認対象は視認者の視認するすべて（５感を含む）である。
ロボット内の前記診断部から入力された視認者の診断結果に基づいて、前記ロボットが適切な言動をおよび動作を選択する選択部を備えていることを特徴とする。
たとえば、視認者の情動値（Ｅ）が低い（関心がない）場合は明らかに視認者の視認対象に関心がないと判定し、ロボットは関心のあるものに誘導する言動、動作をする。
視認者の感情の怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合、ロボットは適切な慰めの言葉を発したり、視認対象を変更するなどの対処をすることになる。

また、請求項１４の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、犯罪容疑者であり、前記特定の対象物は、犯罪現場、犯罪用具、共犯者または被害者であることを特徴とする。
視認者の情動値（Ｅ）が低い（注目していない）場合、視認対象に犯罪容疑者にとって関連がないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで疑いがあるとはいえない。
この場合、一般的に情動値（Ｅ）が高く、感情値（Ｆ）の幸福（喜び）度（ＨＡ）、驚き（ＳＵ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は犯罪容疑者にとってなんらか関連があると判定できる。

また、請求項１５の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、自動車または飛行機等の交通機関の運転者であり、さらに、前記診断部から入力した診断結果を用い、危険運転状態であると診断でき、、前記視認者に警告またはブレーキ等の適切な操作補助を行う機能をを備えていることを特徴とする。
視認者（運転者）の情動値（Ｅ）が低い場合は明らか不注意状態か居眠り状態に近いと判定できるので危険運転状態と言える。
しかし、情動値が高く（注目している）ても、必ずしも運転良好とはいえない。
常に視線が前をキープしており、
さらに、感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ状況がよいと判定できる。
また、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、車内の会話に影響されている場合以外に、運転時になんらかの問題があると判定できる。

また、請求項１６の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、労働者であり、視認対象は機会の操作シミュレータまたは実機械であり、前記解析部は、前記視認者の応答装置の動作による応答データを用いて、応答遅延時間及び操作方法を解析し、前記診断部は、前記視認者の熟練度あるいは適正度を診断することを特徴とする。
視認者の情動値（Ｅ）が低い場合は明らかに不注意状態か居眠りに近い状態と判定できる。
しかし、情動値が高く（注目している）ても、必ずしも操作良好とはいえない。
常に視線が操作対象をキープしており、
さらに、感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ状況がよいと判定できる。
また、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、操作時になんらかの問題があると判定できる。たとえば、労働パートナーの操作への怒り等。

また、請求項１７の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は就業前の労働者であり、視認対象は危険箇所のある操作映像のコンテンツまたはシミュレータであり、前記診断部は、前記視認者の体調を診断して、就業への適性を判定することを特徴とする。
視認者の情動値（Ｅ）が低い場合は、明らかに不注意状態か居眠りに近い状態と判定できる。たとえば、他のことに気を取られている等。
しかし、情動値が高く（注目している）ても、必ずしも体調良好とはいえない。
常に、視線が視野対象のコンテンツをキープしており、
さらに、感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ状況がよいと判定できる。
また、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、その時に（家庭、友人等に）なんらかの問題があると判定できる。

また、請求項１８の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、運動選手であり、前記特定の対象物は、運動選手が運動する時に見る対象（野球のバッターなら投手の動きとボールの球筋、テニス選手なら相手の選手の動作とボールの球筋等）であり、前記診断部は、前記視認者の調子、熟練度あるいは適正度を診断することを特徴とする。
注目すべき対象に視線が行ってなく、視認者の情動値（Ｅ）が低い（注目していない）場合は明らかに未熟と判定できる。
しかし、注目すべき対象に視線が行って、情動値が高く（注目している）ても、必ずしも調子が良いと言えないが、感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ状況がよいと判定できる。
また、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は（たとえば審判に不満等）、その時になんらかの感情的問題があると判定できる。

また、請求項１９の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、ゲームプレイヤーであり、前記診断部は、興味・関心と前記視認者の身体温度データにより、前記視認者の興奮度を診断することを特徴とする。

また、請求項２０の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、空間の中に配列されている物であり、前記診断部は、前記視認者から見た前記特定の対象物の適切性を診断することを特徴とする。
視認者の情動値（Ｅ）が低い（関心がない）場合は明らかにその場の棚および棚にあるものが注目されないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで購買意欲が高いとはいえない。
ただし、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）が高い場合は好意的と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、一般的に不満につながる要素があると判定できる。

請求項２１の発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、視認対象は客に応対する店員、受付者等であり、店員、受付者の応対において、視認者の情感を診断して、店員、受付者等の応対の良し悪しを判定することを特徴とする。
視認者の情動値（Ｅ）が低い（関心がない）場合は明らかに相手に特別に問題はなく、平常の応対をしているものと判定できる。
視認者の情動値が高い（興味を引いている）場合、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ応対が良いと判定できる。
ただし、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、会話内容にへの同調反応を除き、相手が好ましい応対ではないと判定できる。

請求項２２の発明は、求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、
視認対象は放送、ネットワークまたは映像蓄積装置に接続したＴＶディスプレイ上のコンテンツであり、テレビ視聴時の視認者の興味・関心の高いコンテンツの分野を視認者の情感の解析により判定し、視認者のテレビ等視聴時に、視認者の興味・関心度の高いコンテンツを推薦することを特徴とする視認情景に対する視認者情感判定装置。

請求項２３発明は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において
前記視認者は、一般のテレビ視聴者であり、視認対象はネットワークまたは電波を経由して受信するテレビ受信機（映像コンテンツ受信機）である。番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後でネットワークを通して、その品物の情報を電子メールにて配信されてくるシステムで、その後の視認者の意思の下で、商品の購入、人物への連絡ができることを特徴とする。
ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心度）が高くても、感情度において嫌悪感度と怒り度が高いものは自動的に除く。

以上のように、本発明によれば、生理反応データの変化とそれに伴う速度および加速度と、顔の各部位の変化による顔の表情解析を組み合わせて、対象物及び視認者自身の能力を評価する。これにより、視認者の生理反応をより正確に把握し、様々な状況において、対象物及び視認者自身の能力をより正確に評価することができる。

本発明の実施形態による視認者情感判定システムの構成を示すブロック図である。 本発明の実施形態による視認者情感判定装置の構成を示すブロック図である。 本発明の実施形態による視点の位置を算出することを説明する図である。 本発明の実施形態による視認者の頭の動きと視認映像の関係を説明するための図である。 本発明の実施形態による視認映像を解析する際の座標軸の一例である。 本発明の実施形態による水平方向に視認者の頭が動いた場合の頭の移動を説明する図である。 本発明の実施形態によるフレーム画面Ｆ_０から次のフレーム画面Ｆ_０＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。 本発明の実施形態による視認映像の中の視点の移動を示す図である。 本発明の実施形態によるフレーム画面Ｆ_０からフレーム画面Ｆ_０＋１に移動した際の視点の移動を示す図である。 本発明の実施形態による視認映像における対象物と視点の位置関係を示す図である。 本発明の実施形態による接近速度、接近加速度、離脱速度及び離脱加速度の算出方法を示すフローチャートである。 本発明の実施形態による視点追尾時間の算出方法を示すフローチャートである。 本発明の情感判定判定用の顔解析手法による顔の部位計測の図 映像コンテンツ作者の期待感情反応度設定図例 映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度結果例 特定映像コンテンツでの視認者の平均注目度分布（最低瞳孔径を０、最大瞳孔径を１００とする） 特定映像コンテンツでの視認者の平均注目度集中度（％） 本発明の実施形態による、相性診断に用いる視認者情感判定システムの構成を示すブロック図である。 本発明の実施形態による、相性診断に用いる視認者情感判定装置の構成を示すブロック図である。 本発明の実施形態による、ロボットの応対診断に用いる視認者情感判定装置の構成を示すブロック図である。 本発明の実施形態による、ドライバー眠気感知診断に用いる視認者情感判定装置の構成を示すブロック図である。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔視認者情感判定システム〕
まず、視認者情感判定システムの構成、及び各構成部の処理について説明する。図１は、本発明の実施形態による視認者情感判定システムの構成を示すブロック図である。この視認者情感判定システムは、アイカメラ３、送信装置７、蓄積装置８、視認者の顔を含む身体動作撮影装置９、身体温度測定装置１０、応答装置１４及び視認者情感判定装置１００を備えている。

まず、視認者１は、アイカメラ３を頭部に装備し、対象物２を含む視認情景に視線を向ける。ここで、視認情景とは、視認者１が視認可能な情景であれば何でもよく、例えば、商店、広場、人間、町並の他、コンピュータ、携帯電話、テレビジョンなどのディスプレイに表示される映像データ、ウェブページデータ、コンピュータゲームデータ、コンピュータプログラムの出力するデータなども含まれる。ディスプレイ上に表示される上記のデータには、文字列、図、記号、絵、写真または動画など、視認者１を反応させるための応答喚起情報が表示され、文字列、図、記号、絵、写真または動画など、視認者１が反応する対象となる反応対象情報が含まれる。

アイカメラ３は、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備えている。なお、図１では、アイカメラ３は、蓄積装置８及び送信装置７に接続されており、視認者１は、蓄積装置８及び送信装置７も身に付けている。
また、視認対象がコンピュータ、携帯電話、テレビジョンなどのディスプレイの場合、アイカメラを頭に装着せず、ディスプレイの側に、眼球撮影装置、マイクロフォンを設置してもよい。

眼球撮影装置４は、視認者１の眼球を撮影する。眼球撮影装置４が撮影した眼球運動映像ｂは、蓄積装置８に蓄積される。なお、眼球運動映像ｂは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。

視認情景撮影装置５は、視認者１が視線を向けている対象物２を含む視認情景を撮影する。視認情景撮影装置５が撮影した視認映像ａは、蓄積装置８に蓄積される。なお、視認映像ａは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。

さらに、視認映像ａには、視認映像ａにおける照度データが含まれていてもよい。視認者１の目における照度の変化が瞳孔径に影響を与えるので、視認映像ａに照度データを含めることにより、後述する視認者情感判定装置１００における解析部１０２で照度による瞳孔径の変動を補正する。

マイクロフォン６は、視認者１及び周囲の音声を捕捉する。マイクロフォン６が捕捉した音声データｃは、蓄積装置８に蓄積される。

応答装置１４は、視認者１の動作により応答信号を取得する。視認者１の動作としては、例えば、ボタン押し操作、キーボード操作、マウス操作、タッチパネル操作、リモコン操作、ゲーム機器付属コントローラの操作、機械の操作などの他、手を上げる、発声するなど、その他のボディアクションが挙げられる。応答装置１４が取得した応答データｄは、蓄積装置８に蓄積される。

蓄積装置８は、視認情景撮影装置５からの視認映像ａ、眼球撮影装置４からの眼球運動映像ｂ、マイクロフォン６からの音声データｃ、及び応答装置１４からの応答データｄを、視認者の顔の映像を含む視認者身体動作映像ｅをそれぞれ同期したデータとして時系列に蓄積する。

送信装置７は、蓄積装置８が蓄積した視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄ、視認者の顔の映像を含む視認者動作映像ｅを、無線または有線によって、視認者情感判定装置１００へ送信する。このとき、送信装置７は、所定の時間間隔で、各データを視認者情感判定装置１００へ送信してもよく、視認者情感判定装置１００からの指示に従って、各データを視認者情感判定装置１００へ送信してもよい。

身体動作撮影装置９は、視認者１の顔を含む身体の各部の動作を撮影する。また、身体動作撮影装置９は、無線または有線によって、撮影した身体動作映像ｅを視認者情感判定装置１００へ送信する。
なお、この場合、視認者の顔だけを撮影する顔撮影装置を別に用意してもよく、たとえば帽子型のアイカメラの帽子の前さし先端に装着して顔を撮影することもできる。

身体温度測定装置１０は、視認者１の身体の温度を測定する。また、身体温度測定装置１０は、無線または有線によって、身体温度データｆを視認者情感判定装置１００へ送信する。なお、図１では、視認者１の身体の温度を身体温度測定装置１０によって遠隔から測定しているが、視認者１に装着したセンサーにより直接測定しても構わない。この場合、測定した身体温度データｆは、蓄積装置８に蓄積され、送信装置７によって視認者情感判定装置１００へ送信される。

ここで、眼球撮影装置４、視認情景撮影装置５及び身体動作撮影装置９における映像フレームの撮影周波数は、２４０Ｈｚ以上と高速なものが適切である。また、これらの映像フレームの撮影周波数は同一であることが望ましい。

なお、図１では、アイカメラ３及び応答装置１４は、蓄積装置８に接続されており、有線によって、各データを蓄積装置８に送信しているが、無線によって、各データを蓄積装置８に送信しても構わない。さらに、無線による場合、視認情景撮影装置５、眼球撮影装置４、マイクロフォン６及び応答装置１４は、各データを直接、視認者情感判定装置１００へ送信しても構わない。

〔視認者情感判定装置〕
次に、図１に示す視認者情感判定装置１００の構成、及び各構成部の処理について説明する。図２は、本発明の実施形態による視認者情感判定装置１００の構成を示すブロック図である。この視認者情感判定装置１００は、受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５を備えている。

〔受信部〕
受信部１０１は、送信装置７から、視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄを受信する。また、受信部１０１は、身体動作撮影装置９から身体動作映像ｅを受信する。さらに、受信部１０１は、身体温度測定装置１０から身体温度データｆを受信する。そして、受信部１０１は、受信した全データを同期させ、所定の時間間隔で、あるいは、解析部１０２からの指示によって各データを解析部１０２へ出力する。受信したデータを同期させるためには、各データに時計の時刻を同期信号として含ませる方法と、視認者情感判定装置１００から同期信号を送信装置７、身体動作撮影装置９及び身体温度測定装置１０へ送り、送信装置７からの視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄ、身体動作撮影装置９からの身体動作映像ｅ、身体温度測定装置１０からの身体温度データｆに同期信号データとして含ませる方法とがある。これにより、全データを同期させて処理することができる。

〔解析部〕
解析部１０２は、所定の時間間隔で、あるいは、受信部１０１へ指示することによって、受信部１０１から視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ及び身体温度データｆを取得する。そして、解析部１０２は、各データａ〜ｆに同期信号データを付し、蓄積部１０３へ蓄積する。また、解析部１０２は、必要に応じて、蓄積部１０３に蓄積した各データａ〜ｆを読み出し、読み出した各データａ〜ｆを解析のために用いる。また、解析部１０２は、視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化とそれに伴う加速度を算出する。詳細については後述する。

図３は、視認映像ａと眼球運動映像ｂとを用いて、視点の位置を算出することを説明する図である。解析部１０２は、図３に示すように、眼球運動映像ｂから視線を求め、この視線と視認映像ａとを合わせることにより、視点の位置を算出する。ここで、視線の算出方法は、様々なものがある。例えば、角膜反射法と呼ばれる、眼球へ点光源の近赤外線を照射し、角膜表面における反射像（以下、プルキニエ像という。）を利用する方法がある。角膜反射法による視線の測定方法は、２種類に大別され、瞳孔中心とプルキニエ像との距離から視線を求める方法と、プルキニエ像から得られる角膜曲率中心と瞳孔中心を結ぶ線を仮想視線とし、誤差補正を行って視線を求める方法とがある。

図４は、視認者１の頭（顔の動きを含む）の動きと視認映像ａの関係を説明するための図である。解析部１０２は、図４に示すように、視認映像ａによって、視認者１の頭の動きを計測する。視認情景撮影装置５の撮影時におけるフレーム周波数をＳ（／秒）とするとフレーム間隔Ｆは、Ｆ＝１／Ｓ（秒）となる。図４において、頭の動きについては、視認者１が頭に装着する視認情景撮影装置５が撮影した視認映像ａだけでも、その動きを計測できる。ただし、視認映像ａを基本にした計測であるため、２次元となる。ここで、視認映像ａの視野角（横θｈ、縦θｖ）は視認情景撮影装置５によって、予め設定されている。また、解析部１０２は、身体動作映像ｅを用いて、頭の動きを計測することもできる。または、画像処理によって身体動作映像ｅから頭を特定し、その頭を追跡することにより、頭の動きを計測する。全く異なる技術として視認情景撮影装置５に装着したジャイロスコープを用いて頭の動きを計測することも可能である。

図５は、視認映像ａを解析する際の座標軸の一例である。また、図６は、水平方向に視認者１の頭が動いた場合の頭の移動を説明する図である。ここでは、視認者１の頭を中心に視野全体を球面にたとえて、頭の動きを水平方向ｈ、上下方向をｖで表している。図５に示す座標軸は、（ｈ、ｖ）ともに数字だけで表したり、ラジアン（ｒａｄ）または角度（°）で表したりしてもよい。例えば、一周をそれぞれ、１（−０．５〜＋０．５）、２πｒａｄ（−π〜＋π）、３６０°（−１８０°〜＋１８０°）で表してもよい。なお、図６においては、最初のフレーム画面をＦ_０として、１／Ｓ秒後の次のフレーム画面をＦ_０＋１として表している。

また、解析部１０２は、頭の移動距離、移動速度、移動加速度を算出する。図７は、フレーム画面Ｆ_０から次のフレーム画面Ｆ_０＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。視認映像ａを、左下端を原点とした座標（ｘ，ｙ）で表し、最初のフレーム画面Ｆ_０の中の動いていない物（静止物）“Ａ”の点を基点と決めて、その座標を（ｘ０，ｙ０）とする。ここで、静止物“Ａ”及びその点（座標）は、視認者情感判定装置１００を操作するオペレータが視認映像ａを見て指定することによって、決定するようにしてもよいし、予め設定された静止物“Ａ”の特徴を視認映像ａから捉え、自動的に決定するようにしてもよい。なお、静止物“Ａ”を特定して追跡する画像処理については既知の技術であるから、ここでは詳細な説明を省略する。１／Ｓ秒後の次のフレーム画面Ｆ_０＋１における静止物“Ａ”の位置（ｘ１，ｙ１）を測ることにより、解析部１０２は、以下のデータを算出する。
頭の水平移動距離：ｈ０＝−（ｘ１−ｘ０）
頭の垂直移動距離：ｖ０＝−（ｙ１−ｙ０）
（頭の移動は基点“Ａ”の動きとは逆になるので、負（−）の方向になる）
頭のＦ_０からＦ_０＋１までの移動距離：ｐｈｖ０＝（ｈ０^２＋ｖ０^２）^１／２
また、解析部１０２は、移動フレームを全部（ｎまで）合わせることにより、以下のデータを算出する。
全移動水平距離：ｐｈｎ＝Σｈ＝ｈ０＋ｈ１＋・・・・・＋ｈｎ
全移動垂直距離：ｐｖｎ＝Σｖ＝ｖ０＋ｖ１＋・・・・・＋ｖｎ
全体の移動距離：ｐｈｖｎ＝（ｐｈｎ^２＋ｐｖｎ^２）^１／２
ここで、０，１，２，・・・，ｎは最初のフレーム番号を０としたときのｎまでのフレーム番号である。また、解析部１０２は、フレーム画面Ｆ_０における頭の移動速度ｑｈｖ０を、ｑｈｖ０≒ｄ（ｐｈｖ）／ｄｔ≒（ｐｈｖ１−ｐｈｖ０）／（１／Ｓ）として算出する。また、解析部１０２は、フレーム画面Ｆ_０における頭の移動加速度ｋｈｖ０を、ｋｈｖ≒ｄ（ｑｈｖ）／（１／Ｓ）≒（ｑｈｖ１−ｑｈｖ０）／（１／Ｓ）として算出する。

また、頭の移動距離、移動速度、移動加速度を算出する方法としてはジャイロスコープ（単位は角速度：ラジアンまたは度）がある。
角速度を経過時間で積分して移動角度を算出する方法が一般的である。
Ｌフレーム時の頭の角移動速度はジャイロスコープでフレームＬ時点の移動速度（ｐｈｖ_Ｌ）を測定することで得られる。
フレームＬ時の頭の水平移動速度＝ｑｈ_Ｌ
フレームＬ時の頭の垂直移動速度＝ｑｖ_Ｌ
として

頭のＦ_０からＦ_Ｌまでの移動距離：ｐｈｖＬ＝（ｐｈＬ^２＋ｐｖＬ^２）^１／２
また、本解析方法は、映像のフレーム単位での解析のため、
解析部１０２は、移動フレームを全部合わせることにより、以下のデータを算出する。
全体の移動距離：ｐｈｖＬ＝（ｐｈＬ^２＋ｐｖＬ^２）^１／２
また、解析部１０２は、フレーム画面Ｆ_０時における頭の移動速度ｑｈｖ０を、
ｑｈｖ０≒（ｐｈｖ１−ｐｈｖ０）／（１／Ｓ）
として算出する。
また、解析部１０２は、フレーム画面Ｆ_０における頭の移動加速度ｋｈｖ０を、
ｋｈｖ≒ｄ（ｑｈｖ）／（１／Ｓ）≒（ｑｈｖ１−ｑｈｖ０）／（１／Ｓ）
として算出する。

また、解析部１０２は、視認映像ａの中の視点の動きを算出する。図８は、視認映像ａの中の視点Ｂの移動を示す図である。図８では、フレーム画面Ｆ_０における視認映像ａの中の視点の位置を（Ｈ０，Ｖ０）で表示する。また、次のフレーム画面Ｆ_０＋１における視点の位置を（Ｈ１，Ｖ１）で表示する。１／Ｓ秒後の次のフレーム画面Ｆ_０＋１における視点Ｂの位置（Ｈ１，Ｖ１）を測ることにより、解析部１０２は、視点の水平移動距離ｐＨ０を、ｐＨ０＝Ｈ１−Ｈ０として算出する。同様に、垂直移動距離ｐＶ０を、ｐＶ０＝Ｖ１−Ｖ０として算出する。また、視点のＦ_０からＦ_０＋１までの移動距離ｐＨＶ０を、ｐＨＶ０＝（ｐＨ０^２＋ｐＶ０^２）^１／２として算出する。また、移動フレームＦ_０からＦｎまでを全部あわせた水平移動距離ｐＨを、ｐＨ＝ΣｐＨ＝ｐＨ０＋ｐＨ１＋ｐＨ２＋・・・＋ｐＨｎとして算出する。同様に、垂直移動距離ｐＶを、ｐＶ＝ΣｐＶ＝ｐＶ０＋ｐＶ１＋ｐＶ２＋・・・＋ｐＶｎとして算出する。よって、Ｆ_０からＦｎまでの全体の移動距離ｐＨＶを、ｐＨＶ＝（ｐＨ^２＋ｐＶ^２）^１／２として算出する。また、フレーム画面Ｆ_０における視認映像ａの中での視点の水平速度ｑＨ０を、ｑＨ０≒ｄ（ｐＨ）／ｄｔ≒（ｐＨ１−ｐＨ０）／（１／Ｓ）として算出する。同様に、垂直速度ｑＶ０を、ｑＶ０≒ｄ（ｐＶ）／ｄｔ≒（ｐＶ１−ｐＶ０）／（１／Ｓ）として算出する。また、フレーム画面Ｆ_０における視点の移動速度ｑＨＶ０は、ｑＨＶ０＝（ｑＨ０^２＋ｑＶ０^２）^１／２として算出する。また、フレーム画面Ｆ_０における視認映像ａの中での視点の水平加速度ｋＨ０を、ｋＨ０≒ｄ（ｑＨ）／ｄｔ≒（ｑＨ１−ｑＨ０）／（１／Ｓ）として算出する。同様に、垂直加速度ｋＶ０を、ｋＶ０≒ｄ（ｑＶ）／ｄｔ≒（ｑＶ１−ｑＶ０）／（１／Ｓ）として算出する。また、フレーム画面Ｆ_０における視点の移動加速度ｋＨＶ０を、ｋＨＶ０＝（ｋＨ０^２＋ｋＶ０^２）^１／２として算出する。

また、解析部１０２は、頭の動きを含む視点の動きを算出する。図９は、フレームＦ_０からフレームＦ_０＋１に移動した際の視点の移動を示す図である。図９において、解析部１０２は、フレームＦ_０における頭と視点との水平移動距離を、Ｄｈ０＝ｐｈ０＋ｐＨ０として算出する。同様に、フレームＦ_０における頭と視点との垂直移動距離を、Ｄｖ０＝ｐｖ０＋ｐＶ０として算出する。したがって、Ｆ_０からＦ_０＋１までの頭と視点との移動距離Ｄ０は、Ｄ０＝（Ｄｈ０^２＋Ｄｖ０^２）^１／２として算出する。また、フレーム画面Ｆ_０からＦｎまでのトータルの頭と視点との全移動距離ＴＤを、ＴＤ＝Ｄ０＋Ｄ１＋・・・＋Ｄｎとして算出する。
また、フレームＦ_０における頭を含む視点の移動速度を以下のように算出する。
水平速度：Ｑｈ０＝ｑｈ０＋ｑＨ０
垂直速度：Ｑｖ０＝ｑｖ０＋ｑＶ０
したがって、フレームＦ_０における速度Ｑ０は、Ｑ０＝（Ｑｈ０^２＋Ｑｖ０^２）^１／２として算出する。同様に、フレームＦ_０における頭を含む視点の加速度を以下のように算出する。
水平加速度：Ｋｈ０＝ｋｈ０＋ｋＨ０
垂直加速度：Ｋｖ０＝ｋｖ０＋ＫＶ０
したがって、フレームＦ_０における頭を含む視点の加速度Ｋ０は、Ｋ０＝（Ｋｈ０^２＋Ｋｖ０^２）^１／２として算出する。

また、解析部１０２は、視認映像ａの中で対象物の移動も視点の移動と同様に算出する。

上記の情報を用いて、解析部１０２は、対象物に視点が追尾しているか否かを解析する。図１０は、視認映像ａにおける対象物と視点の位置関係を示す図である。図１０において、視認映像ａの中で、対象物Ｃの映像の中に視点Ｂが入っている場合は、視認者の視点はその対象物を追尾していると判定する。なお、対象物の輪郭の特定は、画像処理によって可能であり、既知の技術で対応可能であるため、ここでは詳細の説明は省略する。

また、解析部１０２は、視点Ｂの位置（Ｈ，Ｖ）と対象物Ｃの位置（Ｘ，Ｙ）の乖離距離、視点が対象物に接近する際の接近速度（Ｂｖ）及び接近加速度（Ｂｋ）、視点が対象物から離脱する際の離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）を算出する。なお、対象物Ｃが視認映像ａから外れたり、視点Ｂが対象物Ｃから離れて所定の時間経過したり等の所定の条件を満たす場合は、明らかに視点Ｂが対象物から離脱したと判定する。

図１１は、接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）の算出方法を示すフローチャートである。接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）、離脱加速度（Ｂｒ）の算出方法を、図１１を参照して説明する。まず、ステップ１０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。対象物が範囲内にあるか否かは、視点Ｂの位置（Ｈ，Ｖ）と対象物Ｃの位置（Ｘ，Ｙ）の乖離距離から求められる。まず、フレームＦ_０における水平乖離距離Ｚｈ０を、Ｚｈ０＝Ｘ０−Ｈ０として算出する。同様に、垂直乖離距離Ｗｖ０を、Ｗｖ０＝Ｙ０−Ｖ０として算出する。また、乖離距離Ｕ０を、Ｕ０＝（Ｘｈ０^２＋Ｗｖ０^２）^１／２として算出する。フレームＦ_０における乖離距離をＵ０、フレームＦ_０＋１における乖離距離をＵ１とする。

ア．視点Ｂの位置（Ｈ，Ｖ）が対象物Ｃの位置（Ｘ，Ｙ）の範囲内に含まれない場合（ステップ１０１：Ｎ）、すなわち、視点Ｂが対象物Ｃの外部に存在する場合、以下のＡ〜Ｃの処理を行う。
Ａ．ステップ１０３において、Ｕ１−Ｕ０＜０のとき、視点Ｂは対象物Ｃに接近中であると判定し、ステップ１０４へ進み、接近速度および加速度を算出する。フレームＦ_０において、視点Ｂの対象物Ｃへの接近速度（Ｂｖ）は、以下のようになる。
Ｂｖ０＝（Ｕ１−Ｕ０）／（１／Ｓ）
また、視点Ｂの対象物Ｃへの接近加速度（Ｂｋ）は、以下のようになる。
Ｂｋ０＝（Ｂｖ１−Ｂｖ０）／（１／Ｓ）
そして、ステップ１０１の処理へ戻る。
Ｂ．ステップ１０３において、Ｕ１−Ｕ０＞０のとき、視点Ｂは対象物Ｃから離脱中であると判定し、ステップ１０５へ進み、離脱速度および加速度を算出する。フレームＦ_０において、視点Ｂの対象物Ｃからの離脱速度（Ｂｓ）は、以下のようになる。
Ｂｓ０＝（Ｕ１−Ｕ０）／（１／Ｓ）
また、視点Ｂの対象物Ｃからの離脱加速度（Ｂｒ）は、以下のようになる。
Ｂｒ０＝（Ｂｓ１−Ｂｓ０）／（１／Ｓ）
そして、ステップ１０１の処理へ戻る。
Ｃ．なお、ステップ１０３において、Ｕ１−Ｕ０＝０のときは、その時点での視点の移動はない。したがって、それ以降のＵ１−Ｕ０の結果がプラス＋またはマイナス−になるまで判断を待つ必要がある。
したがって、ステップ１０１の処理へ戻る。

視点Ｂの位置（Ｈ，Ｖ）が対象物Ｃの位置（Ｘ，Ｙ）の範囲内に含まれる場合（ステップ１０１：Ｙ）、すなわち、視点Ｂが対象物Ｃの内部に存在する場合、視点追尾中であると判断し、ステップ１０２へ移行し、フレーム数（Ｎ）を数えて、後述する図１２を用いて説明するように、視点追尾時間（Ｂｔ）＝（（１／Ｓ）×Ｎ）｝を算出する。

また、解析部１０２は、視点追尾時間を算出する。図１２は、視点追尾時間の算出方法を示すフローチャートである。図１２に示す視点追尾時間の算出方法は、図１１に示したステップ１０２に対応している。各視認映像ａのフレーム毎に、まず、ステップ２０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。視点が対象物の範囲内にあるか否かの判定方法は、図１１において説明した方法と同様である。そして、視点が対象物の範囲内にある場合、ステップ２０２へ進み、時間をカウントする。次に、ステップ２０３において、視点が対象物の範囲内にあるか否かを判定し、範囲内にある場合は、ステップ２０２へ戻り、時間をカウントする。一方、視点が対象物の範囲内にない場合は、ステップ２０４へ進み、カウントした時間を視点追尾時間として設定するとともに、図１１のステップ１０１へ戻る。

また、解析部１０２は、眼球運動映像ｂから、瞳孔径（Ｐ）及び瞬目回数を測定する。さらに、解析部１０２は、複数の瞳孔径（Ｐ）のデータから、瞳孔径の拡大速度（Ｐｖ）、瞳孔径の拡大加速度（Ｐｋ）、瞳孔径の縮小速度（Ｐｓ）、瞳孔径の縮小加速度（Ｐｔ）を算出する。なお、視認映像ａに照度データが含まれている場合、解析部１０２は、照度による瞳孔径の変動を補正する。この瞳孔径の補正方法には、明瞳孔画像と暗瞳孔画像の差分による補正等があるが、これらの方法は既知の技術を用いることにし、ここでは詳細な説明は省略する。

以上のように、解析部１０２は様々な値を解析し、この解析した値を解析値Ａとして、蓄積部１０３及び診断部１０４へ出力する（図２参照）。よって、解析値Ａに含まれる値としては、瞳孔径（Ｐ）、瞳孔径の拡大速度（Ｐｖ）、瞳孔径の拡大加速度（Ｐｋ）、瞳孔径の縮小速度（Ｐｓ）、瞳孔径の縮小加速度（Ｐｔ）、視点追尾時間（Ｂｔ）、視点接近速度（Ｂｖ）、視点接近加速度（Ｂｋ）、視点離脱速度（Ｂｓ）、視点離脱加速度（Ｂｒ）の他、視認者の身体（例えば、頭）の接近移動速度、接近移動加速度、瞬目回数、音声データｃ、応答データｄ、身体温度データｆが挙げられる。

〔蓄積部〕
再び図２を参照して、蓄積部１０３は、解析部１０２から出力された視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ及び身体温度データｆを蓄積する。また、蓄積部１０３は、解析部１０２から出力された解析値Ａを蓄積する。さらに、蓄積部１０３は、視認者１が興味の低い、すなわち、平凡で刺激の低い対象物２を見ている場合の瞳孔径（Ｐｈ）、瞳孔径の拡大速度（Ｐｈｖ）、瞳孔径の拡大加速度（Ｐｈｋ）、瞳孔径の縮小速度（Ｐｈｓ）、瞳孔径の縮小加速度（Ｐｈｔ）、視点追尾時間（Ｂｈｔ）、視点接近速度（Ｂｈｖ）、視点接近加速度（Ｂｈｋ）、視点離脱速度（Ｂｈｓ）及び視点離脱加速度（Ｂｈｒ）を平常値Ｈとして、予め蓄積している。
また、蓄積部１０３は、視認者１の興味の高い対象物２を見ている場合の瞳孔径（Ｐｅ）、瞳孔径の拡大速度（Ｐｅｖ）、瞳孔径の拡大加速度（Ｐｅｋ）、瞳孔径の縮小速度（Ｐｅｓ）、瞳孔径の縮小加速度（Ｐｅｔ）、視点追尾時間（Ｂｅｔ）、視点接近速度（Ｂｅｖ）、視点接近加速度（Ｂｅｋ）、視点離脱速度（Ｂｅｓ）及び視点離脱加速度（Ｂｅｒ）を感動値Ｋとして、予め蓄積している。また、蓄積部１０３は、診断部１０４から出力された診断結果を蓄積する。

〔診断部〕
診断部１０４は、解析部１０２から出力された解析値Ａを、蓄積部１０３に蓄積された平常値Ｈあるいは感動値Ｋと比較することにより、視認者１の対象物２に対する興味を診断し、視認者１が視認している対象物２または視認者１自身の能力を評価する。すなわち、診断部１０４は、解析値Ａに含まれる各パラメータを、ａ，ｂ，ｃ，・・・とし、各パラメータに対する重み付けをＡ，Ｂ，Ｃ，・・・とし、以下の評価値Ｅ（ｔ）を算出する。
Ｅ（ｔ）＝Ａ・ａ（ｔ）＋Ｂ・ｂ（ｔ）＋Ｃ・ｃ（ｔ）＋・・・

具体的には、診断部１０４は、所定時間内における瞬目回数が所定回数よりも減少している場合、その対象物２に興味があると診断する。さらに、診断部１０４は、瞳孔径が所定値よりも大きい場合、その対象物２に興味があると診断する。上記に加え、診断部１０４は、瞳孔径の拡大速度及び拡大加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、、瞳孔径が所定値よりも小さい場合、瞳孔径の縮小速度及び縮小加速度が所定値よりも大きい場合、その対象物２に興味がないと診断する。また、診断部１０４は、視点接近速度及び視点接近加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、視点接近速度及び視点接近加速度が所定値以下の場合、その対象物２に興味がないと診断する。また、視点離脱速度及び視点離脱加速度が所定値よりも大きい場合、その対象物２に興味がないか嫌悪感があると診断し、逆に、視点離脱速度及び視点離脱加速度が所定値以下の場合、その対象物２に興味があると診断する。

さらに、診断部１０４は、対象物２への頭部の向きの接近移動速度及び接近加速度と、視点接近速度、視点接近加速度とを合成した視点の移動速度及び加速度を算出することにより、上記［００６８］と同様の判定を行う。視認者１は、興味がある場合、視点が対象物を追尾するために頭もその方向を維持する。なお、興味がなくても頭を対象物に向け続けることはあるが、この場合、瞳孔径は縮小している。また、頭が対象物２方向から離れ続け、瞳孔径が縮小している場合、興味がないと診断する。

また、診断部１０４は、視認者１がある対象物２に視点が平常値（Ｂｈｔ）より多くの時間追尾して、瞳孔径が感動値（Ｐｅ）になる場合には、その対象物に興味・関心があると診断する。すなわち、
Ｂｔ＞Ｂｈｔ
Ｐ＞Ｐｈ×１．３、または、Ｐ＝Ｐｅ
の場合、診断部１０４は、視認者１が対象物２に興味・関心があると診断する。この場合、対象物２が動いている場合は、視認者は対象物２が見える間追尾する。一方、動かない対象物２の場合は、平常値（Ｂｈｔ）以上の時間を追尾する。また、診断部１０４は、一旦、視点が対象物２の範囲内を短時間｛＜Ｂｈｔ｝追尾し、瞳孔径が感動値の値（Ｐｅ）までに拡大せず、視点が、視点離脱速度が平常値（Ｂｈｓ）より急速｛＞Ｂｈｓ｝に対象物２から離れ、再度視点が対象物２に戻らない場合、視認者１はその対象物２に興味がないと診断する。さらに、診断部１０４は、視認者１が一旦対象物２を見て瞳孔径が拡大するが、所定の時間内である短時間で視点が対象物２から離脱した場合、嫌悪感があると診断する。すなわち、対象物内に視点があるとき、
Ｐ＞Ｐｈ、または、Ｐ＝Ｐｅ
であり、この時、対象物からの視点離脱速度（Ｂｓ）、視点離脱加速度（Ｂｒ）が平常値（Ｂｈｓ，Ｂｈｒ）より大きく、
Ｂｓ＞Ｂｈｓ
そして、
Ｂｒ＜Ｂｈｒ
である場合、対象物２に対して嫌悪感があると診断する。なお、すでに１０００件以上の統計では、対象物への視点追尾時間（Ｂｔ）がＢｔ＜０．２秒である場合、明らかに嫌悪感があると診断できるという結果を得ている。

また、診断部１０４は、身体温度データｆを用いて、身体温度が上昇した場合、視認者１は、対象物２に興奮していると診断する。
また、診断部１０４は、応答装置１４の動作による応答データｄを用いて、対象物２及び視認者１自身の能力を評価する。具体的な応答データｄの使用方法は後に詳述する。また、診断部１０４は、診断結果を表示部１０５及び蓄積部１０３へ出力する。

図１３は視認者動作撮影装置９からの視認者顔映像データｅである。
視認者の顔の各部位（目、唇、眉毛等）の特徴点を顔解析手法によりマークして顔の表情を解析する。
この特徴点は図では説明のために一部を示しているが、実際の顔解析手法による。
代表的な感情判定は驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみである。
視認者の平常時と顔の各部が最大に動いた時の値（最大値）を予め計測して置き、各測定時の変化量の最大値との比率により、感情の度合い（Ｆ）を判定する。
これにより、請求項１から４による興味・関心度の情動値（Ｅ）と合わせて、視認対象に対する視認者の情感（ＥＦ値）判定ができることになる。

〔表示部〕
表示部１０５は、診断部１０４における診断結果をディスプレイなどの出力装置へ表示する。表示部１０５に表示された診断結果により、オペレータは、対象物２及び視認者１自身の能力を判断することができる。

以上のように、本発明の実施形態による視認者情感判定装置１００によれば、生理反応データの変化とそれに伴う加速度と視認者の顔の変化を用いて、対象物２または視認者１自身の能力を評価する。
生理反応データの変化としては、瞳孔径とその拡大加速度（Ｐｋ）、瞳孔径の縮小加速度（Ｐｔ）、視点接近加速度（Ｂｋ）、視点離脱加速度（Ｂｒ）が挙げられる。瞳孔径とその拡大速度と加速度（Ｐｋ）が大きくなるほど、あるいは、視点接近速度と加速度（Ｂｋ）が大きくなるほど、その対象物２に興味があると診断し、逆に、瞳孔径が小さく、その縮小加速度（Ｐｔ）が大きくなるほど、あるいは、視点離脱加速度（Ｂｒ）が大きくなるほど、その対象物２に興味がないと診断する。また、顔の部分変化を解析して視認者の感情の変化を判定する。このように、本発明の実施形態による視認者情感判定装置１００によれば、視認者の生理反応をより正確に把握し、様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。本発明の実施形態による視認者情感判定装置１００の適用場面については、後に詳述する。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、身体動作撮影装置９及び身体温度測定装置１０は、直接、視認者情感判定装置１００にデータを送信しているが、一旦蓄積装置８に蓄積され、視認映像ａなどとともに、送信装置７から視認者情感判定装置１００へ送信しても構わない。また、アイカメラ３が、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備える構成としたが、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６は、必ずしも物理的に接続されている必要はなく、それぞれが単体として備えていても構わない。

また、前記実施形態では、視点の位置を算出する際に、角膜反射法を用いたが、視点の位置を算出する方法はこれに限られず、様々な公知の方法が使用可能である。

尚、視認者情感判定装置１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。視認者情感判定装置１００に備えた受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

次に、本発明の実施形態による視認者情感判定装置１００が適用される場面について説明する。具体的には、購買意欲度診断、学習意欲度診断、映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断、コンテンツ内の注目点の分布によるコンテンツ評価、相性診断、言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断、ロボットの応対方法判定、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、応対者応対度診断、映像コンテンツ選択優先度診断、コンテンツの中の興味・関心度の高い物または人物の自動マークについて説明する。

〔購買意欲度診断〕
購買意欲度診断では、ある商品を一般の視認者１に見てもらい、その商品に対して、視認者１が購買意欲をもつか、持たないかの診断を行う。
視認方法は、実際の商品を見る方法でも、広告、テレビ、パソコン、モバイル端末（携帯電話含む）等のディスプレイに表示された商品でも構わない。購買力診断には、図１及び図２に示す視認者情感判定装置１００を用いる。ここでは、対象物２は実際の商品または商品の映像となる。診断部１０４は、ア．その商品を見て、瞳孔が感動値（Ｐｅ）まで拡大していない｛＜Ｐｅ｝（無関心）、イ．視点追尾時間が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその商品に対して「購買意欲はない」と診断する。
さらに、商品からの視点離脱速度（Ｂｓ）と最初の加速度（Ｂｒ）が平常値｛Ｂｈｓ、Ｂｈｒ｝より大きいときに、顔解析手法による感情値（Ｅ）の嫌悪（ＤＩ）を解析することにより嫌悪感を判定できる。この場合、明らかに購買意欲がある場合とは反対の行動であるといえる。このことから、「購買意欲なし」という診断の度合いを測ることができる。
一方、瞳孔径（Ｐ）が拡大していて、商品への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、購買意欲があることまでは診断できない。すなわち、興味がない場合は、購買意欲はないが、興味があっても、購買意欲がない場合がある。そこで、顔解析手法により感情判定を組み合わせることにする。
一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）が高いが場合は購買に積極的と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は一般的に購買に消極的と判定できる。、
次に、複数の商品を視認者１に視認してもらい、特定の商品を見て、他の商品より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その特定商品が一番興味を引いていると判定できる。さらに、顔解析手法により、幸福（喜び）感を感じている場合、その特定商品に対して、肯定的な感情を持っていると判定できるので、診断部１０４は、他の商品より購買意欲度が高いと診断する。一方、特定の商品が、他の商品より、ア．瞳孔径が小さい、イ．視点滞留時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合で、顔解析手法により、幸福（喜び）感を感じない場合は、肯定的な反応が少ないことになるので、診断部１０４は、購買意欲度は他の商品に比べて小さいと診断する。

〔学習意欲度診断〕
学習意欲度診断では、学習対象（教師、教科書、教材、黒板等）を対象物２とすることにより、学習意欲度の診断を行う。学習意欲度診断には、図１及び図２に示す視認者情感判定装置１００を用いる。ここでは、診断部１０４は、視認者１が学習対象（教師、教科書、教材、黒板等）を見ている時、
ア．瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大していない（無関心）、イ．視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短い（興味なし）場合、また顔解析手法により、嫌悪感を示す場合、この学習対象が嫌いであるとの判定もできる。このことから、診断部１０４は、「学習意欲なし」と診断する。
一方、瞳孔径（Ｐ）が拡大していて情動値（Ｅ）が高い場合、学習対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長くても、興味・関心はあるが、学習意欲とは必ずしも結びつかない。
すなわち、興味が顔解析手法の感情判定により、幸福（喜び）感を示す場合、視認対象に対して、肯定的な感情を持っていると判定できるので、学習意欲度が高いと判定できる。
一般的に学習の内容がそれぞれの目的の感情を誘う内容の場合、感情値（Ｆ）の幸福（喜び）度（ＨＡ）と驚き（ＳＵ）、悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合はその学習は良いと判定できる。
ただし、問題に取り組んでいる場合、悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、学習内容が前述の目的の感情を引き出すことを目的にする場合を除き、何か戸惑っており、この学習に問題あり、と判定できる。
次に、複数の学習対象を視認者１に視認してもらい、特定の学習対象を見て、他の学習対象より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その学習対象が一番興味を引く。さらに、顔解析手法により、幸福（喜び）感を示す場合、その学習対象に対して、肯定的な感情を持っていると判定できるので、診断部１０４は、その学習対象が他の学習対象より学習意欲度が高いと診断する。
一方、特定の学習対象が、他の学習対象より、ア．瞳孔径が小さい、イ．視点追尾時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合で、顔解析手法により、幸福（喜び）感を示さない場合は、肯定的な反応が少ないことになるので、診断部１０４は、その学習対象に対する学習意欲度は、他の学習対象に比べて少ないと診断する。

〔映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断〕
映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断は、図１及び図２に示す視認者情感判定装置１００を用いる。
視認者１がテレビ、映画等で映像コンテンツを視聴している場合に、視認者１の興味・関心による注目度（情動度Ｅ）、および、感情度Ｆの各基本感情の幸福（喜び）度（ＨＡ）、驚き度（ＳＵ）、悲しみ度（ＳＡ）、怒り度（ＡＮ），恐怖度（ＦＥ）、嫌悪度（ＤＩ）および興奮度が映像コンテンツ作者の期待したレベルにどの程度反応しているかを診断し、映像コンテンツの評価判定をすることを特徴とする。
すべてのコンテンツにおいて、コンテンツ製作者はこの場面では感動して泣いて欲しい、ここでは怒って欲しい、ここでは大いに笑って欲しいという意図で製作する。
そこで、コンテンツソフトプログラムに製作者の期待感情反応度を設定しておく。
具体的には、映像コンテンツの場面（時間）上で作者の期待する情動値（ＥＦ）を情動値（Ｅ）の最大値を１００にして設定し、また期待する感情値（Ｆ）の期待値設定も、最大値を１００にして各基本感情の幸福（喜び）度（ＨＡ）、驚き度（ＳＵ）、悲しみ度（ＳＡ）、怒り度（ＡＮ），恐怖度（ＦＥ）、嫌悪度（ＤＩ）および興奮度の期待レベルを設定する。
実際の映写時に、視聴者の情動解析による情動反応と顔解析による感情反応の度合いを測定・解析することで、コンテンツが製作者の意図した情動反応および感情反応の期待値に対してどの程度反応をしたかを判定し、その作品を評価できる。
なお、対象コンテンツには映像と同時に音を含むが、映像なしで音だけの場合もありうる。
その具体的結果の例を図２０に示す。
図２０による結果例を評価すると、最初の場面では期待値まではいかないが、視聴者はある程度画面に注目し、驚き、喜んでいる。後半は注目度も上がり、悲しみと恐怖は期待以上であり、さらに期待した怒り度がはるかに大きく反応しているので、製作者が期待したとおりのコンテンツとして評価できる。したがって、このコンテンツは期待どおりの作品であり、高い評価を得られると判定できる。
そのほか、有効な利用方法はＣＭの視聴者反応評価である。この場合は、訴求場面での訴求点への注目度が高く、かつ嫌悪感度、怒り度が低いことが良いＣＭであると判定する。

〔コンテンツ内の注目点の分布によるコンテンツ評価〕
請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記特定の対象物は、テレビ、映像の特定画面、静止画、ポスター、雑誌の１ページのようなコンテンツであり、
前記視認者は、前記映像コンテンツ視認者である。
映像コンテンツの特定の場面または静止画において、複数視聴者の注目視点の注目度分布を表示してコンテンツ製作者の訴求点とそのレベルを判定することを特徴とする。
具体的には映像画面、静止画、ポスター、雑誌の１ページのような特定コンテンツにおいて、複数人の視点の位置と瞳孔径による注目度の平均値を画面内で表示し、同時に全体を１００とした場合の注目度の集中度を表示して、コンテンツ製作者の意図したとおりの部分を注目しているかどうかを評価することを特徴とする。

〔相性診断〕
相性診断では、テレビ電話機能（携帯電話を含む）で通信回線を通して、お互いに顔を見ながら通話をしている状況において、通話相手同士の相性診断を行う。相性診断には、図１４及び図１５に示す視認者情感判定装置１００を用いる。
図１４は、相性診断に用いる視認者情感判定システムの構成を示すブロック図であり、図１５は、相性診断に用いる視認者情感判定装置１００の構成を示すブロック図である。ここでは、対象物２はディスプレイ２２ａ、２２ｂに表示された顔の映像となる。まず、Ａさんが使用するテレビ電話２０ａ及びＢさんが使用するテレビ電話２０ｂは、それぞれ通信回線３０を介して、視認者情感判定装置１００に接続されている。また、図１５に示す視認者情感判定装置１００の蓄積部１０３は、視認者（ここでは、Ａさん、Ｂさん）の個人属性データを予め計測して蓄積している。個人属性データには、視認者（Ａさん、Ｂさん等）の年齢、性別、出身地等の他、平凡で刺激の低い対象物を見ている場合の平常値（「瞳孔径」「瞳孔径拡大速度」「瞳孔径拡大加速度」、「瞳孔径縮小速度」「瞳孔径縮小加速度」、「視点追尾時間」、「視点接近速度」「視点接近加速度」、「視点離脱速度」「視点離脱加速度」）と、興味・関心が高い視認対象を見ている時の感動値（興味・関心のある物を見る場合の「瞳孔径」、「瞳孔径拡大速度」「瞳孔径拡大加速度」、「瞳孔径縮小速度」「瞳孔径縮小加速度」、「始点の位置」「視点追尾時間」、「視点接近速度」「視点接近加速度」、「視点離脱速度」「視点離脱加速度」）が含まれている。また、顔解析手法の情感判定のために、視認者の平常時と顔の各部が最大に動いた時の値（最大値）を予め計測して置き、蓄積している。さらに、蓄積部１０３は、人間の年齢、性別、職業といった層ごと、及び、全体の平常値、感動値等の平均値を蓄積する。

テレビ電話２０ａ、２０ｂは、それぞれ、顔カメラ２１ａ、２１ｂ、ディスプレイ２２ａ、２２ｂ、眼球カメラ２３ａ、２３ｂ及び追尾カメラ２４ａ、２４ｂを備えている。顔カメラ２１ａ、２１ｂは、通話者の顔を撮影する。ディスプレイ２２ａ、２２ｂは、通信相手を表示する。眼球カメラ２３ａ、２３ｂは、通話者の眼球を撮影する。追尾カメラ２４ａ、２４ｂは、眼球カメラ２３ａ、２３ｂの両側に設けられ、三角測量の原理を用いて通話者の眼球の位置を計測する。追尾カメラ２４ａ、２４ｂによる計測結果に応じて、眼球カメラ２３ａ、２３ｂは、通話者の眼球を追尾する。なお、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者情感判定装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者の眼球映像を捉えても良い。また、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者情感判定装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者眼球映像を捕らえる場合、追尾カメラ２４ａ、２４ｂの代わりに、テレビ電話２０ａ、２０ｂから通話者の顔までの距離を測る他の手段を用いても良い。このようにして、眼球をとらえ、距離が分かるので、瞳孔の直径が計測できる。

Ａさんが使用するテレビ電話２０ａでは、顔カメラ２１ａでＡさんの顔を撮影し、眼球カメラ２３ａでＡさんの眼球を撮影する。そして、テレビ電話２０ａは、Ａさんの顔データ、Ａさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者情感判定装置１００へ送信する。同様に、Ｂさんが使用するテレビ電話２０ｂでは、顔カメラ２１ｂでＢさんの顔を撮影し、眼球カメラ２３ｂでＢさんの眼球を撮影する。そして、テレビ電話２０ｂは、Ｂさんの顔データ、Ｂさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者情感判定装置１００へ送信する。

視認者情感判定装置１００の受信部１０１は、Ａさん及びＢさんの、顔データ及び眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を受信する。視認者情感判定装置１００の解析部１０２は、Ａさんの眼球データの視線方向データから、Ａさんの持つディスプレイ２２ａに映るＢさんの顔の映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ａさんの眼球データから、眼球カメラ２３ａから眼球までの距離と瞳孔映像から瞳孔径を算出し、同時に瞳孔径（Ｐ）の拡大速度（Ｐｖ）、縮小の速度（Ｐｓ）、拡大加速度（Ｐｋ）及び縮小加速度（Ｐｔ）を算出する。一方、Ｂさんの眼球データの視線方向データから、Ｂさんの持つディスプレイ２２ｂに映るＡさんの顔映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ｂさんの眼球データから、眼球カメラ２３ｂから眼球までの距離と瞳孔映像から瞳孔径を算出し、同時に瞳孔径（Ｐ）の拡大速度（Ｐｖ）、縮小の速度（Ｐｓ）、拡大加速度（Ｐｋ）及び縮小加速度（Ｐｔ）を算出する。解析部１０２は、解析した値を診断部１０４へ出力する。診断部１０４は、ＡさんがＢさんの顔を追尾する時間が、Ｂさんの顔が映っている限り追尾しており、Ａさんの瞳孔径（Ｐ）が蓄積部１０３から読み出した感動値データ（Ｐｅ）にまで拡大していれば、ＡさんはＢさんに興味・関心を持っていると診断する。
また、顔解析により、Ｂさんの顔を視認している時、ＡさんのＢさんに対する驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定する。
送信部１０６は、この診断結果をＢさんのテレビ電話２０ｂ（または仲介者）に送信する。診断結果を受信したテレビ電話２０ｂ（または仲介者のテレビ電話）は、ディスプレイ２２ｂに、｛ＡさんがＢさんに興味・関心がある｝ことを示す記号（たとえばハートマーク）と情感を特定の箇所に表示する。
逆に、ＢさんがＡさんの顔を追尾する時間が、Ａさんの顔がＢさんのテレビ電話のディスプレイ２２ｂに映っている間より短く（Ｂさんの顔からＡさんの視点が離脱する）、瞳孔径（Ｐ）も蓄積部１０３から引き出した感動値データ（Ｐｅ）にまで拡大することがなく、瞳孔の拡大速度（Ｐｖ）、初期瞳孔拡大加速度（Ｐｋ）が平常値（Ｐｈｖ、Ｐｈｋ）より少ない場合は、診断部１０４は、ＢさんはＡさんに興味・関心がないと診断する。また、顔解析によるＡさんの顔を視認している時、ＢさんのＡさんに対する驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定する。
送信部１０６は、この診断結果を、Ａさんのテレビ電話２０ａ（または仲介者）に送信する。診断結果を受信したテレビ電話２０ａ（または仲介者のテレビ電話）は、ディスプレイ２２ａに、｛ＢさんがＡさんに興味・関心がない｝ことを示す記号（たとえば×マーク）と情感を特定の箇所に表示する。

上述した相性診断を応用し、以下のような状況に適用することができる。（ア）結婚の見合いの場面に用いる。（イ）面接試験の場面に用いる。これにより、被相談者の真の心理状況を知ることができ、診断結果を発言内容の裏づけの参考にすることができる。（ウ）犯罪者との面談の場面に用いる。具体的には、刑事事件における犯罪容疑者との面談の場面に用いることにより、犯罪容疑者の心理状態を知ることができる。
これらの場面では、話の内容、表示された映像に興味があった場合には、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きくなる性質が利用される。

なお、相性診断では、図１４及び図１５に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図１及び図２の構成と同様である。
また、すでにある会話音声による感情診断技術を併用することにより、より精度の高い相性診断が可能となる。

〔言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断〕
赤ん坊、認知症者、動物（ペットを含む）の生理反応による意思伝達診断では、赤ん坊、認知症者、動物（ペットを含む）の意思の診断を行う。ここでは、赤ん坊、、認知症者、動物等の言葉を話すことが困難な人及び動物を視認者１として、アイカメラ３を装着させる。または、赤ん坊、動物、認知症者等がディスプレイの前に座って、ディスプレイの下にあるカメラで赤ん坊、動物、視認症患者の眼球を撮影する方法もある。赤ん坊等の意思伝達診断には、図１及び図２に示す視認者情感判定装置１００を用いる。解析部１０２は、赤ん坊、動物、認知症者等の視点の位置と瞳孔径（Ｐ）を計測し、診断部１０４は、視認対象に視点が追尾し、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きいときに、その視認対象に、赤ん坊、認知症者、動物等が興味・関心があると診断する。これにより、ものを言わない赤ん坊、認知症者、動物の視認対象に対する興味を把握できる。逆に、診断部１０４は、視認対象への視点の追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より速く、瞳孔径（Ｐ）も感動値（Ｐｅ）より少ないときに、視認対象に対して無関心で、興味がないと診断する。これにより、ものを言わない赤ん坊、認知症者、動物への対応が可能となる。また、赤ん坊については、顔解析手法により、赤ん坊の驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定でき、そのときの対応方法の参考になる。

〔ロボットの応対方法判定〕
ロボットの応対診断では、ロボットに、アイカメラ３、身体動作撮影装置９、身体温度測定装置１０、及び図１６に示す視認者情感判定装置１００を組み込み、ロボットと応対する人などに対する診断を行う。ロボットは、応対する人、ものを言わない赤ん坊、認知症者、動物等の顔、眼球の動き、身体動作、顔の動作、身体温度の変化を常に測定している。ロボットの応対診断では、図１に示す視認者情感判定システムを用い、図１６に示す視認者情感判定装置１００を組み込む。図１７は、ロボットの応対診断に用いる視認者情感判定装置１００の構成を示すブロック図である。視認者情感判定装置１００の診断部１０４は、ロボットと応対する人、またはものを言わない赤ん坊、認知症者、動物の情感を診断する。
言動選択部１０７は、診断部１０４から入力された診断結果に基づいて、予め記憶された複数の言動の中から診断結果に見合った言動を選択する。これにより、ロボットは、診断結果に従って、応対する人及び動物の情感を把握し、適切な言葉を発することができる。また、適切な支援行動を起こすこともできる。なお、ロボットの応対診断では、図１７に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図２の構成と同様である。

〔犯罪証拠診断〕
犯罪証拠診断では、犯罪容疑者にアイカメラ３を装着し、平凡な映像の途中に、犯罪現場を含むビデオ映像を見せることにより、犯罪の証拠となる映像を診断する。犯罪証拠診断には、図１及び図２に示す視認者情感判定装置１００を用いる。犯罪容疑者は、自己の犯罪現場を含む場面を見たときに、他の場面よりも瞳孔径（Ｐ）が拡大することから、診断部１０４は、瞳孔径（Ｐ）が拡大したときに見ていた映像の場所が犯罪現場であるとして、犯罪現場を特定することができる。さらに、その対象物である映像への視点追尾時間（Ｂｔ）は平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、初期加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より高いときに、診断部１０４は、その場面の映像に嫌悪感があると診断する。すなわち、犯罪容疑者はその場面を早く避けたいと思っていることになる。さらに、顔解析手法により、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の容疑者の感情とその程度を判定でき、診断部１０４による診断結果は、その場所が犯罪場所であると判定するための参考になる。また、犯罪容疑者に被害者の映像または写真を複数の人物と織り交ぜて見せた場合、診断部１０４は、犯罪容疑者が被害者の姿の映像または写真を見て、他の人物に比べて瞳孔径が大きくなったときに、その犯罪容疑者が犯人であると診断する。一般に、自己の犯罪場面と被害者に対して、あまり見続けたくないので、嫌悪感と同様の反応を示すため、診断部１０４は、対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、対象から視点をそらす速度（Ｂｓ）が平常値（Ｂｈｓ）より大きく、したがって、そらす瞬間の加速度（Ｂｈｒ）も大きい場合、その容疑者が犯人の可能性があると診断する。さらに、顔解析手法により、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の容疑者の感情とその程度を判定でき、その場所または被害者に対する嫌悪感またはここを避けたい心情を確認できる。また、犯罪現場を含むビデオの代わりに、犯罪容疑者にアイカメラ３を装着させて犯罪現場に出向かせることにより、同様に犯罪対象物への注目、嫌悪感の度合いが診断でき、捜査の参考にできる。

〔ドライバー眠気感知診断〕
ドライバー眠気感知診断では、自動車運転者にアイカメラ３を装着してもらい、運転中に眼球を撮影することにより、ドライバーの眠気の有無を診断する。ドライバー眠気感知診断では、図１に示す視認者情感判定システムを用い、図１７に示す視認者情感判定装置１００を用いる。図１７は、ドライバー眠気感知診断に用いる視認者情感判定装置１００の構成を示すブロック図である。視認者情感判定装置１００の診断部１０４は、瞳孔径（Ｐ）が平常値（Ｐｈ）より少ないとき、危険な運転状態であると診断する。さらに、診断部１０４は、視線の方向が前方から外れる時間が多いときに、さらに前方不注意となり危険な運転状態であると診断する。自動車の運転席の前（ハンドルの前方上）に運転者の眼球を追尾・撮影するカメラを用いることにより、前記と同様の測定、解析及び診断を行うことができる。警告部１０８は、診断部１０４から入力した診断結果を用い、診断結果が危険な運転状態である場合に、運転者に警告を行う。警告は、アナウンスでも、警告音の発生でもよく、運転者に注意力回復のための刺激を与えるものであればよい。

〔自動車運転適性診断〕
自動車運転適性診断では、視認者１にアイカメラ３を装着してもらい、自動車、飛行機のシミュレーターまたは実際の自動車で、視認者１に操作してもらうことにより、自動車運転や飛行機運転の適正の有無を診断する。自動車運転適性診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、視認者１の眼球運動撮影データの視線方向と瞳孔径データを解析し、診断部１０４は、注意すべき時に、危険箇所に視点が追尾し続け、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きく、拡大速度（Ｐｖ）、加速度（Ｐｋ）も平常値（Ｐｈｖ、Ｐｈｋ）より大きいときに、注意すべき部分に視点が行き、注意しているものと診断する。また、診断部１０４は、頭の向き及び視線の方向がいつも前面であることを診断する。さらに、応答装置１４により、応答反応すべき時間にタイミングよくステアリングハンドル、ブレーキで応答反応しているかを知るため、解析部１０２は、応答データｄを用いて、応答遅延時間と操作方法を解析し、診断部１０４は、操作遅延時間が危険回避のための一定時間（所定の設定時間）以下であり、かつ、応答データｄから得られる操作が、予め設定された適切な操作方法かどうかを判断し、操作遅延時間、所定の設定時間、操作方法に基づいて、視認者１の熟練度、適正度を診断する。
また、シミュレーターに、勝手な振る舞いのドライバーにより運転している車の映像を入れて、運転操作をしてもらい、顔解析による視認者の怒りの度合い、恐怖の度合いを計算して、運転適正の判定をすることもできる。

〔労働安全熟練度診断〕
労働安全熟練度診断では、アイカメラ３を装着した労働者が、シミュレーターまたは実際の機械で、機器を操作してもらうことにより、労働安全熟練度の程度を診断する。労働安全熟練度診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、労働者の視線方向、瞳孔径（Ｐ）の変化から、視点の位置と注目度、さらに不注意度を計測し、診断部１０４は、労働者が作業で、注意すべき時に、注意すべき部分（これが対象物となる）に視点が行って追尾し、瞳孔径（Ｐ）が感動値レベル（Ｐｅ）まで大きくなり、瞳孔径拡大の速度（Ｐｖ）、加速度（Ｐｋ）も感動値レベル（Ｐｅｖ、Ｐｅｋ）ほど大きいときに、注目すべき部分を注目していると診断する。さらに、解析部１０２は、応答データｄを用いて、妥当な応答装置１４を妥当なタイミングで操作しているかを解析するための応答反応の遅延時間と応答操作の正確性（正しい操作をしたか否かのデータ）を計測する。そして、診断部１０４は、所定の注意すべき時間内にタイミングよく（時間的遅延がない）適切な応答反応をしているか否かを診断する。診断部１０４は、瞳孔径は感動値レベル（Ｐｅ）より縮小しており、視点が見るべきところに行っていない、または、身体応答反応も遅い場合、不適切な状態または不注意の状態として診断する。
以上の診断により、遅延時間、全体の操作のうちの正しい操作を行った数等のデータに基づいて、労働者の熟練度、適正度を診断する。

〔労働前適正診断〕
労働前適正診断では、労働者が毎日、作業開始前にその日の作業の適正を診断する。労働前適正診断では、図１及び図２に示す視認者情感判定装置１００を用いる。各所に注意すべき点（注意して操作しないと危険な箇所）を含めた注意力判定のコンテンツをディスプレイに表示してアイカメラ３を装着した労働者に見せる。視認者情感判定装置１００の解析部１０２は、アイカメラ３からのデータの中の視線方向、瞳孔径（Ｐ）の運動を解析し、診断部１０４は、視点の位置と注目度、さらに不注意度を計測し、労働者が作業で注意すべき時に、注意すべき部分に視点が行って追尾し、瞳孔径（Ｐ）が感動値レベル（Ｐｅ）まで大きくなり、瞳孔径拡大の速度（Ｐｖ）、加速度（Ｐｋ）も感動値レベル（Ｐｅｖ、Ｐｅｋ）ほど大きいときに、注目すべき部分を注目していると診断し、その労働者のその日の労働の体調は正常であると判定する。しかし、危険な箇所が映し出されていても、視点の接近速度（Ｂｖ）が規定値より遅く、加速度（Ｂｋ）も規定値より遅く、タイミングが規定値より遅く、適切な応答反応していない場合のどれか一つでも該当するときは、その労働者のその日の体調は正常ではないと判定する。さらに、家族、会社関係の映像を見せて、その時の顔解析をして、その時の驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の心情を判定して、当日の情感的な問題を類推することで、当日の作業適正を判定できる。

〔運動選手適正診断〕
運動選手適正診断では、スポーツにおいて、アイカメラ３を装着した競技者の競技時の視点方向により、どの箇所を見ているかを診断する。運動選手適正診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、瞳孔径（Ｐ）の大きさや瞳孔径の拡大速度（Ｐｖ）、加速度（Ｐｋ）により、注目度を解析する。そして、解析部１０２は、身体動作による競技者の反応（動作、遅延時間）を解析する。具体的には、解析部１０２は、応答データｄを用いて、妥当な応答装置１４を妥当なタイミングで操作しているかを解析することにより、注意すべき時間にタイミングよく（時間的遅延がない）適切な応答反応しているか解析する。
あわせて、その時の顔解析をして、その時の心情を判定して、情感的な問題を類推する。そして、診断部１０４は、全競技者の適正値と比較して、競技者の熟練度、適正度を診断する。

〔ゲームのエキサイト度診断〕
ゲームのエキサイト度診断では、視認者１はアイカメラ３を装着してゲームを実施する。ゲームのエキサイト度診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の診断部１０４は、ゲーム中に瞳孔径（Ｐ）が感動値レベル（Ｐｅ）まで拡大していることで、明確に興味・関心があると診断する。あわせて、その時の顔を解析して、その時の恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の心情を判定して、そのゲームの相性を判断する。
また、診断部１０４は、視認者身体温度計測により、身体温度が平常値より高いときに、その高さに応じた興奮度を診断する。逆に、診断部１０４は、瞳孔径（Ｐ）が感動値レベル（Ｐｅ）まで拡大せず、身体温度が感動値にいたらないときに、エキサイトしていない、と診断する。

〔空間デザイン診断〕
空間デザイン診断では、視認者１がアイカメラ３を装着して実際の空間を歩き、視認者１が空間の中に配列されている物の中で何に視点が行き、興味を持ってみているかを診断して、視認対象の空間が訴求どおりのデザインまたは配列の中で適切な状態になっているかどうかを診断する。視認方法は、実際の空間を見る方法でも、テレビ、ＰＣ等のディスプレイに表示された物でも構わない。また、空間とは、街の景観、デパート、商店でのデザインや陳列、展示会場でのデザインや陳列、駅の通路、駅ホーム、駅ビル、車内等の空間を指す。空間デザイン診断には、図１及び図２に示す視認者情感判定装置１００を用いる。なお、視認者情感判定装置１００の解析部１０２は、視認者１が実際の空間を前進しているか、後退しているか、左右に動いているかを、視認映像ａを解析することにより判明する。

ここでは、対象物２は映像の中の特定の物（訴求対象であって、複数でも良い）である。診断部１０４は、ア．その対象物を見て、瞳孔が感動値（Ｐｅ）まで拡大していない｛＜Ｐｅ｝（無関心）、イ．視点の接近速度、視点追尾時間が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその対象物２に対して「デザインが適切でない」と診断する。さらに、顔解析をして、その時の嫌悪、怒り、悲しみ等の感情を判定する。この場合、明らかに「デザインが適切である」場合とは反対の行動であるといえる。このことから、「デザインが適切でない」という診断の度合いを、速度及び加速度の大きさによって測ることができる。
一方、瞳孔径（Ｐ）が拡大していて、対象物への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、「デザインが適切である」ことまでは診断できない。そこで、顔解析をして、その時の喜び（幸福）の感情を判定して、デザインを肯定的に見ていると診断する。一方、悲しみ（ＳＡ）、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、デザインが適切ではないと判定する。

次に、複数の配列デザインを視認者１に視認してもらい、対象物２を見て、他のデザインでの対象物２より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、そのデザインでの対象物が一番興味を引いていることになる。さらに、顔解析によるその時の喜び（幸福）の心情が大きいと判定できたら、診断部１０４は、「そのデザインが他のデザインより適切である」と診断する。
一方、対象物２が、他の配列デザインより、ア．瞳孔径が小さい、イ．視点滞留時間が短い、ウ．視点離脱速度、最初の加速度が大きい、顔解析による喜び（幸福）の程度が少ない場合は、診断部１０４は、「そのデザインでの対象物は他のデザインでの対象物に比べて適切でない」と診断する。

〔応対者応対度診断〕
応対者応対度診断は、請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、視認対象は客に応対する店員、受付者等であり、店員、受付者の応対において、視認者の情感を診断して、店員、受付者等の応対の良し悪しを判定することを特徴とする。
視認者の情動値（Ｅ）が低い（関心がない）場合は明らかに相手に特別に問題はなく、平常の応対をしているものと判定できる。
視認者の情動値が高い（興味を引いている）場合、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＡ）が高ければ応対が良いと判定できる。
ただし、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、会話内容にへの同調反応を除き、相手が好ましい応対ではないと判定できる。

〔映像コンテンツ選択優先度診断〕
請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、視認対象は放送、ネットワークまたは映像蓄積装置に接続したＴＶディスプレイ上のコンテンツである。
図１及び図２に示す視認者情感判定装置１００を用いる。
最初は、視聴者情感判定装置１００は、予め視認者１が基本コンテンツを視聴したときに視認者１の興味・関心度の高い場面を選定する。ただし顔解析をして、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場合は、選定からはずす。さらに、視認者の興味・関心の高いコンテンツの分野を判定し、同類の興味・関心を示す他の視認者が視聴した興味・関心度の高いコンテンツを推薦コンテンツとして蓄積部１０３に蓄積しておき、視認者１が実際に視聴する時にその推薦コンテンツを表示して、その中から視認者の意思で一つのコンテンツを選択して視聴することができるようにしたものである。
一方、視認者情感判定装置１００の診断部１０４は、視認者１が、次回からの映像コンテンツ視聴中は、瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大し、瞳孔径拡大速度（Ｐｖ）、加速度（Ｐｋ）も平常値（Ｐｈｖ、Ｐｈｋ）より大きいとき、または身体温度が平常値より高くて興奮する場面から、視聴している場面に対して明確に興味・関心があると診断する。ただし顔解析をして、怒り（ＡＮ），恐怖（ＦＥ）、嫌悪（ＤＩ）が高い場面はずす。そこで、次回の視聴するコンテンツを選択する時のために、その分野のコンテンツを選択する優先度を上げる。なお、その診断結果は、蓄積部１０３に記録しておき、次の視聴時において、映像コンテンツ視聴時のコンテンツを選択するための推薦データに利用する。
逆に、診断部１０４は、視認者１がコンテンツ視聴中に、しきい値より興味・関心・興奮度が低いと判定した場合に、その分野以外のコンテンツであって、以前に興味・関心・興奮度が高かった分野のまだ視聴してないコンテンツに切り替え、同時に次に視聴するコンテンツを選択する時に、その分野のコンテンツを選択する優先度を下げる。なお、その診断結果は、蓄積部１０３に記録しておき、次の視聴時間において、映像コンテンツ視聴時のコンテンツを選択するための推薦データに利用する。

〔コンテンツの中の興味・関心度の高い物または人物の自動マーク〕
コンテンツの中の興味・関心度の高い物または人物の自動マークは、番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後にネットワークを通して、その品物または人物の情報を電子メールにて配信されてくるシステムで、後で、視認者の意思により商品の購入、人物への連絡ができることを特徴とする。
ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心）度が高くても、顔解析による感情値において嫌悪感度と怒り度、および条件により恐怖度が高いものを自動的に除くことを特徴とする。

上述したように、本発明の実施形態による視認者情感判定装置１００によれば、購買意欲度診断、学習意欲度診断、映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断、コンテンツ内の注目点の分布によるコンテンツ評価、相性診断、言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断、ロボットの応対方法判定、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、応対者応対度診断、映像コンテンツ選択優先度診断、コンテンツの中の興味・関心度の高い物または人物の自動マークなどの様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。

１ 視認者
２ 対象物
３ アイカメラ
４ 眼球撮影装置
５ 視認情景撮影装置
６ マイクロフォン
７ 送信装置
８ 蓄積装置
９ 身体動作撮影装置
１０ 身体温度測定装置
１４ 応答装置
２０ａ、２０ｂ テレビ電話
２１ａ、２１ｂ 顔カメラ
２２ａ、２２ｂ ディスプレイ
２３ａ、２３ｂ 眼球カメラ
２４ａ、２４ｂ 追尾カメラ
３０ 通信回線
１００ 視認者情感判定装置
１０１ 受信部
１０２ 解析部
１０３ 蓄積部
１０４ 診断部
１０５ 表示部
１０６ 送信部
１０７ 言動選択部
１０８ 警告部
３０１ 顔解析におけるマーク１（特徴点）眉毛内側端
３０２ 顔解析におけるマーク２（特徴点）眉毛外側端
３０３ 顔解析におけるマーク３（特徴点）上瞼の真ん中上部
３０４ 顔解析におけるマーク４（特徴点）顎の真ん中下端
４０１ 特定映像コンテンツの映像ディスプレイ画面
４０２ 特定映像コンテンツの映像ディスプレイ画面上の訴求点

Claims (23)

1. 特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する情感（情動と感情）を診断する、視認情景に対する視認者情感判定装置において、
   視認者の顔の映像を撮影する顔撮影装置と前記視認者の眼球撮影装置と
   前記視認者の視認映像及び前記視認者の眼球運動映像を受信する受信部と、
   前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の瞳孔径の変化による生理反応データの変化とそれに伴う加速度を算出する部分と、前記視認者の顔映像から視認者の表情を解析する部分を含む解析部と、
   前記視認者が興味が低く注目しない対象物を見ている場合の瞳孔径と視点の動きの生理反応データの変化とそれに伴う加速度を含む情報を平常情動値として蓄積し、前記視認者が興味が高く注目する対象物を見ている場合の生理反応データの変化とそれに伴う加速度を含む情報を高情動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化とそれに伴う加速度を含む情報を情動値として蓄積する部分と、
   視認者の平常時の顔の各部の状態（平常感情値）と、顔の各部が最大に動いた時の値（高感情値）を蓄積する部分を含む蓄積部と、前記顔の解析値を、前記平常感情値あるいは前記高感情値と比較することにより、前記視認者の前記特定の対象物に対する感情値として蓄積する部分と、
   興味および注目の情動と感情を同時に診断する部分と必要により、身体温度測定機能を備え、身体の平常温度とエキサイト時での身体の温度測定による興奮度を診断する部分とを備えたことを特徴とする視認情景に対する視認者情感判定装置。
2. 請求項１に記載の視認情景に対する視認者情感判定装置において、
   前記生理反応データの変化とそれに伴う加速度は、前記視認者の視点が前記特定の対象物に接近する際の速度および接近加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱速度と加速度であり、
   前記診断部は、前記接近速度およびその加速度が大きいほど前記特定の対象物に興味があり注目する現象があり、前記接近速度およびその加速度が小さいほど前記特定の対象物に興味が低く注目しないと診断し、前記離脱速度およびその加速度が大きいほど前記特定の対象物に興味が低く注目もしない、前記離脱速度およびその加速度が小さいほど前記特定の対象物に興味があり注目すると診断する
   ことを特徴とする視認情景に対する視認者情感判定装置。
   なお、視認対象は、対象物の中のある部分（たとえば商品の場合、商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等）でも良い。
3. 請求項２に記載の視認情景に対する視認者情感判定装置において、
   前記解析部は、前記視認者の頭に装着されたカメラにより撮影された視認映像内の静止物の位置を基点として、または、ジャイロスコープにより、前記視認者の頭の移動の大きさ、移動速度及び移動加速度を算出し、さらに視認映像内での視点の位置と位置の変化速度、変化加速を合わせて、前記頭の動きを含む、前記特定の対象物に対する視点の接近速度およびその加速度あるいは離脱速度およびその加速度を算出する
   ことを特徴とする視認情景に対する視認者情感判定装置。
4. 請求項１に記載の視認情景に対する視認者情感判定装置において、
   前記生理反応データの変化に伴う速度および加速度は、前記視認者の瞳孔径の拡大速度および加速度、あるいは、前記視認者の瞳孔径の縮小速度および加速度であり、
   前記診断部は、前記拡大速度および加速度が大きいほど前記特定の対象物に興味があると診断し、前記縮小速度および加速度が大きいほど前記特定の対象物に興味がないと診断する
   ことを特徴とする視認情景に対する視認者情感判定装置。
5. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
   上記請求項２から４に記載の興味・関心度（情動度）と合わせて、視認者の顔の各部位の変化を計測し、その変化量により、興味・関心度の高い時および低い時の、顔の表情解析による怒り、恐怖、嫌悪、幸福（喜び）、悲しみ、驚きなどの視認者の感情度をあわせて判定することにより、視認対象に対する情動と感情を合わせた情感の度合い（情感度）を評価をすることを特徴とする視認情景に対する視認者情感判定装置。
   この顔の各部位の変化を測定することにより判定する感情度判定の技術はすでに市場にある顔の表情判定システムとして確立しているものを用いることにする。
6. 請求項１に記載の視認情景に対する視認者情感判定装置において、
   請求項目１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合と、音声だけを聞いているとき、匂いをかいでいるとき、体のある部分が対象物と接触しているとき、食べているときの味覚を感じているとき、またはそれらの複数の刺激があったときの瞳孔径および視点の動きと顔の各部位の動きを解析して、それらの刺激物を対象にした情感判定をすることを特徴とする視認者情感判定装置。
7. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
   前記特定の対象物は、商品（商品の中のある部分：商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等の商品の一部を含む）であり、
   前記診断部は、前記視認者の前記商品に対する購買意欲度を診断する
   ことを特徴とする視認情景に対する視認者情感判定装置。
8. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
   前記特定の対象物は、学習対象であり、
   前記診断部は、前記視認者の前記学習対象に対する学習意欲度を診断する
   ことを特徴とする視認情景に対する視認者情感判定装置。
9. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
   前記特定の対象物は、映像コンテンツ製作者が、視聴者に期待するコンテンツ映像（音を含む。また、音だけの場合もある）の各場面の興味・関心による注目度、および各基本感情の幸福（喜び）度、驚き度、悲しみ度、怒り度，恐怖度、嫌悪感度および興奮度のレベルを、コンテンツソフトの時間軸上に設定しておいた映像コンテンツであり、
   前記視認者は、前記映像コンテンツ視聴者であり、前記映像コンテンツ映写時に、視聴者の注目度および幸福（喜び）度、驚き度、悲しみ度、怒り度，恐怖度、嫌悪感度および興奮度の反応が、映像コンテンツ製作者の期待したレベルにどの程度達しているかを診断し、映像コンテンツの評価をすることを特徴とする視認情景に対する視認者情感判定装置。
10. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記特定の視認対象は、テレビ、映像の特定画面、静止画、ポスター、雑誌の１ページのようなコンテンツの特定場面であり、前記視認者は、前記コンテンツの視認者であり、コンテンツの特定場面において、複数視聴者の注目視点の注目度分布を表示して、コンテンツ製作者の訴求点との一致のレベルを判定することにより、コンテンツ特定画面の評価をすることを特徴とする視認情景に対する視認者情感判定装置。
11. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記受信部は、２つのテレビ電話から、それぞれの通話者の映像と前記視認映像及び前記眼球運動映像を受信し、
    前記診断部は、一方の通話者から他方の通話者に対する興味および情感をそれぞれ診断し、
    さらに、一方の通話者から他方の通話者に対する興味および情感の診断結果を他方の通話者のテレビ電話または仲介者の受信装置に送信する送信部を備えている
    ことを特徴とする視認情景に対する視認者情感判定装置。
12. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、言葉を話すことが困難な人、あるいは、動物であり、言葉を話すことが困難な人、あるいは、動物のそのときの情感を判定することを特徴とする視認情景に対する視認者情感判定装置。
13. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    本発明の視認者情感判定装置をロボットに組み込み、前記視認者は、感情を持つ人間であり、動物であり、視認対象は視認者の視認するすべてであり、ロボットの前記診断部から入力された視認者の情感の診断結果に基づいて、前記ロボットの前記視認者に対する適切な言動および動作を選択する選択部を備えていることを特徴とする視認情景に対する視認者情感判定装置。
14. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、犯罪容疑者であり、
    前記特定の対象物は、犯罪現場、犯罪用具、共犯者または被害者であり、対象物に対する犯罪容疑者の情感を判定して、犯罪捜査の参考とすることを特徴とする視認情景に対する視認者情感判定装置。
15. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、自動車または飛行機等の交通機関の運転者であり、
    前記特定の対象物は、運転席から見える危険箇所のある映像コンテンツ、または運転シミュレータであったり、実際の運転時で視認するすべてであり、前記診断部から入力した診断結果を用い、注意すべきところで、注目して注意しているかどうかを判定し、危険運転状態であると診断された場合は、前記視認者に警告またはブレーキ等の適切な操作を行う機能を備えていることを特徴とする視認情景に対する視認者情感判定装置。特に運転時の不注意時（居眠り時）の判定での警告に有効である。
16. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は労働者であり、
    前記特定の対象物は、危険箇所のある装置の操作映像コンテンツまたは操作シミュレータであったり、実際の操作時で視認するすべてであり、
    前記解析部は、前記視認者が応答装置での操作による応答データを用いて、応答遅延時間及び操作方法を解析し、
    前記診断部は、注目して注意しているかどうかを判定し、応答遅延時間及び操作方法に基づいて、注目すべき時に注意し、適切な操作をしていることを診断し、前記視認者の熟練度あるいは適正度を診断することを特徴とする視認情景に対する視認者情感判定装置。
17. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、労働者であり、
    視認対象は危険箇所のある操作映像のコンテンツまたはシミュレータであり、前記診断部は、前記視認者の情感および応答データによる応答反応を診断して、視認者の当日の体調（精神的を含む）および就業への適性を判定することを特徴とすることを特徴とする視認情景に対する視認者情感判定装置。
18. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、運動選手であり、
    前記特定の対象物は、運動選手が運動する時に見る対象（野球のバッターなら投手の動きとボールの球筋、テニス選手なら相手の選手の動作とボールの球筋等）である。
    前記診断部は、前記視認者の熟練度あるいは適正度を診断する
    ことを特徴とする視認情景に対する視認者情感判定装置。
19. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、ゲームプレイヤーであり、
    前記特定の対象物は、ゲーム機である。
    前記診断部は、前記視認者の瞳孔径の変化に基づく興味による注目度と表情および身体温度データにより、前記視認者の興奮度を診断する
    ことを特徴とする視認情景に対する視認者情感判定装置。
20. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、一般の人であり、
    前記特定の対象物は、空間の中に配列されている物であり、
    前記診断部は、前記視認者から見た前記特定の対象物の配置の適切性を診断する
    ことを特徴とする視認情景に対する視認者情感判定装置。
21. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    視認対象は客に対する店員、受付者等であり、店員、受付者の応対において、視認者の情感判定により、店員、受付者等の応対の良し悪しを判定することを特徴とする視認情景に対する視認者情感判定装置。
22. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、
    視認対象は放送、ネットワークまたは映像蓄積装置に接続したＴＶディスプレイ上に表示されるコンテンツであり、
    テレビ視聴時の視認者の興味・関心の高いコンテンツの分野を情感の解析により判定し、視認者のテレビ等視聴時に、視認者の興味・関心度の高いコンテンツを推薦することを特徴とする視認情景に対する視認者情感判定装置。
23. 請求項１から６までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
    前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、
    視認対象はネットワークまたは電波を経由して受信するテレビ受信機（映像コンテンツの受信機）である。
    番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後にネットワークを通して、その品物または人物の情報を電子メールにて配信されてくるシステムで、後で、視認者の意思により商品の購入、人物への連絡ができることを特徴とする。
    ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心度）が高くても、顔解析による感情度において嫌悪感度と怒り度、および条件により恐怖度が高いものを自動的に除くことを特徴とする視認情景に対する視認者情感判定装置。

Images