JP2005531080A - 視覚及び音声認識を介するコンテンツ格付けの測定 - Google Patents

Abstract

サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定する方法を提供する。この方法は、顧客についての画像データ及び音声データのうちの少なくとも１つを獲得する段階と、（ａ）顧客の凝視の検出、（ｂ）顧客の表情の検出、（ｃ）顧客の感情の検出、（ｄ）顧客の音声の検出、（ｅ）サービス、製品、及びコンテンツのうちの少なくとも１つとの顧客の相互作用の検出のうちの少なくとも１つのために、画像データ及び音声データのうちの獲得した少なくとも１つを解析する段階と、（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する段階を有する。

Description

本発明は、一般的に、視覚及び音声認識に係わり、より具体的には、視覚及び／又は音声認識を介して顧客の満足度を測定する方法及び装置に係る。

従来技術では、顧客による提示される製品、サービス、又はコンテンツ（ここでは、集合的に「製品」と称する）における関心を評価する既知の方法が幾つかある。しかし、既知の方法は全て人を介して行われる。例えば、製品の近くに通行人が取って記入することのできるアンケートカードが利用可能である。或いは、店員又は販売員が、製品に関する一連の質問を顧客に聞くことで製品における顧客の関心を集めてもよい。しかし、いずれの方法も、人々が意欲的に質問に参加しなければならない。意欲的であっても、人によって質問することは、完了するのに時間がかかり、しばしば、人々がその質問を答えるのに費やしてもよいと考える以上の時間がかかる。更に、人による質問は、参加する人々の誠実さにも依存する。テレビ番組といったコンテンツについては、ニールソン（Nielson）といった１つのサービスでは、どんなコンテンツが誰によって現在見られているのかを自動的に測定する。しかし、個人が、そのコンテンツを好んだか又は好まなかったかは自動的に測定しない。

更に、提示される製品の製造業者及びベンダーは、性別や民族的背景のような特徴といった参加者にはむしろ明らかにしたくない情報をしばしば望む。このようなタイプの情報は、製造業者及びベンダーが彼らの製品を市場に出すためには非常に有用となることが可能である。しかし、製造業者は、参加者はそのような情報を与えることを希望しないか又はそのような質問によって感情を害すると理解しているので、製造業者及びベンダーは、そのような質問を、彼らの製品アンケートで聞かない。

従って、本発明は、製品、サービス、又はコンテンツの顧客の満足度を自動的に測定する方法及び装置を提供することを目的とする。

従って、サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を自動測定する方法が提供される。本発明の方法は、顧客についての画像データ及び音声データのうちの少なくとも１つを獲得する段階と、（ａ）顧客の凝視の検出、（ｂ）顧客の表情の検出、（ｃ）顧客の感情の検出、（ｄ）顧客の音声の検出、（ｅ）サービス、製品、及びコンテンツのうちの少なくとも１つとの顧客の相互作用の検出のうちの少なくとも１つのために、画像データ及び音声データのうちの獲得した少なくとも１つを解析する段階と、（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する段階を有する。

本発明の方法は更に、画像データ及び音声データのうちの少なくとも１つから、顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定する段階を有することが好適である。獲得段階は、画像データ内の顧客を識別する段階を有することが好適である。識別段階は、画像データ内の顔を検出する段階を有する。或いは、識別段階は、画像データ内のオブジェクトを、人と人ではないものに分類する段階を有する。顧客の凝視の検出は、検出された凝視の方向は、サービス、製品、及びコンテンツのうちの少なくとも１つに向けられているか否かを決定する段階、及び、サービス、製品、及びコンテンツのうちの少なくとも１つに向けられる凝視の継続時間を決定する段階のうちの少なくとも１つを有することが好適である。

顧客の表情の検出は、検出された表情が、満足の表情であるか又は不満足の表情であるかを決定する段階を有することが好適である。本発明の方法は更に、表情が検出されたときに、サービス、製品、及びコンテンツのうちの少なくとも１つに顧客の凝視は向けられているか否かを検出する段階を有し、顧客の満足度の決定は、表情が検出されたときに、サービス、製品、及びコンテンツのうちの少なくとも１つに顧客の凝視は向けられているか否かを検出する段階に少なくとも部分的に基づくことが好適である。

顧客の感情の検出は、前記顧客の前記音声及び前記表情のうちの少なくとも１つの検出に少なくとも部分的に基づいていることが好適である。

顧客の感情の検出は、顧客の感情の強度を検出する段階を有することが好適である。

感情の強度を検出する段階は、顧客の音声及び表情のうちの少なくとも１つの検出に少なくとも部分的に基づいていることが好適である。

顧客の音声の検出は、認識された音声の特定の句を検出する段階を有することが好適である。

顧客の音声の検出は、認識された音声において感情を検出する段階を有することが好適である。

サービス、製品、及びコンテンツのうちの少なくとも１つとの顧客の相互作用の検出は、製品、サービス、及びコンテンツのうちの少なくとも１つとの物理的相互作用を検出する段階を有することが好適である。

更に、サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定する装置を提供する。本発明の装置は、顧客についての画像データ及び音声データのうちの少なくとも１つを獲得するカメラ及びマイクロホンのうちの少なくとも１つと、
（ａ）顧客の凝視の検出、（ｂ）顧客の表情の検出、（ｃ）顧客の感情の検出、（ｄ）顧客の音声の検出、（ｅ）サービス、製品、及びコンテンツのうちの少なくとも１つとの顧客の相互作用の検出のうちの少なくとも１つのために、獲得した画像データ及び音声データのうちの少なくとも１つを解析する手段を有するプロセッサを有し、プロセッサは更に、（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する手段を有する。

プロセッサは更に、画像データ及び音声データのうちの少なくとも１つから、顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定する手段を有することが好適である。

更に、本発明の方法を実行するコンピュータプログラムプロダクトと、そのコンピュータプログラムプロダクトを内部に格納するプログラム記憶装置も提供する。

本発明の装置及び方法の上述の及び他の特徴、面、及び利点は、以下の説明、特許請求の範囲、及び添付図面を参照しながらより良好に理解できるであろう。

図１を参照するに、サービス、製品、及びコンテンツのうちの少なくとも１つに対する顧客の満足度を測定する装置を示す。装置は、一般的に、参照番号１００により示す。装置１００は、提示される製品、サービス、又はコンテンツ１０４の所定領域内の画像データを捕捉するのに十分な視野を有する少なくとも１つの、そして、好適には幾つかのカメラ１０２を有する。カメラという用語は、全ての画像捕捉装置を意味するものとして一般的な意味で用いる。カメラ１０２は、デジタルビデオカメラであることが好適であるが、アナログビデオカメラ、デジタル静止画像カメラ等であってもよい。アナログカメラが用いられる場合、その出力は、デジタル形式に適当に変換されなければならない。カメラ１０２は、固定されるか、又は、パン、チルト、及びズーム機能を有することが可能である。装置は更に、その所定領域から音声データを捕捉する少なくとも１つのマイクロホン１０６も有する。マイクロホン１０６は、デジタルマイクロホンであることが好適であるが、その出力信号がデジタル形式に適当に変換されるのであれば他のタイプのマイクロホンも用いることが可能である。マイクロホンという用語は、全ての音捕捉装置を意味するものとして一般的な意味で用いる。

カメラ１０２及びマイクロホン１０６は、所定領域内の顧客１０８ａ、１０８ｂ、又は他の対象１０９についての画像及び音声データを捕捉するのに有用である。マイクロホン１０６又は少なくとも１つのカメラ１０２のどちらかが本発明の方法を実施するのに必要であるが、両方を使用することが好適である。本願で用いるように、「顧客」という用語は、カメラ１０２の視界及びマイクロホン１０６の音場内の画像及び／又は音声データ内に検出される任意の人を意味する。顧客は、提示される製品、サービス、及び／又はコンテンツに関心を持っているかもしれないし又は持っていないかもしれないが、所定領域にいることによって、「顧客」と分類するのに十分である。

捕捉された画像及び音声データは、画像認識手段１１０及び音声認識手段１１２によりそれぞれ以下に説明するような方法で解析される。装置１００は更に、パーソナルコンピュータといったプロセッサ１１４を有する。画像認識手段１１０及び音声認識手段１１２は、図１では別個のモジュールとして示すが、カメラ１０２及びマイクロホン１０６からの入力画像及び音声データを解析する一組の命令を実行するようプロセッサ１１４内に実装されることが好適である。プロセッサ１１４は更に、捕捉した画像及び／又は音声データから顧客１０８ａ、１０８ｂの性別、民族的背景、及び年齢のうちの少なくとも１つを決定する手段も有することが好適である。装置１００は更に、プロセッサ１１４による解析の結果を出力する出力手段１１６も有する。出力手段１１６は、プリンタ、モニタ、又は、更なる方法又は装置における使用のための電子信号であり得る。

本発明の方法の好適な実施例を、図２ａ及び２ｂを参照して以下に説明する。図２ａ及び２ｂは、好適には、装置１００によって実行される方法の好適な実施を示すフローチャートであり、この方法は、一般的に、参照番号２００により示す。方法２００は、サービス、製品、コンテンツ（ここでは集合的に「製品」と称する）のうちの少なくとも１つの顧客満足度を測定する。製品は、製品（例えば、消費者製品）が所定領域内で展示されるショッピングエリアといった公の場所か、製品（例えば、テレビ番組といったコンテンツ）が所定領域内で見られるプライベートな場所において提示されることが可能である。

段階２０２において、画像データ及び音声データのうちの少なくとも１つ、また、好適には両方のデータが、所定領域について、カメラ１０２及び／又はマイクロホン１０６によって獲得される。画像及び／又は音声データの獲得後、段階２０４において、顧客１０８ａ、１０８ｂが、画像及び／又は音声データにおいて識別される。画像データ及び音声データのどちらか又は両方を用いて所定領域内の顧客を識別することが可能であるが、画像データ内の人間を認識するよう当該技術において既知である任意の方法を用いるために画像データが用いられることが好適である。

そのような方法の１つは、画像データ内の顔が検出され、各顔は人物に関連付けられるものである。顔が見つかると、人間が存在することが安全に想定することができる。顔の検出による画像データ内の人の認識の一例は、Gutta外によるMixture of Experts for Classification of Gender, Ethnic Origin, and Pose of Human Faces（ニューラルネットワークのＩＥＥＥトランザクション、第１１版、第４号、２０００年７月）に開示される。

別の方法は、画像データ内のオブジェクトを、人と人ではないものに分類することである。例えば、図１中の人１０８ａ、１０８ｂは、顧客として分類されるが、犬１０９は、人間ではないものとして分類され、解析からは外される。このようなシステムの一例は、２００１年２月２７日に出願したGutta外に対し「Classification of Objects through Model Ensembles」なる名称の同時係属中の米国特許出願番号０９／７９４，４４３に開示される。

人間がいると判断されると、性別、民族的背景、顔の向き、表情等の他の特徴を決定してもよい。以下に説明するように、これらの特徴は、提示される製品における顧客の関心の指標を決定する際に用いられ得る。人の性別及び民族的背景を予測する方法は、Gutta外によるMixture of Experts for Classification of Gender, Ethnic Origin, and Pose of Human Faces（ニューラルネットワークのＩＥＥＥトランザクション、第１１版、第４号、２０００年７月）に開示されるように当該技術において周知である。

画像及び／又は音声データの解析により決定可能な一部の特徴の例は、顧客１０８ａ、１０８ｂの凝視の検出、顧客１０８ａ、１０８ｂの表情の検出、顧客１０８ａ、１０８ｂの感情の検出、顧客１０８ａ、１０８ｂの音声の検出、及び、顧客１０８ａ、１０８ｂの製品との相互作用の検出であり、これらのうちの１つ以上を用いて、顧客のその製品における関心／満足度を測定し得る。

顧客１０８ａ、１０８ｂの凝視の検出に関して、このことは、段階２０６において行われることが好適である。段階２０８において、検出された凝視が製品１０４に向けられているか否かが決定されることが好適である。例えば、図１の顧客１０８ａは、製品１０４を凝視していると分類されるが、一方、顧客１０８ｂは、製品１０４を凝視していないと分類されるであろう。検出された顧客１０８ｂが、製品１０４を凝視していないと分かると、方法２００は、路２０８−ＮＯを進み、顧客１０８ｂは、その顧客の製品１０４に明らかに関心がないこと以外は解析に用いられず、方法は、画像データ内の顧客が識別される段階２０４に戻る。顧客１０８ａが製品１０４を凝視していると分かると、方法は、路２０８−ＹＥＳに沿って進み、他の特徴が、その顧客１０８ａについて検出される。

凝視の方向と共に、凝視の継続時間、特に、製品に向けられた凝視の継続時間を、画像データから検出することが可能である。製品に向けられる凝視の継続時間は、製品における関心を示唆すると想定することができる。画像データ内の凝視を検出する方法は、Rickert外によるGaze Estimation using Morphable Models（１９９８年４月１４−１６日に日本奈良で開催された第３回自動顔及びジェスチャ認識国際会議のプロシーディングス）に開示されるように当該技術において周知である。

顧客の表情の検出に関して、このことは、段階２１０において、製品１０４を凝視していると分かった顧客１０８ａについてのみ行われることが好適である。顧客１０８ａの表情の検出は、検出された顔の表情が満足か又は不満足のうちの１つであるかどうかを決定することを有することが好適である。例えば、笑顔か又は興奮した目つきの検出は、満足を示唆し、一方、しかめ面や困惑した目つきの検出は、不満足を示唆するであろう。表情を検出する方法は、Colmenarez外によるModeling the Dynamics of Facial Expressions（２００１年１２月１０−１５日にアメリカハワイ州で行われたコンピュータビジョン及びパターン認識の国際会議と一緒に開催されたＣＵＥＳワークショップ）に開示されるように当該技術において周知である。

音声の検出に関して、このことは、段階２１２において行われることが好適であり、また、所定領域における顧客１０８ａ、１０８ｂを識別するだけでなく、顧客の製品に対する満足度の指標を決定するためにも有用である。例えば、顧客１０８ａ、１０８ｂの音声の検出は、認識された音声における特定の句を検出することができる。例えば、「それはすばらしい」又は「かっこいい」といった表現の認識は、満足の指標を示唆し、「だめだ」又は「ひどい」といった表現は、不満足の指標を示唆するだろう。

段階２１４において、検出された顧客１０８ａ、１０８ｂの感情が検出されることが可能である。顧客１０８ａは製品を凝視しているので、この顧客の感情のみが検出される。顧客１０８ａの感情の検出は、顧客１０８ａの音声及び／又は表情の検出に（少なくとも部分的に）基づくことが好適である。更に、検出された感情の強度も検出されることが可能である。例えば、興奮した目つきといった特定の表情は、笑顔よりも大きい感情的強度を有する。同様に、感情の強度は、顧客が音声パターンを変更する（例えば、早く又は大きくしゃべる）か、又は、虚辞を使うようなときに、顧客１０８ａの検出された音声において検出されることも可能である。表情及び音声における感情の認識は、Colmenarez外によるModeling the Dynamics of Facial Expressions（コンピュータビジョン及びパター認識の国際会議（２００１年１２月１０−１５日にアメリカハワイ州で行われたコンピュータビジョン及びパターン認識の国際会議と一緒に開催されたＣＵＥＳワークショップ）と、Frank Dellaert外によるRecognizing Emotions in Speech（１９９６年の音声及び言語処理の国際会議のプロシーディングス）と、Polzin外によるDetecting Emotions in Speech（１９９８年の協働マルチモーダル通信会議のプロシーディングス）に開示されるように当該技術において周知である。

段階２１６において、製品との物理的な相互作用といった顧客１０８ａと製品１０４との相互作用があるか否かが決定される。例えば、展示されている製品（例えば、自動車）に関して、顧客１０８ａが製品を触り、おそらく、特定のスイッチ又は製品の他の部分を動かしたという決定は、特に、肯定的な感情、スピーチ、及び／又は表情の検出と合わされると製品に満足しているという指標を示唆することが可能である。物理的な相互作用の決定は、カメラ１０２からの画像データ、及び／又は、触覚センサ（図示せず）からのフィードバックを解析することにより行うことが可能である。製品との物理的相互作用を決定するそのような方法は、当該技術において周知である。

上述したように、顧客１０８ａ、１０８ｂの性別、民族的背景、及び年齢といった他の特徴の検出は、好適には、段階２１８において行われてもよい。このような特徴は、製品に対する満足の指標を決定するのには有用ではないかもしれないが、マーケティングの意味では非常に有用である。例えば、方法２００は、多くの女性は特定の製品に満足しているが、多くの男性は、その製品に満足していないか又は関心がないことを決定することができる。同様のマーケティング戦略を、満足度及び民族的背景及び／又は年齢の解析から学習することができる。

段階２２０において、顧客の満足度が、上述した特徴の少なくとも１つ、また、好適には、それらの特徴の組合わせに基づいて決定される。そのような決定のための１つの単純なアルゴリズムは、各特徴に重みを割当て、そこからのスコアを計算し、このスコアは、満足／不満足の指標を示す。つまり、所定数より下のスコアは、製品１０４について不満足であることを示し、所定数より上のスコアは、製品１０４について満足していることを示すであろう。

もう１つの例は、可能な満足が示される各特徴に点を割当てることである。所定数以上の全ての検出された特徴に対する点の総合スコアは、製品１０４について満足していることを示し、所定数より下の総合スコアは、製品１０４について不満足であることを示すであろう。アルゴリズムを複雑にして、多数のシナリオと検出された特徴の組合わせを与えてもよい。例えば、上述したように、製品１０４を長い間凝視していると検出され、その音声及び表情に高い感情の高ぶりが検出される顧客１０８ａは、製品に非常に満足していることが示され、一方、不満足げな表情で製品を眺め、音声における不満足な感情を有する顧客１０８ａは、製品にほとんど又は全く関心がないことを示すであろう。同様に、製品１０４を短い時間しか眺めず、音声及び表情にほとんど又は全く感情を示さない顧客１０８ａは、製品にほとんど又は全く関心がないことを示すであろう。

段階２２２において、解析の結果が、検査、統計学的解析、又は別の方法若しくは装置に使用するために出力される。

本発明の方法は、コンピュータソフトウェアプログラムにより実行されることが特に好適である。このようなコンピュータソフトウェアプログラムは、方法の個々の段階に対応するモジュールを有することが好適である。このようなソフトウェアは、当然ながら、集積チップ又は周辺装置といったコンピュータ可読媒体内に具現化されることが可能である。

本発明の好適な実施例と考えられるものを示し且つ説明したが、当然ながら、本発明の精神から逸脱することなく様々な修正及び変更を形式又は細部において容易に行うことが可能であることを理解するものとする。従って、本発明は、説明且つ記載した形式に厳しく制限されるものではなく、本発明の特許請求の範囲内である全ての修正を含むと考えるべきである。

本発明の方法を実行する装置の好適な実施を示す図である。 本発明の方法の好適な実施を示すフローチャートである。 本発明の方法の好適な実施を示すフローチャートである。

Claims (20)

1. サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定する方法であって、
   前記顧客についての画像データ及び音声データのうちの少なくとも１つを獲得する段階と、
   （ａ）前記顧客の凝視の検出、（ｂ）前記顧客の表情の検出、（ｃ）前記顧客の感情の検出、（ｄ）前記顧客の音声の検出、（ｅ）前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つとの前記顧客の相互作用の検出のうちの少なくとも１つのために、前記画像データ及び音声データのうちの獲得した少なくとも１つを解析する段階と、
   前記（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する段階と、
   を有する方法。
2. 前記画像データ及び音声データのうちの少なくとも１つから、前記顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定する段階を更に有する請求項１記載の方法。
3. 前記獲得段階は、前記画像データ内の前記顧客を識別する段階を有する請求項１記載の方法。
4. 前記識別段階は、前記画像データ内の顔を検出する段階を有する請求項３記載の方法。
5. 前記識別段階は、前記画像データ内のオブジェクトを、人と人ではないものに分類する段階を有する請求項３記載の方法。
6. 前記顧客の凝視の検出は、前記検出された凝視の方向は、前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つに向けられているか否かを決定する段階、及び、前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つに向けられる前記凝視の継続時間を決定する段階のうちの少なくとも１つを有する請求項１記載の方法。
7. 前記顧客の表情の検出は、前記検出された表情が、満足の表情であるか又は不満足の表情であるかを決定する段階を有する請求項１記載の方法。
8. 前記表情が検出されたときに、前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つに前記顧客の凝視は向けられているか否かを検出する段階を更に有し、
   前記顧客の満足度の決定は、前記表情が検出されたときに、前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つに前記顧客の凝視は向けられているか否かを検出する段階に少なくとも部分的に基づく請求項６記載の方法。
9. 前記顧客の感情の検出は、前記顧客の前記音声及び前記表情のうちの少なくとも１つの検出に少なくとも部分的に基づいている請求項１記載の方法。
10. 前記顧客の感情の検出は、前記顧客の前記感情の強度を検出する段階を有する請求項１記載の方法。
11. 前記感情の強度を検出する段階は、前記顧客の前記音声及び前記表情のうちの少なくとも１つの検出に少なくとも部分的に基づいている請求項１０記載の方法。
12. 前記顧客の音声の検出は、前記認識された音声の特定の句を検出する段階を有する請求項１記載の方法。
13. 前記顧客の音声の検出は、前記認識された音声において感情を検出する段階を有する請求項１記載の方法。
14. 前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つとの前記顧客の相互作用の検出は、前記製品、前記サービス、及び前記コンテンツのうちの少なくとも１つとの物理的相互作用を検出する段階を有する請求項１記載の方法。
15. サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定するためのコンピュータ可読媒体上に具現化されるコンピュータプログラムプロダクトであって、
    前記コンピュータプログラムプロダクトは、
    前記顧客についての画像データ及び音声データのうちの少なくとも１つを獲得するためのコンピュータ可読プログラムコード手段と、
    （ａ）前記顧客の凝視の検出、（ｂ）前記顧客の表情の検出、（ｃ）前記顧客の感情の検出、（ｄ）前記顧客の音声の検出、（ｅ）前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つとの前記顧客の相互作用の検出のうちの少なくとも１つのために、前記画像データ及び音声データのうちの獲得した少なくとも１つを解析するためのコンピュータ可読プログラムコード手段と、
    前記（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定するためのコンピュータ可読プログラムコード手段と、
    を有するコンピュータプログラムプロダクト。
16. 前記画像データ及び音声データのうちの少なくとも１つから、前記顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定するためのコンピュータ可読プログラムコード手段を更に有する請求項１５記載のコンピュータプログラムプロダクト。
17. サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定する方法段階を行うよう機械によって実行可能な命令のプログラムを具体的に具現化する前記機械により可読であるプログラム記憶装置であって、
    前記方法は、
    前記顧客についての画像データ及び音声データのうちの少なくとも１つを獲得する段階と、
    （ａ）前記顧客の凝視の検出、（ｂ）前記顧客の表情の検出、（ｃ）前記顧客の感情の検出、（ｄ）前記顧客の音声の検出、（ｅ）前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つとの前記顧客の相互作用の検出のうちの少なくとも１つのために、獲得した前記画像データ及び音声データのうちの少なくとも１つを解析する段階と、
    前記（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する段階と、
    を有するプログラム記憶装置。
18. 前記方法は更に、前記画像データ及び音声データのうちの少なくとも１つから、前記顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定する段階を有する請求項１７記載のプログラム記憶装置。
19. サービス、製品、及びコンテンツのうちの少なくとも１つについて顧客の満足度を測定する装置であって、
    前記顧客についての画像データ及び音声データのうちの少なくとも１つを獲得するカメラ及びマイクロホンのうちの少なくとも１つと、
    （ａ）前記顧客の凝視の検出、（ｂ）前記顧客の表情の検出、（ｃ）前記顧客の感情の検出、（ｄ）前記顧客の音声の検出、（ｅ）前記サービス、前記製品、及び前記コンテンツのうちの少なくとも１つとの前記顧客の相互作用の検出のうちの少なくとも１つのために、獲得した前記画像データ及び音声データのうちの少なくとも１つを解析する手段を有するプロセッサと、
    を有し、
    前記プロセッサは更に、前記（ａ）乃至（ｅ）のうちの少なくとも１つに基づいて顧客の満足度を決定する手段を有する装置。
20. 前記プロセッサは更に、前記画像データ及び音声データのうちの少なくとも１つから、前記顧客の性別、民族的背景、及び年齢のうちの少なくとも１つを決定する手段を有する請求項１９記載の装置。

Images