JP2014504460A - ウェブ対応アプリケーションに対する感情データの測定 - Google Patents

Abstract

人がレンダリング（たとえば、ウェブサイトや映像）と対話する際に、精神状態情報が収集される。精神状態情報の収集は、映像の捕捉、またはセンサ情報の捕捉を通して行われる。センサ情報は、電気皮膚活性、加速度計の読み、皮膚温度などの特性であってよい。精神状態情報がサーバにアップロードされ、他の人々の情報と集約されることにより、集団的精神状態がレンダリングと関連付けられる。集約された精神状態情報は、アバターのような視覚的表現を用いて表示される。
【選択図】図１

Description

関連出願の相互参照
本出願は、米国仮特許出願第６１／３８８，００２号「Ｍｅａｓｕｒｉｎｇ Ａｆｆｅｃｔｉｖｅ Ｄａｔａ ｆｏｒ Ｗｅｂ−Ｅｎａｂｌｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ」（２０１０年９月３０日出願）、同第６１／４１４，４５１号「Ｓｈａｒｉｎｇ Ａｆｆｅｃｔ Ｄａｔａ Ａｃｒｏｓｓ ａ Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ」（２０１０年１１月１７日出願）、同第６１／４３９，９１３号「Ｕｓｉｎｇ Ａｆｆｅｃｔ Ｗｉｔｈｉｎ ａ Ｇａｍｉｎｇ Ｃｏｎｔｅｘｔ」（２０１１年２月６日出願）、同第６１／４４７，０８９号「Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ Ａｆｆｅｃｔ Ｒｅｓｐｏｎｓｅｓ ｔｏ Ｖｉｄｅｏｓ」（２０１１年２月２７日出願）、同第６１／４４７，４６４号「Ｖｉｄｅｏ Ｒａｎｋｉｎｇ Ｂａｓｅｄ ｏｎ Ａｆｆｅｃｔ」（２０１１年２月２８日出願）、および同第６１／４６７，２０９号「Ｂａｓｅｌｉｎｅ Ｆａｃｅ Ａｎａｌｙｓｉｓ」（２０１１年３月２４日出願）の優先権を主張するものである。上記各出願は、許可されている管轄において、参照によりその全体が本明細書に組み込まれている。

本出願は、主に精神状態の分析に関し、より具体的には、ウェブ対応アプリケーションに対する感情データを測定することに関する。

人々は、非常に多くの時間をインターネット上で過ごし、その時間の多くは、ウェブページの閲覧およびウェブページとの対話を含んでいる。人がウェブページ上で過ごす時間の長さ、およびインターネット上で人が選択した経路を分析するウェブサイト分析が行われてきた。この種の分析は、ウェブページの価値および恩恵、ならびにこれらのページのそれぞれのスタイルを評価するために用いられている。

精神状態の評価は、個人および個人が周囲の世界に反応する様式を理解するうえで重要である。精神状態は、うれしさから悲しさ、満足から心配、興奮から落ち着き、その他、様々なものが広い範囲に及ぶ。こうした精神状態は、日常の様々な事象に対する反応として体験される。たとえば、交通渋滞時に苛立ったり、列に並んでいる間に退屈であったり、１杯のコーヒーを待つ間をじれったく感じたり、コンピュータやインターネットと対話しているときでさえ、いらいらしたりする。人間が、他者の精神状態を評価および理解することに基づいて、かなり察しが良く、共感的になることができるのに対して、精神状態の評価を自動化することは、はるかに困難である。共感的な人は、他者が心配していたり、喜んでいたりする状態を察し、相応に反応することが可能である。人が他者の感情状態を察する能力および手段は、端的に説明することが非常に困難な場合があり、しばしば、「直感」がある、というように言われてきた。

困惑、集中、心配など、様々な精神状態を識別することが、個人または人々の集団を理解することに役立つ可能性がある。人々は、大災害を目撃した後などには、恐れや不安という共通の反応を示す可能性がある。同様に、人々は、自分たちのスポーツチームが勝利した場合などには、歓喜の熱狂という共通の反応を示す可能性がある。人が体験している精神状態を識別するために、特定の顔の表情や頭部のジェスチャを用いる場合がある。顔の表情に基づく精神状態の評価においては、限定された自動化が行われてきた。特定の生理的状態が人の心理状態を表す場合があり、これが、うそ発見器テストに使用される装置のような粗野な様式で使用されてきた。

インターネットと対話している人々の分析を、顔の表情、頭部ジェスチャ、および生理的状態の評価を通して精神状態を収集することにより、行うことが可能である。この分析は、ウェブページとの特定の対話、または所与のウェブページの一部分と関連付けることが可能である。ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータに実装される方法が開示され、本方法は、複数の人々がレンダリングと対話した際にその複数の人々から精神状態データを収集するステップと、レンダリングと対話した複数の人々からの精神状態データに基づく情報をサーバにアップロードするステップと、レンダリングと対話した複数の人々についての集約された精神状態情報を受け取るステップと、集約された精神状態情報をレンダリングとともに表示するステップと、を含む。集約された精神状態情報は、複数の人々から導出されたノルムを含んでよい。ノルムは、コンテキスト情報に基づくものであってよい。本方法はさらに、集約された精神状態情報をレンダリングと関連付けるステップを含んでよい。本方法はさらに、複数の人々から収集された精神状態データに基づいて精神状態を推論するステップを含んでよい。レンダリングは、ウェブ対応アプリケーション上のボタン、広告、バナー広告、ドロップダウンメニュー、およびデータ要素からなる群のうちの１つであってよい。レンダリングは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、および仮想世界からなる群のうちの１つであってよい。精神状態データを収集するステップは、生理的データおよび顔データからなる群のうちの１つを捕捉することを含んでよい。ウェブカメラを用いて、顔データおよび生理的データの１つ以上を捕捉してよい。生理的データを用いて自律神経活動を特定することが可能である。自律神経活動は、心拍数、呼吸、および心拍数変動からなる群のうちの１つであってよい。顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含んでよい。本方法はさらに、目を追跡して、対話が行われているレンダリングを識別するステップを含んでよい。目の追跡により、レンダリングのうちの、目がフォーカスされている部分を識別することが可能である。目の追跡には、ウェブカメラを使用してよい。本方法はさらに、レンダリングに対して目が一時停止する時間を記録するステップと、目が一時停止する時間の情報をレンダリングおよび精神状態と関連付けるステップと、を含んでよい。対話することは、閲覧、クリック、およびマウスオーバからなる群のうちの１つを含んでよい。本方法はさらに、複数の人々のうちの一個人が、顔情報が集約されることを許可する登録を行うステップを含んでよい。本方法はさらに、複数の人々のうちの一個人が、情報がサーバにアップロードされることを許可する登録を行うステップを含んでよい。

集約された精神状態情報の集約は、コンピュータによる集約により行われてよい。実施形態によっては、精神状態情報がデモグラフィックベースに基づいて分類されるように、集約された精神状態情報の集約をデモグラフィックベースで行ってよい。本方法はさらに、集約された精神状態情報および複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップを含んでよい。この視覚的表現は、集約された精神状態情報をデモグラフィックベースで表示してよい。本方法はさらに、集約された精神状態情報および複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上を表現するアバターをアニメーション化するステップを含んでよい。本方法はさらに、集約された精神状態情報をレンダリングと同期させるステップを含んでよい。本方法はさらに、レンダリングに関するコンテキスト情報を捕捉するステップを含んでよい。このコンテキスト情報は、時間軸、ウェブページの進展、またはアクティグラフのうちの１つ以上を含んでよい。精神状態は、苛立ち、困惑、失望、ためらい、認知的過負荷、集中、没頭、注目、退屈、探求、確信、信頼、喜び、および満足からなる群のうちの１つを含んでよい。

諸実施形態では、ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータ可読媒体の形で具体化されるコンピュータプログラム製品が、複数の人々がレンダリングと対話した際にその複数の人々から精神状態データを収集するステップのコードと、レンダリングと対話した複数の人々からの精神状態データに基づく情報をサーバにアップロードするステップのコードと、レンダリングと対話した複数の人々についての集約された精神状態情報を受け取るステップのコードと、集約された精神状態情報をレンダリングとともに表示するステップのコードと、を含んでよい。諸実施形態では、ウェブ対応アプリケーションのトラフィック状態を分析するシステムが、命令を記憶するメモリと、メモリに接続された１つ以上のプロセッサと、を含んでよく、この１つ以上のプロセッサは、記憶されている命令の実行時に、複数の人々がレンダリングと対話した際にその複数の人々から精神状態データを収集するステップと、レンダリングと対話した複数の人々からの精神状態データに基づく情報をサーバにアップロードするステップと、レンダリングと対話した複数の人々についての集約された精神状態情報を受け取るステップと、集約された精神状態情報をレンダリングとともに表示するステップと、を実施するように構成されている。

実施形態によっては、ウェブ対応アプリケーションのトラフィックを分析する方法が、複数の人々がレンダリングと対話した際にその複数の人々から収集された精神状態データを受け取るステップと、レンダリングと対話した複数の人々についての集約された精神状態情報を受け取るステップと、集約された精神状態情報をレンダリングとともに表示するステップと、を含んでよい。実施形態によっては、ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータに実装される方法が、複数の人々がレンダリングと対話した際にその複数の人々から収集された精神状態データを受け取るステップと、レンダリングと対話した複数の人々についての精神状態情報を集約するステップと、集約された精神状態情報をレンダリングと関連付けるステップと、集約された精神状態情報を要求元に提供するステップと、を含んでよい。諸実施形態では、電子ディスプレイ上のレンダリングを分析するための、コンピュータに実装される方法が、第１の人が電子ディスプレイ上のレンダリングと対話するステップと、第１の人が電子ディスプレイ上のレンダリングと対話した際に、第１の人に関するデータをコンピュータシステムに捕捉するステップと、レンダリングと対話した第１の人の精神状態を、第１の人に関して捕捉されたデータに基づいて推論するステップと、第１の人に関して捕捉されたデータに関する情報をサーバにアップロードするステップと、第２の人がレンダリングと対話するステップと、第２の人がレンダリングと対話した際に、第２の人に関するデータを捕捉するステップと、レンダリングと対話した第２の人の精神状態を、第２の人に関して捕捉されたデータに基づいて推論するステップと、第２の人に関して捕捉されたデータに関する情報をサーバにアップロードするステップと、第１の人の精神状態に関する情報を、第２の人の精神状態に関する情報とともに集約し、結果として、集約された精神状態情報を得るステップと、集約された精神状態情報を、第１の人および第２の人が対話したレンダリングと関連付けるステップと、を含んでよい。

以下の説明から、多数の実施形態の様々な特徴、態様、および利点がより明らかになるであろう。

以下の、特定実施形態の詳細説明は、以下の図面を参照することにより、理解されるであろう。

図１は、複数の人々についての感情分析を与えることのフローチャートである。 図２は、生理的分析を表す図である。 図３は、心臓に関連するセンシングの図である。 図４は、レンダリングに対する顔の反応を捕捉することの図である。 図５は、顔分析を実施することのフローチャートである。 図６は、精神状態情報を使用することのフローチャートである。 図７は、分析を登録することのフローチャートである。 図８は、レンダリングおよび反応の典型的な図である。 図９は、レンダリングおよび集約された反応の典型的な図である。 図１０は、レンダリングおよびアバターによる反応の典型的な図である。 図１１は、精神状態分析のグラフィカル表現である。 図１２は、人々の集団からの集約された結果を伴う精神状態分析のグラフィカル表現である。 図１３は、レンダリング対話から感情を分析することのフローチャートである。 図１４は、精神状態の視覚的表現の一実施例である。 図１５は、複数のコンピュータを利用してウェブ対応アプリケーションのトラフィック状態を分析するシステムの図である。

本開示では、人々がウェブサイトおよびインターネット上の他の機能と対話しているときの人々の精神状態を分析する様々な方法およびシステムについて説明する。精神状態は、感情状態または認知状態であってよい。感情状態は、たとえば、うれしさや悲しさである。認知状態は、たとえば、集中や困惑である。こうした精神状態を観察し、捕捉し、分析することにより、ウェブサイト分析の現在の能力をはるかに上回る、ウェブサイトに対する人々の反応に関する有意情報を得ることが可能である。

本開示によって解決される課題は、ウェブ指向環境内での精神状態の分析である。精神状態に関する情報は、クライアントマシンで収集し、ローのままサーバにアップロードしてよく、あるいは、分析および要約してからアップロードしてもよい。クラウドベースのシステムであれば、個人または集団がビデオ、広告、ウェブページなどと対話した際の精神状態についての分析を、アップロードされた精神状態情報に基づいて行うことが可能である。これらの精神状態情報を人々の集団全体にわたって集約することにより、人々がウェブ対応アプリケーションと対話した際の精神状態についての概要が得られる。集約された情報は、複数の異なるアプリケーションの間で、かつ、様々なアプリケーションのうちの、オンライン支払いやオンライン店舗販売のような同種の体験の間での、顧客体験を比較するうえで重要な規範的基準を提供することが可能である。それらのアプリケーションは、ウェブページ、ウェブサイト、ウェブポータル、モバイル機器アプリケーション、専用アプリケーション、および同様のウェブ指向のツールおよび機能であってよい。集約された精神状態情報は、その精神状態情報のアップロード元であったクライアントマシンにダウンロードすることが可能であり、あるいは、別の提示用クライアントマシンにダウンロードすることも可能である。その後、精神状態情報に基づいて推論された精神状態を、クライアントマシンのディスプレイ上で、人々が対話していた素材を表示するレンダリングとともに提示することが可能である。

図１は、複数の人々についての感情分析を与えることのフローチャートである。本プロセスは、ウェブ対応アプリケーションのトラフィックを分析する方法を含んでよい。フロー１００では、まず１１０で、１人または複数の人々がレンダリングと対話する。本プロセスは、複数の人々がレンダリングと対話することを含んでよい。レンダリングは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、仮想世界、または他の、各種ウェブ対応アプリケーションの可視出力を含んでよい。レンダリングはまた、ウェブ対応アプリケーション上の数あるアイテムの中でも、１つのアイテムの一部分、たとえば、ボタン、広告、バナー広告、ドロップダウンメニュー、テキストセクション、画像、データ要素などを含んでよい。レンダリングとの対話は、様々なタイプの対話を含んでよく、たとえば、閲覧、クリック、タイピング、フォームデータの記入、レンダリングに対するマウスオーバ、または任意のタイプの人間機械対話を含んでよい。フロー１００では、次に１２０で、レンダリングに関するコンテキスト情報を捕捉してよい。コンテキストは、レンダリングに関連する任意の情報であってよく、たとえば、時間軸、ウェブページの進展、アクティグラフ、レンダリングと対話している個人に関するデモグラフィック情報、または他の任意のタイプの、レンダリング、個人、または対話状況に関連する情報であってよい。時間軸は、レンダリングが対話または閲覧された時刻に関する情報を含んでよい。たとえば、映像が閲覧されてよく、精神状態が収集された各時刻を、映像内の対応する時点とともに記録してよい。実施形態によっては、コンテキスト情報は、ウェブページの進展を含んでよい。ウェブページの進展は、閲覧されたユニフォームリソースロケータ（ＵＲＬ）およびそれらが記録された順序を含んでよい。ウェブページの進展を収集することにより、収集された精神状態を、閲覧されたウェブページと相関付けることが可能である。

フロー１００では、次に１２２で、複数の人々がレンダリングと対話した際に、それらの人々から精神状態データを収集する。収集可能な精神状態データとしては、生理的データ、顔データ、他の画像、音、ユーザ活動の時間軸、または他の任意の、個人とレンダリングとの対話に関して収集された情報がある。したがって、精神状態データを収集することは、実施形態によっては、生理的データおよび顔データからなる群のうちの１つを捕捉することを含む。精神状態はまた、個人に関する任意のタイプの推論情報を含んでよく、限定ではなく例として、苛立ち、困惑、失望、ためらい、認知的過負荷、集中、没頭、注目、退屈、探求、確信、信頼、喜び、または満足を含んでよい。レンダリングの一例は、ウェブサイト上のチェックアウトページであってよい。合計金額や発送方法が不明である場合、個人は、困惑や疑念の精神状態を示すことがある。別の例では、レンダリングは、近日公開予定の映画の予告編映像であってよい。個人は、あらすじや見どころのアクションを目にすると、注目や没頭のような相応の精神状態を示す可能性があり、この精神状態を収集および／または推論することが可能である。

１２４で、個人は、データの収集前または収集後に精神状態を収集される登録を行うことが可能である。一実施形態では、レンダリングの閲覧またはレンダリングとの対話に先だって、精神状態を収集することの許可を個人に対して求めてよい。別の実施形態では、レンダリングとの対話またはレンダリングの閲覧の後に、精神状態を収集することの許可を個人に対して求めてよい。この場合、許可が得られなければ、精神状態に関して収集された情報はすべて廃棄されることになる。別の実施形態では、レンダリングの閲覧またはレンダリングとの対話に先だって、精神状態を収集することの許可についての大まかな質問を個人に対して行い、レンダリングとの対話またはレンダリングの閲覧の後に、許可の確認を求めてよい。このように登録許可を求めることの目的は、精神状態を収集するかどうか、さらには、どのタイプの情報であれば使用してよいか、についての管理権限を個人に与えるため、ということになる。しかしながら、実施形態によっては、登録許可を得られない可能性や、対話状況に応じて登録が暗黙のうちに行われる可能性がある。

次に１３０で、精神状態およびレンダリングコンテキストをサーバにアップロードしてよい。したがって、本プロセスは、レンダリングと対話した複数の人々からの精神状態データに基づく情報をサーバにアップロードすることを含んでよい。このアップロードは、収集された実データだけが対象であってよく、かつ／または、このアップロードは、推論された精神状態が対象であってよい。１２２での精神状態を収集すること、および１２０でのレンダリングコンテキストを捕捉することは、クライアントコンピュータ上でローカルに実施してよい。あるいは、生理的データおよび／または顔データは、ローカルに捕捉してからサーバにアップロードしてよく、サーバで、さらなる分析を実施して精神状態を推論してよい。１３２で、個人は、情報がサーバにアップロードされることを許可する登録を行うことが可能である。したがって、本プロセスは、複数の人々のうちの一個人が、精神状態データをサーバにアップロードすることを許可する登録を行うことを含んでよい。この情報はコンテキストも含んでよく、したがって、本プロセスは、複数の人々のうちの一個人が、情報をサーバにアップロードすることを許可する登録を行うことを含んでよい。実施形態によっては、収集された精神状態を、情報のアップロードに先だって、個人に対して表示してよい。その後、この個人に対して、情報をアップロードする許可を求めてよい。実施形態によっては、アップロード後にさらなる許可を個人に求めてもよく、あるいは、実施されたアップロードが引き続き容認できるものであるかどうかの確認を個人に求めてもよい。この、１３２の登録フェーズの間に許可が得られない場合、その情報はサーバから削除され、その後は使用されない。

次に１４０で、複数の個人の間で精神状態を集約してよい。非常に多くの人々が、１つのレンダリングと対話したり、これを閲覧したりしてよい。これらの人々について精神状態を収集し、これを集約して、これらの人々全体の反応を決定してよい。この集約は、同じシステム／プロセスで行われてよく、あるいは、精神状態の収集に使用されたシステム／プロセスとは別のシステム／プロセスで行われてもよく、あるいは、サーバ上で行われてもよい。その後、精神状態について集約された情報を、システム間、または同じシステムのプロセス間で送信してよい。したがって、本プロセスは、レンダリングと対話した複数の人々に関する集約された精神状態情報を受け取ることを含んでよい。１４２で、各個人は、自身の精神状態情報が他者のものと集約される登録を行うことが可能である。実施形態によっては、個人は、自身の精神状態が集約されること、または他の形式で分析に使用されることに対して許可を与えることが可能である。したがって、本プロセスは、複数の人々のうちの一個人が、顔に関する情報が集約されることを許可する登録を行うことを含んでよい。この情報は、すべての顔データを含んでよく、その情報の一部分だけを含んでもよい。たとえば、何人かの個人が、自身の顔の映像を除外されること、ならびに、顔の活動単位、頭部ジェスチャなどに関する他の情報は除外されないことを選択してよい。実施形態によっては、集約は、コンピュータによる集約により行われる。実施形態によっては、分析は、いくつかのウェブページにわたって、または複数のレンダリングにわたって、または一定時間にわたって、統合してよい。たとえば、チェックアウト体験は、４つのウェブページを含んでよく、その目的は、この、４つのウェブページからなる群に対する反応を捕捉することである。したがって、この分析は、個人の、それら４つのページに関して推論される各精神状態を統合することを含んでよい。さらに、これら４つのページに関して推論された各精神状態を集約して、複数の個人に関して結合してよい。

フロー１００では、次に１５０で、集約された精神状態をレンダリングとともに表示してよい。したがって、本プロセスは、集約された精神状態情報をレンダリングとともに表示することを含んでよい。関連付けられる情報は、顔映像、他の顔データ、生理的データ、および推論された精神状態を含んでよい。実施形態によっては、時間軸、ウェブページ配列順序、または他のレンダリングコンテキストを用いて、精神状態をレンダリングと同期させてよい。したがって、本プロセスでは、次に、集約された精神状態情報をレンダリングと関連付けてよい。

図２は、生理的分析を表す図である。システム２００が、データを収集されている人２１０を分析することが可能である。人２１０には、センサ２１２を装着してよい。センサ２１２は、手首、手のひら、手、頭、または他の身体部位に配置してよい。センサ２１２は、生理的データ（たとえば、電気皮膚活性、皮膚温度、加速度計の読みなど）の検出器を含んでよい。他の生理的データ検出器も含まれてよく、たとえば、心拍数、血圧、ＥＫＧ、ＥＥＧ、その他の脳波などの生理的検出器が含まれてよい。センサ２１２は、収集された情報を、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、８０２．１１、セルラー、または他のバンドなどの無線技術により、受信機２２０に送信することが可能である。他の実施形態では、センサ２１２は、他の方法（たとえば、有線インタフェースや光インタフェース）で受信機２２０と通信してよい。受信機は、システム２００内の１つ以上のコンポーネントにデータを与えることが可能である。実施形態によっては、センサ２１２は、様々な生理的情報を、後でダウンロードおよび分析できるように、メモリに記録することが可能である。この記録された生理的情報のデータは、実施形態によっては、ＵＳＢポート、または他の、有線または無線の接続を通してダウンロード可能である。

精神状態は、生理的データ（たとえば、センサからの生理的データ）に基づいて推論してよく、あるいは、ウェブカメラで観察された顔の表情や頭部ジェスチャに基づいて推論してもよい。精神状態は、覚醒および誘発性に基づいて分析してよい。覚醒は、扇動された場合のように高度に活性化された状態から、退屈な場合のように完全に受け身の状態までの範囲をとりうる。誘発性は、うれしい場合のように非常にポジティブな状態から、怒っている場合のように非常にネガティブな状態までの範囲をとりうる。生理的データは、電気皮膚活性（ＥＤＡ）または皮膚コンダクタンスまたはガルバニック皮膚反応（ＧＳＲ）、加速度計の読み、皮膚温度、心拍数、心拍数変動、および他のタイプの人間分析を含んでよい。当然のことながら、本明細書のこの箇所でも他の箇所でも、生理的情報は、センサまたは顔の観察によって取得可能である。顔データは、精神状態の推論に用いられる顔動作や頭部ジェスチャを含んでよい。さらに、このデータは、手のジェスチャや身体言語および身体の動き（そわそわする様子など）に関する情報を含んでよい。実施形態によっては、これらの動きは、カメラやセンサの読みによって捕捉可能である。顔データは、頭部の側方への傾斜、前傾、笑み、しかめ面、その他、様々なジェスチャや表情を含んでよい。

実施形態によっては、電気皮膚活性を収集してよい。電気皮膚活性の収集は、連続的に、または毎秒１回、または毎秒４回、または毎秒８回、または毎秒３２回、または他のいくらかの周期で行われてよい。電気皮膚活性は、記録することが可能である。この記録は、ディスク、テープ、フラッシュメモリ、コンピュータシステムに、あるいは、サーバへのストリーミングによって、行うことが可能である。２３０で、電気皮膚活性を分析し、皮膚コンダクタンスの変化に基づいて覚醒、興奮、退屈、または他の精神状態を示すことが可能である。皮膚温度は、周期的に収集してよく、記録してよい。２３２で、皮膚温度を分析してよく、皮膚温度の変化に基づいて覚醒、興奮、退屈、または他の精神状態を示すことが可能である。加速度計データを収集してよく、加速度計データは、１次元、２次元、または３次元の動きを示す。加速度計データは、記録することが可能である。２３４で、加速度計データを分析してよく、加速度計データに基づいて、睡眠パターン、高活性状態、無気力状態、または他の状態を示すことが可能である。センサ２１２で収集された様々なデータを、ウェブカメラによって捕捉された顔データとともに使用してよい。したがって、精神状態データを収集することは、実施形態によっては、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われる。

図３は、心臓に関連するセンシングの図である。人３１０がシステム３００によって観察され、システム３００は心拍数センサ３２０を含んでよい。この観察は、接触式センサを用いるか、心拍数情報の捕捉を可能にする映像分析、または他の非接触式センシングを用いて、行うことが可能である。実施形態によっては、ウェブカメラを用いて、生理的データを捕捉する。実施形態によっては、生理的データを用いて、自律神経活動を特定する。自律神経活動は、実施形態によっては、心拍数、呼吸、および心拍数変動からなる群のうちの１つである。また、実施形態によっては、他の自律神経活動（たとえば、瞳孔拡張などの自律神経活動）を特定することが可能である。３３０で、心拍数を、ディスク、テープ、フラッシュメモリ、コンピュータシステムに、またはサーバへのストリーミングによって、記録することが可能である。３４０で、心拍数および心拍数変動を分析することが可能である。心拍数の上昇は、興奮、緊張、または他の精神状態を表すと考えられる。心拍数の低下は、落ち着き、退屈、または他の精神状態を表すと考えられる。心拍数変動のレベルは、健康、落ち着き、ストレス、および年齢に関連すると考えられる。心拍数変動は、精神状態の推論に役立つ場合がある。心拍数変動が大きいことは、健康状態がよく、ストレスがないことを表すと考えられる。心拍数変動が小さいことは、ストレスレベルが上昇していることを表すと考えられる。

図４は、レンダリングに対する顔の反応を捕捉することの図である。システム４００では、顔データおよび／または他の、精神状態を表すものを収集するために、電子ディスプレイ４１０が人４２０に対してレンダリング４１２を表示することが可能である。実施形態によっては、ウェブカメラ４３０を用いて顔データを捕捉し、別の実施形態では、ウェブカメラ４３０を用いて、顔データおよび生理的データの１つ以上を捕捉する。顔データは、様々な実施形態において、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含んでよい。ウェブカメラ４３０は、人４２０の映像、音声、および／または静止画像を捕捉することが可能である。ウェブカメラという用語は、本明細書および特許請求の範囲で使用されているように、ビデオカメラ、スチルカメラ、熱探知カメラ、ＣＣＤ素子、携帯電話のカメラ、３次元カメラ、深度カメラ、人４２０の複数の異なる見え方を示すために用いられる複数のウェブカメラ４３０、または他の任意のタイプの、捕捉されたデータを電子システムで使用できるようにすることが可能な画像捕捉装置であってよい。電子ディスプレイ４１０は、コンピュータディスプレイ、ラップトップスクリーン、モバイル機器ディスプレイ、携帯電話ディスプレイ、または他の何らかの電子ディスプレイであってよい。レンダリング４１２は、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、仮想世界、または他の何らかの、ウェブ対応アプリケーションの出力を含んでよい。レンダリング４１２はまた、表示内容の一部分であってよく、たとえば、ウェブ対応アプリケーション上またはディスプレイの他の部分にあるボタン、広告、バナー広告、ドロップダウンメニュー、データ要素などであってよい。実施形態によっては、ウェブカメラ４３０は、人の目を観察する（４３２）ことが可能である。本開示および特許請求の範囲において、「目」という言葉は、個人の一方または両方の目を意味してよく、あるいは、集団の中の各個人の一方または両方の目の任意の組み合わせを意味してもよい。目は、人４２０がレンダリング４１２を観察する（４３４）につれて、動いてよい。ウェブカメラ４３０から見た人４２０の画像は、映像捕捉装置４４０によって捕捉可能である。実施形態によっては、映像を捕捉してよく、実施形態によっては、一連の静止画像を捕捉してよい。捕捉された映像または静止画像は、分析の１つ以上の部分において使用してよい。

活動単位、ジェスチャ、および精神状態の分析４４２は、人４２０の捕捉された画像を用いて行うことが可能である。活動単位を用いて、笑み、しかめ面、および他の、精神状態の顔指標を識別することが可能である。頭部ジェスチャを含むジェスチャは、関心や好奇心を表しうる。たとえば、電子ディスプレイ４０１に向かって動く頭部ジェスチャは、関心の増大または明確化の要望を表している可能性がある。捕捉された画像に基づいて、生理的データの分析４４４を行うことが可能である。それらの画像を分析することにより、呼吸、心拍数、心拍数変動、発汗、体温、および他の、精神状態の生理的指標を観察することが可能である。そこで、様々な実施形態において、ウェブカメラを用いて、顔データおよび生理的データの１つ以上を捕捉する。

実施形態によっては、ウェブカメラを用いて、目を追跡する。目の追跡４４６を行うことにより、対話が行われているレンダリングを識別することが可能である。実施形態によっては、目の追跡により、レンダリングのうちの、目がフォーカスされている部分が識別される。したがって、様々な実施形態において、目を追跡することにより、対話が行われているレンダリングおよびレンダリングの一部分のいずれかを識別することが可能である。このように、目を追跡することにより、精神状態を特定のレンダリングまたはレンダリングの一部分と関連付けることが可能である。たとえば、ウェブページ上のボタンの機能がはっきりしない場合、人は困惑を示す可能性がある。目を追跡することにより、困惑の対象が、ウェブページの他のどこかの部分ではなく当該ボタンであることが明らかになる。同様に、バナー広告がある場合、目を追跡することにより、そのバナー広告のうちの、覚醒およびポジティブな誘発性が最も高い部分を特定することが可能である。さらに、実施形態によっては、本プロセスは、レンダリングに対して目が一時停止する時間を記録することと、その、目が一時停止する時間の情報をレンダリングおよび精神状態に関連付けることと、を含んでよい。この、目が一時停止する時間を用いて、精神状態情報を、特定のレンダリングまたはレンダリングの一部分に対する関心レベルを表すように強化することが可能である。

図５は、顔分析を実施することのフローチャートである。フロー５００では、まず５１０で、人の顔を捕捉する。この捕捉は、映像により、または一連の静止画像により、行うことが可能である。フロー５００は、次に５２０で、活動単位を検出および分析してよい。活動単位としては、眉を上げること、両眉を上げること、引きつり気味の笑み、眉根を寄せること、鼻孔を広げること、目を細めること、その他多くの可能なものが挙げられる。これらの活動単位は、映像を分析するコンピュータシステムによって自動的に検出されてよい。あるいは、コンピュータシステムによる自動検出と、人間による入力とを組み合わせることによって、活動単位の検出を強化することも可能である。フロー５００は、次に５３０で、頭部および顔のジェスチャを検出および分析してよい。ジェスチャは、頭部の側方への傾斜、前傾、笑み、しかめ面、その他、様々なジェスチャを含んでよい。

他の実施形態では、５３５で、顔の表情および頭部ジェスチャ、または精神状態の、コンピュータ化された直接認識を行ってよい。直接認識を行う場合は、特徴の認識および分類を本プロセスに含めてよい。次に５４０で、精神状態の分析を行ってよい。精神状態は、苛立ち、困惑、失望、ためらい、認知的過負荷、集中、没頭、注目、退屈、探求、確信、信頼、喜び、満足、および他の多くの精神状態を含んでよい。

図６は、精神状態情報を使用することのフローチャートである。フロー６００では、まず６１０で、個人がレンダリング（たとえば、ウェブサイトなど）と対話する。この対話は、閲覧、クリック、または他の任意の、ウェブ対応アプリケーションを指向する活動を含んでよい。個人は、６１２で、精神状態に関連する情報を収集、アップロード、集約、および／または共有される登録を行うことが可能であり、これには、顔に関する情報が集約されることを許可する登録が含まれる。次に６２０で、精神状態の収集を、レンダリングとの対話またはレンダリングの閲覧が行われた際に行ってよい。精神状態は、収集された顔データおよび生理的データに基づいて推論してよい。精神状態は、クライアント機器に対するコンピュータベースの分析に基づいて推論してよい。実施形態によっては、複数の人々がレンダリングと対話した際にそれらの人々から収集された精神状態データを受け取るように構成されてよい。これは、この収集を別のシステムで行うことが可能なためである。次に６３０で、精神状態をサーバにアップロードしてよい。精神状態は、サーバ機器上でのコンピュータベースの分析に基づいて推論してよい。さらに、精神状態分析は、人間の対話によって支援されてよい。

次に６４０で、精神状態を、他の人々に関して収集された精神状態情報と集約してよい。実施形態によっては、レンダリングと対話した複数の人々についての精神状態情報を集約してよい。集約が別のシステムで行われる他の実施形態では、レンダリングと対話した複数の人々からの精神状態データに基づいて集約された精神状態情報を受け取ってよい。人々のそれぞれは、同じレンダリングと対話していたり、同じレンダリングを閲覧していたりしてよい。これらの精神状態は、収集され、レンダリングに関する情報と同期される。この同期は、時間軸、閲覧されたウェブページの並び、レンダリングまたはレンダリングの一部分からの目の追跡、または他の何らかの同期手法に基づいてよい。集約は、収集された情報をスケーリングすることにより、行われてよい。集約は、推論された様々な精神状態を組み合わせることであってよい。集約は、電気皮膚活性、心拍数、心拍数変動、呼吸、または他の何らかの生理的読みを組み合わせることであってよい。集約は、コンピュータによる集約を含んでよい。実施形態によっては、集約は、データに対するローパスフィルタおよび／またはハイパスフィルタ、またはバンドパスフィルタを含む技術によるデータのノイズクリーニングを含んでよい。正規化を行うことにより、データ上のノイズスパイクをすべて除去することが可能である。ノイズスパイクを除去するためには、ロバスト統計やモルフォロジフィルタのような非線形フィルタリングが用いられることが多い。時間シフトを行うことにより、収集されたデータを同一有効時間軸上に置くことが可能である。実施形態によっては、この時間シフトを時間ワーピングと呼ぶ。正規化と時間ワーピングは、順番を入れ替えてもよい。収集されたデータの平均をとってもよい。メジアン値のようなロバスト統計を求めてよい。このような手法を用いて、外れ値が除去され、特定の閾値を下回るデータが廃棄される。最後に、データに関する視覚化および表示を行ってよい。たとえば、上述の手法を用いて電気皮膚活性の測定値を集約することにより、人々の集団の反応を表す量的数字群を求めることが可能である。さらに、実施形態によっては、非線形伸長を用いて、小さな範囲の情報に注目することが可能である。たとえば、精神状態反応に応じて、特定の時間範囲が特に関心の的になる場合がある。したがって、この時間の前後の時間を圧縮し、関心の的の時間範囲を伸長することが可能である。実施形態によっては、集約された精神状態情報は、複数の人々から導出されたノルムを含んでよい。ノルムは、コンテキスト情報に基づいてよく、コンテキスト情報は、レンダリングからの情報、センサからの情報などに基づいてよい。

フロー６００では、次に６５０で、集約された精神状態情報をレンダリングと関連付ける。レンダリング（たとえば、ウェブページ、映像、または他の何らかのウェブ対応アプリケーション）は、集約された精神状態が関連付けられてよい。このように、ウェブページボタンが困惑と関連付けられる場合があり、予告編映像が期待と関連付けられる場合があり、１つ以上のチェックアウトページが確信と関連付けられる場合がある。同様に、映像内のある時間帯がポジティブな精神状態と関連付けられる場合があり、映像内の別の時間間隔がネガティブな精神状態と関連付けられる場合がある。図１４は、一連のウェブページに対する精神状態反応の一例示的視覚的表現を示す。

次に６６０で、精神状態を共有してよい。集約された精神状態情報を、個人または人々の集団と共有してよい。個人からの精神状態情報を、別の個人または人々の集団と共有してよい。実施形態によっては、集約された精神状態情報を要求元に提供してよく、実施形態によっては、集約された精神状態情報をレンダリングとともに表示してよい。この情報共有は、人々が、他の人々は何を好み、何を好まなかったかを知ることを支援するうえで有用でありうる。同様に、６６２で、コンテンツを推奨してよい。たとえば、強い覚醒およびポジティブな誘発性を引き起こした予告編映像を、他の予告編映像に関して同様の精神状態を共有している他者に推奨することが可能である。さらに、６６４で、精神状態に基づいて、アバターをアニメーション化してよい。アニメーション化は、人の顔のみ、頭部のみ、上半身のみであってよく、全身であってもよい。アニメーション化は、個人の精神状態情報に基づいてよい。あるいは、アニメーション化は、集約された精神状態情報に基づいてよい。諸実施形態では、個人に関する精神状態情報を、集約された精神状態と比較してよい。個人の精神状態と、集約された精神状態との違いをハイライトしてよい。

図７は、分析を登録することのフローチャートである。フロー７００では、まず７１０で、個人の情報を捕捉する許可を取得してよい。捕捉される情報は、顔データ、生理的データ、加速度計データ、または他の何らかの、精神状態を推論する作業において取得されるデータを含んでよい。実施形態によっては、要求される許可は、捕捉された情報の分析結果（たとえば、推論された精神状態または他の関連する結果）に対する許可であってよい。実施形態によっては、許可は、フロー７００における別の１つ以上の時点で要求されてよい。同様に、許可は、収集または分析のプロセスの各ステップにおいて要求されてよい。

フロー７００では、次に７２０で、情報を捕捉する。捕捉される情報は、顔データ、生理的データ、加速度計データ、または他の何らかのデータを含んでよい。次に７３０で、情報を分析して精神状態を推論する。この分析は、顔データ、頭部ジェスチャ、生理的データ、加速度計データ、および他の収集されたデータの、クライアントコンピュータによる分析を含んでよい。次に７４０で、分析の結果を個人に対して提示してよい。たとえば、精神状態および収集された情報を提示してよい。クライアントコンピュータは、７５０で、要求された許可に基づいて、捕捉された情報および／または分析結果をアップロードすることが許容されているかどうかを確認してよい。この時点で、７４０で提示された分析結果に基づいて、許可をさらに要求することが必要になる場合がある。たとえば、複数の人々のうちの一個人が、精神状態データのアップロードを許可する登録を行ってよい。分析結果または情報をアップロードすることの許可が得られない場合は、７６０で、その分析結果または情報を廃棄することになる。アップロードの許可が得られた場合は、７７０で、その情報および／または分析結果をウェブサービスに提供してよい。ウェブサービスは、追加の分析結果の提供、精神状態情報の集約、または、分析結果または精神状態情報の共有の準備を行ってよい。

図８は、レンダリングおよび反応の典型的な図である。表示ウィンドウ８００は、レンダリング８１０と、レンダリングを閲覧する人の映像８２０とを含んでよく、さらに、１つ以上の付加情報表示を含んでよい。実施形態によっては、これらの各部分は、ユーザの要求に応じて位置変更可能な個別のフローティングウィンドウであってよい。電子ディスプレイ８１０上のレンダリングは、任意のタイプのレンダリングであってよく、限定ではなく例として、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、または仮想世界など、本明細書に記載の任意のレンダリングであってよい。このレンダリング表示８１０は、精神状態情報を捕捉された個人に対して表示されていたレンダリングと同じレンダリングを、表示ウィンドウ８００のユーザに対して表示する。一例では、レンダリングは映像であってよく、この映像は、８２０の個人の捕捉された顔の映像と同期して再生出力されてよい。実施形態によっては、レンダリング８１０は、目が追跡している場所を表示してよい。たとえば、レンダリングを閲覧している個人の目がウェブページ上の特定ボタンまで追跡された場合は、そのボタンをハイライトしてよい。あるいは、画面上の、人の目がフォーカスされた部分を表す矩形または楕円をレンダリング８１０上に表示してよい。このように、目の追跡によって、人が注目している対象が示され、ウィンドウ８００のそれ以外の部分は、その注目範囲に対する人の反応に関する精神状態情報を示してよい。

さらに、様々な情報および分析結果を表示してよい。実施形態によっては、表示ウィンドウ８００のレンダリング８１０および映像８２０の下に追加情報を表示してよい。任意のタイプの情報を表示してよく、たとえば、個人からの精神状態情報、人々の集団からの集約された精神状態情報、または他の、レンダリング８１０、映像８２０、精神状態情報が捕捉された個人または人々の集団に関する情報、あるいは、他の任意のタイプの情報を表示してよい。したがって、実施形態によっては、集約された精神状態情報および複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成してよい。精神状態情報は、本明細書に記載の任意のタイプの精神状態情報を含んでよく、たとえば、電気皮膚活性、加速度計の読み、しかめ面マーカ、笑みマーカ、ならびに、他の様々な、可能な生理的指標および精神状態指標を含んでよい。たとえば、ウィンドウ８００には、笑みマーカトラック８３０が設けられている。笑みマーカトラック８３０上に細い線が存在する場合は、微量の笑みが検出されている。太く黒い線が表示されている場合は、しばらく続く大きな笑みが検出されている。この笑みマーカトラックは、図示されているように時間軸８３２を有してよく、時間軸８３２はまた、図示されたスライダバー８４０を有してよい。スライダバーは、時間軸８３０上の様々な時点まで動かすことが可能であり、レンダリング８１０および映像８２０は、それぞれ、その時点で何が起こっているかを表示することが可能である。別の例として、電気皮膚活性トラック８５０も表示されている。ウィンドウ８００は個人を表示することが可能であるが、このウィンドウまたはウィンドウ群は、集約された精神状態情報の視覚的表現を作成することも可能である。たとえば、人々の集団に関して電気皮膚活性情報が集約されると、レンダリング８１０に関して、集約された電気皮膚活性を表示することが可能である。既述のように、このウィンドウまたはウィンドウ群では、情報および分析結果の様々な表示が可能である。これらの表示は、個人に関して、または人々の集約された集団に関して、可能である。

図９は、レンダリングおよび集約された反応の典型的な図である。表示ウィンドウ９００は、ウェブ対応アプリケーションのレンダリング９１０を含んでよい。このレンダリングは、複数の人々に対して電子ディスプレイ上に表示されたレンダリングであってよい。電子ディスプレイ９１０上のレンダリングは、任意のタイプのレンダリングであってよく、限定ではなく例として、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、モバイル機器アプリケーション、携帯電話アプリケーション、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、または仮想世界など、本明細書に記載の任意のレンダリングであってよい。このレンダリング表示９１０は、精神状態情報を捕捉された複数の人々に対して表示されていたレンダリングと同じレンダリングを、表示ウィンドウ９００のユーザに対して表示してよい。実施形態によっては、レンダリング９１０は、複数の人々の大半の目が追跡していた場所を示すことが可能である。たとえば、画面上の、大半の人々の目がフォーカスされた部分を表すように、レンダリング９１０上で、ボタンをハイライトしたり、矩形や楕円を表示したりしてよい。

様々な情報および集約された分析結果を表示してよく、たとえば、電気皮膚活性、加速度計の読み、しかめ面マーカ、笑みマーカ、ならびに他の様々な、可能な生理的指標および精神状態指標を表示してよい。たとえば、ウィンドウ９００には、笑みマーカトラック９３０が設けられている。笑みマーカトラック９３０上に細い線が存在する場合は、複数の人々の大半の反応として、微量の笑みが検出されている。太く黒い線が表示されている場合は、複数の人々の大半の反応として、しばらく続く大きな笑みが検出されている可能性がある。この笑みマーカトラックは、図示されているように時間軸９３２を有してよく、時間軸９３２はまた、図示されたスライダバー９４０を有してよい。スライダバーは、時間軸９３０上の様々な時点まで動かすことが可能であり、レンダリング９１０は、その時点で何が起こっているかを、集約された精神状態情報をレンダリングと同期させながら、表示することが可能である。別の例として、集約された電気皮膚活性トラック９５０も含めてよい。既述のように、このウィンドウまたはウィンドウ群では、情報および分析結果の様々な表示が可能である。実施形態によっては、これらの各部分は、ユーザの要求に応じて位置変更可能な個別のフローティングウィンドウであってよい。

図１０は、レンダリングおよびアバターによる反応の典型的な図である。たとえば、レンダリングのディスプレイ１０１０、捕捉された顔のアバター１０２０、笑みトラック１０３０、時間軸１０３２、スライダバー１０４０、および電気皮膚活性トラック１０５０を含むウィンドウ１０００が表示されてよい。他の様々な情報表示も可能である。これらの各要素は、ウィンドウ１０００に表示してよく、あるいは、別のフローティングウィンドウに表示してもよい。アバター１０２０は、レンダリングを閲覧していた人を表し、その人の映像は表示しない。アバターを用いることにより、人の個人情報は除去して、笑み、しかめ面、笑いなどの顔の表情だけをアバターで表すことが可能になる。アバターは、顔だけ、頭部全体、上半身だけ、または全身を表示できる。実施形態によっては、アバターは、性別、人種、髪の色、目の色、および他の様々な、個人の側面を表す、個人の特性を反映することが可能である。また、実施形態によっては、これらの概念は、集約された精神状態情報を表すようにアバターをアニメーション化することを含んでよい。そして、アバターは、レンダリング１０１０に対する集団の反応を表すことが可能である。たとえば、大半の人々が没頭していて楽しい場合、アバターは、笑みを浮かべ、頭部を前傾させているように表示されてよい。したがって、上述のように、この概念は、実施形態によっては、集約された精神状態情報および複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上を表すようにアバターをアニメーション化することを含んでよい。

図１１は、精神状態分析のグラフィカル表現である。たとえば、関連付けられた精神状態情報を有する、ウェブ対応アプリケーションのレンダリング１１１０を含むウィンドウ１１００が表示されてよい。図示されている例におけるレンダリングは映像であるが、実施形態によっては、他の任意の種類のレンダリングであってよい。ユーザは、各種ボタンおよび／またはタブ（たとえば、「映像１を選択」ボタン１１２０、「映像２を選択」ボタン１１２２、「映像３を選択」ボタン１１２４、および「映像４を選択」ボタン１１２６）を使用して、複数のレンダリングの中から選択することが可能であってよい。各種実施形態では、ユーザが選択可能な任意の数の選択肢があってよく、映像以外のタイプのレンダリングがあってもよい。選択されたレンダリングに対応する一連のサムネイル画像（図示されている例では、サムネイル１ １１３０、サムネイル２ １１３２からサムネイルＮ １１３６までが含まれる）を、レンダリングの下に、時間軸１１３８とともに表示してよい。実施形態によっては、サムネイルがない場合もあり、レンダリングに関連付けられた単一サムネイルがある場合もあり、様々な実施形態の中には、サムネイルの長さが均一である場合や、サムネイルの長さが様々である場合がある。実施形態によっては、サムネイルの開始および／または終了を、レンダリングの映像のカットを編集することによって決定してよく、実施形態によっては、サムネイルの開始および／または終了を、レンダリングに関連付けられた、捕捉された精神状態の変化に基づいて決定してよい。

実施形態によっては、ユーザが、各種ボタンまたは他の選択方法を用いて、表示すべき特定タイプの精神状態情報を選択できるようにすることを含んでよい。図示されている例で、笑みの精神状態情報が表示されているのは、ユーザが直前に「笑み」ボタン１１４０を選択したためであろう。様々な実施形態においてユーザが選択可能であってよい他のタイプの精神状態情報として、「伏し目」ボタン１１４２、「眉を上げる」ボタン１１４４、「注目」ボタン１１４６、「誘発性スコア」ボタン１１４８、または他のタイプの精神状態情報が、実施形態に応じてあってよい。「概要」ボタン１１４９は、ユーザが複数のタイプの精神状態情報のグラフを同時に表示することを可能にするために選択可能であってよい。

図示されている例では「笑み」オプション１１４０が選択されているため、笑みグラフ１１５０が基準線１１５２に対して表示されていてよく、これには、レンダリング１１１０向けに精神状態データを収集された複数の個人の集約された笑みの精神状態情報が表示されている。視覚的表現によって、集約された精神状態情報がデモグラフィックベースで表示されるように、男性の笑みのグラフ１１５４および女性の笑みのグラフ１１５６が表示されてよい。様々なデモグラフィックベースのグラフを、図示されているような様々な線種で表したり、色分けまたは他の区別方法で表したりしてよい。スライダ１１５８は、ユーザが、時間軸の特定時点を選択して、その特定時点での選択されている精神状態の値を表示することを可能にすることができる。スライダは、値が表示されているデモグラフィック集団と同じ線種または色を示すことが可能である。

実施形態によっては、デモグラフィックボタン１１６０を用いて、様々なタイプのデモグラフィックベースの精神状態情報を選択することが可能である。そのようなデモグラフィックスとしては、性別、年齢、人種、収入レベル、または他の任意のタイプのデモグラフィック（たとえば、応答者を反応の高い応答者と反応の低い応答者とに分けることなど）などがありうる。グラフの凡例１１６２を表示してよく、これは、様々なデモグラフィック集団、各集団を表す線種または色、各集団の全応答者のパーセンテージおよび／または応答者の絶対数、および／または、デモグラフィック集団に関する他の情報を示す。選択されたデモグラフィックタイプに応じて、精神状態情報を集約してよい。したがって、実施形態によっては、精神状態情報がデモグラフィックベースに基づいて分類されるように、集約された精神状態情報の集約を、デモグラフィックベースで行う。

図１２は、人々の集団からの集約された結果を伴う精神状態分析のグラフィカル表現である。このレンダリングは、ウェブページ、ウェブ対応アプリケーション、または他のタイプの電子ディスプレイ表現に表示されてよい。グラフ１２１０は、感情データを収集された個人についての表示であってよい。別のグラフ１２１２は、別の個人に関して収集された感情または複数の人々からの集約された感情についての表示であってよい。精神状態分析は、顔画像または生理的データの収集に基づいてよい。実施形態によっては、グラフ１２１０は、個人に関して観察された笑みの量または確率を示してよい。グラフ上の値または点が高いほど、強い、または大きな笑みを表すことになる。場所によって、グラフが脱落したり低下したりしている場合があるが、これは、画像収集が失敗した場合か、画像収集において人の顔を識別できなかった場合である。感情の確率または強度は、ｙ軸１２２０に沿って与えられてよい。時間軸は、ｘ軸１２３０に沿って与えられてよい。集約された情報は、平均、メジアン、または他の、人々の集団から収集された情報に基づく統計値または計算値をとることに基づいてよい。実施形態によっては、集約された精神状態情報の集約は、コンピュータによる集約により行われる。

実施形態によっては、笑みまたは他の顔の表情の量を表す、グラフィカルな笑顔アイコン１２４０、１２４２、および１２４４を表示してよい。第１の満面の笑顔のアイコン１２４０は、満面の笑みが観察されたことを示してよい。第２の普通の笑顔のアイコン１２４２は、笑みが観察されたことを示してよい。第３の顔のアイコン１２４０は、笑みがないことを示してよい。これらの各アイコンは、笑みの確率または大きさを示すｙ軸１２２０上の領域に対応してよい。

図１３は、レンダリング対話から感情を分析することのフローチャートである。電子ディスプレイ上のレンダリングを分析することのフロー１３００では、まず、第１の人１３１２が電子ディスプレイ上のレンダリング１３１０と対話する。このレンダリングは、本明細書に記載のレンダリングを含む、任意のタイプのレンダリングであってよい。実施形態によっては、１３１４で、データを捕捉するプロセスに登録することのクエリが第１の人１３１２に対してあってよい。第１の人によって許容可能であれば、フロー１３００では、次に１３２０で、第１の人が電子ディスプレイ上のレンダリングと対話した際に、第１の人に関するコンテキストおよびデータをコンピュータシステムに捕捉してよい。実施形態によっては、データを捕捉することは、生理的データおよび顔データからなる群のうちの１つを捕捉することを伴う。捕捉されるデータは、電気皮膚データ、加速度計データ、および／または他のデータを含んでよい。捕捉されるコンテキストは、時間軸、一連のウェブページ、または他の何らかの、ウェブ対応アプリケーション内で行われていることの指標であってよい。

次に１３２２で、目を追跡して、ディスプレイ上の、第１の人１３１２がフォーカスされている場所を特定してよい。フロー１３００では、次に１３２４で、第１の人に関して捕捉されたデータに関する情報をサーバにアップロードする。情報のアップロードの前に、再度、許可を求めてよい。

フロー１３００では、次に１３３０で、第２の人１３３２がレンダリングと対話する。実施形態によっては、１３３４で、データを捕捉するプロセスに登録することのクエリが第１の人１３３２に対してあってよい。第２の人によって許容可能であれば、フロー１３００では、次に１３４０で、第２の人がレンダリングと対話した際に、第２の人に関するコンテキストおよびデータを捕捉してよい。次に１３４２で、目を追跡して、ディスプレイ上の、第２の人１３３２がフォーカスされている場所を特定してよい。フロー１３００では、次に１３４４で、第２の人に関して捕捉されたデータに関する情報をサーバにアップロードしてよい。情報のアップロードの前に、再度、許可を求めてよい。

フロー１３００では、次に１３５０で、レンダリングと対話した第１の人の精神状態を、第１の人に関して捕捉されたデータに基づいて推論し、レンダリングと対話した第２の人の精神状態を、第２の人に関して捕捉されたデータに基づいて推論する。この推論は、第１および第２の人のクライアントコンピュータで行われてよい。あるいは、精神状態を推論することを、情報をアップロードした後にサーバコンピュータ上で行ってもよく、あるいは、アップロードされた情報にアクセスできる他の何らかのコンピュータ上で行ってもよい。精神状態を推論することは、実施形態によっては、生理的データおよび顔データからなる群のうちの１つに基づいており、複数の人々から収集された精神状態データに基づいて精神状態を推論することを含んでよい。次に１３５０で、精神状態をレンダリングと同期させてよい。一実施形態では、この同期は、精神状態を、映像の一部である時間軸と相互に関連付けるものであってよい。諸実施形態では、この同期は、精神状態を、特定のウェブページまたは特定の一連のウェブページと相互に関連付けるものであってよい。この同期は、第１および第２の人のクライアントコンピュータ上で行われてよく、あるいは、アップロード後にサーバコンピュータ上で行われてもよく、他の何らかのコンピュータによって行われてもよい。

フロー１３００では、次に１３５２で、第１の人の精神状態に関する情報を、第２の人の精神状態に関する情報とともに集約し、結果として、集約された精神状態情報を得る。集約は、コンピュータによる集約を含んでよい。集約は、複数の人々からの電気皮膚活性または他の読みを組み合わせることを含んでよい。フロー１３００では、次に１３５４で、集約された精神状態情報を、第１の人および第２の人が対話したレンダリングと関連付ける。集約された精神状態情報を関連付けることにより、レンダリングと、レンダリングに対する人々の精神状態反応とを再表示して、さらなる分析を行うことが可能になる。フロー１３００では、次に１３５６で、集約された精神状態情報を視覚化する。この視覚化は、グラフィックまたはテキストによる提示を含んでよい。この視覚化はまた、アバター形式の提示を含んでよい。フロー１３００では、人々のデータを捕捉すること、精神状態を推論すること、およびフロー内の他のすべてのステップを、何度でも行ってよい。

図１４は、精神状態の視覚的表現の一実施例であり、この例では、対話が行われた一連のウェブページ１４００である。これらのウェブページは、ランディングページ１４１０、製品ページ１４２０、チェックアウトページ１４２２、検索ページ１４２４、および企業情報ページ１４２６を含んでいる。これらのページのいくつかは、サブページを有してよく、たとえば、製品ページ１４２０は、サブページとして、書籍ページ１４３０、電子機器ページ１４３２、および、その他ページ１４３４で表された他製品ページを有する。実施形態によっては、これらのページの１つ以上が、さらにサブページを有してよい。さらに、チェックアウトページ１４２２は、サブページとして、ログインページ１４４０、ショッピングカートページ１４４２、課金ページ１４４４、および最終チェックアウトページ１４３０を有する。個人がこれらのページと対話した際に、精神状態を推論することが可能である。さらに、複数の人々がこれらのページと対話した際には、推論された各精神状態に対して集約された情報を蓄積することが可能である。これらのページのそれぞれに対して、詳細な結果を蓄積することが可能である。これらの詳細な結果を提示することが可能である。あるいは、ポジティブであること、ややネガティブであること、およびネガティブであることを表す簡略化された分析結果を提示することが可能である。実施形態によっては、非常にポジティブな反応や、どちらでもない反応が示されることもある。一連のウェブページ１４００では、印象がポジティブであることを、ウェブページボックスの右下すみの「＋」で示している（たとえば、ランディングページ１４１０）。「＋」は、個人、または集約された、人々の集団のポジティブな精神状態を表すものであってよい。反応がややネガティブであることは、ウェブページボックスの右下の「−」で表すことが可能である（たとえば、ログインページ１４４０）。「−」は、困惑を表すことが可能である。反応が非常にネガティブであることは、ウェブページボックスの右下すみの「−−」で表すことが可能である（たとえば、課金ページ１４４４）。「−−」は、怒り、苛立ち、または失望を表すことが可能である。実施形態によっては、反応がポジティブ、ややネガティブ、または非常にネガティブであることを色で表すことが可能である。そのような色は、それぞれ、緑、黄、および赤であってよい。上述のいずれかの方法、または他の、集約された精神状態情報を表示する方法を用いて、集約された精神状態情報の視覚的表現を作成することが可能である。

図１５は、複数のコンピュータを利用してウェブ対応アプリケーションのトラフィック状態を分析するシステム１５００の図である。インターネット１５１０、イントラネット、または他のコンピュータネットワークを用いて、各種コンピュータ間で通信を行うことが可能である。クライアントコンピュータ１５２０は、命令を記憶するメモリ１５２６と、メモリ１５２６に接続された１つ以上のプロセッサ１５２４とを有し、この１つ以上のプロセッサ１５２４は命令を実行することが可能である。クライアントコンピュータ１５２０はまた、精神状態情報１５２１を搬送するためのインターネット接続と、各種レンダリングをユーザに提示することが可能なディスプレイ１５２２とを有してよい。クライアントコンピュータ１５２０は、複数の人々がレンダリングと対話した際にその人々から精神状態データを収集することが可能であってよい。実施形態によっては、１人の人、または複数の人々がレンダリングと対話した際にそれらの人々から精神状態データを収集することが可能なクライアントコンピュータ１５２０が複数台あってよい。また、実施形態によっては、クライアントコンピュータ１５２０は、複数の人々がレンダリングと対話した際にその人々から収集された精神状態データを受け取ることが可能である。精神状態データが収集された後、クライアントコンピュータは、レンダリングと対話した複数の人々からの精神状態データに基づいて、情報をサーバ１５３０にアップロードしてよい。クライアントコンピュータ１５２０は、インターネット１５１０、または他の何らかのコンピュータネットワークを介して、または他の、２台のコンピュータの間の通信に適した方法で、サーバ１５３０と通信してよい。実施形態によっては、サーバ１５３０の機能性を、クライアントコンピュータの中で実施してよい。

サーバ１５３０は、精神状態または精神状態情報１５３１用のインターネット接続を有してよく、また、命令を記憶するメモリ１５３４と、メモリ１５３４に接続された１つ以上のプロセッサ１５３２とを有してよく、この１つ以上のプロセッサ１５３２が命令を実行することが可能である。サーバ１５３０は、複数の人々が１つ以上のクライアントコンピュータ１５２０からレンダリングと対話した際にその人々から収集された精神状態情報を受け取ることが可能であり、その、レンダリングと対話した複数の人々についての精神状態情報を集約することが可能である。サーバ１５３０はまた、集約された精神状態情報を、レンダリングと関連付けることが可能であり、かつ、測定されているコンテキストについて収集されたノルムと関連付けることが可能である。実施形態によっては、サーバ１５３０は、レンダリングと関連付けられた精神状態情報をユーザが閲覧および評価することを可能にしてもよいが、実施形態によっては、分析コンピュータ１５４０が、集約された精神状態情報１５４１をサーバ１５３０に要求してもよい。そして、サーバ１５３０は、集約された精神状態情報１５４１を、要求元である分析コンピュータ１５４０に提供することが可能である。実施形態によっては、クライアントコンピュータ１５２０が、分析コンピュータ１５４０として機能することも可能である。

分析コンピュータ１５４０は、命令を記憶するメモリ１５４６と、メモリ１５４６に接続された１つ以上のプロセッサ１５４４とを有してよく、この１つ以上のプロセッサ１５４４が命令を実行することが可能である。分析コンピュータは、自身のインターネット通信方法または他のコンピュータ通信方法を用いて、集約された精神状態情報１５４１をサーバに要求することが可能である。分析コンピュータ１５４０は、レンダリングと対話した複数の人々からの精神状態データに基づいて集約された精神状態情報１５４１を受け取ることが可能であり、その集約された精神状態情報をレンダリングとともにディスプレイ１５４２に提示することが可能である。実施形態によっては、分析コンピュータは、複数の人々がレンダリングと対話した際にその人々から収集された精神状態情報を、リアルタイム環境または準リアルタイム環境で受け取るようにセットアップされてよい。少なくとも１つの実施形態では、単一のコンピュータが、クライアント、サーバ、および分析の機能性を包含してよい。

上述の各方法は、１つ以上のコンピュータシステム上の１つ以上のプロセッサにおいて実行されてよい。諸実施形態は、様々な形式の分散コンピューティング、クライアント／サーバコンピューティング、およびクラウドベースコンピューティングを含んでよい。さらに、当然のことながら、本開示中の各フローチャートにおいては、図示されたステップやボックスは、例示および説明のみを目的として与えられている。これらのステップは、修正、省略、または並べ替えが可能であり、また、本開示の範囲から逸脱しない限り、他のステップを追加してもよい。さらに、各ステップは、１つ以上のサブステップを含んでよい。前述の図面および記載は、本開示のシステムの機能的態様を説明したものであるが、特に断らない限り、または別の形でコンテキストから明らかでない限り、これらの機能的態様を実装するための、ソフトウェアおよび／またはハードウェアの特定の構成を、これらの記載から推論すべきではない。そのような、ソフトウェアおよび／またはハードウェアの構成はすべて、本開示の範囲内に収まるものとする。

ブロック図およびフローチャート図は、方法、装置、システム、およびコンピュータプログラム製品を図示したものである。ブロック図およびフローチャート図の各要素、ならびに、ブロック図およびフローチャート図内の要素の複数の組み合わせのそれぞれは、機能、方法のステップまたはステップ群、装置、システム、コンピュータプログラム製品、および／またはコンピュータに実装される方法を示している。そのような機能をすべて実装することは、コンピュータプログラム命令、専用ハードウェアベースのコンピュータシステム、専用ハードウェアとコンピュータ命令との組み合わせ、汎用ハードウェアとコンピュータ命令との組み合わせなどによって可能である。本明細書では、これらをすべてまとめて、「回路」、「モジュール」、または「システム」と称している場合がある。

上述のいずれかのコンピュータプログラム製品またはコンピュータに実装される方法を実行するプログラマブル装置は、１つ以上のマイクロプロセッサ、マイクロコントローラ、埋め込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、プログラマブルデバイス、プログラマブルゲートアレイ、プログラマブルアレイロジック、メモリデバイス、特定用途向け集積回路などを含んでよい。それぞれを適切に使用または構成することにより、コンピュータプログラム命令の処理、コンピュータロジックの実行、コンピュータデータの記憶などを行うことが可能である。

当然のことながら、コンピュータは、コンピュータ可読記憶媒体に収録されたコンピュータプログラム製品を含んでよく、この媒体は、内蔵型であっても外付け型であってもよく、脱着交換可能であっても固定であってもよい。さらに、コンピュータシステムは、基本入出力システム（ＢＩＯＳ）、ファームウェア、オペレーティングシステム、データベース、または同様の、本明細書に記載のソフトウェアおよびハードウェアを含むもの、またはこれらとインタフェースするもの、またはこれらをサポートするものを含んでよい。

本発明の諸実施形態は、従来型のコンピュータプログラムや、それらを動作させるプログラマブル装置を伴うアプリケーションに限定されない。たとえば、特許請求対象である本発明の実施形態は、光コンピュータ、量子コンピュータ、アナログコンピュータなどを含んでよいと考えられる。コンピュータプログラムをコンピュータにロードすることにより、記載の諸機能をすべて実行できる特定の機械を生産することが可能である。この特定の機械は、記載の諸機能のあらゆるものを実施する手段を与える。

１つ以上のコンピュータ可読媒体の任意の組み合わせを利用してよい。コンピュータ可読媒体は、一時的または永続的なコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、電子式、磁気式、光学式、電磁式、赤外線式、半導体式、またはこれらの任意の適切な組み合わせであってよい。より具体的なコンピュータ可読記憶媒体の例として、１つ以上のワイヤを有する電気的接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ、Ｆｌａｓｈ、ＭＲＡＭ、ＦｅＲＡＭ、または相転移メモリ）、光ファイバ、可搬型コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせがありうる。本文書のコンテキストでは、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって（またはこれらと関連して）使用されるプログラムを収容または記憶することが可能な任意の有形媒体であってよい。

当然のことながら、コンピュータプログラム命令は、コンピュータ実行可能コードを含んでよい。コンピュータプログラム命令を表現する各種言語としては、限定でなく、Ｃ、Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、ＡｃｔｉｏｎＳｃｒｉｐｔ、アセンブリ言語、Ｌｉｓｐ、Ｐｅｒｌ、Ｔｅｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ハードディスク記述言語、データベースプログラミング言語、関数型プログラミング言語、命令型プログラミング言語などがあってよい。諸実施形態では、コンピュータプログラム命令は、コンピュータ、プログラマブルデータ処理装置、異種のプロセッサまたはプロセッサアーキテクチャの組み合わせなどにおいて記憶、コンパイル、または解釈して、実行することが可能である。限定ではなく、本発明の諸実施形態は、クライアント／サーバソフトウェア、サービスとしてのソフトウェア、ピアツーピアソフトウェアなどを含むウェブベースコンピュータソフトウェアの形式をとってよい。

諸実施形態では、コンピュータは、複数のプログラムまたはスレッドを含むコンピュータプログラム命令の実行を可能にしうる。この複数のプログラムまたはスレッドをほぼ同時に処理することにより、プロセッサの利用率を高めること、および、諸機能のほぼ同時の動作を容易にすることが可能になる。実装としては、本明細書に記載のあらゆる方法、プログラムコード、プログラム命令などを、１つ以上のスレッドとして実装することが可能である。各スレッドは別の複数のスレッドを生成することが可能であり、それら自体は、それぞれに関連付けられた優先度を有することが可能である。実施形態によっては、コンピュータは、これらのスレッドを、優先順位または他の並びに基づいて処理してよい。

特に断らない限り、または別の形でコンテキストから明らかでない限り、動詞「実行する（ｅｘｅｃｕｔｅ）」および「処理する（ｐｒｏｃｅｓｓ）」は、区別なく用いられてよく、実行、処理、解釈、コンパイル、アセンブル、リンク、ロード、またはこれらの組み合わせを行うことを表す。したがって、コンピュータプログラム命令、コンピュータ実行可能コードなどを実行または処理する諸実施形態は、記載されたあらゆる形式で命令またはコードに作用することが可能である。さらに、図示された、本方法の各ステップは、これらのステップを１つ以上のパーティまたはエンティティに実施させる任意の適切な方法を含むものとする。ステップまたはステップの一部を実施するパーティは、特定の地理的場所または国境の内部に位置していなくてもよい。たとえば、米国内に位置するエンティティが方法ステップまたはその一部を米国外で実施させる場合、そのステップを実施させるエンティティが米国内に位置することから、この方法は米国内で実施されるものと見なされる。

図示および詳細説明された好ましい実施形態との関連で本発明を開示してきたが、当業者であれば、これらに対する様々な修正や改良が明らかになるであろう。したがって、本発明の趣旨および範囲は、前述の実施例によって限定されるものではなく、法的に許容可能な最も広い意味で理解されるものである。

Claims (100)

1. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータに実装される方法において、
   複数の人々がレンダリングと対話した際に前記複数の人々から精神状態データを収集するステップと、
   前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく情報をサーバにアップロードするステップと、
   前記レンダリングと対話した前記複数の人々についての集約された精神状態情報を受け取るステップと、
   前記集約された精神状態情報を前記レンダリングとともに表示するステップと、
   を含むことを特徴とする方法。
2. 請求項１に記載の方法において、前記集約された精神状態情報は、前記複数の人々から導出されたノルムを含むことを特徴とする方法。
3. 請求項２に記載の方法において、前記ノルムはコンテキスト情報に基づくことを特徴とする方法。
4. 請求項１に記載の方法において、前記集約された精神状態情報を前記レンダリングと関連付けるステップをさらに含むことを特徴とする方法。
5. 請求項１に記載の方法において、前記レンダリングは、ウェブ対応アプリケーション上のボタン、広告、バナー広告、ドロップダウンメニュー、およびデータ要素からなる群のうちの１つであることを特徴とする方法。
6. 請求項１に記載の方法において、前記レンダリングは、ランディングページ、チェックアウトページ、ウェブページ、ウェブサイト、ウェブ対応アプリケーション、ウェブ対応アプリケーション上の映像、ウェブ対応アプリケーション上のゲーム、および仮想世界からなる群のうちの１つであることを特徴とする方法。
7. 請求項１に記載の方法において、精神状態データを収集する前記ステップは、生理的データおよび顔データからなる群のうちの１つを捕捉することを伴うことを特徴とする方法。
8. 請求項７に記載の方法において、ウェブカメラを用いて、前記顔データおよび前記生理的データの１つ以上を捕捉することを特徴とする方法。
9. 請求項８に記載の方法において、前記生理的データを用いて自律神経活動を特定することを特徴とする方法。
10. 請求項９に記載の方法において、前記自律神経活動は、心拍数、呼吸、および心拍数変動からなる群のうちの１つであることを特徴とする方法。
11. 請求項７に記載の方法において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とする方法。
12. 請求項１に記載の方法において、目を追跡して、対話が行われているレンダリングを識別するステップをさらに含むことを特徴とする方法。
13. 請求項１２に記載の方法において、前記目を追跡する前記ステップによって、前記目がフォーカスされている、前記レンダリングの一部分が識別されることを特徴とする方法。
14. 請求項１２に記載の方法において、前記目の追跡にウェブカメラが使用されることを特徴とする方法。
15. 請求項１２に記載の方法において、前記レンダリングに対して目が一時停止する時間を記録するステップと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態データと関連付けるステップと、をさらに含むことを特徴とする方法。
16. 請求項１に記載の方法において、対話することは、閲覧、クリック、およびマウスオーバからなる群のうちの１つを含むことを特徴とする方法。
17. 請求項１に記載の方法において、前記複数の人々のうちの一個人が、顔情報が集約されることを許可する登録を行うステップをさらに含むことを特徴とする方法。
18. 請求項１に記載の方法において、前記複数の人々のうちの一個人が、情報が前記サーバにアップロードされることを許可する登録を行うステップをさらに含むことを特徴とする方法。
19. 請求項１に記載の方法において、前記集約された精神状態情報の集約は、コンピュータによる集約により行われることを特徴とする方法。
20. 請求項１に記載の方法において、精神状態情報がデモグラフィックベースに基づいて分類されるように、前記集約された精神状態情報の集約が前記デモグラフィックベースで行われることを特徴とする方法。
21. 請求項１に記載の方法において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップをさらに含むことを特徴とする方法。
22. 請求項２１に記載の方法において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とする方法。
23. 請求項１に記載の方法において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上を表現するアバターをアニメーション化するステップをさらに含むことを特徴とする方法。
24. 請求項１に記載の方法において、前記集約された精神状態情報を前記レンダリングと同期させるステップをさらに含むことを特徴とする方法。
25. 請求項１に記載の方法において、前記レンダリングに関するコンテキスト情報を捕捉するステップをさらに含むことを特徴とする方法。
26. 請求項２５に記載の方法において、前記コンテキスト情報は、時間軸、ウェブページの進展、およびアクティグラフのうちの１つ以上を含むことを特徴とする方法。
27. 請求項１に記載の方法において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップをさらに含むことを特徴とする方法。
28. 請求項２７に記載の方法において、前記精神状態は、苛立ち、困惑、失望、ためらい、認知的過負荷、集中、没頭、注目、退屈、探求、確信、信頼、喜び、および満足からなる群のうちの１つを含むことを特徴とする方法。
29. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータ可読媒体の形で具体化されるコンピュータプログラム製品であって、
    複数の人々がレンダリングと対話した際に前記複数の人々から精神状態データを収集するステップのコードと、
    前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく情報をサーバにアップロードするステップのコードと、
    前記レンダリングと対話した前記複数の人々についての集約された精神状態情報を受け取るステップのコードと、
    前記集約された精神状態情報を前記レンダリングとともに表示するステップのコードと、
    を含むことを特徴とするコンピュータプログラム製品。
30. 請求項２９に記載のコンピュータプログラム製品において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
31. 請求項２９に記載のコンピュータプログラム製品において、精神状態データを収集する前記ステップは、生理的データおよび顔データからなる群のうちの１つを捕捉することを伴うことを特徴とするコンピュータプログラム製品。
32. 請求項３１に記載のコンピュータプログラム製品において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするコンピュータプログラム製品。
33. 請求項３０に記載のコンピュータプログラム製品において、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
34. 請求項３３に記載のコンピュータプログラム製品において、前記レンダリングに対して目が一時停止する時間を記録するステップのコードと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるステップのコードと、をさらに含むことを特徴とするコンピュータプログラム製品。
35. 請求項２９に記載のコンピュータプログラム製品において、前記複数の人々のうちの一個人が、精神状態データが前記サーバにアップロードされることを許可する登録を行うステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
36. 請求項２９に記載のコンピュータプログラム製品において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
37. 請求項３６に記載のコンピュータプログラム製品において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするコンピュータプログラム製品。
38. ウェブ対応アプリケーションのトラフィック状態を分析するシステムにおいて、
    命令を記憶するメモリと、
    前記メモリに接続された１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、記憶されている前記命令の実行時に、
    複数の人々がレンダリングと対話した際に前記複数の人々から精神状態データを収集するステップと、
    前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく情報をサーバにアップロードするステップと、
    前記レンダリングと対話した前記複数の人々についての集約された精神状態情報を受け取るステップと、
    前記集約された精神状態情報を前記レンダリングとともに表示するステップと、
    を実施するように構成されていることを特徴とするシステム。
39. 請求項３８に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するように構成されていることを特徴とするシステム。
40. 請求項３８に記載のシステムにおいて、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とするシステム。
41. 請求項４０に記載のシステムにおいて、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするシステム。
42. 請求項３９に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するように構成されていることを特徴とするシステム。
43. 請求項４２に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記レンダリングに対して目が一時停止する時間を記録し、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるように構成されていることを特徴とするシステム。
44. 請求項３８に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々のうちの一個人が、精神状態データが前記サーバにアップロードされることを許可する登録を行うことを可能にするように構成されていることを特徴とするシステム。
45. 請求項３８に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するように構成されていることを特徴とするシステム。
46. 請求項４５に記載のシステムにおいて、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするシステム。
47. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータに実装される方法において、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップと、
    前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく、集約された精神状態情報を受け取るステップと、
    前記集約された精神状態情報を前記レンダリングとともに表示するステップと、
    を含むことを特徴とする方法。
48. 請求項４７に記載の方法において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップをさらに含むことを特徴とする方法。
49. 請求項４７に記載の方法において、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とする方法。
50. 請求項４９に記載の方法において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とする方法。
51. 請求項４８に記載の方法において、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するステップをさらに含むことを特徴とする方法。
52. 請求項５１に記載の方法において、前記レンダリングに対して目が一時停止する時間を記録するステップと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるステップと、をさらに含むことを特徴とする方法。
53. 請求項４７に記載の方法において、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うステップをさらに含むことを特徴とする方法。
54. 請求項４７に記載の方法において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップをさらに含むことを特徴とする方法。
55. 請求項５４に記載の方法において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とする方法。
56. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータ可読媒体の形で具体化されるコンピュータプログラム製品において、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップのコードと、
    前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく、集約された精神状態情報を受け取るステップのコードと、
    前記集約された精神状態情報を前記レンダリングとともに表示するステップのコードと、
    を含むことを特徴とするコンピュータプログラム製品。
57. 請求項５６に記載のコンピュータプログラム製品において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
58. 請求項５６に記載のコンピュータプログラム製品において、前記精神状態データは、生理的データおよび顔データからなる群のうちの１つから収集されたものであることを特徴とするコンピュータプログラム製品。
59. 請求項５８に記載のコンピュータプログラム製品において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするコンピュータプログラム製品。
60. 請求項５７に記載のコンピュータプログラム製品において、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
61. 請求項６０に記載のコンピュータプログラム製品において、前記レンダリングに対して目が一時停止する時間を記録するステップのコードと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるステップのコードと、をさらに含むことを特徴とするコンピュータプログラム製品。
62. 請求項５６に記載のコンピュータプログラム製品において、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
63. 請求項５６に記載のコンピュータプログラム製品において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
64. 請求項６３に記載のコンピュータプログラム製品において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするコンピュータプログラム製品。
65. ウェブ対応アプリケーションのトラフィック状態を分析するシステムにおいて、
    命令を記憶するメモリと、
    前記メモリに接続された１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、記憶されている前記命令の実行時に、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップと、
    前記レンダリングと対話した前記複数の人々からの前記精神状態データに基づく、集約された精神状態情報を受け取るステップと、
    前記集約された精神状態情報を前記レンダリングとともに表示するステップと、
    を実施するように構成されていることを特徴とするシステム。
66. 請求項６５に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するように構成されていることを特徴とするシステム。
67. 請求項６５に記載のシステムにおいて、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とするシステム。
68. 請求項６７に記載のシステムにおいて、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするシステム。
69. 請求項６６に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するように構成されていることを特徴とするシステム。
70. 請求項６９に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記レンダリングに対して目が一時停止する時間を記録し、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるように構成されていることを特徴とするシステム。
71. 請求項６５に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うことを可能にするように構成されていることを特徴とするシステム。
72. 請求項６５に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するように構成されていることを特徴とするシステム。
73. 請求項７２に記載のシステムにおいて、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするシステム。
74. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータに実装される方法において、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップと、
    前記レンダリングと対話した前記複数の人々についての精神状態情報を集約するステップと、
    前記集約された精神状態情報を前記レンダリングと関連付けるステップと、
    前記集約された精神状態情報を要求元に提供するステップと、
    を含むことを特徴とする方法。
75. 請求項７４に記載の方法において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップをさらに含むことを特徴とする方法。
76. 請求項７４に記載の方法において、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とする方法。
77. 請求項７６に記載の方法において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とする方法。
78. 請求項７５に記載の方法において、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するステップをさらに含むことを特徴とする方法。
79. 請求項７８に記載の方法において、前記レンダリングに対して目が一時停止する時間を記録するステップと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるステップと、をさらに含むことを特徴とする方法。
80. 請求項７４に記載の方法において、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うステップをさらに含むことを特徴とする方法。
81. 請求項７４に記載の方法において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップをさらに含むことを特徴とする方法。
82. 請求項８１に記載の方法において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とする方法。
83. ウェブ対応アプリケーションのトラフィックを分析するための、コンピュータ可読媒体の形で具体化されるコンピュータプログラム製品において、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップのコードと、
    前記レンダリングと対話した前記複数の人々についての精神状態情報を集約するステップのコードと、
    前記集約された精神状態情報を前記レンダリングと関連付けるステップのコードと、
    前記集約された精神状態情報を要求元に提供するステップのコードと、
    を含むことを特徴とするコンピュータプログラム製品。
84. 請求項８３に記載のコンピュータプログラム製品において、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
85. 請求項８３に記載のコンピュータプログラム製品において、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とするコンピュータプログラム製品。
86. 請求項８５に記載のコンピュータプログラム製品において、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするコンピュータプログラム製品。
87. 請求項８４に記載のコンピュータプログラム製品において、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
88. 請求項８７に記載のコンピュータプログラム製品において、前記レンダリングに対して目が一時停止する時間を記録するステップのコードと、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるステップのコードと、をさらに含むことを特徴とするコンピュータプログラム製品。
89. 請求項８３に記載のコンピュータプログラム製品において、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
90. 請求項８３に記載のコンピュータプログラム製品において、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するステップのコードをさらに含むことを特徴とするコンピュータプログラム製品。
91. 請求項９０に記載のコンピュータプログラム製品において、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするコンピュータプログラム製品。
92. ウェブ対応アプリケーションのトラフィック状態を分析するシステムにおいて、
    命令を記憶するメモリと、
    前記メモリに接続された１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、記憶されている前記命令の実行時に、
    複数の人々がレンダリングと対話した際に前記複数の人々から収集された精神状態データを受け取るステップと、
    前記レンダリングと対話した前記複数の人々についての精神状態情報を集約するステップと、
    前記集約された精神状態情報を前記レンダリングと関連付けるステップと、
    前記集約された精神状態情報を要求元に提供するステップと、
    を実施するように構成されていることを特徴とするシステム。
93. 請求項９２に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々から収集された前記精神状態データに基づいて精神状態を推論するように構成されていることを特徴とするシステム。
94. 請求項９２に記載のシステムにおいて、前記精神状態データの収集は、生理的データおよび顔データからなる群のうちの１つを捕捉することによって行われることを特徴とするシステム。
95. 請求項９４に記載のシステムにおいて、前記顔データは、顔の表情、活動単位、頭部ジェスチャ、笑み、眉間のしわ、横目、伏し目、眉を上げること、および注目からなる群のうちの１つ以上についての情報を含むことを特徴とするシステム。
96. 請求項９３に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、目を追跡することにより、対話が行われている前記レンダリングおよび前記レンダリングの一部分のうちの１つを識別するように構成されていることを特徴とするシステム。
97. 請求項９６に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記レンダリングに対して目が一時停止する時間を記録し、目が一時停止する前記時間の情報を前記レンダリングおよび前記精神状態と関連付けるように構成されていることを特徴とするシステム。
98. 請求項９２に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記複数の人々のうちの一個人が、精神状態データがアップロードされることを許可する登録を行うことを可能にするように構成されていることを特徴とするシステム。
99. 請求項９２に記載のシステムにおいて、前記１つ以上のプロセッサはさらに、前記集約された精神状態情報および前記複数の人々のうちの一個人に関する精神状態情報のうちの１つ以上についての視覚的表現を作成するように構成されていることを特徴とするシステム。
100. 請求項９９に記載のシステムにおいて、前記視覚的表現は、前記集約された精神状態情報をデモグラフィックベースで表示することを特徴とするシステム。

Images