JP2016532204A - 空間と時間上のグラフィックスシステムおよび方法に基づく情動と外見 - Google Patents

Abstract

マッピングのコンピュータに実施された方法。前記方法は、コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程、所望の１以上のベクトル大きさに関する情報を獲得する工程であって、所望の１以上のベクトル大きさのうちの少なくともいくつかが情動の表情に対応する工程、及び位置の描写を生成する工程を含む。マップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変動する。描写を使用する工程は、送信及び表示の少なくとも１つからなる工程を含んで使用する方法。【選択図】 図1

Description

この出願は、２０１３年８月１５日に出願された仮特許出願シリアル番号６１／８６６，３４４、タイトル「ＥＭＯＴＩＯＮ ＡＮＤ ＡＰＰＥＡＲＡＮＣＥ ＢＡＳＥＤ ＳＰＡＴＩＯＴＥＭＰＯＲＡＬ ＧＲＡＰＨＩＣＳ ＳＹＳＴＥＭＳ ＡＮＤＭＥＴＨＯＤＳ Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０２１−ＰＶ」を基礎に優先権を主張し、あたかも該文献は図、請求項、表及びコンピュータプログラムリストの付録（もしあれば）及びアメリカ仮出願中の他の全ての事項を含んで本明細書中に十分に説明されているかのごとく参照して組み込んでいる。

本発明の技術分野

本明細書は一般的にあるエリアの人々の外見および／または情動に基づいたマッピング位置を生成する装置、方法および物に関する。

人々が位置／現場に対する、感情および情動を共有することを容易に可能にすることが望ましい。
さらに、それが空間と時間上組織されたやり方で人々の情動および外見に関する情報を描写することが望ましい。

本明細書中に述べられている実施形態は、前述の他のニーズの１つ以上を満たす方法、装置および製造物へ向けられる。

１つの実施形態では、マッピングのコンピュータの実施方法が提供される。
前記方法は、コンテンツ・ベクトル生成するために複数の写真の顔の画像を分析するプロセス、所望の１以上のベクトル大きさに関する情報を獲得するプロセス、少なくとも情動の表情に対応する所望の１大きさ以上のうちのいくらか、および位置の描写の生成を生成するプロセスことを含んでいる。
マップ中の部位の外見が、所望の１以上のベクトル大きさに対するコンテンツのベクトルの値に従って変わる。
方法はさらに例えば格納、送信及び展示による描写を用いることを含んでいる。

実施形態において、コンピュータ・ベースのシステムがマッピングを行うように構成される。
マッピングが、コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程；
所望の１以上のベクトル大きさに関する情報を獲得する工程であって、所望の１以上のベクトル大きさのうちの少なくともいくつかが情動の表情に対応する工程；
及び位置の描写を生成する工程によって行なわれてもよい。
マップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変動してもよい。
前記描写を使用する工程は格納、送信及び描写の少なくとも１つの工程を含んで使用する工程を含んでいてもよい。

実施形態では、非一時的な機械読み込み可能なメモリを含む製造物はマッピングのコンピュータに実行方法のコンピュータコードが組み込まれてもよい。
前記方法が、コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程、所望の１以上のベクトル大きさに関する情報を獲得する工程であって、所望の１以上のベクトル大きさのうちの少なくともいくつかが情動の表情に対応する工程、及び位置の描写を生成する工程を含んでいてもよい。
マップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変動してもよい。
前記方法がさらに例えば格納、送信、展示による表現の使用を含んでいてもよい。

１つの実施形態において、複数の写真を複数のネットワークに接続されたカメラデバイスから受け取ってもよい。
位置の例が含まれているが、地理的なエリアあるいは建物の内部に限定されない。

ひとつの実施形態では、描写が位置のマップおよび位置のマップの重ね合せを含んでいてもよい。
マップの重ね合わせの色は所望の１以上のベクトル大きさのコンテンツ・ベクトルの値によって少なくとも１つの情動または人間の特性を示してもよい。
マップおよびマップの重ね合せはズームできてもよい。

本発明のこれらのおよび他の特徴およびの態様は以下の明細書、図面および添付された請求項によって一層よく理解される。

図１は、本明細書の選択された態様に従って構成されたコンピュータ・ベースのシステムの選択されたブロックを示す、単純化されたブロック図である；
及び

図２は、本明細書の選択された態様に従ってプロセスの選択された工程／ブロックを示す。

図３は、本明細書の選択された態様に従ってリテール文脈における情緒的な外見に基づいた空間と時間上の「ヒート」マップの例を示す。

図４は、本明細書の選択された態様に従ってストリートマップ文脈中の情緒的な外見に基づいた空間と時間上の「ヒート」マップの例を示す。

図５は、本明細書の選択された態様に従って中へズームインしたストリートマップ文脈中の情緒的な外見に基づいた空間と時間上の「ヒート」マップの例を示す。

本明細書中で「実施形態」、「変更形態」、「例」という単語、及び同様の表現が必ずしも生成の同じ装置、プロセスあるいは製造物にではなく特定の装置、生成のプロセスあるいは製造物を指す。
したがって、１つの場所あるいは文脈の中で用いられる「１つの実施形態」（あるいは同様の表現）が、特定の装置、製造のプロセスあるいは製造物を指してもよい；
異なる場所または文脈の同じあるいは同様の表現が、異なる装置、プロセスあるいは製造物を指してもよい。
「他の実施例」という表現および同様の表現および言い回しが多くの異なる可能な実施形態のうちの１つを示すために用いられてもよい。
可能な実施形態／変更形態／実施例の数が、必ずしも２つあるいは任意の他の量に限定されない。
「典型的なこと」としての事項の特徴付けはその事項が一例としては用いられることを意味する。
実施形態／変更形態／実施例のそのような特徴は、実施形態／変更形態／実施例が好ましい１つであることを必ずしも意味しない；
実施形態／変更形態／実施例が現在好ましい１つであってもよいが必ずしもそうである必要ではない。
実施形態／変更形態／実施例がすべて例示する目的のために記載され、必ずしも厳密に制限されない。

「結合する」、「接続する」という単語及びそれらの語形変化の形態素を有する同様の表現は必ずしも即時や直接的な接続を意味しないが、間接的要素を介してその意味範囲内で接続を含む。

本明細書中で用いられるような「表情」は、情動（怒り、軽蔑、嫌悪、恐れ、幸福、悲嘆、驚き、はっきりしない感情）の主要な表情；
所望の感情の表現（退屈、興味、魅了、混乱、失望）の表現；
いわゆる「顔面動作ユニット」（顔面動作分析法またはＦＡＣＳの中で用いられる動作ユニットのような個々の筋肉の運動を含む顔面筋の部分集合の運動）；
および身振り／姿勢（頭を傾けること、眉の上げ下げ、目をまばたきすること、鼻にしわを寄せること、手であごを支える）を示す。

「人間の外見特徴」が、民族性、性別、魅力、見た目年齢および様式上の特徴、表情及び（ジーンズ、スカート、ジャケット、ネクタイのような洋服スタイル；靴；及びヘアスタイルを含む）のような、追加の外見特徴を含んでいる。

「低レベルの特徴」は目、あご、ほお、まゆ、額、髪、鼻、耳、性別、年齢、民族性など顔面の情報を描写するために日常生活の言語の中で用いられる属性でない意味で低レベルである。
低レベルの特徴の例がガボール・オリエンテーション・エネルギー、ガボールスケールエネルギー、ガボールの位相およびハール・ウェーブレット出力を含んでいる。

自動表情認識および関連する主項目が、多くの共有される特許出願中に述べられている、（１）２０１３年２月８日に出願されたシリアル番号６１/７６２，８２０タイトルＳＹＳＴＥＭ ＦＯＲ ＣＯＬＬＥＣＴＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＴＲＡＩＮＩＮＧ ＤＡＴＡ ＦＯＲ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．，ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１０−ＰＶ （２）２０１３年２月１１日に出願されたシリアル番号６１/７６３，４３１のタイトル「ＡＣＴＩＶＥ ＤＡＴＡ ＡＣＱＵＩＳＩＴＩＯＮ ＦＯＲ ＤＥＶＥＬＯＰＭＥＮＴ ＡＮＤ ＣＯＮＴＩＮＵＯＵＳ ＩＭＰＲＯＶＥＭＥＮＴ ＯＦ ＭＡＣＨＩＮＥ ＰＥＲＣＥＰＴＩＯＮ ＳＹＳＴＥＭＳ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．，ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１２−ＰＶ」；
（３） ２０１３年２月１２日に出願されたシリアル番号６１／７６３，６５７のタイトル 「ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＲＥＳＰＯＮＳＥＳ ＴＯ ＳＥＮＳＯＲＹ ＳＴＩＭＵＬＩ ＵＳＩＮＧ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ， Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．， 」， ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１３−ＰＶ」；
（４） ２０１３年２月１２日に出願されたシリアル番号６１／７６３，６９３のタイトル「ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＭＥＡＳＵＲＥＭＥＮＴ ＡＮＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＦＯＲ ＡＳＳＥＳＳＭＥＮＴ ＯＦ ＭＥＮＴＡＬ ＩＬＬＮＥＳＳ ＡＮＤ ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＴＲＥＡＴＭＥＮＴ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．，ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１４−ＰＶ」；
（５） ２０１３年２月１３日に出願されたシリアル番号６１／７６４，４４２のタイトル「ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＡＦＦＥＣＴＩＶＥ ＶＡＬＥＮＣＥ ＡＮＤ ＡＲＯＵＳＡＬ ＷＩＴＨ ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＭＥＡＳＵＲＥＭＥＮＴ，Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１６−ＰＶ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．」；
（６）２０１３年２月１５日に出願されたシリアル番号６１／７６５，５７０のタイトル「ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＴＲＡＩＮＩＮＧ ＵＳＩＮＧ ＦＥＥＤＢＡＣＫ ＦＲＯＭ ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ， Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｕｍｂｅｒ ＭＰＴ−１０１７−ＰＶ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．， Ｓｅｒ．」；
および （７）２０１３年２月１５日に出願されたシリアル番号６１／７６５，６７１のタイトル「ＱＵＡＬＩＴＹ ＣＯＮＴＲＯＬ ＦＯＲ ＬＡＢＥＬＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＴＲＡＩＮＩＮＧ ＥＸＡＭＰＬＥＳ， Ｓｅｒｉａｌ Ｎｕｍｂｅｒ ６１／７６５，６７１，Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１５−ＰＶ， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ」；
（８）２０１３年７月５日に出願されたシリアル番号６１／８３１，６１０のタイトル「ＡＵＴＯＭＡＴＩＣ ＡＮＡＬＹＳＩＳ ＯＦ ＮＯＮ−ＶＥＲＢＡＬ ＲＡＰＰＯＲＴ，Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０１８−ＰＶ２， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ」；
および （９） ２０１３年７月５日に出願されたシリアル番号６１／８３１，６１０のタイトル「ＳＰＡＴＩＡＬ ＯＲＧＡＮＩＺＡＴＩＯＮ ＯＦ ＩＭＡＧＥＳ ＢＡＳＥＤ ＯＮ ＥＭＯＴＩＯＮ ＦＡＣＥ ＣＬＯＵＤＳ， Ｓｅｒｉａｌ Ｎｕｍｂｅｒ ６１／８３１，６１０， ｆｉｌｅｄ ｏｎ ｏｒ ａｂｏｕｔ 『ｔ（５ Ｊｕｎｅ ２０１３）ｔ』， Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｒｅｆｅｒｅｎｃｅ ＭＰＴ−１０２２， ｂｙ Ｊａｖｉｅｒ Ｒ． Ｍｏｖｅｌｌａｎ， ｅｔ ａｌ．」
これらの仮出願の各々が、引用文によって特許出願での請求項、表、計算機コードおよび他のすべての事柄を含んでここに組み入れられる。

他およびさらに明示的および黙示的定義、および、定義の説明が本明細書の全体にわたって見られる。

添付の図面の中で示されるいくつかの実施形態が詳細に言及される。
同じ装置要素および方法工程を参照するために、同じ引用文数字が図面と説明の中で用いられる。
図面は、縮尺通りではなく、簡略化された形であり、ある任意の要素および工程を含みつつ、描写されたシステムおよび方法に追加することができる装置要素および方法の工程を省略する。

図１は、コンピュータ・ベースのシステム１００の単純化されたブロック図の描写であり、該システムは様々な位置にいる人々に関する空間と時間上の情報を収集するためにかつマッピング、検索、及び／または他の目的のために情報を使用するために 本明細書の選択された態様に一致させるため構成される。
システム１００が、ウェブカメラ、カメラを装備したデスクトップおよびラップトップパソコンのような様々なネットワーク化されたカメラを装備したモバイルの装置（例えばタブレットとスマートフォン）、およびウェアラブル装置（例えば、グーグルグラスおよび類似品、特に運転手および／または乗客に向けられたカメラを用いた乗り物への応用を目的とした製品）のような様々なネットワークカメラ装置１８０と通信ネットワーク１９０を介して対話する。
図１はシステム１００のハードウェアおよびソフトウェアモジュール、およびカメラデバイス１８０のハードウェアおよびソフトウェアモジュールを多くは示さず、様々な物理的なおよび論理的な接続を省略する。
システム１００が、専用データ処理装置、汎用コンピュータ、コンピュータ・システムあるいは、この明細書中に記載された方法の工程を行なうように構成されたネットワークされたコンピュータあるいはコンピュータ・システムのグループとして実施されてもよい。
いくつかの実施形態では、システム１００が、ウィンテルＰＣ、Ｌｉｎｕｘ（登録商標）コンピュータあるいはマック・コンピュータのようなパソコン・プラットフォームに組み立てられる。
パーソナルコンピュータはデスクトップまたはノート型コンピュータであってもよい。
システム１００が１台以上のサーバコンピュータとして機能してもよい。
いくつかの実施形態では、システム１００が、ネットワーク１９０のようなネットワークあるいは他のネットワークによって相互に連結した複数のコンピュータとして実行される。

図１中に示されるように、システム１００がプロセッサー１１０、読み取り専用メモリ（ＲＯＭ）モジュール１２０、ランダム・アクセス・メモリー（ＲＡＭ）モジュール１３０、ネットワークインターフェース１４０、大量記録装置１５０およびデータベース１６０を含む。
これらの構成要素が、バス１１５でともに連結される。
説明された実施形態では、プロセッサー１１０がマイクロプロセッサーであってもよく、及び大量記録装置１５０が磁気ディスクドライブあってもよい。
大量記録装置１５０、およびメモリモジュール１２０および１３０の各々が、プロセッサー１１０に接続されることにより、プロセッサー１００がこれらの記録装置とメモリ装置にデータを書き込み及びこれらの記録装置とメモリ装置からデータを読み込むことを可能となるプロセッサー１１０と接続される。
ネットワークインターフェース１４０がネットワーク１９０、例えばインターネットにプロセッサー１１０を連結する。
ネットワーク１９０、およびシステム１００とネットワーク１９０の間で置かれてもよい装置の性質が、システム１００の中で用いられるネットワークインターフェース１４０の種類を決定する。
いくつかの実施形態では、例えば、ネットワークインターフェース１４０が、ローカルエリアネットワークにシステム１００を接続するイーサネット（登録商標）・インターフェースであり、それが次に、インターネットに接続する。
そのため、ネットワーク１９０がいくつかのネットワークの組合せであってもよい。

データベース１６０が、本明細書中に記載されている方法の工程を行なうのに必要あるいは望まれるデータを体系づけおよび格納するために用いられてもよい。
データベース１６０がプロセッサー１１０に連結された物理的に離れたシステムであってもよい。
他の実施例では、プロセッサー１１０および大量記録装置１５０がデータベース１６０の機能を行なうように構成されてもよい。

プロセッサー１１０が、ＲＯＭモジュール１２０、ＲＡＭモジュール１３０および／または記録装置１５０中に格納されたプログラムコード命令を読み実行してもよい。
プログラムコードの管理の下で、プロセッサー１１０がこの明細書中に記載しあるいは言及した方法の工程を行なうためにシステム１００を構成してもよい。
ＲＯＭ／ＲＡＭモジュール１２０／１３０および記録装置１５０に加えて、プログラムコード命令が、追加のハードドライブ、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュ・メモリーおよび同様の装置のような他の機械読み込み可能な記録媒体中に格納されてもよい。
プログラムコードも、伝送媒体を通して、例えば、電気配線またはケーブル上に、光ファイバーを通して、無線であるいは物理的な伝送の他の形式によって送信されてもよい。
その伝送が、電気通信装置の間の、専用のリンクであるいはインターネット、イントラネット、エクストラネットあるいは他の種類の公的または、私設網のような広域あるいは局所エリアネットワークを介して行なわれる。
プログラムコードもネットワークインターフェース１４０あるいは他のネットワークインターフェースを介してシステム１００へダウンロードされてもよい。

カメラデバイス１８０が、もっぱらシステム１００およびそのオペレーターの使用のために操作されるか、あるいは他のシステムおよびオペレーターと共有されてもよい。
カメラデバイス１８０は、永久的に配置、半永久的に配置、およびまたはすぐ移動可能であろうとなかろうと様々な地理的なエリア／現場で、戸外及び／または屋内で、車両中で、及び／または他の構造物中に配置されてもよい。
カメラデバイス１８０が、所定時間および／または様々な出来事に応じて、オンデマンド及び／または自動的に写真を取るように構成されてもよい。
カメラデバイス１８０は、所在情報、例えば全地球測位システム（ＧＰＳ）データ；
時間情報（写真がそれぞれ撮られた時）；
およびカメラ・方向情報（特定の写真を撮る場合、カメラ装置１８０が面している方向）
を撮った写真に「タグ付けする」能力を持っていてもよい。
システム１００にはさらにカメラデバイス１８０の位置および方向に関する情報を有し、そして従って本質的に、特定のカメラデバイス１８０から受信された写真に対して方向および位置「タグ」にアクセスしてもよい。
さらに、システム１００がリアル・タイム（例えば１０秒、１分、１時間あるいは３時間でさえ）において特定のカメラ装置１８０から写真を本質的に受信する場合、システム１００はまたその後本質的に写真に対する時間「タグ」を有する。

システム１００がカメラデバイス１８０から（明示的および／または本質的に）タグを付けられた写真を受信し、次に、上記に示し及び参照によって本明細書に組み入れられた特許出願中に述べられているように、様々な分類子を用いて、表情および他の人間の外見特徴を識別するために写真を処理してもよい。
特定の写真の処理に起因する分類子の出力が、分類子の特定の（前もって定義した）順序で分類子出力値のベクトルをもたらす。
それぞれの写真は、このように分類子値の順序づけられたベクトルと共に関連付けられる。
分類子が写真、動作ユニットおよび／または低レベルの特徴中に顔（あるいは場合に応じて顔など）によって描写された特定の情動の存在または不在に従って信号出力をもたらすために構成され訓練されてもよい。
分類子の各々が、無関心な表現および興味のある感情の状態（退屈、興味、魅了のような）の表現と同様に、例えば７つの主要な情動（怒り、軽蔑、嫌悪、恐れ、幸福、悲嘆、驚き）を含む、異なる情動に対して構成され訓練されてもよい。
他の分類子が特定の写真の顔の数に基づいた出力をもたらすように構成されてもよい。
付加的な分類子が他の人間の外見特徴に対応する信号出力をもたらすために構成され訓練されてもよい。
我々は、上記の参照によってリストされ組込まれた特許出願中にそのような分類子のある態様を描写した。

したがって、写真が人と顔を見つけるための処理をされてもよい。
次に、写真は写真中の人の人口統計比（例えば年齢、民族性、性別）を評価；
人（例えば主要な情動、興味、失望、混乱）の表情の評価するために処理されてもよい。
写真が、写真中の人のヘアスタイル（例えば長髪、軍隊のスポーツ刈り、おかっぱ）及び衣服（例えばジーンズ、スカート、ジャケット）を特徴づけるため特定の傾向に合わせ検知器／分類子を用いてさらに処理してもよい。

変更形態では、カメラデバイス１８０による写真はカメラデバイス１８０自身によってあるいはさらに別の装置／サーバーによって処理され、及びシステム１００は写真に関連したベクトルを受信する。
システム１００が、写真のないベクトル、ベクトル及び写真、あるいは２つのある組合せ、すなわち写真といくつかは関連付けられ、いくつかは関連付けられないベクトルを受信してもよい。
さらに、システム１００、カメラデバイス１８０および／または他の装置の間で分離され、その間写真はベクトルを得るためにこれらの２つ以上のタイプの装置で処理される。

システム１００では、写真のベクトルが、データベース１６０および／またはシステム１００（例えば大量記録装置１５０、メモリモジュール１２０／１３０）の他のメモリ／記録デバイス中に格納されてもよい。

システム１００は、（例えば適切なコードを実行するプロセッサー１１０によって）空間と時間情報を集め及び空間と時間で体系づけられた写真ベクトルの選択された（目的）大きさの統計学を描写し、人々が位置に対する、感情および情動を共有することを可能にするためにベクトルを用い、
空間と時間上体系づけられた方法で情動および他の人間の外見特徴に関する情報を描写し、
及びユーザが空間と時間でナビゲートし異なるベクトル大きさを描写することができるように好都合に構成されてもよい。
したがって、システム１００が写真ベクトルおよび総計の変数（例えば特定のヘアスタイルの人々の頻度、最もトレンディなあるいは他のスタイルの衣服を身に着けた人々の頻度）の異なる大きさのためマップを生成するように構成されてもよい。
マップが二次元あるいは三次元であってもよく、例えばグーグル・マップまたはグーグル・アースと同様に、屋内および／または屋外場所をふくみ、ナビゲート可能でかつズーム可能な方法で描写されてもよい。
システム１００もグーグル・マップ、またはグーグル・アースあるいは同様のサービスによって生成したマップに空間と時間上体系づけられた情報を投影するように構成されてもよい。

いくつかの実施形態では、マップが惑星全体にわたって感情分析（sentiment analysis）を示してもよい。
マップ上で拡大することでますます小さなエリアは詳細な感情の分析を示すことがある。
例えば、拡大することはユーザが国中、地方の領域、領域中の都市、都市の地区、地区の一部、店、公園、あるいはレクリエーション施設等のような地区の特定の位置およびその位置の特定の一部の感情の分析を見ることを可能にしてもよい。
縮小することがこの一連の逆をもたらしてもよい。
本発明はこの能力またはこれらの例に限定されない。

ユーザ・インターフェースは、最も幸福な場所を示す、最新流行の衣服が観察されるサンディエゴのエリアは他の地理的なエリアを示すためのクエリー、他の最も多くの人々が特定の情動を観察される（例えば幸福、驚き、楽しみ、興味）ショッピングセンターあるいはあらかじめ指定されたタイプの場所の時間を示すためのクエリー、人種の多様性マップを示すクエリーのような空間と時間のクエリーを行う可能にするために実施されてもよい。
インターフェースもユーザが友情および類似した関係に基づいた写真ベクトルデータをフィルター処理することを可能にするように構成されてもよい。
例えば、ユーザが、ユーザと似た人々が好んでいる、そうした人々がとても幸福であった位置の描写を要求することを（インターフェースを介して）できてもよい。

ここで、類似性は写真から識別されあるいは評価されてもよい人口統計あるいは他の人間の外見特徴に基づいてもよい。
したがって、２０代のユーザＡが、およそ同年齢の人々がいる現場では同じあるいは異なるタイプの他の現場よりもより笑う傾向がある現場を突き止めるためインターフェースを利用してもよい。
ユーザＡが、幼児、幼稚園児および高齢者が笑う場所に関心がなくてもよく、インターフェースを介して好みを規定しなくてもよい。
更に、システム１００が特定のユーザにその描写を合わせるために自動的に構成されてもよい。
したがって、ユーザの人口統計についての知識に基づいた、及び／または他の特性や好み、しかしながら、得られた（ユーザ登録プロセスによって、例えば、あるいはユーザの前に表現された好みに基づいた）他の特性及びこのみ、システムが、自動的に同様の人口統計／特性／好みを含み写真のベクトルに自動的にフォーカスをあせてもよく、および十分に類似しない人を含まない写真のベクトルを省略してもよい。

検索とマップ描写が時刻および／または特定の日付によって条件付けられてもよい。
したがって、ユーザが、例えば金曜の夜のアフターファイブといった、特定の時間内の幸福な情動を有するユーザに類似した人々のマップの描写を指定してもよい。
変更形態では、ユーザが検索されたベクトル大きさの相対的な発生率を示す様々な異なる色／陰を有する有色あるいは陰のついた描写を探し求めてもよい。
変更形態では、ユーザが時間とともに変わるマップを上映するようにシステムにもとめてもよく；
例えば、ユーザが、ユーザと同じような人々の気分が特定のバーの中で午後６時から午後９時の間にどのように変化するかの描写を指定するためのインターフェースを用いてもよい。
例えば、システム１００が加速された速度でマップを「上映」してもよく、あるいはユーザが例えば午後６から午後９にスライディング制御を移動させることによってユーザが希望するマップを上映することを可能にしてもよい。

図２が、空間と時間上のマップを生成及び描写する（あるいは、そうでなければ使用する）ための過程２００の選択された工程を示す。

流動点２０１では、システム１００に電源が入り、及びプロセス２００の工程を行なうように構成される。

工程２０５で、システム１００がネットワークを介して装置１８０から写真を受信する。

工程２１０で、システム１００がそれぞれの写真中の感情のコンテンツおよび／または他のコンテンツ写真、例えば人間の外見特徴、動作ユニット、および／または低レベルの特徴に対する受信した写真を分析する。
例えば、写真の各々が、表情、動作ユニットおよび／または低レベルの特徴の分類子の収集によって分析されてもよい。
分類子の各々が特定の情動あるいは写真中の顔、動作ユニットあるいは低レベルの特徴の顔（あるいは場合に応じて複数の顔）によって描写された他の人間の外見特徴の存在または不在に従って信号出力をもたらすために構成され訓練されることもある。
分類子の各々が、例えば、無関心な表現および興味のある感情の状態（退屈、興味、魅了のような）の表現と同様に７つの主要な情動（怒り、軽蔑、嫌悪、恐れ、幸福、悲嘆、驚き）を含む、異なる情動／特性に対して構成され訓練されてもよい。
上記したように、付加的な分類子が他の人間の外見特徴に対応する信号出力をもたらすために構成され訓練されてもよい。
各写真に関して、分類子の順序づけた値のベクトルがこのように得られる。
ベクトルが、例えばデータベース１６０中に、格納される。

工程２１５で、システムが、特定のタスク（ここでは、いくつかの外見に関する基準あるいは写真の基準に基づいて、特定の検索および／または描写されるマップあるいはマップの重ね合せの生成を含んでいる）に対して興味のある大きさに関する情報を得る。
大きさが、例えばユーザによってタスクについて具体的に与えられた、および／または予め（例えばそうでなければ登録の間、前のタスクから）ユーザによってタスクに対して具体的に提供されたユーザ・パラメーターに基づいてもよい。
大きさもいくつかの前もって定義したデフォルトパラメータに基づいてもよい。
大きさが、１つ以上の情動および／または他の人間の外見特徴を目的とした分類子の出力であってもよい。

工程２２０において、システム１００はマップまたはマップの重ね合せを生成し、ここで異なる地理的位置および／または現場の外見が位置／現場に対するベクトルの関心の大きさに従って変えられる。
例えば、写真中の顔（あるいは、ユーザと類似すると推測される人々の、ユーザと同じ年齢群、例えば同年代など、写真中の顔）の平均の幸せ度が高い程、より多くの強度が色または陰影によって伝えられ、逆もまた同じである。
いくつかのマップあるいはマップの上掛けが、例えば異なる時間に対して生成されてもよい。

工程２２５で、システム１００は格納し、システム１００は送信し、システム１００は描写し、及び／またはそうでなければマップあるいは複数のマップを用いる。

プロセス２００が必要に応じて繰り返されるために、流動点２９９で終了する。

図３はこの明細書の選択された態様に従ってリテール文脈中の空間と時間上のマップにもとづいた感情と外見を例示する。
このマップが図１の中のシステム１００のようなシステムによって描写されてもよい。
図３の中のマップ３００は、ヒートマップと似た性質で示されたリテール環境の感情分析を示す。
マップ中の異なるエリアがそのリテール環境で獲得された画像中の顔によって描写された１つ以上の特定の情動あるいは他の人間の外見特徴の様々な段階を表わすために陰影あるいは色がつけられてもよい。
例えば、エリア３１０は情動の最も幸福な表情が検知された場所を示すことがあり、エリア３０５のマップが情動の最も少ない幸福な表情が検知された場所を示し、およびエリア３１５および３２０が、中程度の幸福の表情がどこで検知されたか示すことがある。

図４が、ストリートマップの文脈での空間と時間上のマップに基づく基づいた感情と外見を示す。
このマップはズームできる。
図５は、図４中のマップの部分を拡大した例である。
もっと詳細な感情分析が拡大したマップ中で提供されてもよい。
したがって、図５中のマップが、図４中に示されない付加的な詳細５０１および５０５を示す。

いくつかの実施形態では、様々な配色が情動あるいは他の特性を示すために用いられてもよい。
例えば、青が幸福を表わしてもよく、および赤が不幸せな状態を表わしてもよい。
異なる段階の幸福あるいは不幸せな状態が、異なる彩度の色によって、中間色を用いることによって、あるいは他の方法で表わされてもよい。
色が情動または人間の特性にどのように相互に関連するか示すためにスケールが提供されてもよい。
好ましくは、色彩配合が情動または人間の特性の直観的な描写を提供するために選択される。

いくつかの実施形態では、感情分析マップは特定の時間構成中に獲得されたか、徐々に集められたか、あるいは他の方法で選択された写真に基づいてもよい。
感情分析は、固定された期間、選択可能な時間構成あるいはリアル・タイムにおいて更新されうる変動性の時間構成の間であってもよい。

いくつかの実施形態では、感情分析マップが、人口統計の一部の人々（例えば性別、民族性、年齢など）、特定のファッションを着た人々、あるいは他のグループの人々に対して、特定の情動あるいは特性を表わしてもよい。
適切な時間構成、人口統計学的情報および／または他の関連情報を示すために、題銘または見出しが、マップとともに描写されてもよい。

いくつかの実施形態では、感情分析マップが、図３、図４および図５中に示された以外の方法で情動または人間の特性を示してもよい。
例えば、１以上の情動あるいは人間の特性を示すために空間を移動する人々を表わすラインに色をつけてもよい。
他の例に関して、人の顔が特定の情動または人間の特性を描写したことを示すためにある期間に対してその場にとどまる人々を表わすドットに色をつけてもよい。
本発明はこれらの例のうちのどれにも限定されない。

本発明は図３、図４および図５中に示されたものに加えて多くの異なった文脈下に応用可能性を有していてもよい。
例として、博物館での感情分析、学校での異なる教室の感情分析、他の建物の内部上の感情分析、地区の異なる部分の感情分析、様々な都市にわたってあるいは様々な都市中の感情分析、道路上（例えば路上の激怒を発生させやすいエリアを検知すること）の感情分析、などを含むがこれに限定されない。

この明細書の全体にわたって描写されたシステムとプロセスの特徴は、特定の特徴／要素／制限の存在あるいは不在が文脈から本質的に必要か、明示的に示されるか、そうでなければ明らかにされる場合を除いて個々に存在してもよく、あるいは任意の組合せでまたは入れ替えて存在してもよい。

プロセスの工程および決定（決定ブロックが存在するならば）はこの明細書中に記載され、ある工程および／または決定は連動したあるいは平行して別々の要素、非同期あるいは同期して、パイプライン処理方法または他の方法で行われてもよい。
特定の順番が本質的に必要、明示的に示される、あるいはそうでなければ文脈から明らかにされる場合以外は、工程と決定は明細書に列挙されあるいは図面に記載されたのと同じ順番で行われることは特に要求されない。
更に、あらゆる図示された工程および決定ブロックはこの明細書中に記載された概念に基づく全ての実施形態が要求されるわけではないが、特に示されていない工程および決定ブロックが概念に従っていくつかの実施形態において好ましいか又は必要でることがある。
しかしながら、特定の実施形態／変更形態／実施例が工程および決定（適用可能なならば）が示され及び／または記述した特定の工程を用いることが注目されるべきである。

この明細書中に開示された実施形態、変更形態、および例の方法の工程に対応する指図書（マシン実行可能コード）が、ハードウェア、ソフトウェア、ファームウェア、あるいはその組合せの中で直接具体化されてもよい。
ソフトウェアモジュールは揮発性か不揮発性かにかかわらず、揮発性メモリ、フラッシュ・メモリー、読み取り専用メモリ（ＲＯＭ）、電気プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、あるいは、当該技術として知られている非一時的な記録媒体の他の形式に格納されてもよい。
典型的な記録媒体は１台以上のプロセッサーが記録媒体から情報を読み出し及び記録媒体に情報を書き込むことができるように１台以上のプロセッサーに連結されてもよい。
選択肢の一つでは、記録媒体が１台以上のプロセッサーに必須であってもよい。

本明細書が、空間と時間上のマッピングおよび検索を目的として特許性のある製造の装置、方法および製造物を詳細に描写する。
例示の目的だけに行われたものである。
特定の実施形態あるいはそれらの特徴が、本明細書の開示の基礎となる一般原則を必ずしも限定しない。
ここに描写された特定の特徴が、ここに説明されている発明の趣旨および範囲から離れることなしに、他のものではなくいくつかの実施形態の中で用いられてもよい。
構成要素および様々な工程シーケンスの様々な物理的配列が、さらに開示の意図した範囲内にある。
多くの追加の改良が前述の開示で意図され、およびいくつかの実施例では、他の特徴の対応する使用がない状態でいくつかの特徴が利用されうることが関連技術における通常の技術を有する者によって認識されるだろう。
そのため、例示の例が、必ずしも発明の土地境界を定義せず、及び法的な保護が発明にある。

Claims (18)

1. マッピングのコンピュータ実施方法であって：
   コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程；
   所望の１以上のベクトル大きさに関する情報を獲得する工程であって、所望の１以上のベクトル大きさのうちの少なくともいくつかが情動の表情に対応する工程；
   位置の描写を生成する工程であって、そこではマップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変動する工程；
   及び描写を使用する工程は格納、送信及び表示の少なくとも１つの工程を含んで使用する工程；
   からなるマッピングのコンピュータ実施方法。
2. 複数のネットワーク化されたカメラデバイスから複数の画像を受信する工程をさらに含むことを特徴とする請求項１に記載のコンピュータ実施方法。
3. 前記位置は地理的なエリアあるいは建物の内部を含むことを特徴とする請求項１に記載のコンピュータ実施方法。
4. 前記描写は位置のマップおよび位置のマップの重ね合わせを含むことを特徴とする請求項１に記載のコンピュータ実施方法。
5. マップの重ね合わせの色は所望の１以上のベクトル大きさのコンテンツ・ベクトルの値によって少なくとも１つの情動または人間の特性を示すことを特徴とする請求項４に記載のコンピュータ実施方法。
6. マップおよびマップの重ね合せはズーム可能で、
   かつ拡大または縮小に応じて重ね合せ中である程度の詳細を示す工程をさらに含んでいることを特徴とする請求項５に記載のコンピュータ実施方法。
7. 以下の工程を実行するように構成されたコンピュータ・ベースのシステムは：
   コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程；
   所望の１以上のベクトル大きさ、少なくとも情動の表情に相当する所望の１以上のベクトル大きさのうちのいくつかに関する情報を獲得する工程；
   位置の描写を生成する工程であって、マップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変わる工程；
   及び描写を使用する工程は格納、送信及び表示の少なくとも１つの工程を含んで使用する工程
   からなることを特徴とするコンピュータ・ベースのシステム。
8. 前記工程は複数のネットワーク化されたカメラデバイスから複数の画像を受信する工程をさらに含むことを特徴とする請求項７に記載のコンピュータ・ベースのシステム。
9. 前記位置は地理的なエリアあるいは建物の内部を含むことを特徴とする請求項７に記載のコンピュータ・ベースのシステム。
10. 前記描写は位置のマップおよび位置のマップの重ね合わせを含むことを特徴とする請求項７に記載のコンピュータ・ベースのシステム。
11. マップの重ね合わせの色は所望の１以上のベクトル大きさのコンテンツ・ベクトルの値によって少なくとも１つの情動または人間の特性を示すことを特徴とする請求項１０に記載のコンピュータ・ベースのシステム。
12. マップおよびマップの重ね合せはズーム可能で、
    かつ拡大または縮小に応じて重ね合せ中である程度の詳細を示す工程をさらに含んでいることを特徴とする請求項１１に記載のコンピュータ・ベースのシステム。
13. マッピングのコンピュータにより実施される方法のコンピュータコードを埋め込まれた非一時的なコンピュータ読み込み可能なメモリを含む製造物であって：
    コンテンツ・ベクトルを生成するために複数の写真の顔の画像を分析する工程；
    所望の１以上のベクトル大きさ、少なくとも情動の表情に相当する所望の１以上のベクトル大きさのうちのいくつかに関する情報を獲得する工程；
    位置の描写を生成する工程であって、マップ中の領域の外観が、所望の１以上のベクトル大きさに対するコンテンツ・ベクトルの値に従って変わる工程；
    及び描写を使用する工程は格納、送信及び表示の少なくとも１つの工程を含んで使用する工程
    からなることを特徴とする製造方法。
14. 前記方法は複数のネットワークに接続されたカメラデバイスから複数の画像を受信することをさらに含むことを特徴とする請求項１３に記載の製造物。
15. 前記位置は地理的なエリアあるいは建物の内部を含むことを特徴とする請求項１３に記載の製造物。
16. 表示はマップおよび位置のマップの重ね合せを含むことを特徴とする請求項１３に記載の製造物。
17. マップの重ね合わせの色は所望の１以上のベクトル大きさのコンテンツ・ベクトルの値によって少なくとも１つの情動または人間の特性を示すことを特徴とするとする請求項１６に記載の製造物。
18. マップおよびマップの重ね合せはズーム可能で、
    かつ拡大または縮小に応じて重ね合せ中である程度の詳細を示す工程をさらに含んでいることを特徴とする請求項１７に記載の製造物。

Images