JP2014511520A

JP2014511520A - 画像のテキスト化とテキストの画像化の関連性のためのシステム及び方法

Info

Publication number: JP2014511520A
Application number: JP2013552321A
Authority: JP
Inventors: タイグマン、ヤニフ; ヒルシュ、ギル; ショハット、エデン
Original assignee: フェイスブック，インク．
Priority date: 2011-02-03
Filing date: 2011-03-31
Publication date: 2014-05-15
Anticipated expiration: 2031-03-31
Also published as: MX345437B; CA2826177A1; BR112013019907A2; CN103620590B; AU2011358100A1; CA2826177C; CN103620590A; JP5857073B2; AU2011358100B2; KR101649322B1; WO2012104830A1; KR20140058409A; MX2013008985A

Abstract

人物の顔画像を分類するためのコンピュータ化されたシステムであって、顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、値は形容詞で表される、評価子と、個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子とを含む、コンピュータ化されたシステム。

Description

本発明は、概して、画像のテキスト化とテキストの画像化の関連性に関する。

特許文献１〜１３には、当技術分野の現状が表わされていると考えられる。

米国特許第４，９２６，４９１号明細書米国特許第５，１６４，９９２号明細書米国特許第５，９６３，６７０号明細書米国特許第６，２９２，５７５号明細書米国特許第６，３０１，３７０号明細書米国特許第６，８１９，７８３号明細書米国特許第６，９４４，３１９号明細書米国特許第６，９９０，２１７号明細書米国特許第７，２７４，８２２号明細書米国特許第７，２９５，６８７号明細書米国特許出願公開第２００６／０２５３４９１号明細書米国特許出願公開第２００７／０２３７３５５号明細書米国特許出願公開第２００９／０２１０４９１号明細書

本発明の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明の別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明の別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図。本発明のさらなる別の好ましい実施形態による、画像のテキスト化の関連性を利用するユーザ満足度モニタリングシステムの簡易図。図１Ａ〜６のシステムで使用されるデータベースの構築に便利な画像／テキスト／画像データベース生成方法論の簡易図。形容詞を画像と関連付けるためのトレーニング処理を示す簡易フローチャート。視覚的分類をトレーニングする処理を示す簡易フローチャート。画像と関連付けられた形容詞を取り出すための処理を示す簡易フローチャート。１つ又は複数の形容詞と関連付けられた画像を取り出すための処理を示す簡易フローチャート。第１の画像と同様の顔画像を取り出すための処理を示す簡易フローチャート。

本発明は、画像のテキスト化とテキストの画像化の関連性のための改良されたシステム及び方法論の提供に努める。したがって、本発明の好ましい実施形態に応じた、人物の顔画像を分類するためのコンピュータ化されたシステムであって、顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、値は形容詞で表される、評価子と、個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子とを含む、コンピュータ化されたシステムが提供される。

本発明の好ましい実施形態に応じて、コンピュータ化された顔属性面の評価子は、複数の顔画像に対応する格納値の多種類を含むデータベースであって、顔画像の各々は、複数の個別の顔属性のうちの少なくともいくつかを有し、個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた、形容詞で表される値を有する、データベースを含む。

好ましくは、システムは、複数種類の格納値から導出される統計情報を提供する顔属性統計報告機能をさらに含む。
好ましくは、コンピュータ化された顔属性面の評価子は、複数種類の格納顔画像及び複数種類の格納値を含むデータベースであって、格納顔画像の各々は、複数の個別の顔属性のうちの少なくともいくつかを有し、個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた、形容詞で表される値を有する、データベースと、属性面及び形容詞面について、顔画像の複数の個別の顔属性を複数種類の格納顔画像と比較することによって、顔画像を複数種類の格納顔画像と比較する形容詞ベースの比較子とを含む。好ましくは、形容詞ベースの比較子は、形容詞面でデータベースへのクエリを行う。

好ましくは、システムは、コンピュータ化された分類子からの出力に応じて、出力に対応する格納顔画像のうちの少なくとも１つを識別するように動作可能なコンピュータ化された識別子をさらに含む。好ましくは、コンピュータ化された識別子は、前記出力に対応する格納顔画像のランク付けされたリストを生成するよう動作する。

好ましくは、システムは、ソーシャルネットワークからの情報をコンピュータ化された顔画像属性面の評価子に対して利用可能にするためのソーシャルネットワークインタフェースをさらに含む。好ましくは、システムは、顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能をさらに含む。好ましくは、コンピュータ化された識別子は、顔モデルを利用する。

また、本発明の他の好ましい実施形態に応じた、人物の顔画像を分類するためのコンピュータ化された方法であって、顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てる工程であって、値は形容詞で表される、工程と、個別の顔属性のうちの複数に応じて顔画像を分類する工程とを含む、コンピュータ化された方法も提供される。

本発明の好ましい実施形態に応じて、顔画像の各々は、複数の個別の顔属性のうちの少なくともいくつかを有し、個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた、形容詞で表される値を有する。好ましくは、本方法は、複数種類の格納値から導出される統計情報を提供する工程をさらに含む。

好ましくは、格納顔画像の各々は、複数の個別の顔属性のうちの少なくともいくつかを有し、個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた、形容詞で表される値を有し、本方法は、好ましくは、属性面及び形容詞面について、顔画像の複数の個別の顔属性を複数種類の格納顔画像と比較することによって、顔画像を複数種類の格納顔画像と比較する工程をさらに含む。好ましくは、比較する工程では、形容詞面でデータベースへのクエリを行う。

好ましくは、本方法は、分類する工程の出力に対応する格納顔画像のうちの少なくとも１つを識別する工程をさらに含む。好ましくは、識別する工程は、出力に対応する格納顔画像であって格納顔画像のランク付けされたリストを生成するよう動作可能である。好ましくは、本方法は、ソーシャルネットワークからの情報をコンピュータ化された顔画像属性面の評価子に対して利用可能にする工程をさらに含む。好ましくは、本方法は、顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成をさらに含む。好ましくは、識別する工程では顔モデルを利用する。

さらに、本発明の他の好ましい実施形態に応じて、所定の場所における人物を登録するためのシステムであって、人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得する顔画像／人物識別取得サブシステムと、人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを受信するコンピュータ化されたサブシステムであって、少なくとも１つの顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能、及び、形容詞で表される値を顔画像の複数の顔属性に割り当てるよう動作可能な画像から属性へのマッピング機能を含む、コンピュータ化されたサブシステムと、複数の人物に対する情報及び顔属性の値を格納するデータベースとを含む、システムがさらに提供される。

好ましくは、システムは、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、顔モデルを利用して特定の人物を識別するよう動作可能な属性から画像へのマッピング機能をさらに含む。好ましくは、コンピュータ化されたサブシステムは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能な値合成部をさらに含む。

好ましくは、システムは、少なくとも１つの顔画像を取得し、該取得した顔画像をコンピュータ化されたサブシステムに供給する後続の顔画像取得サブシステムをさらに含み、コンピュータ化されたサブシステムは、好ましくは、後続の顔画像に対応する顔モデルを作成し、形容詞で表される値を後続の顔画像の複数の顔属性に割り当て、対応する格納顔画像及び後続の顔画像を特定の人物として識別するよう動作可能であり、個人識別のうちの少なくとも１つのアイテムは、データベースに格納されている人物に関連する。

好ましくは、値合成部を使用して、顔モデルと後続の顔画像に対応する値の集合とを組
み合わせることによって、特定の人物を識別する。好ましくは、人物の個人識別のうちの少なくとも１つのアイテムは、事前登録データから入手される。

好ましくは、システムは、ソーシャルネットワークからの情報をコンピュータ化されたサブシステムに対して利用可能にするためのソーシャルネットワークインタフェースをさらに含む。好ましくは、顔画像／人物識別取得サブシステムは、サブシステムと情報のやり取りを行う人物以外の人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得するよう動作可能である。それに加えて又はその代替として、顔画像／人物識別取得サブシステムは、サブシステムと情報のやり取りを行う人物以外の、他の識別されていない人物の少なくとも１つの顔画像を取得するよう動作可能である。

好ましくは、システムは、顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、値は形容詞で表される、評価子と、個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子とによって具体化される。

さらに、本発明のさらに別の好ましい実施形態に応じた、所定の場所における人物の繰り返し出現を認識するためのシステムであって、人物の少なくとも１つの顔画像を取得する顔画像／人物識別取得サブシステムと、少なくとも１つの顔画像を受信するコンピュータ化されたサブシステムであって、少なくとも１つの顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能、及び、形容詞で表される値を顔画像の複数の顔属性に割り当てるよう動作可能な画像から属性へのマッピング機能を含む、コンピュータ化されたサブシステムと、複数の人物に対する情報及び顔属性の値を格納するデータベースを含む、システムが提供される。

好ましくは、コンピュータ化されたサブシステムは、顔属性の値の集合を利用して、顔モデルを利用して、特定の人物と関連付けられた対応する格納顔画像を識別するよう動作可能な属性から画像へのマッピング機能をさらに含む。好ましくは、コンピュータ化されたサブシステムは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成するよう動作可能な値合成部をさらに含む。

好ましくは、システムは、少なくとも１つの顔画像を取得し、該取得した顔画像をコンピュータ化されたサブシステムに供給する後続の顔画像取得サブシステムをさらに含み、コンピュータ化されたサブシステムは、好ましくは、特定の人物の繰り返し出現を認識するため、後続の顔画像に対応する顔モデルを作成し、形容詞で表される値を後続の顔画像の複数の顔属性に割り当て、対応する格納顔画像及び後続の顔画像を特定の人物の顔画像であるとして識別するよう動作可能である。

好ましくは、値合成部を使用して、顔モデルと後続の顔画像に対応する値の集合とを組み合わせることによって、人物の繰り返し出現を認識する。好ましくは、システムは、所定の場所に繰り返し出現する人物に関する属性面の統計を生成するために、顔モデル及び値の集合を利用する繰り返し出現統計生成をさらに含む。好ましくは、システムは、ソーシャルネットワークからの情報をコンピュータ化されたサブシステムに対して利用可能にするためのソーシャルネットワークインタフェースをさらに含む。

好ましくは、顔画像／人物識別取得サブシステムは、サブシステムと情報のやり取りを行う人物以外の人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得するよう動作可能である。それに加えて又はその代替として、顔画像／人物識別取得サブシステムは、サブシステムと情報のやり取りを行う人物以外の、他の識別されていない人物の少なくとも１つの顔画像を取得するよう動作可能である。

さらに、本発明のさらに別の好ましい実施形態に応じて、各々が形容詞で表される値を顔画像の個別の顔属性のうちの複数のに割り当てることができるコンピュータ化された顔画像属性面の評価子を生成するための方法であって、複数種類の顔画像を集める工程であって、各々は、顔画像と関連付けられた、形容詞によって特徴付けられる少なくとも１つの顔画像属性を有する、工程と、値を評価すべき顔画像の個別の顔属性のうちの複数に割り当てるために、評価すべき顔画像を受信し、集める工程の結果を利用するよう動作可能な機能を生成する工程であって、値は形容詞で表される工程を含む、方法が提供される。

好ましくは、集める工程は、複数種類の顔画像を収集する工程であって、各々は、公衆に利用可能な情報源からの、顔画像と関連付けられた、形容詞によって特徴付けられる少なくとも１つの顔画像属性を有する、工程と、クラウドソーシングを使用して、複数種類の顔画像に現れる形容詞と顔属性との間の一致度を高める工程とを含む。好ましくは、クラウドソーシングは、複数の個人に複数種類の顔画像のうちの複数及び形容詞を閲覧させるとともに、複数種類の画像のうちの複数における形容詞と顔属性との間の一致度に対する該複数の個人の見解を示させる工程を含む。好ましくは、値は数値である。

また、本発明の別の好ましい実施形態に応じた、少なくとも１つの刺激に対するユーザ反応を認識するためのシステムであって、刺激に対するユーザ反応に対応する時点に入手された顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、値は形容詞で表される、評価子と、個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子とを含む、システムも提供される。

好ましくは、システムは、個別の顔属性のうち、少なくとも１つの刺激の適用前及び適用後の個別の顔属性を比較するコンピュータ化された属性比較子をさらに含む。
さらに、本発明のさらに別の好ましい実施形態に応じた、少なくとも１つの刺激に対するユーザ反応を認識するための方法であって、刺激に対するユーザ反応に対応する時点に入手された顔画像を表す値を顔画像の個別の顔属性のうちの複数に割り当てる工程であって、値は形容詞で表される、工程と、個別の顔属性のうちの複数に応じて顔画像を分類する工程とを含む、方法が提供される。

好ましくは、本方法は、個別の顔属性のうち、少なくとも１つの刺激の適用前及び適用後の個別の顔属性を比較する工程をさらに含む。
さらに、本発明のさらに別の好ましい実施形態に応じた、人物を分類するためのコンピュータ化されたシステムであって、人物が特定の時点に特定の状況にある確率を表す関係係数を生成する関係係数生成子と、関係係数のうちの複数に応じて人物を分類するコンピュータ化された分類子とを含む、システムも提供される。

好ましくは、状況は、地理的な場所及び事象のうちの１つである。好ましくは、関係係数は、値と減衰関数とを含む。好ましくは、減衰関数は、一次関数である。あるいは、減衰関数は、指数関数である。

好ましくは、状況は、階層的な状況の階層のうちの１つである。好ましくは、状況の階層の状況の関係係数は、相互依存する。好ましくは、関係係数生成子は、複数の人物が少
なくとも第１の状況で一緒に存在し、第２の状況で複数の人物間で相互依存関係係数を生成する場合に動作可能である。

好ましくは、システムは、個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子をさらに含む。
本発明は、図面と併せて、以下の詳細な説明から、より完全に理解され、認識されるであろう。

ここで、本発明の好ましい実施形態に応じた、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図である図１Ａ、１Ｂ及び１Ｃを参照する。図１Ａ〜１Ｃのシステムは、好ましくは、顔画像を表す値を顔画像の個別の顔属性のうちの複数の顔属性に割り当てるコンピュータ化された顔画像属性面の評価子であって、値は形容詞で表される、評価子と、個別の顔属性のうちの複数の顔属性に応じて顔画像を分類するコンピュータ化された分類子とを含む。

図１Ａに示されるように、１月１日に、ＡＡＡデパートの顧客であるジョーンズ氏が入店し、登録スタンド１００で店の重要顧客として登録される。登録スタンドは、好ましくは、店のコンピュータネットワークに接続されたコンピュータ１０２と、コンピュータ１０２に接続されたデジタルカメラ１０４とを含む。重要顧客登録処理は、ジョーンズ氏の氏名などの顧客の個人識別詳細情報を入力する工程と、デジタルカメラ１０４で顧客の顔画像１０８を捕える工程とを含む。あるいは、顧客の個人識別詳細情報は、例えば、顧客の既存の人物のソーシャルネットワークアカウントから取り出すことができる。あるいは、顧客は、遠隔地からインターネット上で大切な場所として登録することができる。

個人識別詳細情報及び顔画像１０８は、好ましくは、顔モデル生成機能１１２と、画像から属性へのマッピング機能１１４と、属性から画像へのマッピング機能１１６と、値合成部１１７とを含むコンピュータ化された人物識別システム１１０に送信される。また、コンピュータ化された人物識別システム１１０は、好ましくは、すべての登録顧客の登録詳細情報及び顔属性の値を格納する重要顧客データベース１１８をさらに含む。データベース１１８は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

顔モデル生成機能１１２は、顔画像１０８に対応する顔モデル１２０を生成するよう動作可能である。顔モデル生成機能１１２は、当技術分野で知られている任意の適切な顔モデル生成方法を使用できることが認識される。図１Ａに示されるように、顔画像１０８に対応する顔モデル１２０は、顔モデル生成機能１１２によって生成され、ジョーンズ氏の属性のうちの１つとしてデータベース１１８に格納される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能１１４は、形容詞１２２で表される値を顔画像１０８の複数の顔属性に割り当てるよう動作可能である。顔属性を表す形容詞１２２は、例えば、髪の色、鼻の形、肌の色、顔の形、髭のタイプ及びその有無について説明する形容詞を含み得る。図１Ａに示されるように、顔画像１０８に対応する、属性マッピング機能１１４によって生成された形容詞は、ジョーンズ氏の属性の値としてデータベース１１８に格納される。

さらに、本発明の好ましい実施形態に応じて、属性から画像へのマッピング機能１１６は、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、特定の人物を識別するよう動作可能である。

さらに、本発明の好ましい実施形態によれば、値合成部１１７は、好ましくは、顔モデ
ルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能である。

ここで、図１Ｂに移ると、１月１７日など後日に、顧客がＡＡＡデパートに入り、店の入り口に装備されたデジタルカメラ１５０が顧客の顔画像１５２を捕えた様子が分かる。顔画像１５２は、コンピュータ化された人物識別システム１１０に送信され、コンピュータ化された人物識別システム１１０では、好ましくは、顔モデル生成機能１１２によって、顔画像１５２に対応する顔モデル１６０が生成される。それに加えて、好ましくは、画像から属性へのマッピング機能１１４によって、形容詞で表される値１６２が顔画像１５２の複数の顔属性に割り当てられる。

図１Ｂに示されるように、顔モデル１６０及び形容詞１６２は、好ましくは、値合成部１１７によって、値の合成集合に組み合わされ、値の合成集合は、データベース１１８に格納された値の集合と比較され、ジョーンズ氏に割り当てられた顔モデル及び形容詞と一致することが発見されることによって、カメラ１５０に捕らえられた顔画像１５２に描かれた人物をジョーンズ氏として識別する。値合成部１１７によって組み合わされ、データベース１１８に格納された値の集合と比較された値の集合は、顔モデル１６０及び形容詞１６２の任意のサブセットであり得ることが認識される。

ここで、図１Ｃに移ると、例えば、入店した顧客を重要顧客として登録されているジョーンズ氏として識別すると同時に、重要顧客が入店したことがシステム１１０によって支配人に通知され、したがって、支配人がジョーンズ氏に近づき、ジョーンズ氏に新製品を割引価格で提供する様子が示される。

ここで、本発明の別の好ましい実施形態に応じた、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図である図２Ａ及び２Ｂを参照する。図２Ａに示されるように、１月１日などの特定の日に、ＡＡＡデパートの顧客が入店し、店の入り口に装備されたデジタルカメラ２００が顧客の顔画像２０２を捕らえる。顔画像２０２は、好ましくは、顔モデル生成機能２１２と、画像から属性へのマッピング機能２１４と、属性から画像へのマッピング機能２１６と、値合成部２１７とを含むコンピュータ化された人物識別システム２１０に送信される。また好ましくは、コンピュータ化された人物識別システム２１０は、好ましくは、これまでに入店したすべての顧客の顔属性の値を格納する顧客データベース２１８と、好ましくは、特定の各顧客が店に行った累積来店回数をトラッキングする来店カウンタ２１９とを含む。データベース２１８は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

顔モデル生成機能２１２は、顔画像２０２に対応する顔モデル２２０を生成するよう動作可能である。顔モデル生成機能２１２は、当技術分野で知られている任意の適切な顔モデル生成方法を使用できることが認識される。図２Ａに示されるように、顔モデル生成機能２１２によって生成され、顔画像２０２に対応する顔モデル２２０は、顔画像２０２の顧客の属性のうちの１つとしてデータベース２１８に格納される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能２１４は、形容詞２２２で表される値を顔画像２０２の複数の顔属性に割り当てるよう動作可能である。顔属性を表す形容詞２２２は、例えば、年齢層、性別、民族、顔の形、雰囲気及び全体的な外観について説明する形容詞を含み得る。

さらに、本発明の好ましい実施形態に応じて、属性から画像へのマッピング機能２１６は、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、特定の人物を識別するよう動作可能である。値の集合は、服装のタイプ及び色などの顧客の外観
の非身体的特徴も含んでもよく、この非身体的特徴を使用すると、顔属性の現在の値が利用可能でない場合に短い時間で人物を識別できることが認識される。

さらに、本発明の好ましい実施形態に応じて、値合成部２１７は、好ましくは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能である。

図２Ａに示されるように、顔モデル２２０及び形容詞２２２は、好ましくは、値合成部２１７によって、値の合成集合に組み合わされ、値の合成集合は、データベース２１８に格納された値の集合と比較され、リピート顧客に対応する顔モデル及び形容詞と一致することが発見される。したがって、この顧客の来店カウンタ２１９が増加する。値合成部２１７によって組み合わされ、データベース２１８に格納された値の集合と比較された値の集合は、顔モデル２２０及び形容詞２２２の任意のサブセットであり得ることが認識される。

あるいは、値合成部２１７によって生成された値の合成集合がデータベース２１８に格納された値の集合のいずれとも一致しないことが発見されれば、値合成部２１７によって生成された値の合成集合及び顔画像２０２は、好ましくは、新規な顧客を表すものとしてデータベース２１８に格納され、新規な顧客のカウンタ２１９は、１に初期化される。

ここで、図２Ｂに移ると、１月１日午後５時などの閉店時間に、店の支配人が、好ましくは、１月１日の間に入店した顧客の区分を含む第１のレポート２３０をシステム２１０から受信する様子が示される。区分は、性別、年齢層、民族及び雰囲気など、データベース２１８に格納された形容詞のいずれかに応じる形容詞であり得る。また、レポート２３０は、好ましくは、１月１日の顧客が以前に来店した来店の回数に関する情報をさらに含む。

それに加えて、店の支配人は、１月１日の間に入店したリピート顧客の区分を含む第２のレポート２３４をシステム２１０から受信することもできる。区分は、性別、年齢層、民族及び雰囲気など、データベース２１８に格納された形容詞のいずれかに応じる形容詞であり得る。レポート２３０及び２３４は、例えば、目標の販売キャンペーンの計画又は以前に行われた販売キャンペーンの成功の評価に対して便利であることが認識される。

ここで、本発明のさらに別の好ましい実施形態に応じた、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図である図３Ａ及び３Ｂを参照する。図３Ａに示されるように、１月１日などの特定の日に、ＡＡＡデパートの顧客が入店して、店の玩具売場の商品を見て回っている。玩具売場に装備されたデジタルカメラ２５０が顧客の顔画像２５２を捕らえる。図３Ａに示されるように、好ましくは、追加のデジタルカメラが店のさまざまな売り場の至る所に装備される。

顔画像２５２は、顔モデル生成機能２６２と、画像から属性へのマッピング機能２６４と、属性から画像へのマッピング機能２６６と、値合成部２６７とを含むコンピュータ化された人物識別システム２６０に送信される。また好ましくは、コンピュータ化された人物識別システム２６０は、好ましくは、その日の間に入店したすべての顧客の顔属性の値を格納する顧客データベース２６８と、各顧客が店のどの売り場を訪れたかを示す情報とを含む。データベース２６８は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

顔モデル生成機能２６２は、顔画像２５２に対応する顔モデル２７０を生成するよう動作可能である。顔モデル生成機能２６２は、当技術分野で知られている任意の適切な顔モ
デル生成方法を使用できることが認識される。図３Ａに示されるように、顔モデル生成機能２６２によって生成され、顔画像２５２に対応する顔モデル２７０は、顔画像２５２の顧客の属性のうちの１つとしてデータベース２６８に格納される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能２６４は、形容詞２７２で表される値を顔画像２５２の複数の顔属性に割り当てるよう動作可能である。顔属性を表す形容詞２７２は、例えば、年齢層、性別、民族、顔の形、雰囲気及び全体的な外観について説明する形容詞を含み得る。図３Ａに示されるように、顔画像２５２に対応する、属性マッピング機能２６４によって生成された形容詞は、顔画像２５２の顧客の属性の値としてデータベース２６８に格納される。

さらに、本発明の好ましい実施形態に応じた、属性から画像へのマッピング機能２６６は、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、特定の人物を識別するよう動作可能である。値の集合は、服装のタイプ及び色などの顧客の外観の非身体的特徴も含んでもよく、この非身体的特徴を使用すると、顔属性の現行値が利用可能でない場合に短い時間で人物を識別できることが認識される。

さらに、本発明の好ましい実施形態に応じた、値合成部２６７は、好ましくは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能である。

それに加えて、システム２６０は、顧客が訪れた売り場を玩具売り場としてデータベース２６８に記録する。
ここで、図３Ｂに移ると、１月１日午後５時などの閉店時間に、店の支配人が、好ましくは、１月１日の間に店の玩具売り場に入場した顧客の区分を含むレポート２８０をシステム２６０から受信する様子が示される。区分は、性別、年齢層、民族及び雰囲気など、データベース２６８に格納された形容詞のいずれかに応じる形容詞であり得る。レポート２８０は、例えば、目標の販売キャンペーンの計画又は以前に行われた販売キャンペーンの成功の評価に便利であることが認識される。

ここで、本発明のさらに別の好ましい実施形態に応じた、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図である図４Ａ、４Ｂ及び４Ｃを参照する。図４Ａに示されるように、１月１日に、好ましくは、コンピュータ３００を介して、潜在的出席者がフローリストの年次カンファレンスに出席するために登録している。登録処理の一部として、潜在的出席者は、好ましくは、自身の氏名などの個人識別詳細情報を入力し、潜在的出席者自身の少なくとも１つの顔画像３０２をアップロードするように勧められる。あるいは、潜在的出席者は、例えば、既存の人物のソーシャルネットワークアカウントから、個人識別詳細情報及び１つ又は複数の顔画像をインポートすることを選択することができる。

個人識別詳細情報及び顔画像３０２は、好ましくは、顔モデル生成機能３１２と、画像から属性へのマッピング機能３１４と、属性から画像へのマッピング機能３１６と、値合成部３１７とを含むコンピュータ化された会議登録システム３１０に送信される。また、コンピュータ化された会議登録システム３１０は、好ましくは、すべての登録出席者の登録詳細情報及び顔属性の値を格納するデータベース３１８をさらに含む。データベース３１８は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

顔モデル生成機能３１２は、顔画像３０２に対応する顔モデル３２０を生成するよう動作可能である。顔モデル生成機能３１２は、当技術分野で知られている任意の適切な顔モデル生成方法を使用できることが認識される。図４Ａに示されるように、顔モデル生成機
能３１２によって生成され、顔画像３０２に対応する顔モデル３２０は、潜在的出席者ジョーンズ氏の属性のうちの１つとしてデータベース３１８に格納される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能３１４は、形容詞３２２で表される値を顔画像３０８の複数の顔属性に割り当てるよう動作可能である。顔属性を表す形容詞は、例えば、髪の色、鼻の形、肌の色、顔の形、髭のタイプ及びその有無について説明する形容詞を含み得る。図４Ａに示されるように、顔画像３０２に対応する、属性マッピング機能３１４によって生成された形容詞は、潜在的出席者であるジョーンズ氏の属性の値としてデータベース３１８に格納される。

さらに、本発明の好ましい実施形態に応じて、属性から画像へのマッピング機能３１６は、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、特定の人物を識別するよう動作可能である。

さらに、本発明の好ましい実施形態に応じて、値合成部３１７は、好ましくは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能である。

ここで、図４Ｂに移ると、１月１７日など後日に、出席者がフローリストの年次カンファレンスに入り、会議場の登録ブース３３０に近づく様子が分かる。登録ブース３３０は、出席者の顔画像３３４を捕らえるデジタルカメラ３３２を含む。顔画像３３４は、コンピュータ化された会議登録システム３１０に送信され、コンピュータ化された会議登録システム３１０では、好ましくは、顔モデル生成機能３１２によって、顔画像３３４に対応する顔モデル３４０が生成される。それに加えて、好ましくは、画像から属性へのマッピング機能３１４によって、形容詞で表される値３４２が顔画像３３４の複数の顔属性に割り当てられる。

図４Ｂに示されるように、顔モデル３４０及び値３４２は、好ましくは、値合成部３１７によって、値の合成集合に組み合わされ、値の合成集合は、データベース３１８に格納された値の集合と比較され、ジョーンズ氏に割り当てられた顔モデル及び値と一致することが発見されることによって、カメラ３３２によって捕らえられた顔画像３３４に描かれた人物をジョーンズ氏として識別する。値合成部３１７によって組み合わされ、データベース３１８に格納された値の集合と比較された値の集合は、顔モデル３４０及び形容詞３４２の任意のサブセットであり得ることが認識される。ジョーンズ氏として識別されると同時に、出席者の登録が完了し、出席者は会議スタッフによって歓迎される。

ここで、図４Ｃに移ると、カンファレンスに出席している間、他の出席者への紹介を希望する出席者が、例えば、モバイル通信デバイス３５２に埋め込まれたデジタルカメラを使用して、他の出席者に他の出席者への紹介を希望する出席者の顔画像３５０を撮らせている様子が示される。会議出席者のモバイル通信デバイス３５２は、コンピュータネットワークを介してコンピュータ化された会議登録システム３１０へのアクセスが許可されている。コンピュータネットワークは、例えば、ローカルコンピュータネットワークでも、インターネットでもあり得ることが認識される。

それに加えて又はその代替として、出席者は、新規な出席者の顔画像を撮って、顔画像を、好ましくは、関連個人識別情報とともに登録システム３１０に送信することによって、コンピュータ化された会議登録システム３１０にアクセスして、現在未登録の新規な出席者を会議に登録することができる。

会議出席者の画像３５０を捕えると同時に、モバイル通信デバイス３５２は、コンピュ
ータネットワーク上でコンピュータ化された会議登録システム３１０に画像３５０を送信し、コンピュータ化された会議登録システム３１０では、好ましくは、顔モデル生成機能３１２によって、顔画像３５０に対応する顔モデル３６０が生成される。それに加えて、好ましくは、画像から属性へのマッピング機能３１４によって、形容詞で表される値３６２が顔画像３５０の複数の顔属性に割り当てられる。

図４Ｃに示されるように、顔モデル３６０及び値３６２は、値合成部３１７によって、値の合成集合に組み合わされ、値の合成集合は、データベース３１８に格納された値の集合と比較され、ジョーンズ氏に割り当てられた顔モデル及び値と一致することが発見されることによって、モバイル通信デバイス３５２によって捕らえられた顔画像３５０に描かれた人物をジョーンズ氏として識別する。値合成部３１７によって組み合わされ、データベース３１８に格納された値の集合と比較された値の集合は、顔モデル３６０及び形容詞３６２の任意のサブセットであり得ることが認識される。画像３５０に描かれた出席者をジョーンズ氏として識別したことの通知は、コンピュータ化された会議登録システム３１０によって、モバイル通信デバイス３５２に返信され、該識別したことの通知により、モバイル通信デバイス３５２のオペレータがジョーンズ氏にアプローチしていることをオペレータが知ることが可能になる。

ここで、本発明のさらに別の好ましい実施形態に応じた、画像のテキスト化とテキストの画像化の関連性を利用する識別システムの簡易図である図５Ａ及び５Ｂを参照する。図５Ａ及び５Ｂの実施形態では、人物と状況との関係を測定する関係係数が使用される。状況は、例えば、地理的な場所又は事象であってもよく、関係係数は、値と事前に定義された減衰関数とを含む。複数の状況を有する関係係数を一人が同時に有することができる。関係係数を使用して、例えば、人物が特定の時点に所定の場所に出現する確率を予測することができる。

減衰関数は、任意の数学関数であり得る。例えば、地理的な場所に対する減衰関数は一次関数であってもよく、人物が時間とともに徐々に直線的にその場所から遠ざかる傾向を表す。１回の事象に対する減衰関数は、例えば、指数減衰関数であってもよい。

人物が特定の状況内にある間、生成された人物と状況との間の関係係数の現行値は、高く設定される。人物がその状況内に繰り返し目撃される度に、関係係数の値は、潜在的に指数関数的に増加する。

関係は階層的であり得ることが認識される。例えば、地理的な場所は、都市又は国など、より広大な地理的な地域内にあり得る。したがって、特定の地理的な場所を有する関係係数を有する人物も、特定の地理的な場所に対して他のすべての場所が階層的な、より低い関係係数を有することになり、その関係係数は、特定の地理的な場所と関連する階層的な地理的な場所との間の距離の関数として減少する。

また、異なる人々の関係係数は、少なくとも部分的に相互依存し得ることも認識される。例えば、第１の人物であって、複数の時点に複数の場所において第２の人物とともに目撃されている第１の人物は、第２の人物が目撃されている新たな場所に対して、比較的高い関係係数が割り当てられることになる。

図５Ａに示されるように、２０１１年１月１日などの特定の日に、ダイナーが、フランスのパリのエッフェル塔に極めて近いカフェジャックで食事している。ダイナーの友人が、ハンドヘルド式モバイルデバイス４０２の一部であるデジタルカメラを使用して、ダイナーの顔画像４００を撮り、インターネット上でコンピュータ化された人物識別システム４１０に顔画像４００を関連時間及び場所とともに送信することによって、ダイナーの目
撃情報を登録する。場所は、例えば、デバイス４０２に提供されるＧＰＳモジュールによって提供することができる。あるいは、場所は、例えば、ソーシャルネットワークから取り出すことができる。関連時間及び場所を使用することによって、上記で説明されるように、ダイナーを場所と関連付ける関係係数が生成される。

コンピュータ化された人物識別システム４１０は、顔モデル生成機能４１２と、画像から属性へのマッピング機能４１４と、属性から画像へのマッピング機能４１６と、値合成部４１７とを含む。また好ましくは、コンピュータ化された人物識別システム４１０は、好ましくは、目撃され、登録されているすべての人物の顔属性の値を関連時間及び場所とともに格納する目撃情報データベース４１８をさらに含む。データベース４１８は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

顔モデル生成機能４１２は、顔画像４００に対応する顔モデル４２０を生成するよう動作可能である。顔モデル生成機能４２２は、当技術分野で知られている任意の適切な顔モデル生成方法を使用できることが認識される。図５Ａに示されるように、顔モデル生成機能４１２によって生成され、顔画像４００に対応する顔モデル４２０は、顔画像４００の人物の属性のうちの１つとしてデータベース４１８に格納される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能４１４は、形容詞４２２で表される値を顔画像４００の複数の顔属性に割り当てるよう動作可能である。顔属性を表す形容詞４２２は、例えば、年齢層、性別、民族、顔の形、雰囲気及び全体的な外観について説明する形容詞を含み得る。図５Ａに示されるように、顔画像４００に対応する、属性マッピング機能４１４によって生成された形容詞は、顔画像４００の人物の属性の値としてデータベース４１８に格納される。それに加えて、顔画像４００と関連付けられた時間及び場所も、データベース４１８に格納される。

さらに、本発明の好ましい実施形態に応じて、属性から画像へのマッピング機能４１６は、顔属性の値の集合を利用して、対応する格納顔画像を識別することによって、特定の人物を識別するよう動作可能である。値の集合は、服装のタイプ及び色などの顧客の外観の非身体的特徴も含んでもよく、この非身体的特徴を使用すると、顔属性の現行値が利用可能でない場合に短い時間で人物を識別できることが認識される。

さらに、本発明の好ましい実施形態に応じて、値合成部４１７は、好ましくは、顔モデルと顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能である。

ここで、図５Ｂに移ると、２０１１年２月１日など後日に、ダイナーが、フランスのパリのエッフェル塔に極めて近いカフェジャックで食事する様子が示される。居合わせた者が、ハンドヘルド式モバイルデバイス４５２の一部であるデジタルカメラを使用して、ダイナーの顔画像４５０を撮り、インターネット上で、好ましくは、顔画像４５０に対応する顔モデル４６０が顔モデル生成機能４１２によって生成されるコンピュータ化された人物識別システム４１０に顔画像４５０を関連時間及び場所とともに送信することによって、ダイナーの目撃情報を登録する。それに加えて、形容詞で表される値４６２は、好ましくは、画像から属性へのマッピング機能４１４によって、顔画像４５０の複数の顔属性に割り当てられる。

図５Ｂに示されるように、顔モデル４６０、値４６２、並びに、顔画像４５０と関連付けられた時間及び場所は、好ましくは、値合成部４１７によって、値の合成集合に組み合わされ、値の合成集合は、データベース４１８に格納された値の集合と比較され、２０１１年１月１日に最後にエッフェル塔で目撃されたダイナーに割り当てられた合成値と一致
することが発見される。値合成部４１７によって組み合わされ、データベース４１８に格納された値の集合と比較された値の集合は、顔モデル４６０及び形容詞４６２の任意のサブセットであり得ることが認識される。画像４５０に描かれたダイナーを識別したことの通知は、インターネット上で、コンピュータ化された人物識別システム４１０によって、モバイル通信デバイス４５２に返信される。

ダイナーを場所と関連付ける関係係数を、ダイナーの識別の信頼性を増加する属性値として使用できることは、本発明の本実施形態の特定の特徴である。
顔画像と関連付けられた顔属性の値の合成は、人物が頻繁に訪れた特定の場所などの追加情報とともに、特定の場所又は特定の場所に極めて近い他の場所などの関連場所における人物を、より効果的に識別するよう動作可能であることは、本発明の本実施形態の特定の特徴である。

本発明の本実施形態に応じた人物の識別は、氏名などの個人識別情報に基づく特定の人物の正確な識別に制限されず、むしろ、顔属性や人物に関係する挙動情報の収集によって一致する人物の識別をさらに含むことは、本発明の本実施形態の別の特定の特徴である。

ここで、本発明のさらに別の好ましい実施形態に応じた、画像のテキスト化の関連性を利用するユーザ満足度モニタリングシステムの簡易図である図６を参照する。図６に示されるように、閲覧者は、マルチメディア閲覧デバイス４８０を使用して、コンピュータ化されたコンテンツ４８２を閲覧する。デバイス４８０は、例えば、テレビデバイス又はコンピュータであり得ることが認識される。コンテンツ４８２は、例えば、ビデオクリップ、映画又は広告であり得る。

マルチメディア閲覧デバイス４８０に接続されたデジタルカメラ４８４は、好ましくは、例えば、数秒ごとなどの事前に定義された間隔で、閲覧者の顔画像４８６を捕え、好ましくは、インターネット上で、コンピュータ化されたオンラインコンテンツ満足度モニタリングシステム４９０に画像４８６を送信する。あるいは、画像４８６は、デバイス４８０に埋め込まれた適切な機能によって、モニタし、格納し、解析することができる。

好ましくは、システム４９０は、画像から属性へのマッピング機能４９２と、閲覧者表現データベース４９４とを含む。データベース４９４は任意の適切なコンピュータ化された情報ストアであり得ることが認識される。

本発明の好ましい実施形態に応じて、画像から属性へのマッピング機能４９２は、形容詞４９６で表される値を顔画像４８６などの捕えられた閲覧者の表現に割り当て、形容詞４９６をデータベース４９４に格納するよう動作可能である。形容詞４９６は、例えば、「喜」、「哀」、「怒」、「満足気」及び「無関心」を含み得る。データベース４９４に格納された形容詞４９６は、例えば、コンテンツ４８２の有効性の評価に便利であることが認識される。

ここで、図１Ａ〜６のシステムで使用されるデータベースの構築に便利な画像／テキスト／画像データベース生成方法論の簡易図である図７を参照する。図７に示されるように、複数の画像５００が、コンピュータ化された人物識別トレーニングシステム５１０によって、インターネット上で公衆に利用可能な画像リポジトリ５０２から収集される。画像リポジトリ５０２は、例えば、画像と同一のページ上に存在するか又はそのページに近い１つ若しくは複数のページ上に存在するテキストを画像と関連付ける公衆に利用可能なソーシャルネットワーク又はテキスト検索エンジンであり得る。好ましくは、画像リポジトリによって、画像５００の各々とともに１つ又は複数の関連特性が提供される。特性は、例えば、氏名、年齢又は年齢層、性別、全体的な外観及び雰囲気を含んでもよく、一般に
主観的であり、画像を公開した個人又はこのような特性を含み得るコメントに公開画像をタグ付けした個人によって画像と関連付けられる。

コンピュータ化された人物識別トレーニングシステム５１０は、最初に、画像５００の各々と関連付けられた特性の各々を解析し、これらの適切な各特性を属性値に変換する。次いで、これらの各値に対し、システム５１０は、画像５００の各々及びその関連属性値をアマゾンメカニカルターク（ＡｍａｚｏｎＭｅｃｈａｎｉｃａｌＴｕｒｋ）などのクラウドソーシングプロバイダに送信し、クラウドソーシングプロバイダでは、複数の個人が各画像とその関連属性値との一致レベルに関する該複数の個人の意見を表明する。各画像属性値対に対するクラウドソーシング結果を受信すると同時に、システム５１０は、これらの関連画像との概して高い一致レベルを受け取った画像の属性値をデータベース５２０に格納する。

ここで、形容詞を画像と関連付けるためのトレーニング処理を示す簡易フローチャートである図８を参照する。図８に示されるように、顔属性を定義する形容詞は、システムによって、トレーニングすべき形容詞のリストから選択され、好ましくは、１つ又は複数の公衆に利用可能なテキスト検索エンジンを使用して、形容詞と関連付けられた画像を取り出す。それに加えて、好ましくは、１つ又は複数の公衆に利用可能なテキスト検索エンジンを使用して、形容詞のさまざまな言語による１つ又は複数の翻訳と関連付けられた画像を取り出す。例えば、辞書から形容詞を収集することによって形容詞のリストを集めることができる。

視覚的顔検出を使用して、顔画像を含む、それらの引き出された画像を識別する。次いで、好ましくは、クラウドソーシングを使用して、多数決に基づいて、どの顔画像が形容詞に対応するかを確認する。次いで、図９に関して以下に説明されるように、形容詞及び対応する顔画像を使用して、視覚的分類をトレーニングする。次いで、視覚的分類を使用して、形容詞を顔画像の追加セットと関連付け、クラウドソーシングをさらに使用して、顔画像の追加セットの各々と形容詞との一致レベルを確認し、その結果を使用して、視覚的分類をさらにトレーニングする。クラウドソーシング及び視覚的分類のトレーニングの追加サイクルを使用して、所望の精度レベルに達するまで、視覚的分類の精度をさらに高めることができることが認識される。視覚的分類のトレーニング後、分類子は、属性関数のバンクに追加され、顔属性を定義する形容詞によって顔画像を分類するためにシステムによって後に使用することができる。

ここで、視覚的分類をトレーニングする処理を示す簡易フローチャートである図９を参照する。図９に示されるように、各形容詞に対し、図８に関して上記で説明されるクラウドソーシング処理の結果を使用して、画像の２つの集合を生成する。第１の集合である「正の」集合は、形容詞に対応することが確認されている画像を含み、第２の集合である「負の」集合は、形容詞に対応することが確認されていない画像を含む。

次いで、正の集合と負の集合の両方の画像は、二次元アライメント及び三次元アライメント間の変動並びに異なる照度を補正するように正規化さることによって、画像の各々が基準画像に変換される。次いで、基準画像は基準数値ベクトルに変換され、分類子は、サポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）（ＳＶＭ）などの教師あり分類（ｓｕｐｅｒｖｉｓｅｄ−ｃｌａｓｓｉｆｉｅｒ）を使用して、一組の正及び負の数値ベクトルを含むトレーニングセットから学習する。

ここで、画像と関連付けられた形容詞を取り出すための処理を示す簡易フローチャートである図１０を参照する。図１０に示されるように、最初に、画像の一部である顔画像を検出してクロップするように画像が解析される。次いで、顔画像は、二次元ポーズアライ
メント及び三次元ポーズアライメント間の変動並びに異なる照度を補正するように画像を正規化することによって、基準数値ベクトルに変換される。次いで、図８に関して上記で説明される属性関数のバンクが数値ベクトルに適用され、各属性関数から返された値が、顔画像と関連付けられた形容詞を表す数値ベクトルに記録される。

ここで、事前にインデックス化された画像のデータベースから、１つ又は複数の形容詞と関連付けられた画像を取り出すための処理を示す簡易フローチャートである図１１を参照する。図１１に示されるように、最初に、画像と関連付けられた形容詞の付いた画像に対するテキストクエリが作成される。自然言語処理（ＮａｔｕｒａｌＬａｎｇｕａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ）（ＮＬＰ）を使用して、テキストクエリから形容詞が抽出される。次いで、システムは、好ましくは、潜在的ディリクレ配分法（ＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎ）（ＬＤＡ）を使用して、以前に処理された顔画像のデータベースから、クエリから抽出された形容詞に最も一致する画像を取り出す。取り出された顔画像は、クエリから抽出された形容詞に対する画像の関連数値ベクトルの相関レベルごとに順序付けされ、結果として得られた順序付けされた顔画像は、システムの出力として提供される。

ここで、第１の画像と類似する顔画像を取り出すための処理を示す簡易フローチャートである図１２を参照する。図１２に示されるように、最初に、画像の一部である顔画像を検出してクロップするために第１の画像が解析される。次いで、顔画像は、二次元ポーズアライメント及び三次元ポーズアライメント間の変動並びに異なる照度を補正するように画像を正規化することによって、基準数値ベクトルに変換される。次いで、図８に関して上記で説明される属性関数のバンクが数値ベクトルに適用され、各属性関数から返された値が、顔画像と関連付けられた形容詞を表す数値ベクトルに記録される。

第１の画像の数値ベクトルに厳密に一致する画像を表す数値ベクトルの集合を発見するため、ユークリッド距離（Ｅｕｃｌｉｄｉａｎｄｉｓｔａｎｃｅ）などの類似度関数を使用して、ＫＤ木など、画像の数値ベクトルを含む以前にインデックス化されたデータベースが検索される。

当業者であれば、本発明が、上記で具体的に示され、説明されるものによって制限されないことが認識されるであろう。さらに、本発明の範囲は、当業者であれば、前述の説明を読み進めると同時に思い浮かぶであろう、先行技術にない、上記で説明されるさまざまな特徴の組合せと副組合せの両方並びにその変更形態を含む。

Claims

人物の顔画像を分類するためのコンピュータ化されたシステムであって、
顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、前記値は形容詞で表される、前記評価子と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類するコンピュータ化された分類子と、
を備える、コンピュータ化されたシステム。
前記コンピュータ化された顔属性面の評価子は、
複数の顔画像に対応する複数種類の格納値を含むデータベースであって、前記顔画像の各々は、前記複数の個別の顔属性のうちの少なくともいくつかを有し、前記個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた形容詞で表される前記値を有する、データベース
を備える、請求項１に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記複数種類の格納値から導出される統計情報を提供する顔属性統計報告機能
をさらに備える、請求項２に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記コンピュータ化された顔属性面の評価子は、
複数種類の格納顔画像及び複数種類の格納値を含むデータベースであって、前記格納顔画像の各々は、前記複数の個別の顔属性のうちの少なくともいくつかを有し、前記個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた形容詞で表される前記値を有する、前記データベースと、
属性面及び形容詞面について、前記顔画像の前記複数の個別の顔属性と前記複数種類の格納顔画像とを比較することによって、顔画像と前記複数種類の格納顔画像とを比較する形容詞ベースの比較子と、
を備える、請求項１に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記形容詞ベースの比較子は、形容詞面について前記データベースへのクエリを行う、請求項４に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記コンピュータ化された分類子からの出力に応じて、前記出力に対応する格納顔画像のうちの少なくとも１つを識別するように動作可能なコンピュータ化された識別子をさらに備える、請求項１〜５のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記コンピュータ化された識別子は、前記出力に対応する格納顔画像のランク付けされたリストを生成するよう動作可能である、請求項６に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
ソーシャルネットワークからの情報を前記コンピュータ化された顔画像属性面の評価子に対して利用可能にするためのソーシャルネットワークインタフェースをさらに備える、請求項１〜７のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能をさらに備
える、請求項１〜８のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
前記コンピュータ化された識別子は、前記顔モデルを利用する、請求項６及び９に記載の人物の顔画像を分類するためのコンピュータ化されたシステム。
人物の顔画像を分類するためのコンピュータ化された方法であって、
顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てる工程であって、前記値は形容詞で表される、前記工程と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類する工程と
を含む、コンピュータ化された方法。
前記顔画像の各々は、前記複数の個別の顔属性のうちの少なくともいくつかを有し、前記個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた形容詞で表される前記値を有する、請求項１１に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記複数種類の格納値から導出される統計情報を提供する工程をさらに含む、請求項１２に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記格納顔画像の各々は、前記複数の個別の顔属性のうちの少なくともいくつかを有し、前記個別の顔属性のうちの少なくともいくつかは、顔属性と関連付けられた形容詞で表される前記値を有し、
属性面及び形容詞面について、前記顔画像の前記複数の個別の顔属性と前記複数種類の格納顔画像とを比較することによって、顔画像と複数種類の格納顔画像とを比較する工程をさらに含む、請求項１１に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記比較する工程では、形容詞面でデータベースへのクエリを行う、請求項１４に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記分類する工程の出力に対応する格納顔画像のうちの少なくとも１つを識別する工程をさらに含む、請求項１１〜１５のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記識別する工程では、前記出力に対応する格納顔画像であってランク付けされた格納顔画像のリストを生成するよう動作可能である、請求項１６に記載の人物の顔画像を分類するためのコンピュータ化された方法。
ソーシャルネットワークからの情報を前記コンピュータ化された顔画像属性面の評価子に対して利用可能にする工程をさらに含む、請求項１１〜１７のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成をさらに含む、請求項１１〜１８のいずれか一項に記載の人物の顔画像を分類するためのコンピュータ化された方法。
前記識別する工程では前記顔モデルを利用する、請求項１６及び１９に記載の人物の顔画像を分類するためのコンピュータ化された方法。
所定の場所における人物を登録するためのシステムであって、
人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得する顔画像又は人物識別の取得サブシステムと、
前記人物の前記少なくとも１つの顔画像及び前記個人識別のうちの少なくとも１つのアイテムを受信するコンピュータ化されたサブシステムであって、
前記少なくとも１つの顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能、及び、形容詞で表される値を前記顔画像の複数の顔属性に割り当てるよう動作可能な画像から属性へのマッピング機能を備える、前記コンピュータ化されたサブシステムと、
複数の前記人物に対する情報及び顔属性の前記値を格納するデータベースと、
を備える、システム。
前記コンピュータ化されたサブシステムは、
顔属性の値の集合を用いて対応する格納顔画像を識別することによって、前記顔モデルを用いて特定の人物を識別するよう動作可能な属性から画像へのマッピング機能をさらに備える、請求項２１に記載の所定の場所における人物を登録するためのシステム。
前記コンピュータ化されたサブシステムは、
前記顔モデルと前記顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成することによって、特定の人物を識別するよう動作可能な値合成部をさらに備える、請求項２１に記載の所定の場所における人物を登録するためのシステム。
少なくとも１つの顔画像を取得し、該取得した顔画像を前記コンピュータ化されたサブシステムに供給する後続の顔画像取得サブシステムをさらに備え、
前記コンピュータ化されたサブシステムは、
前記後続の顔画像に対応する顔モデルを作成し、
形容詞で表される値を前記後続の顔画像の複数の顔属性に割り当て、
対応する格納顔画像及び前記後続の顔画像を特定の人物として識別するよう動作可能であり、個人識別のうちの少なくとも１つのアイテムは、前記データベースに格納されている人物に関連する、請求項２２又は２３に記載の所定の場所における人物を登録するためのシステム。
前記値合成部を利用して、前記顔モデルと前記後続の顔画像に対応する前記値の集合とを組み合わせることによって、前記特定の人物を識別する、請求項２３及び２４に記載の所定の場所における人物を登録するためのシステム。
前記人物の前記個人識別のうちの少なくとも１つのアイテムは、事前登録データから入手される、請求項２１〜２５のいずれか一項に記載の所定の場所における人物を登録するためのシステム。
ソーシャルネットワークからの情報を前記コンピュータ化されたサブシステムに対して利用可能にするためのソーシャルネットワークインタフェースをさらに備える、請求項２１〜２６のいずれか一項に記載の所定の場所における人物を登録するためのシステム。
前記顔画像又は人物識別の取得サブシステムは、前記サブシステムと情報のやり取りを行う人物以外の人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得するよう動作可能である、請求項２４〜２７のいずれか一項に記載の所定の場所における人物を登録するためのシステム。
前記顔画像又は人物識別の取得サブシステムは、前記サブシステムと情報のやり取りを行う人物以外の、他の識別されていない人物の少なくとも１つの顔画像を取得するよう動作可能である、請求項２１〜２７のいずれか一項に記載の所定の場所における人物を登録するためのシステム。
顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、前記値は形容詞で表される、評価子と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類するコンピュータ化された分類子と、
によって具体化される、請求項２１〜２９のいずれか一項に記載の所定の場所における人物を登録するためのシステム。
所定の場所における人物の繰り返し出現を認識するためのシステムであって、
人物の少なくとも１つの顔画像を取得する顔画像又は人物識別の取得サブシステムと、
前記少なくとも１つの顔画像を受信するコンピュータ化されたサブシステムであって、
前記少なくとも１つの顔画像に対応する顔モデルを生成するよう動作可能な顔モデル生成機能、及び、形容詞で表される値を前記顔画像の複数の顔属性に割り当てるよう動作可能な画像から属性へのマッピング機能を備える、前記コンピュータ化されたサブシステムと、
複数の前記人物に対する情報及び顔属性の前記値を格納するデータベースと、
を備える、システム。
前記コンピュータ化されたサブシステムは、
顔属性の値の集合を用いて、前記顔モデルを用いて、特定の人物と関連付けられた対応する格納顔画像を識別するよう動作可能な属性から画像へのマッピング機能をさらに備える、請求項３１に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
コンピュータ化されたサブシステムは、
前記顔モデルと前記顔属性の値の集合とを組み合わせて、対応する格納値の集合と一致し得る値の合成集合を形成するよう動作可能な値合成部
をさらに備える、請求項３１に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
少なくとも１つの顔画像を取得し、該取得した顔画像を前記コンピュータ化されたサブシステムに供給する後続の顔画像取得サブシステムをさらに備え、
前記コンピュータ化されたサブシステムは、
特定の人物の繰り返し出現を認識するため、前記後続の顔画像に対応する顔モデルを作成し、
形容詞で表される値を前記後続の顔画像の複数の顔属性に割り当て、
対応する格納顔画像及び前記後続の顔画像を特定の人物の顔画像であるとして識別するよう動作可能である、請求項３２又は３３に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
前記値合成部を使用して、前記顔モデルと前記後続の顔画像に対応する前記値の集合とを組み合わせることによって、人物の度重なる出現を認識する、請求項３３及び３４に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
所定の場所に繰り返し出現する人物に関する属性面の統計を生成するために、前記顔モデル及び前記値の集合を利用する繰り返し出現統計生成子
をさらに備える、請求項３１〜３６のいずれか一項に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
ソーシャルネットワークからの情報を前記コンピュータ化されたサブシステムに対して利用可能にするためのソーシャルネットワークインタフェースをさらに備える、請求項３１〜３６のいずれか一項に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
前記顔画像又は人物識別の取得サブシステムは、前記サブシステムと情報のやり取りを行う人物以外の人物の少なくとも１つの顔画像及び個人識別のうちの少なくとも１つのアイテムを取得するよう動作可能である、請求項３１〜３７のいずれか一項に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
前記顔画像又は人物識別の取得サブシステムは、前記サブシステムと情報のやり取りを行う人物以外の、他の識別されていない人物の少なくとも１つの顔画像を取得するよう動作可能である、請求項３１〜３７のいずれか一項に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、前記値は形容詞で表される、前記評価子と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類するコンピュータ化された分類子と、
によって具体化される、請求項３１〜３９のいずれか一項に記載の所定の場所における人物の繰り返し出現を認識するためのシステム。
各々が形容詞で表される値を顔画像の個別の顔属性のうちの複数に割り当てることができるコンピュータ化された顔画像属性面の評価子を生成するための方法であって、
複数種類の顔画像を集める工程であって、各々は、顔画像と関連付けられた、形容詞によって特徴付けられる少なくとも１つの顔画像属性を有する、前記工程と、
評価すべき顔画像の個別の顔属性のうちの複数に割り当てるために、前記評価すべき顔画像を受信し、前記集める工程の結果を利用するよう動作可能な機能を生成する工程であって、前記値は形容詞で表される、前記工程と
を含む、方法。
前記集める工程は、
複数種類の顔画像を収集する工程であって、顔画像の各々は、公衆に利用可能な情報源からの、顔画像と関連付けられた形容詞によって特徴付けられる少なくとも１つの顔画像属性を有する、前記工程と、
クラウドソーシングを使用して、前記複数種類の顔画像に現れる形容詞と顔属性との間の一致度を高める工程と、
を含む、請求項４１に記載のコンピュータ化された顔画像属性面の評価子を生成するための方法。
前記クラウドソーシングは、
複数の個人に前記複数種類の顔画像のうちの複数及び前記形容詞を閲覧させるとともに、前記複数種類の画像のうちの前記複数における前記形容詞と前記顔属性との間の一致度に対する該複数の個人の見解を示させる工程
を含む、請求項４２に記載のコンピュータ化された顔画像属性面の評価子を生成するための方法。
前記値は数値である、請求項４１〜４３のいずれか一項に記載のコンピュータ化された顔画像属性面の評価子を生成するための方法。
少なくとも１つの刺激に対するユーザ反応を認識するためのシステムであって、
刺激に対するユーザ反応に対応する時点に入手された顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てるコンピュータ化された顔画像属性面の評価子であって、前記値は形容詞で表される、前記評価子と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類するコンピュータ化された分類子と、
を備える、システム。
前記個別の顔属性のうち、前記少なくとも１つの刺激の適用前及び適用後の個別の顔属性を比較するコンピュータ化された属性比較子をさらに備える、請求項４５に記載の少なくとも１つの刺激に対するユーザ反応を認識するためのシステム。
少なくとも１つの刺激に対するユーザ反応を認識するための方法であって、
刺激に対するユーザ反応に対応する時点に入手された顔画像を表す値を前記顔画像の個別の顔属性のうちの複数に割り当てる工程であって、前記値は形容詞で表される、前記工程と、
前記個別の顔属性のうちの前記複数に応じて前記顔画像を分類する工程と、
を含む、方法。
前記個別の顔属性のうち、前記少なくとも１つの刺激の適用前及び適用後の個別の顔属性を比較する工程をさらに含む、請求項４５に記載の少なくとも１つの刺激に対するユーザ反応を認識するための方法。
人物を分類するためのコンピュータ化されたシステムであって、
人物が特定の時点に特定の状況に存在する確率を表す関係係数を生成する関係係数生成子と、
前記関係係数のうちの前記複数に応じて前記人物を分類するコンピュータ化された分類子と、
を備える、システム。
前記状況は地理的な場所及び事象のうちの１つである、請求項４９に記載の人物を分類するためのコンピュータ化されたシステム。
前記関係係数は値と減衰関数とを含む、請求項４９又は５０に記載の人物を分類するためのコンピュータ化されたシステム。
前記減衰関数は一次関数である、請求項５１に記載の人物を分類するためのコンピュータ化されたシステム。
前記減衰関数は指数関数である、請求項５１に記載の人物を分類するためのコンピュータ化されたシステム。
前記状況は階層的な状況の階層のうちの１つである、請求項４９〜５３のいずれか一項に記載の人物を分類するためのコンピュータ化されたシステム。
状況の階層の状況の関係係数は相互依存する、請求項５１に記載の人物を分類するためのコンピュータ化されたシステム。
前記関係係数生成子は、複数の人物が少なくとも第１の状況に一緒に存在し、第２の状況で前記複数の人物間における相互依存関係係数を生成する場合に動作可能である、請求項４９〜５５のいずれか一項に記載の人物を分類するためのコンピュータ化されたシステム。
個別の顔属性のうちの複数に応じて顔画像を分類するコンピュータ化された分類子をさらに備える、請求項４９に記載の人物を分類するためのコンピュータ化されたシステム。