JP2016529612A - 画像情動コンテンツに基づくフィルタ及びシャッター - Google Patents

Abstract

ラップトップ、デスクトップ、モバイルおよび着用可能な装置を用いて実行される方法を含む、画像フィルタリング用のコンピュータによって実行される方法。当該方法は、画像のためのコンテンツを生成するために各画像を分析する工程；前記コンテンツベクトルに関心オペレーターを適用する工程であって、該関心オペレーターが望ましい特性を備えた複数の写真に基づいており、これによって画像の関心インデックスを得る工程；画像用の関心インデックスを関心閾値と比較する工程；および、前記比較する工程の結果に基づいて１つ以上の動作を講ずるか１つ以上の動作を避ける工程を含む。また、関連するシステムおよび物品に関する。【選択図】図２

Description

この明細書は、一般的に画像の情動コンテンツに基づいて画像をフィルタリングし、電子的にシャッタリングするための装置、方法および物品に関する。

ディジタル媒体記憶装置は高価でなくなった。ディジタル・カメラとスマートフォンなどの画像取り込装置の広範囲の使用と結び付けられて、人々は、まさに低価格で、安い媒体記憶装置によって容易に何千もの画像を蓄積することができる。これは、しばしばユーザに関心をほとんど又はまったく提示しない多くの記憶画像と共に、多くのクラッタを作成する。例えば、大画像の収集を作成すること、例えばユーザ及び／又は他の人に関心が殆どない画像を除去することを支援する必要がある。

多少関連する問題は、まず第１の場所における進行中のシーンから、どの画像を捕らえるべきであるか決めるかということである。多くの最新のディジタル・カメラは、１秒あたりさまざまな高解像度の画像を捕らえることができる。１０秒未満などの短い時間間隔で捕られたどの画像が保存されるべきかである。それらがすべて保存される場合、非常に多くの過度に冗長な画像が生じるかもしれない。したがって、シャッタリングのために画像を選択することを支援する必要がある、すなわち、電子的なシャッター又は機械的シャッターさえも使用して捕らえるため、そして非一時的な記憶媒体で画像を保存するために画像を選ぶ。

この明細書に記載された実施形態は、上述のニーズ及び他のニーズの１つ以上を満たす方法、装置および物品に向けられている。

実施形態において、（ラップトップ、デスクトップ、モバイルおよび着用可能なデバイスを使用して実行する方法を含む）コンピュータで実行する画像フィルタリング方法は、画像のためのコンテンツベクトルを生成するために各画像を分析する工程；前記コンテンツベクトルに、望ましい特性を備えた複数の写真に基づく関心オペレーターを適用する工程；画像のための関心インデックスを関心閾値と比較する工程；および、前記比較する工程の結果に基づいて１つ以上の動作を講ずるか、１つ以上の動作を避ける工程を含んでいる。

実施形態において、コンピュータベースシステムは、画像のための関心インデックスを得るために、画像用のコンテンツベクトルを生成するために複数の画像の各画像を分析し、該コンテンツベクトルに好ましい特性を備えた複数の写真に基づく関心オペレーターを適用し、関心閾値と画像のための関心インデックスを比較し、前記比較の結果に基づいて１つ以上の動作を講ずるか、あるいは１つ以上の動作を避けるように構成されている。

一実施形態において、前記関心オペレーターは、主に複数の画像中の１つ以上のフェースの１つ以上の表情のコンテンツに基づいており、望ましい特性は表情での情緒的なコンテンツあるいは感傷的なコンテンツに関係がある。一実施形態において、複数の画像がイベントの聴衆を観察するカメラによって捕らえられる。

一実施形態において、関心オペレーターは、主に１人以上の人間の外観特性、動作の結合、及び／又は複数の画像の低レベルの特徴のコンテンツに基づいている。

一実施形態において、非一時的な機械可読のメモリには、画像・フィルタリングのためのコンピュータによって実行される方法の計算機コードが埋め込まれている。前記方法は、画像用のコンテンツベクトルを生成するために各画像を分析する工程；前記コンテンツベクトルに望ましい特性を備えた複数の写真に基づく関心オペレーターを適用し、これによって画像の関心インデックスを得る工程；画像用の関心インデックスを関心閾値と比較する工程；および、前記比較する工程の結果に基づいて１つ以上の動作を講ずる工程を含む。

本発明のこれら及び他の特徴および態様は、次の説明、図面および添付の特許請求の範囲と共に一層よく理解されるだろう。

図１は、本明細書の選択された態様に従って構成されたコンピュータベースシステムの簡略化されたブロック図である。 図２は、画像をフィルタ処理するプロセスの選択された工程／ブロックを示す。 図３は、画像をシャッタリング処理するプロセスの選択された工程／ブロックを示す。

本明細書において、「実施形態」、「変形例」、「実施例」、および類似の表情は特定の装置、プロセス、或いは物品を言い、必ずしも同一の装置、プロセス或いは物品を言わない。
したがって、１つの場所あるいは文脈において使用される「一実施形態」（あるいは類似の表情）は、特定の装置、プロセス或いは物品を言い得；異なる場所或いは文脈の中の同一又は類似の表情は、異なる装置、方法あるいは物品を言い得る。「他の実施形態」および類似の表情およびフレーズは多くの異なる可能な実施形態のうちの１つを示すために使用され得る。可能な実施形態／変形例／実施例の数は、必ずしも２つあるいはすべての他の量に限定されない。「典型的」とのアイテムの特徴づけは、アイテムが一例として使用されることを意味する。実施形態／変形例／実施例のそのような特徴は、実施形態／変形例／実施例が好ましいものであることを必ずしも意味せず；しかしながら、実施形態／変形例／実施例は好ましいものである必要は現在好ましい１つかもしれないが、そうである必要はない。実施形態／変形例／実施形態は全て例証のために記載され、必ずしも厳密に制限していない。

「結合する」、「接続する」、およびそれらの屈曲の形態素をもつ類似の表情は、必ずしも近い或いは直接の接続を意味しないが、中間の要素を介してそれらの意味内での接続を含んでいる。

「画像」、「写真」、「写真（ｐｈｏｔｏｇｒａｐｈｓ）」、「写真（ｐｈｏｔｏｓ）、「画像（ｐｉｃｕｔｕｒｅ）」、および類似の用語／表情への言及は、画像／写真／画像（ｐｉｃｔｕｒｅ）のソースにかかわらず、交換して使用されてもよい。

本明細書に使用される「表情」は、（怒り、軽蔑、嫌悪、恐れ、幸福、悲嘆、驚き、中立など）感情の主要な表情；関心のある感情の状態（退屈、関心、衝突など）の表情；いわゆる「顔の動作ユニット」（顔の動作コード体系で使用される動作ユニットなどの個々の筋肉の運動を含む顔の筋肉の部分集合の運動）；および、身振り／姿勢（頭を傾ける、眉の上げ下げ、瞬き、鼻のしわ、頬杖など）を意味する。

自動表情認識および関連の主題は、多数の共有に係る特許出願に記載されており、（１）「ＳＹＳＴＥＭ ＦＯＲ ＣＯＬＬＥＣＴＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＴＲＡＩＮＩＮＧ ＤＡＴＡ ＦＯＲ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月８日に出願された米国出願第６１／７６２，８２０号（代理人ドケット番号ＭＰＴ−１０１０−ＰＶ）；
（２）「ＡＣＴＩＶＥ ＤＡＴＡ ＡＣＱＵＩＳＩＴＩＯＮ ＦＯＲ ＤＥＶＥＬＯＰＭＥＮＴ ＡＮＤ ＣＯＮＴＩＮＵＯＵＳ ＩＭＰＲＯＶＥＭＥＮＴ ＯＦ ＭＡＣＨＩＮＥ ＰＥＲＣＥＰＴＩＯＮ ＳＹＳＴＥＭＳ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１１日に出願された米国出願第６１／７６３，４３１号（代理人ドケット番号ＭＰＴ−１０１２−ＰＶ）；
（３）「ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＲＥＳＰＯＮＳＥＳ ＴＯ ＳＥＮＳＯＲＹ ＳＴＩＭＵＬＩ ＵＳＩＮＧ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１２日に出願された米国出願第６１／７６３，６５７号（代理人ドケット番号ＭＰＴ−１０１３−ＰＶ）；
（４）「ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＭＥＡＳＵＲＥＭＥＮＴ ＡＮＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＦＯＲ ＡＳＳＥＳＳＭＥＮＴ ＯＦ ＭＥＮＴＡＬ ＩＬＬＮＥＳＳ ＡＮＤ ＥＶＡＬＵＡＴＩＯＮ ＯＦ ＴＲＥＡＴＭＥＮＴ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１２日に出願された米国出願第６１／７６３，６９４号（代理人ドケット番号ＭＰＴ−１０１４−ＰＶ）；
（５）「ＥＳＴＩＭＡＴＩＯＮ ＯＦ ＡＦＦＥＣＴＩＶＥ ＶＡＬＥＮＣＥ ＡＮＤ ＡＲＯＵＳＡＬ ＷＩＴＨ ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＭＥＡＳＵＲＥＭＥＮＴ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１３日に出願された米国出願第６１／７６４，４４２号（代理人ドケット番号ＭＰＴ−１０１６−ＰＶ；
（６）「ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＴＲＡＩＮＩＮＧ ＵＳＩＮＧ ＦＥＥＤＢＡＣＫ ＦＲＯＭ ＡＵＴＯＭＡＴＩＣ ＦＡＣＩＡＬ ＥＸＰＲＥＳＳＩＯＮ ＲＥＣＯＧＮＩＴＩＯＮ」と題する、Ｊａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１５日に出願された米国出願第６１／７６５，５７０号（代理人ドケット番号ＭＰＴ−１０１７−ＰＶ）；および
（７）「ＱＵＡＬＩＴＹ ＣＯＮＴＲＯＬ ＦＯＲ ＬＡＢＥＬＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＴＲＡＩＮＩＮＧ ＥＸＡＭＰＬＥＳ」と題するＪａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月１５日に出願された米国出願第６１／７６５，６７１号（代理人ドケット番号ＭＰＴ−１０１５−ＰＶ）；
（８）「ＡＵＴＯＭＡＴＩＣ ＡＮＡＬＹＳＩＳ ＯＦ ＮＯＮ−ＶＥＲＢＡＬ ＲＡＰＰＯＲＴ」と題するＪａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年２月２０日に出願された米国出願第６１／７６６，８６６号（代理人ドケット番号ＭＰＴ−１０１８−ＰＶ）；および
（９）「ＳＰＡＴＩＡＬ ＯＲＧＡＮＩＺＡＴＩＯＮ ＯＦ ＩＭＡＧＥＳ ＢＡＳＥＤ ＯＮ ＥＭＯＴＩＯＮ ＦＡＣＥ ＣＬＯＵＤＳ」と題するＪａｖｉｅｒ Ｒ．Ｍｏｖｅｌｌａｎらによって２０１３年６月５日に出願された米国出願第６１／８３１，６１０号（代理人ドケット番号ＭＰＴ−１０２２）を含む。
これらの仮出願の各々は、参照によって該特許出願の特許請求の範囲、表、計算機コードおよび他のすべての問題を含む全体に本明細書に組み入れられる。

「人間の外観特性」は、民族性、性別、誘引性、外見上の年齢、および様式の特性（衣類、靴、ヘアスタイル）などの表情および追加の外観特徴を含んでいる。

「低レベルの特徴」は、それらが目、あご、ほお、眉、額、髪、鼻、耳、性別、年齢、民族性などの顔の情報について記載する日常生活の言語において使用される属性ではないという意味で、低レベルである。低レベルの特徴の例は、ガボール方向付けエネルギー、ガボール・スケール・エネルギー、ガボール位相およびハー・ウェーブレット・出力を含んでいる。

他の更なる明示的および黙示的定義及び定義の明確性は、この明細書全体にわたって見られうる。

添付の図面において例証されるいくつかの実施形態に詳細に言及されるだろう。同一の参照符号が、同一の装置の要素および方法の工程を参照するために、図面と説明において使用される。図面は単純化された形体であり縮尺したものではなく、記載されたシステムおよび方法に加えることができる装置の要素および方法の工程を省略している一方で、特定の任意要素および工程を含んでいる。

図１は、写真の顔及び／又は他の人の外観特徴及び／又は低レベル特徴の情動コンテンツに基づく画像をフィルタ処理するために本記載の選択された側面に従って構成されたコンピュータベースシステム（１００）の簡略ブロック図である。図１はシステム（１００）の多くのハードウェアおよびソフトウェアモジュールを示さず、物理的および論理結合を省略し得る。システム（１００）は、本明細書に記載された方法の工程を実行するように構成された専用データ処理装置、汎用コンピュータ、計算機装置あるいは、ネットワーキングされたコンピュータあるいはコンピュータ・システムの群として実装され得る。いくつかの実施形態において、システム（１００）は、ウィンテル（Ｗｉｎｔｅｌ）ＰＣ、リナックス（Ｌｉｎｕｘ（登録商標））コンピュータあるいはマック（Ｍａｃ）コンピュータなどのパーソナルコンピュータ・プラットホームに構築される。パーソナルコンピュータはデスクトップまたはノート型コンピュータであり得る。システム（１００）はサーバコンピュータとして機能し得る。いくつかの実施形態において、システム（１００）はネットワークによって相互に接続した複数のコンピュータとして実装される。実施形態において、システム（１００）は、カメラまたはスマートフォンなどの画像取り込装置の一部として実装される。

図１に示されるように、システム（１００）はプロセッサ（１１０）、読み取り専用メモリ（ＲＯＭ）モジュール（１２０）、ランダムアクセス記憶装置（ＲＡＭ）モジュール（１３０）、ネットワークインターフェイス（１４０）、大容量記憶装置（１５０）およびデータベース（１６０）を含んでいる。これらの構成部品は、バス（１１５）で互いに連結される。例証された実施形態において、プロセッサ（１１０）はマイクロプロセッサであり得、大容量記憶装置（１５０）は磁気ディスク装置であり得る。大容量記憶装置（１５０）、およびメモリ・モジュール（１２０）および（１３０）の各々は、プロセッサがこれらの記憶装置とメモリ装置からデータを書き込み、読み込むことを可能にするようにプロセッサ（１１０）に接続される。ネットワークインターフェイス（１４０）はネットワーク、例えば、インターネットにプロセッサ（１１０）を接続する。

データベース（１６０）は、フィルタ処理された画像を含む画像の１つ以上の収集の保存および体系づけのために使用され得る。データベース（１６０）はプロセッサ（１１０）に接続された物理的に個別のシステムであり得る。代替の実施形態において、プロセッサ（１１０）および大容量記憶装置（１５０）はデータベース（１６０）の機能を実行するように構成され得る。

プロセッサ（１１０）は、ＲＯＭモジュール（１２０）、ＲＡＭモジュール（１３０）および（または）記憶装置（１５０）に保存されたプログラムコード命令を読み込み、実行し得る。プログラムコードの管理下で、プロセッサ（１１０）は、本明細書に記載或いは言及された方法の工程を実行するためにシステム（１００）を構成し得る。ＲＯＭ／ＲＡＭモジュール（１２０）／（１３０）および記憶装置（１５０）に加えて、プログラムコード命令は、追加のハードドライブ、フレキシブルディスケット、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュ・メモリおよび類似のデバイスなどの機械的可読の非一時的な記憶媒体に保存され得る。プログラムコードも伝送媒体を通して、例えば、電気配線またはケーブル布線を通して、光ファイバーを通して、無線で或いは物理的な伝送の他の形態によって送信され得る。伝送は、電気通信装置間の専用のリンク上で、あるいはインターネット、イントラネット、エクストラネットあるいは他の公衆或いは私設ネットワークなどの、広域或いは局所ネットワークにより生じ得る。プログラムコードもネットワークインターフェイス（１４０）あるいは別のネットワークインターフェイスを通ってシステム（１００）へダウンロードされ得る。

本明細書に記載された方法もネットワーク化された環境で実行されることができ、画像は１つのデバイス（あるいは１組のデバイス）に保存され、別のデバイス（あるいは別の１組のデバイス）によって分析され／フィルタ処理され、第１の１組のデバイスは、１つ以上のネットワークによって別のデバイス或いは別の１組のセットにより、又はその１組により接続される。したがって、当該方法はスタンド・アロンのユーザ装置−パーソナルコンピュータ、スマートフォン、タブレット、ディジタル・カメラあるいは他の計算装置−あるいはネットワーク上で実行され得る。

図２に、例えばデータベース（１６０）におけるシステム（１００）の記憶装置のうちの１つに保存された画像の収集あるいはシステム（１００）のメモリ装置をフィルタ処理するプロセス（２００）の選択された工程を例証する。プロセス（２００）において、フィルタ処理される画像の収集は、１つ以上の人の顔を含んでいる多数の画像を含んでいる。そして、フィルタリング処理は、顔における情緒的なコンテンツに少なくとも部分的に基づいて行われ得る。

フロー先端部（２０１）において、システム（１００）は電力が多く供給され、プロセス（２００）の工程を実行するように構成される。

工程（２０５）において、システム（１００）は、各々の写真における情緒的なコンテンツおよび（または）他のコンテンツ（例えば、人間の外観特性、動作ユニット、低レベル特徴）のための収集画像を分析する。例えば、画像の各々は、表情および（または）低レベル特徴のクラシファイヤーの収集によって分析され得る。クラシファイヤーの各々は写真、動作ユニットおよび（または）低レベル特徴における顔（あるいは、場合によって複数の顔）によって表示された特別の情動の存在の有無に従って信号出力（連続的であれ離散的であれ）を生成するために構成され訓練され得る。クラシファイヤーの各々は異なる情動のために構成され訓練され得る。異なる情動は、例えば中立の表情および関心のある感情の状態（退屈、関心、衝突など）の表情と同様に、７つの主要な情動（怒り、軽蔑、嫌悪、恐れ、幸福、悲嘆、驚き）を含む。追加のクラシファイヤーは他の人間の外観特性に対応する信号出力を生成するために構成され、訓練され得、それは上述されている；例えば、追加のクラシファイヤーは顔の動作コード体系（ＦＡＣＳ）から動作ユニットの構成の検知のために構成され得、動作ユニットの構成は識別可能な人間の表情のすべて（あるいは多数）の包括的な説明を与える。我々は、叙上の特許出願でのそのようなクラシファイヤーの特定の態様を記載した。それは参照によって組込まれている。

各画像については、クラシファイヤーの値（それらはベクトルで本質的に処理される）のベクトルは、このように得られる。

工程（２１０）で、システムは、望ましい情緒的なコンテンツおよび（または）他の望ましい人間の外観特性を備えた画像のリストを得る。実施形態において、システム（１００）は、ユーザが望ましい情緒的なコンテンツおよび（または）他の望ましい人間の外観特性を備えた画像を選択する／示すことを可能にする。実施形態において、システムは、いくつかの局所記憶装置（例えば、データベース（１６０）、大容量記憶装置（１５０）、メモリ・モジュール（１２０）／（１３０））から或いは遠隔のソース（例えば、ネットワークインターフェイス（１４０）を介して）から望ましい特性をもつ個々の画像を特定するリスト又は情報を読み込む。

実施形態において、望ましい特性を備えた画像は、画像を削除するよりむしろ保存するためにユーザの選択に基づいて決定される。カメラにおいて、例えば、ユーザは各写真を撮った直後に画像を調査し得、ついで各画像を保存するか削除することを決める。保存された画像は望ましい特性を備えた画像であると考えられ得る。

望ましい特性を備えた画像は、ユーザ、他の人、２人以上の人（恐らくユーザを含む）によって選ばれるか、あるいは全人口のいくつかのサンプルあるいはその一部によってあらかじめ選択され得、彼らは１セットの画像の関心価値を評価する。望ましい特性を備えた画像はフィルタ処理される画像の収集の一部でもあるし、そうでないかもしれない。後者の場合において、望ましい特性を備えた画像は、望ましい特性を備えた画像の分析のために使用されたクラシファイヤーの処理された値のベクトルを得るために工程（２０５）の解析と同一か或いは類似した方法で分析され得る。

コラボラティブ・フィルタリング処理の実施形態において、望ましい特性を備えた画像は、画像プレファレンス、背景、人口統計および（または）他のユーザ特性における類似性を持った多数の人の表情されたプレファレンスに基づくかもしれない。実施例において、各人のために、人が好む画像のデータセット（あるいはそのようなデータセットから得られた情報。例えば、データセットにおける画像のベクトル）が維持される。このデータセットは新しい画像の関心を評価するために使用される。この人たちのうちの１人がもう一人の人に似ていれば、第１の人の画像関心が第２の人の画像関心に類似していると仮定され得る、およびその逆も仮定され得る。人はそれらの人口統計及びその示されたプレファレンスに基づいて「類似している」かもしれない。好ましい特性を備えた少数（即ち、５または１０未満）の画像だけが特別の人に利用可能な場合、このアプローチは特に有用である；その人のための望ましい特性を備えた画像のセットは、その人に似ている１人以上の他の人の望ましい特性を備えた画像で補われ得る。

ユーザの選択が利用可能でない場合、関心オペレーターは情報理論原理に対してデフォルトであってもよい。特に各画像については、画像において表情を表わすベクトルは得られるかもしれない。各ベクトルｖについては、ビットでその情報価値は計算されるかもしれない、例えばベクトルの確率の負の対数の底を２とする：
Ｉ（ｖ）＝−ｌｏｇ２（ｐ（ｖ））。
実施形態において、確率は自然に発生する表情の大きなデータベースに関して評価され得る。実施形態において、確率は解析中の画像の特定の収集に関して計算され得る。見込み推定値は多次元のガウスモデルを使用して得られるかもしれない：独立成分分析、ガウス形の混合および（または）スパースコーディングモデルなどの一般化を用いて得られ得る。

工程（２１５）で、システム（１００）は、望ましいコンテンツを備えた写真に基づく「関心オペレーター」を判定する。（変形例では、関心オペレーターは先決される。したがって、工程（２１５）の必要は有効でないかもしれない。）これは以下に詳細に記載される。

工程（２２０）で、システム（１００）は画像のための関心インデックスを計算するために収集中の画像に「関心オペレーター」を適用する。これも以下に詳細に記載される。

判定ブロック（２２５）において、システム（１００）は、関心インデックスが収集中の別の画像のために計算されるかどうかを判定する。例えば、別の画像は処理される必要があるかもしれない。また、収集中の画像の所定数又はすべてが処理されるまで計算されたその関心インデックス、およびそれらの関心インデックスを計算した。別の画像のための関心インデックスが計算される場合、プロセスフローは別の画像を選択する工程（２２７）に継続し、次に、工程（２２０）に戻る。

そうでなければ、プロセスフローは、判定ブロック（２３０）に続く（そこで、システム（１００）は収集した写真のための関心インデックスを関心閾値と比較する）。関心閾値はシステム（１００）の供給者によって先決され、例えばプリセットされて、あるいは、ユーザ（スライドコントロールによってなど）はそれを選択することができるか、別の方法でセットすることができる。画像の関心インデックスが閾値を越える場合（変形例において、等しいか又は超える）、画像は関心があるものと考えられ、プロセスフローは工程（２３５）へと進む。

工程（２３５）で、システム（１００）は、（１）画像に関係のある１つ以上の第１の予め定義した動作を講じ、及び／又は画像に関係のある１つ以上の次の予め定義した動作を講ずることを避ける。例えば、画像のメタデータは画像が関心深いことを示すように変更され得、画像は保存されるか、或いは特定のファイル若しくはディレクトリに移動され得、画像は表示され得るか、或いは画像は単に消されない。

写真の関心インデックスが閾値を越えない場合（変形例において、関心を下回る）、システム（１００）は工程（２４０）まで継続し、（３）写真についての１つ以上の第三の予め定義された動作を講じ、及び／又は（４）写真についての１つ以上の第４の予め定義された動作を講ずることを避ける。例えば、画像のメタデータは、写真が関心なく、写真が特定のファイル若しくはディレクトリに保存または移動され得、写真が消され得ることを示すように変更され得る。

工程（２３５）あるいは工程（２４０）から、場合に応じて、システム（１００）は、別の画像が工程／ブロック（２３０）／（２３５）／（２４０）で処理されるか否かを決めるために判定ブロック（２５０）に進める。そうであるならば、プロセスフローは、別の画像を選択するためにプロセス（２５５）に続き、ついで判定ブロック（２３０）の入力に戻る。そうでなければ、処理（２００）は必要に応じて繰り返されるためにフローポイント（２９９で終了する。

以前に言及された関心オペレーターは、画像の１つ以上の共通化とのその関係を判定するために与えられた画像（例えば収集からの画像）のベクトルに適用するためのプロセスおよび（または）望ましい特性を備えたパラメーターでありうる。１例において、望ましい特性を備えた画像のベクトルの予め定義した割合（例えば＞３０％、＞４０％、＞５０％、＞６０％、＞７０％、＞８０％）は、工程２１５（「プレファレンス点」）で計算されたある点の前もって定義したユークリッドの距離以内にそれらのエンドポイントがあるような状態である；そのポイントの予め定義されたユークリッド距離内の望ましい特性の写真のベクトルの数を最大化するように、あるいは望ましい特性を備えた画像ベクトルの平均の端点として、若しくはそうでないようにプレファレンスポイントは選択され得る。その後、関心オペレーターは、与えられた画像のベクトルとプレファレンスポイントの間の距離の逆数（ｉｎｖｅｒｓｅ）であり得、判定ブロック（２３０）における関心閾値と比較され得る。

別の例において、関心インデックスは、与えられた画像のベクトル、およびプレファレンスポイントで終わるベクトルの内積であり得る。ついで、内積は判定ブロック（２３０）において関心閾値と比較される。

別の例において、望ましい特性を備えた画像の平均ベクトルの大きさが大きい場合、プレファレンス・オペレーターは与えられた画像のベクトルの大きさを計算することを含む。言いかえれば、望ましい特性を備えた画像が強い情動コンテンツを示す場合、関心オペレーターは与えられた画像のベクトルの大きさである。また、工程（２３５）のために収集から選ばれた画像は関心閾値の上の情動コンテンツを有するものである。関心閾値は、例えば所定値、あるいは望ましい特性を備えた画像のベクトルの平均の大きさの所定値又は予め定義された割合であり得る。

さらに別の例において、関心オペレーターは、与えられた画像のベクトルの方向と、所望の特性を備えた画像のベクトルの平均の方向の間の比較を含む。

他の関連する例において、平均の表情ベクトル、分散行列、各情動チャネル（クラシファイヤー）の最大値、写真の顔の数および（または）表情チャネル／クラシファイヤーのための出力の和は、関心オペレーターの全体あるいは部分として使用され得る。

いくつかのオペレーター（上述されたもの）が適用され得る。また、結果は与えられた画像のための関心インデックスを得るために平均されるか、そうでなければ組み合わせられる。

図３は、画像センサ上の画像をシャッタリングするためのプロセス（３００）の選択された工程を示す。システム（１００）と類似しているか同一であるシステムはこのプロセスを行なうために使用されてもよい；特定の例において、プロセス（３００）は、カメラ（専用の画像化装置であり得る）或いはスマートフォン若しくはモバイル・デバイスのような別のシステムの一部によって実行される。

フローポイント（３０１）において、システムは出力が増大され、プロセス（３００）の工程を実行するように構成される。

工程（３０５）で、システムは、センサ上の画像を分析する。それは、上述されて、プロセス（２００）の工程（２０５）で分析と同一か類似している方法で行われるかもしれない。従がってクラシファイヤーの処理された値のベクトルは、センサ・画像のために得られる。

工程（３２０）において、システムは画像のための関心インデックスを計算するために画像に関心オペレーターを適用する。工程（３２０）は上述したプロセス（２００）の工程（２２０）と同一又は類似している可能性がある。

判定ブロック（３３０）では、画像の関心インデックスは、プロセス（２００）の判定ブロック（２３０）のオペレーションと同一か類似しているやり方で関心閾値と比較される。画像の関心インデックスが関心閾値を超える場合（変形例において同等又は超える）、画像は関心深いと考えられ、工程（３３５）において非一時的なメモリ装置に結果的に保存される；工程（３３５）の一部として、他の動作も実行され得る。また、システムはさらに別の動作を避け得る。そうでなければ、画像は工程（３４０）で、廃棄され、また、恐らく、他の動作は実行される。

その後、プロセスフローはフローポイント（３９９）で終了し、必要に応じて繰り返される。

システムの可能な適用、および本明細書に記載されたプロセスの特徴の例は後続する。
システムとプロセスの特徴はこれらの例に限定されない。

第１の例において、静止或いはビデオカメラは、スポーツイベント、コンサートあるいは他のイベントを見る聴衆を捕らえ得る。多くの人々の画像は、カメラによって直ちに捕らえられるかもしれない。各人あるいは小集団は例えば、表情あるいは他の画像特徴の特定のタイプを持った人々若しくは小集団の画像を選択するために別々にフィルタ処理され得る（即ち、あたかも、個別画像が各人あるいはグループに捕らえられたかのように）。

第２の例において、ディジタル・カメラは、グループの写真を撮り得る。ユーザはダースあるいは何百もの画像をとるために、カメラ・シャッターボタンを下げておき、カメラをトリガリングする。その後、カメラは、特定のタイプの表情あるいは他の画像の特徴を含むもののための画像をフィルタ処理し得る。

第三の例において、カメラの収集は小売店環境あるいは他の公共の場所で人々を追跡するかもしれない。カメラの収集は、１人以上の人々による便利なレビューのためにあまりにも多くのビデオを集団的に生成し得る。本明細書に述べられているようなフィルタ処理は情緒的なコンテンツ（例えば、腹を立てた需要者、幸福な需要者など）の点で興味のある、画像かビデオの残りを消しながら、分析者のもとへそれらを送る画像あるいはビデオ・セグメントを選択するために使用されてもよい。

本明細書全体に亘って記載されたシステムおよびプロセスの特徴は、個々に存在し得る、あるいは任意の順列若しくは組み合わせで存在し得る。但し、特定の特徴／要素／限定の存在あるいは欠如が固有的に要求されるか、明示的に示されるか、或いはさもなければコンテキストから明らかになる場合を除く。

プロセスの工程および判定（判定ブロックが存在する場合）が本明細書に連続的に述べられるが、ある特定の工程及び／又は判定は結合的に又は平行して、非同期に、若しくは同期して、パイプラインのやり方で、あるいは、そうでないやり方で別々の要素によって実行され得る。本明細書がリストアップしているか或いは図面が示している同一の順序で工程及び判定が実行される特定の要件は存在しない。但し、特定の処理が固有的に要求されるか、あるいは、明示的に示されるか、若しくはそうでなければコンテキストから明らかになる場合を除く。更に、すべての例証された工程および判定ブロックは、本明細書において記載されたコンセプトに従うすべての実施形態において要求されるとは限らないが、一方で具体的に例証されていない幾つかの工程および判定ブロックがコンセプトに従った幾つかの実施例において望まれるか或いは必要であり得る。しかしながら、特定の実施形態／変形例／実施例が工程および判定（適用可能な場合）が示され、及び／又は記載される、特定の順序）を使用することは注目されるべきである。

本明細書に開示された実施形態、変形例および実施例の方法の工程に対応する命令（機械的に実行可能なコード）は、ハードウェア、ソフトウェア、ファームウェア、あるいはその組み合わせで直接具体化され得る。ソフトウェアモジュールは揮発性メモリ、フラッシュ・メモリ、読み出し専用メモリ（ＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能なＲＯＭ（ＥＥＰＲＯＭ）、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、あるいは揮発性か不揮発性かにかかわらず、当該技術において既知の非一時的な記憶メディアの他の形体で保存され得る。１つ以上のプロセッサが記憶媒体或いはメディアから情報を読み、そこに情報を書き出すことができるように、典型的な記憶媒体あるいはメディアは１つ以上のプロセッサに結合され得る。代替において、記憶媒体またはメディアは１つ以上のプロセッサに統合され得る。

本明細書は、相互作用の質を評価するため、及び将来の相互作用を改善するための示唆を与えるために、発明性のある装置、方法、及び物品について詳細に記述する。これは例証の目的だけのためになされた。特定の実施形態あるいはそれらの特徴は、本明細書の開示の基礎となる一般的な原理を必ずしも制限しない。本明細書に記載された特定の特徴は、本明細書に記載されるような発明の精神および範囲から逸脱せずに、他の中ではなくいくつかの実施形態中で使用され得る。構成要素および様々な工程の配列の物理的な構成も、本開示の意図した範囲内にある。多くの追加の修正が叙上の開示で意図される。また、いくつかの例において、幾つかの特徴が他の特徴の対応する使用がない状態で使用されるであろうことは、当業者に認識されるだろう。したがって、例証的な実施例は、必ずしも本発明の境界及び範囲を定義せず、また本発明に生じる法的保護を定義するものではない。

Claims (20)

1. 画像をフィルタリング処理するための、コンピュータで実行する方法であって、当該方法は、
   画像用のコンテンツベクトルを生成するために複数の画像の各画像を分析する工程；
   前記コンテンツベクトルに関心オペレーターを適用する工程であって、該関心オペレーターが望ましい特性を備えた複数の写真に基づいており、これによって画像の関心インデックスを得る工程；
   画像用の関心インデックスを関心閾値と比較する工程；および
   前記比較する工程の結果に基づいて１つ以上の動作を講ずる工程
   を含むコンピュータで実行する方法。
2. 前記関心オペレーターが、前記複数の画像の１以上の顔の１以上の表情のコンテンツに主として基づいている請求項１に記載のコンピュータで実行する方法。
3. 前記望ましい特性が前記表情における情緒的なコンテンツ又は感傷に関係する請求項２に記載のコンピュータで実行する方法。
4. 前記関心オペレーターが前記複数の画像における１人以上の人間の外観特性のコンテンツに主として基づいている請求項１に記載のコンピュータで実行する方法。
5. 前記関心オペレーターが前記複数の画像中の１以上の動作ユニットのコンテンツに主として基づいている請求項１に記載のコンピュータで実行する方法。
6. 前記関心オペレーターが前記複数の画像中の１つ以上の低レベルの特徴のコンテンツに主として基づいている請求項１に記載のコンピュータで実行する方法。
7. 前記複数の画像がイベントの聴衆を観察するカメラによって画像が捕らえられる請求項１に記載のコンピュータで実行する方法。
8. コンピュータベースシステムであって、
   画像用のコンテンツベクトルを生成するために複数の画像の各画像を分析するように構成され；
   画像の関心インデックスを得るために前記コンテンツベクトルに、望ましい特性を備えた複数の写真に基づく関心オペレーターを適用し、
   前記画像用の前記関心インデックスと前記関心閾値との間の比較の結果を得るために画像のための関心インデックスと関心閾値と比較し、及び
   前記結果に基づいて１つ以上の動作を講じるように構成されるコンピュータベースシステム。
9. 前記関心オペレーターが前記複数の画像における１以上の顔の１以上の表情のコンテンツに主として基づいている請求項８に記載のコンピュータベースシステム。
10. 前記望ましい特性が前記表情の情緒的コンテンツ又は感傷に関係する請求項９に記載のコンピュータベースシステム。
11. 前記関心オペレーターが前記複数の画像中の１人以上の人間の外観特性のコンテンツに主として基づいている請求項８に記載のコンピュータベースシステム。
12. 前記関心オペレーターが前記複数の画像中の１以上の動作ユニットのコンテンツに主として基づいている請求項８に記載のコンピュータベースシステム。
13. 前記関心オペレーターが前記複数の画像中の１つ以上の低レベルの特徴のコンテンツに主として基づいている請求項８に記載のコンピュータベースシステム。
14. 前記複数の画像が、イベントの聴衆を観察するカメラによって捕らえられる請求項８に記載のコンピュータベースシステム。
15. 画像フィルタリングのためにコンピュータによって実行される方法のコンピュータコードが埋め込まれた非一時的な機械的可読メモリを含む物品であって、前記方法が、
    画像用のコンテンツベクトルを生成するために各画像を分析する工程；
    前記コンテンツベクトルに関心オペレーターを適用する工程であって、該関心オペレーターが望ましい特性を備えた複数の写真に基づいており、これによって画像の関心インデックスを得る工程；
    画像用の関心インデックスを関心閾値と比較する工程；
    および、前記比較する工程の結果に基づいて１つ以上の動作を講ずる工程を含んでなる
    ことを特徴する物品。
16. 前記関心オペレーターが前記複数の画像中の１つ以上の顔の１つ以上の表情のコンテンツに主として基づいている請求項１５に記載の物品。
17. 前記望ましい特性は表情における情緒的なコンテンツあるいは感傷に関係している請求項１６に記載の物品。
18. 前記関心オペレーターが、前記複数の画像中の１人以上の人間の外観特性のコンテンツの関心オペレーターに主として基づいている請求項１５に記載の物品。
19. 前記関心オペレーターが前記複数の画像中の１以上の動作ユニットのコンテンツに主として基づいている請求項１５に記載の物品。
20. 前記関心オペレーターが前記複数の画像中の１つ以上の低レベルの特徴のコンテンツに主として基づいている請求項１５に記載の物品。