JP2011516965A - 画像における自動顔面検出およびアイデンティティマスキングとそのアプリケーション - Google Patents

Abstract

画像中の顔面領域に対応するアイデンティティを覆い隠すアイデンティティマスキングの方法およびシステムを開示する。顔面検出器が、画像中の一式の顔面であり得る領域を検出するように適用される。次いで、アイデンティティマスカが、該領域に対応するアイデンティティを覆い隠すために、マスキング技法によって、検出された顔面領域を処理するように使用される。例えば、不鮮明な領域を元のアイデンティティとして認識することができないように、運動不鮮明アルゴリズムによって、検出された顔面領域を運動中であるかのように不鮮明にすることができる。または、検出された顔面領域は、対応するアイデンティティを覆い隠すように、顔面置換アルゴリズムによって、代用顔面画像に置換することができる。

Description

本発明は、画像処理に関し、より具体的には、画像中の顔面領域を自動的に検出し、処理することによるアイデンティティマスキング、およびそのアプリケーションに関する。

コンピュータネットワーキングおよび処理の近年の進歩は、画像を容易にアクセス可能にする。しかしながら、画像、特に、人間の顔面を含む画像の公開アクセスは、プライバシーに関する懸念を提起する。アイデンティティを覆い隠すように顔面を認識不能にすることによって、画像中に現れる人々のプライバシーを保護する、いくつかの以前の取り組みがあった。画像中の顔面を覆い隠すために、顔面を含む領域が、最初に識別されなければならない。自動顔面検出技法は、多数の画像を処理するときに、顔面領域を識別するのに役立つことができる。しかしながら、自動顔面検出技法の精度が、懸念を提起する。検出された領域が顔面に対応しない、誤検出があり得る。また、検出されない、顔面を含む領域もあり得る。加えて、顔面を覆い隠すために、画像中の検出された顔面領域は、通常、無地またはモザイクを伴う置換形状に置換される。そうでなければ顔面が画像中に現れる個人のために、アイデンティティが覆い隠されるが、顔面をそのような方法で使用される他の形状と置換することによって、画像外観が悪影響を受ける。

本発明は、画像中の顔面領域を自動的に検出し、処理することによるアイデンティティマスキングおよびそのアプリケーションに関する。実施形態では、顔面検出器が、画像中の一式の顔面であり得る領域を検出し、アイデンティティマスカが、検出された顔面領域内の識別特徴を覆い隠すために、検出された顔面領域を処理するようにアイデンティティマスキングアルゴリズムを使用する。実施形態では、アイデンティティマスカは、不鮮明な顔面領域が運動中であるかのように見え、対応するアイデンティティを認識することができないように、検出された顔面領域を不鮮明にするために運動不鮮明アルゴリズムを使用する。別の実施形態では、アイデンティティマスカは、対応するアイデンティティが覆い隠されるように、検出された顔面領域を代用顔面画像と置換するために顔面置換アルゴリズムを使用する。さらに別の実施形態では、アイデンティティマスカは、いくつかの検出された顔面領域を不鮮明にするために運動不鮮明アルゴリズムを使用し、他の検出された顔面領域を置換して対応するアイデンティティを覆い隠すために、顔面置換アルゴリズムを使用する。

一実施形態では、画像中のアイデンティティが覆い隠されていることを確認するために、顔面検出器の感度は、顔面に対応し得る、あり得る領域を検出するように調整することができる。次いで、誤検出、すなわち、画像中の人間の顔面に対応しない特徴を拒絶するために、所定の検証分析が使用される。実施形態では、顔面検出器によって検出された誤検出を拒絶するために、皮膚色分析が行われる。代替として、潜在的な誤検出を処理するために、そのような検証基準に基づく不鮮明アルゴリズムを使用することができる。実施形態では、色領域が自然な皮膚色である確率に基づいて、不鮮明アルゴリズムが適用される。より高い確率が、より高い不鮮明をもたらす。

本発明のさらなる実施形態、特徴、および利点、ならびに本発明の種々の実施形態の構造および操作を、添付図面を参照して以下で詳細に説明する。

本発明の実施形態を、添付図面を参照して説明する。図面中、類似参照番号は、同一または機能的に同様の要素を示し得る。要素が最初に現れる図面は、概して、対応する参照番号における最左の数字によって示される。
図１は、ネットワークを通して見られ得る画像上でアイデンティティマスキングを行うための例示的システム１００の略図である。 図２Ａは、本発明の実施形態による、運動不鮮明状態を使用した画像のアイデンティティマスキングの実施例である。 図２Ｂは、本発明の実施形態による、顔面置換を使用した画像のアイデンティティマスキングの実施例である。 図２Ｃは、本発明の別の実施形態による、運動不鮮明状態および顔面置換の両方を使用した画像のアイデンティティマスキングの実施例である。 図３Ａは、顔面領域を不鮮明にする運動の実施例である。 図３Ｂは、顔面画像データベースからの合致画像に基づいて、生成された顔面画像を使用して顔面領域を置換するステップの実施例である。 図４は、画像をアイデンティティマスキングするための例示的過程のフローチャートである。 図５は、運動不鮮明状態によって顔面領域をアイデンティティマスキングするための例示的過程のフローチャートである。 図６は、顔面置換によって顔面領域をアイデンティティマスキングするための例示的過程のフローチャートである。 図７は、後続の検証過程とともに、顔面であり得る領域を検出するように同調された顔面検出アルゴリズムの感度で画像中の顔面領域を検出するための例示的過程のフローチャートである。 図８は、顔面検出器によって検出された誤検出を拒絶するように皮膚色分析に基づく、顔面不鮮明化のいくつかの実施例の表である。

本発明は、画像中の顔面領域を自動的に検出し、処理することによるアイデンティティマスキングおよびそのアプリケーションに関する。本明細書の発明を実施するための形態では、「一実施形態」、「実施形態」、「実施形態例」等の言及は、説明される実施形態が、特定の特徴、構造、または特性を含み得るが、全ての実施形態が、該特定の特徴、構造、または特性を必ずしも含まなくてもよいことを示す。また、そのような語句は、必ずしも同じ実施形態を指していない。さらに、特定の特徴、構造、または特性が実施形態に関連して説明されるとき、明示的に説明されるか否かにかかわらず、他の実施形態に関連して、そのような特徴、構造、または特性を達成することが当業者の知識の範囲内であると提起される。

顔面が画像中に現れる個人のプライバシーを保護するために、他者によって見ることができる前に画像を処理するようにアイデンティティマスキングが行われる。本発明の実施形態では、顔面を含む場合がある画像中の領域を検出するように顔面検出アルゴリズムが適用され、次いで、対応するアイデンティティを覆い隠すために、検出された領域中の顔面を処理するようにアイデンティティマスキングアルゴリズムが選択される。アイデンティティマスキング後、処理された画像は、画像データベースに記憶することができ、他の閲覧者によってアクセスされる準備ができている。

画像のレイアウトおよび全体の外観を保存するために、運動不鮮明アルゴリズムおよび顔面置換アルゴリズム等の技法が、アイデンティティマスキングに好まれる。運動不鮮明アルゴリズムは、検出された画像を運動中に撮影されたかのように見せることができるが、そのアイデンティティは覆い隠される。顔面置換アルゴリズムは、そのアイデンティティを覆い隠すように、検出された顔面を他の顔面画像と置換することができる。

図１は、本発明の一実施形態による、アイデンティティマスキングのための例示的システム１００を図示する。システム１００は、未処理画像（または原画像）の画像データベースである、原画像データベース１０２を含む。原画像データベース１０２は、顔面検出器１１２およびアイデンティティマスカ１１４を含む、処理パイプラインサーバ１１０に接続される。処理パイプラインサーバ１１０は、顔面検出器１１２を使用して画像中の顔面を検出し、アイデンティティマスカ１１４を使用して対応するアイデンティティを覆い隠す。システム１００はさらに、処理された画像を記憶するための画像データベース等の、１つ以上の画像記憶構成要素を含む。そのようなデータベースは、画像サーバ１３０によってアクセス可能である、処理画像データベース１２０として示されている。画像サーバ１３０は、画像閲覧者によってアクセスすることができる。図示された実施形態では、ネットワーク１４０を通してアクセスを提供することができる。画像サーバ１３０を通して処理された画像にアクセスするために、画像ブラウザ１５０がネットワーク１４０に接続される。アイデンティティマスカ１１４は、異なるアイデンティティマスキングアルゴリズムを使用する、一式のアイデンティティマスキングツールを含む。これらのツールは、検出された顔面を代用顔面画像に置換する顔面置換アルゴリズムを実装する、顔面置換部１１６を含む。別のツールは、顔面検出器１１２によって検出された顔面を運動中に撮影されたかのように不鮮明にする運動不鮮明アルゴリズムを実装する、運動不鮮明化部１１８である。

本発明の代替実施形態または用途では、原画像データベースの代わりに、他の原画像源が使用され得ることに留意されたい。例えば、特定の原画像が、ユーザによって直接提供され得る。原画像はまた、ビデオから取られ得る。

また、サーバ１１０およびその中に示されたロジックは、ソフトウェア、ハードウェア、またはファームウェア、あるいはそれらの組み合わせで実装され得る。サーバ１１０は、例えば、顔面検出器１１２、アイデンティティマスカ１１４、顔面置換部１１６、および運動不鮮明化部１１８がソフトウェアとして実装される、１つ以上のカスタマイズされたコンピュータまたは汎用コンピュータ上で実装され得る。

ネットワーク１４０は、データ通信を運ぶことができる任意のネットワークまたはネットワークの組み合わせとなり得、本明細書ではコンピュータネットワークと呼ばれ得る。そのようなネットワークは、ローカルエリアネットワーク、中域ネットワーク、およびインターネット等の広域ネットワークを含むことができるが、それらに限定されない。ネットワーク１４０は、ワールドワイドウェブプロトコルおよび／またはサービスを含むがそれらに限定されない、プロトコルおよび技術をサポートすることができる。特定の用途または環境に応じて、中間ウェブサーバ、ゲートウェイ、または他のサーバ（図示せず）が、システム１００の構成要素の間に提供され得る。

原画像中の顔面を覆い隠すために、顔面を含む領域が最初に検出される必要がある。これは、顔面検出アルゴリズムによって行うことができる。アイデンティティマスキングの目的が、顔面が画像中に現れる個人のアイデンティティを覆い隠すことであるため、顔面検出アルゴリズムは、画像中の顔面であり得る領域を識別する必要がある。

本発明の一実施形態では、図１の処理パイプラインサーバ１１０は、原画像データベース１０２から原画像を得る。処理パイプラインサーバ１１０は、原画像中の顔面（または顔面領域）に対応する領域を検出するために、顔面検出器１１２を使用する。本発明の一実施形態では、顔面検出器１１２の感度は、可能な限り多くの顔面領域を検出するために調整される。最初に検出された顔面領域は、顔面を含む該当と、実際には顔面に対応しない誤検出とを含み得る。誤検出に対する覆い隠す効果を限定するために、顔面検出器１１２は、検出された領域を検証し、誤検出を拒絶するために、検証基準を使用し得る。本発明の一実施形態では、検出された領域が自然な皮膚色を有するかどうかを検証するために皮膚色分析が使用される。顔面として誤って検出される領域は、誤検出と見なされる。処理パイプラインサーバ１１０はまた、検証基準に基づいて潜在的な誤検出に対処するためにアイデンティティマスキングアルゴリズムを使用するようにアイデンティティマスカ１１４に求めることもできる。例えば、一実施形態では、潜在的誤検出を処理するために、そのような検証基準に基づく不鮮明アルゴリズムを使用することができる。不鮮明アルゴリズムは、色領域が皮膚色であるという確率に基づいて適用される。より高い確率が、さらなる不鮮明をもたらす。

いくつかの画像が、プライバシーの問題の対象とならない画像を含み得るため、そのようなコンテンツを伴う検出された領域は、アイデンティティマスキングを必要としない場合がある。一実施形態では、顔面検出器１１２は、画像データベースを検索して、検出された領域がそのような画像に合致するかどうかを検証し得る。検出された領域がデータベース中に合致を有する場合、それはマーク解除され、アイデンティティマスキングのために処理されない。

いったん顔面領域が検出されると、対応するアイデンティティが覆い隠されるように顔面領域を認識不能にするよう、アイデンティティマスキングアルゴリズムを適用することができる。本発明の種々の実施形態では、画像中の検出された顔面領域のアイデンティティを覆い隠すいくつかの方法がある。顔面領域中の顔面は、不鮮明化すること、プライバシーの問題の対象とならない代用顔面画像に置換すること等ができる。

図１に図示されるように、顔面検出器１１２が原画像処理パイプラインにおいて一式の顔面領域を検出した後、サーバ１１０は、アイデンティティマスカ１１４を呼び出して、検出された顔面領域に対応するアイデンティティを覆い隠す。本発明の一実施形態では、アイデンティティマスカ１１４は、検出された顔面領域を運動中であるかのように見せるために、運動不鮮明化部１１８を使用する。本発明の別の実施形態では、アイデンティティマスカ１１４は、検出された顔面領域を代用顔面画像と置換するために、顔面置換部１１６を使用する。代替実施形態では、運動不鮮明化部１１８および顔面置換部１１６の両方が、アイデンティティマスカ１１４によって使用される。

例えば、図２Ａに図示されるように、本発明の一実施形態では、画像２００は、２つの顔面を含む原画像である。過程２１０では、顔面検出器１１２が画像２００を入力として取り、２つのそれぞれの顔面を含む２つの領域を検出し、２つの検出された顔面領域である、領域２２２および領域２２４に関する情報を出力する。図示した実施形態では、アイデンティティマスカ１１４は、過程２３０において検出された顔面領域を運動不鮮明化することを選択する。領域２２２および領域２２４は、過程２３０で運動不鮮明アルゴリズムを使用して、領域２４２および領域２４４に変更される。領域２４２および２４４を含む、不鮮明にされた顔面領域２４０は、処理された画像２５０に出力される。

本発明の別の実施形態では、アイデンティティマスカ１１４は、図２Ｂに図示されるように、検出された顔面領域を代用顔面画像と置換する。領域２４２および領域２４４は、過程２３０で顔面置換アルゴリズムを使用して、領域２６２および領域２６４に置換される。領域２６２および領域２６４を含む、置換された顔面領域２６０は、処理された画像２５０に出力される。

アイデンティティマスカはまた、異なる検出された顔面領域をそれぞれ処理するために、異なるアイデンティティマスキングアルゴリズムを使用することもできる。例えば、図２Ｃに図示されるように、領域２２２は、領域２８２を作成するように運動不鮮明化され、領域２２４は、領域２８４に置換される。アイデンティティマスクされた顔面領域２８０は、処理された画像２９０を作成するように出力される。代替として、アイデンティティマスカは、同じ検出された顔面領域に２つ以上の異なるアイデンティティマスキングアルゴリズムを適用して、それらのアイデンティティを隠すことができる。

図面は例証目的によるものであることに留意されたい。検出された顔面領域は、必ずしも図に図示されるような長方形または正方形等の規則的な形状とは限らない。

運動不鮮明化部１１８は、画像中の元の顔面領域を、顔面が運動中に、または焦点がはずれて撮影されたかのように見せるために、運動不鮮明アルゴリズムを使用することができる。図３Ａは、運動不鮮明の説明図を示す。元の検出された顔面領域３１０は、過程３２０で運動不鮮明アルゴリズムを使用して、運動不鮮明化部１１８によって処理される。出力は、運動不鮮明化された顔面領域３３０である。

顔面のアイデンティティを覆い隠す別の可能な方法は、顔面を代用顔面画像で置換することによるものである。代用顔面画像は、プライバシーの配慮の対象とならない顔面画像、または元の顔面とは異なる生成された顔面となり得る。顔面を生成するために利用可能な多くの技法がある。例えば、一実施形態では、顔面は、画像中の明暗に合致することができる、３Ｄコンピュータグラフィックモデルから生成することができる。そのような生成された顔面を使用する顔面置換は、他の置換方法よりも自然な画像の外観をもたらすことができる。

図３Ｂは、検出された顔面領域を、顔面データベースから選択される代用顔面画像で置換する１つの方法を図示する。最初に顔面画像データベース３５０を調べることによって、代用顔面画像が検出された顔面領域３４０のプロファイルに基づいて選択される。プロファイルは、配向、顔面特徴（例えば、サイズ、目、鼻、口等）、または顔面の奥行き等の３次元情報さえも含み得る。画面の隣接領域に影響を及ぼすことなく、検出された顔面を置換するために、代用顔面画像は、検出された顔面と同様の配向およびサイズを有するべきである。それはまた、顔面特徴の同様の位置を有することもできる。次いで、検出された顔面領域３４０は、代用顔面画像３６０に置換される。代替実施形態では、選択された顔面画像を検出された顔面領域と混合することによって、代用顔面画像を生成することができる。生成された顔面画像が元の検出された顔面領域とは異なるため、検出された顔面領域３４０のアイデンティティが覆い隠される。

請求された発明は、これら２種類のアイデンティティマスキングアルゴリズムに限定されないことに留意されたい。アイデンティティマスキングのための他のアルゴリズムも使用することができる。

図４は、本発明の一実施形態による、アイデンティティマスキングのための例示的過程４００のフローチャートである。段階４１０では、原画像が原画像データベースから選択される。原画像データベースは、画像を記憶する任意の記憶手段となり得る。例えば、それは、図１の原画像データベース１０２となり得る。代替実施形態では、原画像は、ビデオ等の他のソースに由来することができる。段階４２０で顔面検出アルゴリズムを使用して、選択された原画像の中で顔面領域を検出するために、顔面検出器（例えば、顔面検出器１１２）が使用される。検出された顔面領域は、対応するアイデンティティを覆い隠すように処理される。段階４３０では、検出された顔面領域が選択される。選択された顔面領域のアイデンティティを覆い隠すために、アイデンティティマスキングアルゴリズムが段階４４０で選択される。段階４５２でアイデンティティを覆い隠すように運動不鮮明アルゴリズムを適用することができ、または段階４５４で顔面置換アルゴリズムを適用することができる。代替実施形態では、選択段階４４０がなく、１つ以上の固定マスキングアルゴリズムが毎回使用される。

他のアイデンティティマスキングアルゴリズムも使用することができる。例えば、本発明の一実施形態では、アイデンティティを不鮮明にするように、皮膚色に基づく不鮮明アルゴリズムを選択することができる。選択された顔面領域中の各画素は、自然な皮膚色を有する確率に比例して不鮮明にされる。したがって、選択された領域が、色に基づいて人間の顔面に対応する低い確率を有する場合、領域に行われる不鮮明効果がほとんどなくなる。

選択されたアイデンティティマスキングアルゴリズムが選択された領域のアイデンティティを覆い隠した後、処理パイプラインサーバ１１０は、全ての検出された顔面領域が処理されたかどうかを段階４６０で決定する。処理されていない検出された顔面領域がある場合、ルーチンは段階４３０に戻って次の検出された顔面領域を選択する。そうでなければ、選択された原画像中の全ての検出された顔面領域が処理される場合、処理された画像は、段階４７０で処理画像データベース１２０に出力される。

図示された実施形態では、選択された領域が１つのアイデンティティマスキングアルゴリズムによって処理されることに留意されたい。代替実施形態では、対応するアイデンティティをマクスするように、１つ以上のアイデンティティマスキングアルゴリズムを同じ選択された領域に適用することができる。

図示された実施形態では、選択された顔面領域が直列に処理されることにも留意されたい。代替として、選択された顔面領域は、並行して処理され得る。

図５は、本発明の一実施形態による、運動不鮮明状態を使用するアイデンティティマスキングのための例示的過程４５２のフローチャートである。いったん検出された顔面領域が選択され、運動不鮮明化が選択されると、特定の運動選択された顔面領域のアイデンティティを覆い隠すように、不鮮明アルゴリズムが選択される必要がある。

線積分畳み込み法の運動不鮮明状態、カノニカルマップ関数（Ｃａｎｏｎｉｃａｌ Ｍａｐ Ｆｕｎｃｔｉｏｎ）に基づく運動不鮮明状態、顔面の配向に基づく運動不鮮明状態等の、いくつかの運動不鮮明アルゴリズムが、選択された顔面領域を覆い隠すために利用可能である。代替実施形態では、他の不鮮明アルゴリズムが使用され得る。他の実施形態では、２つ以上の不鮮明アルゴリズムが、選択された顔面領域に適用され得る。

例えば、線積分畳み込み法（ＬＩＣ）の運動不鮮明状態が段階５２０で選択された場合、線積分畳み込み法の運動不鮮明状態は、運動不鮮明効果のために、段階５２２で選択された領域に適用される。ＬＩＣは、画像のベクトル場を視覚化するための技術分野において周知である。それは、表示されるベクトル場の関数として画像を選択的に不鮮明にすることを伴うことができる。一実施形態では、顔面領域を運動不鮮明化するために、不鮮明状態の各画素の運動の方向および程度を表すように顔面領域と関連するベクトル場が作成される。ベクトル場の方向および運動の程度を変動させることによって、異なる量の不鮮明状態で異なる方向に、顔面領域を不鮮明にすることができる。

カノニカルマップ関数に基づく不鮮明化が段階５３０で選択される場合、カノニカルマップ関数アルゴリズムが段階５３２で適用される。カノニカルマップ関数はまた、選択された顔面と整合された場合の３次元の奥行きの平均推定としても当技術分野で周知である。次いで、選択された顔面領域は、顔面の奥行きに従って運動不鮮明化することができる。

段階５４０で、顔面の配向に基づく不鮮明化が選択される場合、選択された顔面領域の配向は、最初に段階５４２で計算される必要がある。画像中の顔面の配向は、対応する個人が向いている場所に関する。例えば、個人は、カメラに直面し、すなわち、正面を向いてもよい。または、個人は、カメラの左または右側に向いてもよい。本発明の一実施形態では、選択された顔面領域の配向は、顔面方向ベクトル、画像ベクトル、およびそれらの間の角度を備え得る。顔面方向ベクトルは、顔面の方向を表すベクトルである。画像ベクトルは、画像と関連するベクトルである。例えば、顔面方向ベクトルは、鼻の方向のベクトルとなり得、画像ベクトルは、画像に垂直なベクトルとなり得る。次いで、顔面の配向に基づく運動不鮮明アルゴリズムが、段階５４４で選択された顔面領域に適用される。本発明の一実施形態では、不鮮明化は、顔面方向ベクトルと画像ベクトルとの間の角度を増加／減少させる方向に顔面の向きを変える、顔面の運動に対応する。

本発明は、アイデンティティマスキングのための上記の運動不鮮明アルゴリズムに限定されない。本発明の代替実施形態では、他の運動不鮮明または画像不鮮明アルゴリズムも、選択時に適用することができる。本発明のいくつかの実施形態では、不鮮明アルゴリズムが、顔面領域の異なる場所で異なる程度の不鮮明状態を有するため、不鮮明過程は、不可逆または回復不可能である。

図６は、本発明の一実施形態による、顔面置換アルゴリズムを使用するアイデンティティマスキングのための例示的過程４５４のフローチャートである。ここで、選択された顔面領域のアイデンティティが覆い隠されるように、代用顔面画像が画像中の選択された顔面領域を置換する。顔面プロファイルが、段階６２０で選択された顔面領域について決定される。顔面プロファイルはしばしば、顔面を識別するために、顔面認識アルゴリズムで使用される。例えば、顔面プロファイルは、目、鼻、および口の場所および形状、顔面の輪郭、顔面の配向等を含むことができる。顔面プロファイルに基づいて、代用顔面画像を、段階６３０で生成するか、または顔面データベースから選択することができる。代用顔面画像を生成する異なる方法がある。本発明の一実施形態によれば、選択された顔面領域および顔面データベースから選択された顔面画像の１つ以上の対応する特徴を混合することによって、代用顔面画像を生成することができる。本発明のさらに別の実施形態では、画像中の２つ以上の検出された顔面領域のいくつかの特徴を混合することによって、代用顔面画像を生成することができる。元の画像のレイアウトに影響を及ぼすことなく、選択された顔面領域を置換するために、代用顔面画像は、選択された顔面領域と同様のサイズを有するべきである。例えば、一実施形態では、２つの画像領域の長さまたは高さの違いは、選択された顔面領域の長さまたは高さの５％未満となり得る。いったん代用顔面画像が利用可能となると、段階６４０で、選択された顔面領域は、対応するアイデンティティを覆い隠すように代用顔面画像に置換される。

画像中の一式の顔面のアイデンティティを覆い隠すために、顔面検出アルゴリズムは、顔面であり得る領域を検出する必要がある。本発明の一実施形態によれば、顔面検出アルゴリズムの感度は、可能な限り多くの顔面に対応する領域を検出するように同調される。通常は誤検出と呼ばれる、顔面に対応しない検出された領域が存在する場合がある。そのような誤検出を除外するために、検証手順が所定の基準に基づいて適用され得る。図７は、本発明の一実施形態による、顔面検出アルゴリズムの誤検出を拒絶するための例示的過程７００のフローチャートである。最初に段階７０５で、顔面検出器が、おそらく顔面を含む画像の領域をマークする。顔面検出器の感度は、該当および誤検出の両方を含む、可能な限り多くの顔面領域をマークするように同調される。次いで、マークされた領域が段階７１０で選択される。段階７２０では、領域が顔面を含むことを検証するように、選択された領域が所定の検証基準を使用して試験される。検証基準は、皮膚色、３次元顔面プロファイル等に基づいて定義することができる。選択された領域が顔面を含まない場合は、段階７２２でマーク解除される。段階７３０では、全てのマークされた領域が試験された場合に、手順が終了する。そうでなければ、検証のために別のマークされた領域を選択するように、手順は段階７１０に戻る。

図示された実施形態では、誤検出を拒絶する過程が直列に処理されることに留意されたい。代替実施形態では、過程は並行して行われ得る。

図８は、皮膚色分析に基づいて誤検出を除外するためのいくつかの実施例を示す。表８００のカラム８１０は、入力画像からの元の検出された顔面領域を含む。カラム８１０の顔面領域８１１および８１２は、顔面に対応する。領域８１３および８１４は、人間の顔面以外の誤って検出された領域であり、領域８１５は、白黒の人間の姿を伴うポスターである。本発明の一実施形態では、皮膚色分析が、上記の領域を検証するように適用される。上記の５つの検出された領域の皮膚色分析の結果は、表のカラム８２０に記載されている。皮膚色分析結果８２１および８２２は、対応する検出された領域８１１および８１２が人間の皮膚色を含み、したがって、人間の顔面を含み得ることを示す。皮膚色分析結果８２３−８２５は、対応する検出された領域８１３−８１５が誤検出であることを示す。領域８１５に人間の顔面があるが、それらが白黒であれば、したがって、領域８１５は誤検出として示されることに留意されたい。次いで、検出された領域は、皮膚色分析に基づいて不鮮明にされる。最終結果がカラム８３０に記載されており、人間の顔面を含む領域のみ、すなわち、画像８３１および８３２が不鮮明にされる。

発明の概要および要約の項ではなく、発明を実施するための形態の項は、請求項を解釈するために使用されることを目的とすると理解されたい。発明の概要および要約の項は、本発明者らによって検討されるような、本発明の全てではないが１つ以上の例示的実施形態を説明することがあり、したがって、決して本発明および添付の図面を限定することを目的としない。

特定機能の実装およびその関係を例証する機能的構成要素を用いて、本発明を上記で説明している。これらの機能的構成要素の境界は、説明の便宜上、本明細書では任意に画定されている。特定機能およびその関係が適切に実施される限り、代替境界を画定することができる。

具体的実施形態の先述の説明は、本発明の一般概念から逸脱することなく、必要以上の実験を伴わずに、当技術分野内の知識を適用することによって、他者が種々の用途についてそのような具体的実施形態を容易に修正および／または適合させることができる、本発明の一般的性質を完全に明らかにする。したがって、そのような適合および修正は、本明細書で提示される教示および指導に基づいて、開示された実施形態の同等物の意味および範囲内となることを目的とする。本明細書の用語または表現が、教示および指導に照らして当業者によって解釈されるように、本明細書の表現または用語は、限定ではなく説明の目的によるものであると理解されたい。

本発明の幅および範囲は、上記の例示的実施形態のうちのいずれかによって決して限定されるべきではないが、以下の請求項およびそれらの同等物のみに従って定義されるべきである。

Claims (25)

1. （１）画像中で、顔面に対応する領域を検出することと、
   （２）該顔面の１つ以上の特徴を含む、該領域の一部分を選択することと、
   （３）該顔面の該１つ以上の特徴を覆い隠すように、該一部分を不鮮明にすることと
   を含む、画像中のアイデンティティを覆い隠す方法。
2. （１）は、（ａ）誤検出を拒絶するために皮膚色分析を使用することを含む、請求項１に記載の方法。
3. （ａ）は、前記領域がヒト皮膚と一致する色を含むことを検証することを含む、請求項２に記載の方法。
4. （１）は、
   （ａ）記憶された公開画像を用いて前記検出された領域をチェックすることと、
   （ｂ）該検出された領域を拒絶することであって、該検出された領域は、記憶された公開画像に合致する、ことと
   を含む、請求項１に記載の方法。
5. （２）は、鼻、目、口、および顔面の輪郭のうちの少なくとも１つを選択することを含む、請求項１に記載の方法。
6. （３）は、前記顔面の１つ以上の特徴を不鮮明にする運動を含む、請求項１に記載の方法。
7. （３）は、カノニカルマップ関数に基づいて、前記顔面の前記１つ以上の特徴を不鮮明にする運動を含む、請求項６に記載の方法。
8. （３）は、線積分畳み込み法を使用して、前記顔面の前記１つ以上の特徴を不鮮明にする運動を含む、請求項６に記載の方法。
9. （３）は、
   （ａ）前記顔面の配向を決定することと、
   （ｂ）該顔面の該配向に基づいて、前記領域の前記一部分を不鮮明にする運動と
   を含む、請求項６に記載の方法。
10. （ａ）は、
    （ｉ）第１のベクトルを前記顔面と関連付けることと、
    （ｉｉ）該第１のベクトルと、前記画像と関連付けられた第２のベクトルとの間の関係を決定することと
    を含む、請求項９に記載の方法。
11. （３）は、自然な皮膚色である確率に比例して、前記顔面の前記１つ以上の特徴の各画素を不鮮明にすることを含む、請求項１に記載の方法。
12. （１）画像中で、顔面に対応する領域を検出することと、
    （２）該画像を代用顔面画像と置換することと
    を含む、画像中のアイデンティティを覆い隠すための方法。
13. （３）（１）の後および（２）の前に行われる、前記顔面の配向を決定することをさらに含む、請求項１２に記載の方法。
14. （３）は、
    （ａ）第１のベクトルを前記顔面と関連付けることと、
    （ｂ）該第１のベクトルと、前記画像と関連付けられた第２のベクトルとの間の関係を決定することと
    を含む、請求項１３に記載の方法。
15. （２）は、
    前記画像の前記領域を、前記顔面の前記配向に基づいて選択される代用顔面画像と置換することを含む、請求項１３に記載の方法。
16. 前記代用顔面画像は、前記顔面の前記配向と同様の配向を有する、請求項１５に記載の方法。
17. （２）は、顔面データベースから前記代用顔面画像を選択することを含む、請求項１２に記載の方法。
18. （２）は、前記代用顔面画像を生成することを含み、該代用顔面画像は、前記画像の前記領域と同様のサイズを有する、請求項１２に記載の方法。
19. （２）は、前記顔面の１つ以上の特徴に基づいて代用顔面画像を生成することを含む、請求項１２に記載の方法。
20. 前記顔面の前記１つ以上の特徴は、鼻、目、口、および顔面の輪郭のうちの少なくとも１つを含む、請求項１９に記載の方法。
21. （３）（２）の後に行われる、前記代用顔面画像を不鮮明にすることをさらに含む、請求項１２に記載の方法。
22. 画像中のアイデンティティを覆い隠すためのシステムであって、
    該画像中の該アイデンティティを覆い隠す処理パイプラインサーバを備え、
    該処理パイプラインサーバは、
    （ａ）該画像中の顔面領域を検出し、誤検出を拒絶する、顔面検出器と、
    （ｂ）該画像を別様に歪曲することなく、該検出された顔面領域に対応する該アイデンティティを覆い隠す、アイデンティティマスカと
    を備えている、システム。
23. 前記アイデンティティマスカは、前記検出された顔面領域を運動中であるかのように不鮮明にする運動不鮮明化部を備えている、請求項２２に記載のシステム。
24. 前記アイデンティティマスカは、前記検出された顔面領域を代用顔面画像に置換する顔面置換部を備えている、請求項２２に記載のシステム。
25. 前記顔面検出器は、顔面領域ではない検出された領域を拒絶するために、皮膚色を使用するように構成されている、請求項２２に記載のシステム。

Images