JP2012530994A - 半顔面検出のための方法および装置 - Google Patents

半顔面検出のための方法および装置 Download PDF

Info

Publication number
JP2012530994A
JP2012530994A JP2012516781A JP2012516781A JP2012530994A JP 2012530994 A JP2012530994 A JP 2012530994A JP 2012516781 A JP2012516781 A JP 2012516781A JP 2012516781 A JP2012516781 A JP 2012516781A JP 2012530994 A JP2012530994 A JP 2012530994A
Authority
JP
Japan
Prior art keywords
face
image
classifier
facial
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012516781A
Other languages
English (en)
Inventor
ペトレスク，シュテファン
ガンジャ，ミフネア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
DigitalOptics Corp Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalOptics Corp Europe Ltd filed Critical DigitalOptics Corp Europe Ltd
Publication of JP2012530994A publication Critical patent/JP2012530994A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

分類器チェーンは、画像のウィンドウまたはサブウィンドウが、右顔面、左顔面、全顔面を含んでいるか、または顔を含んでいないかを、迅速かつ正確に判定するために用いられる。デジタル画像を取得後、取得されたデジタル画像に基づいて、インテグラルイメージが計算される。左顔面分類器がインテグラルイメージに適用されて、ウィンドウが左顔面を含んでいる確率を決定する。右顔面分類器がインテグラルイメージに適用されて、ウィンドウが右顔面を含んでいる確率を決定する。右顔面および左顔面を含むウィンドウの確率が、両方ともしきい値よりも大きい場合は、そのウィンドウは、全顔面を含んでいると判定される。あるいは、確率のいずれか一方のみがしきい値を超えている場合は、ウィンドウは左顔面のみ、または右顔面のみを含んでいると判定され得る。

Description

優先権の主張
本願は、合衆国法典第３５巻１１９条（ｅ）の下で、２００９年６月２９日に出願され「半顔面検出のための方法および装置（Methods And Apparatuses For Half-Face Detection）」と題された米国仮特許出願番号６１／２２１，４５５の国内優先権を主張し、その内容は参照によりここに引用される。
発明の分野
本発明は、概して、デジタル画像処理に関し、より特定的には、全顔面および半顔面を検出するための技術を含む、顔面検出および認識技術に関する。
本発明の背景
本節に記載されたアプローチは、推進されるアプローチであるが、必ずしもこれまで着想され推し進められてきたアプローチではない。したがって、そうでないと示されない場合は、本節に記載されるいかなるアプローチも、単に本節に含まれるそれらの長所によって先行技術として制限されるものと想定されるべきではない。
多くの現存するデジタル画像処理アルゴリズムは、そのデジタル画像内の人の顔を識別するために、顔面認識技術および顔面検出技術を利用する。さまざまな画像強調アプリケーションおよび画像変更アプリケーションにおいては、人の顔を認識することは、しばしば必要不可欠なステップまたは望まれるステップである。たとえば、人の顔を認識することは、場面の奥行きを強調したり、背景から顔や体をともに分離したりするために、前景にある対象物の背景からの分離を強化するアルゴリズム内のステップとして用いられる。人の顔を認識することは、デジタル画像内の欠陥を識別しかつ修正するために用いられる画像修正アルゴリズムにおけるステップとしても用いられる。たとえば、対象物が顔であるかまたは顔でないかを知ることによって目の位置が推定され、赤目除去アルゴリズムによって識別される真判定の数を増加するとともに、赤目除去アルゴリズムによって識別される偽判定の数を減少するために用いられる。
よく知られた高速顔面検出アルゴリズムが、米国特許公報番号２００２／０１０２０２４、以下ヴィオラ−ジョーンズ（Viola- Jones）、に開示され、それは、すべての目的のためにその全体が参照によりここに引用される。ヴィオラ−ジョーンズは、一連の連続特徴検出器からなる分類器チェーンを提案している。分類器チェーンは、顔を表していない画像パターンを除去し、顔を表わしている画像パターンを受け入れる。
オリジナルのヴィオラ−ジョーンズアルゴリズムは、従来の顔面検出器よりもはるかに高速であるが、特にデジタルカメラ、携帯コンピュータ、もしくはカメラ搭載型の携帯電話などの携帯画像取得装置のような、資源制約された内蔵システムにおいて、リアルタイムでの実行が困難である多くの演算を依然として含んでいる。さらに、現在のヴィオラ−ジョーンズの実行例は、全顔面、左顔面、および右顔面を検出するための個別の分類器チェーンを必要とし、それにより、全顔面の検出に加えて半顔面の検出が必要である場合に、非常に多くの演算を必要とする。
特定の実施形態に従う顔面追跡システムの一次サブシステムを示す図である。 人の全顔面を示す図である。 右側が遮蔽された顔を示す図である。 左側が遮蔽された顔を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 全顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら全顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面分類器のグラフィック表示、および人の全顔面の図に適用されたそれら左顔面分類器のグラフィック表示を示す図である。 左顔面に適用された左顔面分類器のグラフィック表示を示す図である。 全顔面に適用された左顔面分類器のグラフィック表示を示す図である。 右顔面に適用された左顔面分類器のグラフィック表示を示す図である。 左顔面分類器、および対応する右顔面ミラー分類器のグラフィック表示を示す図である。 左顔面分類器、および対応する右顔面ミラー分類器のグラフィック表示を示す図である。 左顔面分類器、および対応する右顔面ミラー分類器のグラフィック表示を示す図である。 左顔面分類器、および対応する右顔面ミラー分類器のグラフィック表示を示す図である。 本発明の技術を利用する方法のフロー図を示す図である。 本発明の技術を実行するための、特殊目的演算装置のブロック図を示す図である。
本発明の実施形態の詳細な説明
以下の説明において、説明の目的のために、多くの具体的な詳細が、本発明の完全な理解を提供するために記載される。しかしながら、本発明は、これらの特有の詳細を用いなくても実現され得ることは明らかであろう。他の例においては、本発明を不必要に曖昧にすることを避けるために、周知の構造および装置がブロック図形式に示される。
外観
本発明の実施形態は、分類器チェーンを用いて、ウィンドウまたはサブウィンドウが右顔面、左顔面、全顔面を含んでいるか、あるいは、顔を含んでいないか否かを迅速かつ正確に判定する方法を含む。デジタル画像取得後、取得されたデジタル画像に基づいてインテグラルイメージが計算され得る。１つまたはより多くの左顔面（left-face：ＬＦ）分類器がインテグラルイメージに適用されて、ウィンドウが左顔面を含む確率を決定する。１つまたはより多くの右顔面（right-face：RＦ）分類器がインテグラルイメージに適用されて、ウィンドウが右顔面を含む確率を決定する。右顔面を含むウィンドウの確率および左顔面を含むウィンドウの確率が、両方ともしきい値より大きい場合、ウィンドウは右顔面および左顔面の双方、すなわち全顔面を含んでいると判定される。右顔面を含むウィンドウの確率がしきい値を上回り、かつ左顔面を含むウィンドウの確率がしきい値を下回る場合は、ウィンドウは右顔面を含んでいるが左顔面は含んでいないと判定される。右顔面を含むウィンドウの確率がしきい値を下回り、かつ左顔面を含むウィンドウの確率がしきい値を上回る場合は、ウィンドウは左顔面を含んでいるが右顔面は含んでいないと判定される。右顔面を含むウィンドウの確率および左顔面を含むウィンドウの確率が、両方ともしきい値を下回る場合は、ウィンドウは顔を含んでいないと判定される。
本発明のさらなる実施形態は、インテグラルイメージのウィンドウに全顔面分類器を適用して、左顔面分類器および右顔面分類器に基づいてなされた判定の検証を行なうことを含む。たとえば、右顔面を含むウィンドウの確率および左顔面を含むウィンドウの確率の両方がしきい値よりも大きい場合、全顔面は右顔面および左顔面を含んでいるので、全顔面分類器の適用によって、ウィンドウが全顔面を含む可能性が高いことが示されるはずである。右顔面を含むウィンドウの確率および左顔面を含むウィンドウの確率のいずれかがしきい値を下回っている場合は、インテグラルイメージに適用された全顔面分類器は、ウィンドウが全顔面を含んでいないことを確認するはずである。右顔面分類器または左顔面分類器がインテグラルイメージに適用されたときになされた判定が、全顔面分類器が適用されたときになされた判定と矛盾する場合は、さらに、より演算コストの高い解析が実行されて、ウィンドウが右顔面、左顔面、または全顔面を含んでいるか否かを判定する。
本発明のさらなる実施形態は、右顔面分類器を用いて、右顔面分類器のミラー画像である左顔面分類器を計算すること、または左顔面分類器を用いてミラー右顔面分類器を計算することを含む。
本発明の実施形態は、写真用フィルムを用いず、本出願に記載される方法の１つまたはより多くのステップを備えるデジタル画像取得システムも含む。本発明の代替的な実施形態は、１つまたはより多くの演算装置によって実行されると、本出願に記載される方法の１つまたはより多くのステップを実行する指令を記憶する、１つまたはより多くの機械読み取り可能な記憶媒体を含む。
デジタル画像取得システム
図１は、特定の実施形態に従う顔面追跡システムの一次サブシステムを示す。実線は画像データの流れを示し、破線は制御入力またはモジュールからの情報出力（たとえば、検出された顔の位置）を示す。この例においては、画像処理装置は、デジタルスチルカメラ（ＤＳＣ）、ビデオカメラ、画像取り込み機構が搭載された携帯電話、または内部カメラもしくは外部カメラが搭載された携帯型コンピュータ、あるいはそれらの組み合わせであり得る。
デジタル画像ｉ（ｘ，ｙ）は、電荷結合素子（charged coupled device：ＣＣＤ）センサまたは相補的金属酸化物半導体（ＣＭＯＳ）センサのような画像センサ１０５からのＲＡＷフォーマットで取得される。画像サブサンプラ１１２は、メイン画像のより小さい複製を生成する。ほとんどのデジタルカメラは、たとえばプレビュー画像をカメラディスプレイに提示するために、画像サブサンプリングを実行する、内蔵ハードウェアサブシステムをすでに含んでいる。典型的に、サブサンプルされた画像は、ビットマップフォーマット（ＲＧＢまたはＹＣＣ）で与えられる。一方で、通常の画像取得チェーンは、典型的に輝度および色彩のバランシングを含むＲＡＷ画像の後処理を実行する。特定のデジタルイメージングシステムにおいては、サブサンプリングは、このような後処理後または特定の後処理フィルタが適用された後ではあるが、全体の後処理フィルタチェーンが完了する前に生じ得る。
サブサンプリングされた画像は、次に、サブサンプリングされた画像からインテグラルイメージを生成するインテグラル画像生成器１１５に送られる。位置（ｘ，ｙ）におけるインテグラルイメージｉｉ（ｘ，ｙ）は、画像ｉ（ｘ，ｙ）からの点（ｘ，ｙ）より上方またはその左の画素値の合計を含む。
このインテグラルイメージは、次に固定サイズの顔面検出器１２０に送られる。顔面検出器は、フルインテグラルイメージに適用されるが、これはメイン画像のサブサンプリングされた複製のインテグラルイメージなので、顔面検出器に含まれる処理は比例的に低減される。サブサンプリングされた画像が、メイン画像の１／４、たとえば１／４の数の画素および／または１／４のサイズである場合、含まれる処理時間は、フル画像についてのものの約２５％だけになる。
このアプローチは、サブサンプリングされた画像メモリ空間が固定サイズのＤＭＡウィンドウによってスキャンされ、かつハールフィーチャ（Haar-feature）分類器チェーンを実現するためのデジタル論理がこのＤＭＡウィンドウに適用され得るようなハードウェア実施形態に特に適している。さまざまなサイズの分類器が（ソフトウェア実施形態において）代替的に用いられてもよく、または複数の固定サイズ分類器が（ハードウェア実施形態において）用いられてもよい。その利点は、より小さいインテグラルイメージが計算されることである。
高速顔面検出器２８０の適用後、新たに検出された任意の候補顔面領域１４１が、顔面追跡モジュール１１１に送られ、前の解析１４５から確認された任意の顔面領域が、顔面追跡器２９０へ提供される１４２前に、新しい候補顔面領域と結合され得る。
顔面追跡器２９０は、確認された一組の候補領域１４３を追跡モジュール１１１に返す。好ましくは、追加の画像処理フィルタが追跡モジュール１１１によって適用され、これらの確認された領域１４３が顔面領域であることを確認するか、または、顔面追跡器２９０によってそのように確認されなかった場合には候補として領域を維持するかのいずれかを行なう。最終の顔面領域の組１４５が、カメラ内の他のところでの使用のためにモジュール１１１によって出力され、または、カメラ内もしくはオフラインのいずれかでの後の処理のために、取得された画像内もしくは画像に関連して記憶され得る。組１４５は、顔面追跡の次回の反復においても用いられる。
メイン画像取得チェーンが完了後、通常は、メイン画像１３０のフルサイズのコピーが、画像取得システムのシステムメモリ１４０内に存在する。これは、顔面追跡器２９０の候補領域抽出器１２５要素によってアクセスされ、顔面追跡モジュール１１１から得られた候補顔面領域データ１４２に基づいて、画像パッチ（image patch）を選択する。各候補領域についてのこれらの画像パッチは、インテグラルイメージ生成器１１５に送られ、それは、結果のインテグラルイメージを、１つの可能性のある例であるヴィオラ−ジョーンズ検出器のような可変サイズ検出器１２１へ送り、その後、分類器チェーン、好ましくは少なくとも３２の分類器チェーンを、異なるスケールの範囲にわたる各候補領域についてのインテグラルイメージに適用する。
顔面検出器１２１によって採用されるスケールの範囲１４４が、顔面追跡モジュール１１１によって決定されるとともに供給され、それは、現在の候補顔面領域１４２の履歴に関連する統計的情報に部分的に基づいており、かつ、画像取得システム内の他のサブシステムから決定される外部メタデータに部分的に基づいている。
前者の例として、候補顔面領域が、特定の数の取得された画像フレームについて、特定のサイズに依然として残っている場合は、顔面追跡器１２１が、この特定のスケールに、および／または、おそらく１サイズ大きい（すなわち、１．２５倍大きい）スケールおよび１サイズ小さい（すなわち、１．２５倍小さい）スケールに適用される。
後者の例として、画像取得システムの焦点がおよそ無限大に移動した場合は、最小スケーリングが顔面検出器１２１内に適用される。これらのスケーリングは、候補顔面領域を完全に覆うために、候補顔面領域に多くの回数適用されるので、通常は採用されない。候補顔面領域が、それを超えては減少するはずのない最小サイズを有することに気付くことは価値があり、−これは、ユーザによって、フレーム間のカメラの局所化された移動を可能とするためである。モーションセンサを含むいくつかの画像取得システムにおいては、そのような局所化された移動は追跡され得る。この情報が採用されて、スケールの選択および候補領域のサイズをさらに改善する。
候補領域追跡器２９０は、イメージパッチの全可変サイズ顔面検出に基づいて、一組の確認された顔面領域を顔面追跡モジュール１１１へ提供する。明らかに、いくつかの候補領域が確認され、一方他は拒絶され、これらは追跡器２９０によって明示的に返され、または、確認された領域１４３と候補領域１４２との違いを解析することによって、追跡モジュール１１１により計算され得る。いずれの場合においても、その後、顔面追跡モジュール１１１は、これらが代替的な試験を追跡器２９０によって拒絶された候補領域に適用して、追跡の次サイクルについての候補領域１４２として維持されるべきであるか否か、またはこれらが追跡から完全に除去されるべきか否かを判定する。
一旦、一組の確認された候補領域１４５が顔面追跡モジュール１１１によって決定されると、モジュール１１１は、サブサンプラ１１２と通信して、次に取得される画像がいつサブサンプリングされ検出器２８０に提供されるかを決定するとともに、次に取得される画像がサブサンプルされるところに決定１４６を提供する。
検出器２８０が次の画像が取得されるときに起動しない場合、次に取得される画像についての抽出器１２５に提供される候補領域１４２は、最終取得画像から追跡モジュール１１１によって確認される領域１４５である。一方、顔面検出器２８０が新しい組の候補領域１４１を顔面追跡モジュール１１１に提供するときは、好ましくはこれらの候補領域が確認された領域１４５の前の組と結合されて、次に取得される画像のために、その候補領域１４２を抽出器１２５に提供する。
ズーム情報が、カメラファームウェアから取得され得る。カメラメモリ１４０または画像記憶１５０内の画像を解析するソフトウェア技術を用いて、カメラのパンまたはチルトの角度が、ある画像から他の画像まで判定され得る。
一実施形態においては、図１に示されるように、取得装置にはモーションセンサ１８０が設けられ、ある画像から他の画像へのパンの角度と方向を決定し、ソフトウェアにおけるカメラ移動の判定に含まれる処理を防止する。
デジタルカメラのためのこのようなモーションセンサは、主にメイン画像取り込みの間の手ぶれ（hand shake）のための警告または補償の目的のために、加速度計に基づいてもよいし、任意的にはカメラ内のジャイロプリンシパル（gyroscopic principals）に基づいてもよい。ムラコシ（Murakoshi）に対する米国特許番号４，４４８，５１０は、参照によってここに引用され、従来のカメラについてのそのようなシステムを開示し、モルガード（Molgaard）に対する米国特許番号６，７４７，６９０は、これも参照によってここに引用され、現代のデジタルカメラにおいて適用された加速度センサを開示する。
モーションセンサがカメラに組み込まれている場合、それは光軸周りの小さな動きに対して最適化され得る。加速度計は、経験された加速に基づく信号を生成する検出モジュールと、効果的に測定することができる加速の範囲を決定する増幅器モジュールとを含み得る。加速度計は、感度を調整することができる増幅ステージのソフトウェア制御を可能とし得る。
モーションセンサ１８０は、次世代の民生用カメラおよびカメラ付き電話に組み込まれる種類のＭＥＭＳセンサによって、等しく実現され得る。
いずれの場合においても、カメラが顔面追跡モードで動作可能なとき、すなわち、メイン画像の取得とは異なる一定のビデオ取得であるときは、画質が低いので手ぶれ補正（shake compensation）は典型的には使用されない。これは、モーションセンサ増幅器モジュールを低いゲインに設定することによって、モーションセンサ１８０が大きな動作を検出するように構成する機会を与える。センサ１８０によって検出された動作のサイズおよび方向は、好ましくは、顔面追跡器へ提供される。追跡される顔のおよそのサイズは、すでに知られており、これは、カメラからの各顔の距離の推定を可能にする。したがって、センサ１８０からの大きな移動のおよそのサイズを知ることは、たとえそれらがカメラからの異なる距離であったとしても、各候補顔面領域のおよその変位を決定することができる。
したがって、大きな動作が検出されると、顔面検出器１１１は、動作の方向およびサイズの関数として、候補領域の位置をシフトする。あるいは、追跡アルゴリズムが適用される領域のサイズも、動作の方向およびサイズの関数として拡大され得る（そして、追跡器の精巧さは、より大きい画像領域をスキャンすることを補償するために低減され得る）。
カメラがメイン画像を捉えるように作動される場合、あるいは、他の理由のために顔面追跡モードが存在する場合は、モーションセンサ１８０の増幅器ゲインは通常に復帰され、フルサイズの画像についてのメイン画像取得チェーン１０５，１１０が、モーションセンサ１８０からの情報に基づいて、通常の手ぶれ補正アルゴリズム採用することができるようにする。
顔面検出器１２０が適用すべき画像の領域を限定する他の方法は、肌色を含む画像の領域を識別することを含む。米国特許番号６，６６１，９０７は、参照によりここに引用されるが、肌色を検出するとともに、引き続いて主に肌色を有する領域において顔面検出を適用するだけのそのような１つの技術を開示する。
一実施形態においては、肌分割１９０は、好ましくは、取得画像のサブサンプルバージョンに適用される。サブサンプルバージョンの解像度が十分でない場合は、その２つの画像の内容が現在の取得画像と非常に異なっていない限りは、画像記憶１５０に記憶された前の画像または次のサブサンプル画像が用いられ得る。あるいは、肌分割１９０は、フルサイズビデオ画像１３０に適用することもできる。
いずれの場合も、肌色を含む領域は、矩形境界（bounding rectangle）によって識別される。矩形境界は、インテグラルイメージ生成器１１５に提供され、それは追跡器インテグラル画像生成器１１５によって用いられるものと同様の態様で、その矩形に対応するインテグラルイメージパッチを生成する。
このアプローチは、インテグラルイメージの生成および顔面検出の実行に関連する処理オーバーヘッドを低減するだけでなく、本実施形態においては、これらの肌色の領域が実際に顔を含む可能性がより高いので、顔面検出器１２０によって、より緩和された顔面検出を矩形境界に適用することができる。そのため、ヴィオラ−ジョーンズ検出器１２０について、より短い分類器チェーンを採用して、確実に顔を検出するために必要とされる長いＶＪチェーンで画像全体にわたって顔面検出を実行するのと同じ品質の結果をより効果的に提供することができる。
顔面検出器についてのさらなる改善も、他の実施形態において実行される。たとえば、輝度の小さな変化によって顔面検出ができなくなったり、いくらかの不安定な検出挙動が引き起こされたりするといった、顔面検出が輝度状態に非常に依存する事実に基づいて、他の実施形態においては、確認された顔面領域１４５が用いられて、解析されるべき画像の関心の領域を所望のパラメータの状態にするために輝度補正が実行された、後続的に取得されるサブサンプル画像の領域を識別する。このような補正の一例は、確認された顔面領域１４５によって特定されるサブサンプル画像の領域内の輝度コントラストを改善することである。
特に、画像の使用可能なデータが近いコントラスト値によって表わされている場合に、コントラスト強調が画像の局部コントラストを増加するために用いられる。この調整を通して、ヒストグラムで表わされた場合における領域の画素の明度は、そうでなければ近接した分布によって表わされるが、よりよく分布され得る。これは、より低い局部コントラストの領域について、全体のコントラストに影響をおよぼすことなく、より高いコントラストを得ることができる。ヒストグラム等価は、最頻出明度値を効果的に展開することによってこれを達成する。
本方法は、背景および近景が両方とも明るいまたは両方とも暗い画像に有用である。特に、本方法は、露出過度または露出不足の写真において、よりよい詳細を導き得る。
代替的に、この輝度補正は、生成器１１５における「調整された」インテグラルイメージの演算に含まれ得る。
他の改善ににおいては、顔面検出が用いられる場合、カメラアプリケーションは、顔面検出が顔をロックするまで、演算されたデフォルトからより高い値まで露出を動的に修正するように（フレームからフレームへ、わずかに場面を過露出にするように）設定される。
上述のシステムのための効率を改善するさらなる実施形態も実現される。たとえば、顔面検出アルゴリズムは、典型的に、異なる方向：０°、９０°、１８０°および２７０°における写真における顔を検出するための方法を採用するか、あるいはそのような分類器を使用する。カメラには、図１に図示されるように、方向センサ１７０が設けられ得る。これは、カメラが縦にされているか、逆さにされているか、あるいは、時計回り方向または反時計回り方向に傾けられているかを判定するためのハードウェアセンサを含み得る。あるいは、方向センサは、画像取得ハードウェア１０５，１１０、またはカメラメモリ１４０もしくは画像記憶１５０のいずれかに接続され、画像がポートレートモードもしくは景色モードのいずれで取得されたか、およびカメラが時計回り方向もしくは反時計回り方向のいずれに傾いているかを迅速に判定するための画像解析モジュールを含み得る。
一旦この決定がなされると、カメラ方向が、顔面検出器１２０，１２１の一方もしくは双方に供給され得る。検出器は、決定されたカメラ方法で取得された画像内の顔がありそうな方向に従って顔面検出を適用し得る。この特徴は、たとえば顔を検出しそうもない分類器の採用を防止することによって、顔面検出処理オーバーヘッドを大幅に低減したり、所与の方向において顔をより検出しそうな分類器をより多く実行することによって、その精度を増加させたりすることを可能にする。
分類器チェーン
図２ａ〜図２ｃは、人の全顔面、右側が遮蔽された顔面、および左側が遮蔽された顔面を示す。図２ａは、左目２０１、右目２０２、鼻２０３の前部、目の間の空間２０４、鼻筋２０５、唇２０７、鼻と唇との間の空間２０６、左頬２０８、および右頬２０９を有する全顔面２００を表している。
図２ｂは、図２ａと類似しているが、顔の左側を覆う遮蔽２１０を有している顔を表している。図１に記載したようなシステムによって取得されるデジタル画像の状況において、遮蔽２１０は、人の髪や他の顔、または顔を遮蔽する任意の物体であり得る。この開示を通して、図２ｂのような顔の右部分を覆う遮蔽２１０を有する顔は、左顔面もしくは左側顔面と称する。図２ｃは、図２ａと類似しているが、顔の右側を覆う遮蔽２２０を有している顔を表している。この開示を通して、図２ｃのような顔の左部分を覆う遮蔽２２０を有する顔は、右顔面もしくは右側顔面と称する。
図３ａ〜図３ｆは、全顔面分類器チェーンのグラフィック表示、および全顔面の図に適用されたそれら全顔面検出器のグラフィック表示を示す。本発明の技術は、分類器のチェーンの第１の分類器を画像のウィンドウに適用して、そのウィンドウが全顔面を示す第１の特徴を含んでいるか否かを決定することを含む。その決定は、２進数であり、かつ「合格（pass）」もしくは「不合格（fail）」を生成するのみである。あるいは、決定は、顔を含むウィンドウの確率を生成し、その場合には、その確率がしきい値を上回るかまたは下回るかによって、「合格」もしくは「不合格」が決定され得る。「合格」もしくは「不合格」は、チェーン内の単一の分類器に基づくのと対照的に、複数の分類器の結果を加算することによって決定されてもよい。
ウィンドウが分類器に「合格」であった場合には、分類器の特徴がウィンドウ内で検出され、ウィンドウが分類器に「不合格」であった場合には、特徴はウィンドウ内では検出されない。ウィンドウが第１の特徴を含んでいない場合は、ウィンドウが顔を含んでいないとして識別することができ、ウィンドウに対する追加の分類器の適用は必要とされない。ウィンドウが第１の分類器の特徴を含んでいる場合は、第２の分類器がウィンドウに適用されて、ウィンドウが顔を示す第２の特徴を含むか否かが判断される。ウィンドウが第２の特徴を含んでいない場合は、画像が顔を含んでいないとして識別することができ、ウィンドウに対する追加の分類器の適用は必要とされない。ウィンドウが第２の特徴を含んでいる場合は、第３の分類器がウィンドウに適用され得る。このプロセスは、ウィンドウが顔を含む高い確率のウィンドウを示すように十分分類器に合格するまで、あるいは、ウィンドウが分類器に不合格となり、ウィンドウが顔を含まないことを示すまで、それ自身を繰り返し得る。典型的に、分類器チェーンの各後続の分類器は、以前に適用された分類器とは異なる特徴、より多くの特徴、または、特徴のより正確なインスタンスを検出する。チェーンの早期において、最も低い精度が要求される最も単純な分類器を適用することによって、顔を含まないそれらのウィンドウを、より洗練されかつより正確な分類器の適用が必要とされる演算処理を必要とせずに、即座に識別しかつ排除することができる。用いられる分類器の数および種類は、本技術分野において公知である機械学習技術（machine-training technique）によって決定され得る。
ウィンドウ内における顔を示す特徴の例は、目に対応するウィンドウ内の領域が目の下部の領域よりも暗いことである。図３ａは、そのような特徴を検出するための可能性のある第１の分類器のグラフィック表示であり、図３ｂは、全顔面を有するウィンドウに第１の分類器を提供したもののグラフィック表示を示す。
図３ｃは、ウィンドウが図３ａに示される第１の分類器に合格した場合に、画像のウィンドウに適用され得る可能性のある第２の分類器のグラフィック表示である。図３ｃにおける分類器は、目に対応する領域が目と目の間の領域よりも暗いか否かを判断し、それが顔を示す第２の特徴である。図３ｄは、全顔面を有するウィンドウに適用された図３ｃにおける分類器のグラフィック表現を示す。図３ｅは、ウィンドウが図３ａおよび図３ｃの分類器に合格した場合にウィンドウに適用され得る、より複雑でより正確な分類器のグラフィック表示を示す。図３ｆは、全顔面を有するウィンドウに適用された図３ｅの分類器を示す。
インテグラルイメージから、画像の矩形領域内における画素値の合計が、４つのアレイ基準を用いて演算され得る。たとえば、図３ｇは、図３ａに示されるのと同じ分類器の拡大されたグラフィック表示である。Ｐ１の値は、点Ｐ１の上方およびその左（すなわち、ボックスＢ１）の画素値の合計を表わしている。Ｐ２の値は、点Ｐ２の上方およびその左（すなわち、ボックスＢ１およびＢ２）の画素値の合計を表わしている。Ｐ３の値は、点Ｐ３の上方およびその左（すなわち、ボックスＢ１およびＢ３）の画素値の合計を表わしている。Ｐ４の値は、点Ｐ４の上方およびその左（すなわち、ボックスＢ１、Ｂ２、Ｂ３および領域３２０）の画素値の合計を表わしている。したがって、領域３２０内の画素値の合計は、４つの基準点Ｐ１，Ｐ２，Ｐ３，Ｐ４から、領域３２０合計＝Ｐ４＋Ｐ１−（Ｐ２＋Ｐ３）の式によって計算することができる。画素値の合計は、領域３１０について、基準点Ｐ３，Ｐ４，Ｐ５，Ｐ６から同様に計算することができる。
ルックアップテーブルを用いて、ウィンドウが顔を含む確率は、領域３２０と領域３１０との間の輝度差に基づいて決定することができる。決定された確率は、ウィンドウが、分類器または分類器のチェーンに合格するかもしくは不合格になるかを決定するために用いられ得る。
図４ａ〜図４ｆは、左顔面分類器のチェーンのグラフィック表示、および全顔面の図に適用されたそれらの左顔面分類器のグラフィック表示を示す。左顔面分類器は、図３ａ〜図３ｆの分類器に対して説明された同様の態様で、ウィンドウに適用することができるが、全顔面を示す特徴の検出に代えて、分類器は左顔面を示す特徴を検出している。たとえば、左顔面を含む画像において、目の一部に対応する画像の領域は、目の下部に対応する画像の領域よりも暗くなる。図４ａは、そのような特徴を検出するための分類器のグラフィック表示であり、図４ｂは、全顔面に適用された図４ａの分類器のグラフィック表示である。図４ｃおよび図４ｅは、さらなる特徴の存在を検出するための分類器の例を示し、図４ｄおよび図４ｆは、全顔面に適用されたそれらの分類器のグラフィック表示を示す。
図５ａ〜図５ｃは、左顔面を有するウィンドウ、全顔面を有するウィンドウ、および右顔面を有するウィンドウに適用された左顔面分類器のグラフィック表示を示す。左顔面分類器は、ウィンドウ内に、頬に対応する明るい領域の上方の目に対応する暗い領域の存在を検出する。図５ａにおいては、左顔面検出器は、左顔面を有するウィンドウに適用され、そのような場合には、ウィンドウ内にその特徴が存在することを示す分類器に合格するであろう。図５ｂのように、分類器が全顔面に適用された場合は、その特徴が全顔面においても存在するので、ウィンドウはまた合格する。しかしながら、左顔面分類器が右顔面に適用された場合、そのウィンドウ内にその特徴が存在しないので、ウィンドウは不合格になる。したがって、ウィンドウが左顔面分類器のチェーンに合格した場合は、ウィンドウが左顔面または全顔面のいずれかを含むと判断され得る。ウィンドウが左顔面分類器のチェーンに不合格になった場合は、ウィンドウが右顔面を含むか、または顔を含まないかのいずれかと判断され得る。
図４および図５に関連して説明された原理は、右顔面分類器のチェーンにも適用することができる。ウィンドウが右顔面分類器のチェーンに合格した場合、ウィンドウは右顔面または全顔面のいずれかを含む。ウィンドウが右顔面分類器のチェーンに不合格となった場合は、ウィンドウが左顔面を含むか、または顔を含まないかのいずれかである。
図６ａ〜図６ｄは、互いにミラー分類器である、左顔面分類器および右顔面分類器のグラフィック表示を示す。右顔面ミラー分類器は、左顔面分類器と同じ特徴を検出するが、顔の逆側に対応するであろうウィンドウの逆側についての特徴を検出する。たとえば、図６ａの左顔面分類器は、ウィンドウの左側についての明るい領域の上方の、ウィンドウの左側についての暗い領域を検出し、それは左目および左頬を示し、したがって左顔面を示す。図６ｂの分類器は、図６ａの分類器のミラーである。図６ｂの分類器は、ウィンドウの右側についての明るい領域の上方の、ウィンドウの右側についての暗い領域を検出し、それは右目および右頬を示し、したがって右顔面を示す。図６ｃは、図６ｄによって図示される右顔面分類器のミラー分類器である、他の左顔面分類器を示す。図６ｂおよび図６ｄにおける分類器は、垂直の対称軸６１０にわたって反転された図６ａおよび図６ｃの分類器として見ることができる。
分類器のデータ構造
以下は、ハールおよびセンサス分類器についてのデータ構造の例である。

typedef struct CensusFeature
{
INT32 threshold;
UINT8 type;
UINT8 x, y;
const INT 16* lut;
BOOL bSymetric;
} CensusFeature;

typedef struct HaarFeature
{
INT32 threshold;
UINT8 type;
UINT8 x, y, dx, dy, shift;
const INT 16* lut;
BOOL bSymetric;
} HaarFeature;

その構造において、「threshold」は、領域が、分類器または分類器のチェーンに合格するかもしくは不合格となるかを決定するために用いられるしきい値を表わす。
構造において、「type」は、検出される特徴のタイプを表わす。たとえば図３ａに示される特徴はＨａａｒ２垂直（Haar2 vertical）と称され、図３ｃに示される特徴はＨａａｒ３水平（Haar3 horizontal）と称され得る。検出される特徴のタイプは、分類器がどのようにウィンドウに適用されるかを決定する。たとえば、水平型分類器は、図３ｃのように、輝度差が左側領域と右側領域との間で検出されていることを示し、一方、垂直型分類器は、図３ａにように、輝度差が上部領域と下部領域との間で検出されていることを示す。
構造において、「ｘ」および「ｙ」は、基礎顔面サイズにおける特徴の上方向、左方向の座標を表わす。たとえば、図３ｇを参照して、座標（ｘ，ｙ）は点Ｐ１の座標である。
構造において、「ｄｘ」および「ｄｙ」は、基礎顔面サイズにおける特徴の寸法を表わす。たとえば、図３ｇを参照して、ｄｘは点Ｐ２のｘ座標と点Ｐ１のｘ座標との間の差であり、ｄｙは点Ｐ５のｙ座標と点Ｐ１のｙ座標との差である。
構造において、「lut」は、顔を示している検出された輝度差の確率を含むルックアップテーブルを識別する。
構造において、「bSymetric」は、分類器がミラー分類器を有するか否かを特定するために用いられるブール値（真／偽）を表わす。
bSymetricの値が、ミラー分類器が存在することを示している場合は、ミラー分類器は、ミラー分類器のｘ座標についての新しい値を決定することによって適用することができる。ｙ，ｄｘ，ｄｙ，threshold，lut、およびtypeの値は、分類器およびその分類器のミラー分類器について同じである。ｘの新しい値（以下、「ｘ’」と称する。）は、公知の変数を用いて決定することができる。たとえば、図６ｂに示されるように、図６ａに示される特徴からの基礎顔面サイズ６１１、ｘ座標６１２、およびｄｘ６１３を用いて、ｘ’は、
ｘ’＝基礎顔面サイズ−ｘ−ｄｘ
として計算することができる。他のミラー分類器を決定するために用いられる計算は、図６ｂについて示された計算とは異なっていてもよいが、その計算は、典型的に、加算および減算のみを含み、それによって迅速に実行することができる。
本発明の実施形態の一局面は、図１に示されるようにもののような携帯デジタル画像取得装置などについて、メモリ内に複数の分類器を記憶し、本発明の実施形態の技術を用いて、その複数の分類器についてのミラー分類器を決定することを含み、それは分類器とミラー分類器の双方を記憶するのとは対照的である。本発明の特定の実施形態の技術は、オンボードメモリ空間を節約し、必要とされる機能が主に基本的算術を含むので迅速に実行することができる。
方法例
本発明の特定の実施形態の技術は、画像のウィンドウ内において顔を識別するための方法を含み、その方法は、デジタル画像を取得するステップと、そのデジタル画像に基づいてインテグラルイメージを演算するステップと、１つまたはより多くの分類器の第１のチェーンをインテグラルイメージに適用してウィンドウが顔の第１の部分を含むか否かを決定するステップと、１つまたはより多くの分類器の第２のチェーンをインテグラルイメージに適用してウィンドウが顔の第２の部分を含むか否かを決定するステップと、顔の第１の部分の存在または不存在、および顔の第２の部分の存在または不存在に少なくとも一部基づいて、ウィンドウが、顔を含まないか、部分的な顔を含むか、または全顔面を含むかを決定するステップとを備える。本発明のいくつかの実施形態においては、第２のチェーンの１つまたはより多くの分類器は、第１のチェーンの１つまたはより多くの分類器のミラー分類器である。本発明のいくつかの実施形態においては、分類器の第１のチェーンは、ウィンドウが左顔面を含むか否かを決定するためのものであり、分類器の第２のチェーンは、ウィンドウが右顔面を含むか否かを決定するためのものである。本発明のいくつかの実施形態においては、方法は、さらに、分類器の第３のチェーンを適用して、顔の第１の部分の存在または不存在および顔の第２の部分の存在または不存在に少なくとも一部基づいた決定の検証を行なうステップを備える。本発明のいくつかの実施形態においては、分類器の第３の組は、ウィンドウが全顔面を含むか否かを決定するためのものである。
図７は、本発明の技術を具現化する方法のフロー図である。方法は、デジタル画像を取得するステップ（ブロック７１０）および取得したデジタル画像に基づいてインテグラルイメージを演算するステップ（ブロック７２０）を含む。デジタル画像の取得およびインテグラルイメージの演算は、たとえば、図１において説明されたようなデジタル画像取得システムまたはパーソナルコンピュータのような分離した演算装置によって実行され得る。
１つまたはより多くの左顔面分類器のチェーンが、インテグラルイメージのウィンドウに適用されて、ウィンドウが左顔面を含むか否かを決定する（ブロック７３０）。本発明の実施形態の技術は、デジタル画像を複数の異なるサイズのウィンドウに分割するステップ、および、全体の画像が解析されて任意のウィンドウ内における左顔面の存在を決定するように、１つまたはより多くの分類器をすべてのウィンドウに適用するステップを含む。代替的な実施形態においては、図１のシステムに関して説明されたような、顔面追跡技術が、顔を含んでいそうなウィンドウにのみチェーンが適用されるように、分類器のチェーンを適用するためのウィンドウのサブセットを決定し、それによって、本方法が取得されたデジタル画像に適用され得る速度を向上する。
方法は、１つまたはより多くの右顔面分類器をインテグラルイメージに適用して、ウィンドウが右顔面を含むか否かを決定するステップをさらに含む（ブロック７４０）。右顔面分類器は、図６に関連して言及されたように、左顔面分類器のミラーであり得る。
図３に関連して上述したように、左顔面分類器および右顔面分類器は、以前に用いられた分類器よりもより高い精度を提供する各後続の分類器をチェーン内に有するチェーンとして適用され得る。また、右顔面分類器および左顔面分類器は、インテグラルイメージに連続的にまたは並列に適用され得る。さらに、分類器を連続的に適用する場合は、左顔面分類器が右顔面分類器を適用する前に適用することができ、またその逆であってもよい。
左顔面分類器および右顔面分類器の双方が適用された後、ウィンドウが左顔面も右顔面も含んでいないと判断された場合は、方法は終了する（ブロック７５０にて「Ｎｏ」の経路）。ウィンドウが左顔面も右顔面も含んでいないという判断は、ウィンドウが顔を含んでいないことに対応する。左顔面分類器および右顔面分類器の双方が適用された後、ウィンドウが左顔面、右顔面、または双方を含んでいる場合（ブロック７５０にて「Ｙｅｓ」の経路）は、全顔面分類器のチェーンがウィンドウに適用される（ブロック７６０）。
全顔面分類器のチェーンのウィンドウへの適用は、左顔面分類器および右顔面分類器の適用によってなされた判断を検証するために用いられ得る（ブロック７７０）。たとえば、右顔面分類器のチェーンがウィンドウが右顔面を含むことを示し、かつ左顔面分類器のチェーンがウィンドウが左顔面を含むことを示している場合、全顔面分類器のチェーンの適用は、ウィンドウが全顔面を含むことを示すはずである。（ａ）右顔面分類器のチェーンが、ウィンドウが右顔面を含んでいないことを示している場合、または（ｂ）左顔面分類器のチェーンが、ウィンドウが左顔面を含んでいないことを示している場合のいずれかであれば、全顔面分類器のチェーンの適用は、ウィンドウが全顔面を含まないことを示すはずである。
全顔面分類器のチェーンの適用が、ブロック７３０および７４０でなされた判定を確認した場合（ブロック７７０にて「Ｙｅｓ」の経路）は、方法は終了する。全顔面分類器のチェーンの適用が、ブロック７３０および７４０でなされた判定と矛盾した場合（ブロック７７０にて「Ｎｏ」の経路）は、その矛盾を解消するためにさらなる処理が生じ得る。たとえば、追加的に、通常では演算コストが高価である画像解析アルゴリズムがウィンドウに適用されて、ウィンドウが右顔面、左顔面、または全顔面を含んでいるか、あるいは顔を含まないかを判定する。あるいは、右顔面、左顔面、および全顔面の確率レベルまたは信頼性レベルが比較されて、どれが最も信頼度が高いかを決定する。さらなる処理が矛盾を解決した後、方法は終了する。
ハードウェアの外観
一実施形態によれば、本明細書に記載された技術は、１つまたより多くの特殊目的演算装置によって実現される。特殊目的演算装置は、図１で説明されたデジタル画像取得装置に含めることもできるし、あるいは図１で説明されたデジタル画像取得装置とは分離させてもよい。
特殊目的演算装置は、本技術を実行するように配線接続（hard-wired）されたものであってもよいし、あるいは、本技術を実行するように一貫してプログラムされた１つまたはより多くの特定用途用集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってもよいし、あるいは、ファームウェア、メモリ、他の記憶装置、もしくはその組み合わせ内のプログラム指令に従って本技術を実行するようにプログラムされた１つまたはより多くの汎用ハードウェアプロセッサを含んでもよい。このような特殊目的演算装置は、特注の配線接続ロジック、ＡＳＩＣ、またはＦＰＧＡを、本技術を達成するための特注プログラミングと組み合わせてもよい。特殊目的演算装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯機器、ネットワーク装置、または、本技術を実行するための配線接続および／またはプログラムロジックを含む任意の他の機器であり得る。
たとえば、図８は、本発明の実施形態が実行され得るコンピュータシステム８００を図示するブロック図である。コンピュータシステム８００は、バス８０２または情報を通信するための他の通信機構、および、バス８０２に結合され、情報を処理するためのハードウェアプロセッサ８０４を含む。ハードウェアプロセッサ８０４は、たとえば、汎用マイクロプロセッサであり得る。
コンピュータシステム８００は、バス８０２に結合され、プロセッサ８０４によって実行される情報および指令を記憶するための、ランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶装置のようなメインメモリ８０６も含む。メインメモリ８０６は、プロセッサ８０４によって実行されるべき指令の実行の間、一時的な変数または他の中間情報を記憶するためにも用いられ得る。そのような指令は、プロセッサ８０４によってアクセス可能な記憶媒体に記憶されると、コンピュータシステム８００を、その指令において特定される動作を実行するようにカスタマイズされた特殊目的機械の状態にする。
コンピュータシステム８００は、バス８０２に結合され、プロセッサ８０４のための静的な情報および指令を記憶するための読み取り専用メモリ（ＲＯＭ）または他の静的記憶装置をさらに含む。磁気ディスクまたは光ディスクのような記憶装置８１０が設けられ、バス８０２に結合されて情報および指令を記憶する。
コンピュータシステム８００は、バス８０２を介して、ブラウン管（ＣＲＴ）のようなコンピュータユーザに情報を表示するためのディスプレイ８１２に結合され得る。入力装置８１４は、英数字および他のキーを含み、バス８０２に結合され、プロセッサ８０４へ情報および指示選択を通信する。ユーザ入力装置の他のタイプは、マウス、トラックボール、またはカーソル方向キーのような、プロセッサ８０４への方向情報および指令選択を通信するため、ならびにディスプレイ８１２上のカーソルの動きを制御するためのカーソル制御８１６である。この入力装置は、典型的には、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）の２つの軸の２つの自由度を有し、その装置によって平面状の位置を特定することができる。
コンピュータシステム８００は、コンピュータシステムと結合してコンピュータシステム８００を特殊目的機械にし、またはプログラムする、カスタマイズされた配線接続ロジック、１つまたはより多くのＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを用いて、本明細書に記述される技術を実現し得る。一実施形態によれば、本明細書の技術は、メインメモリ８０６に含まれる１つまたはより多くの指令の１つまたはより多くのシーケンスを実行するプロセッサ８０４に応答して、コンピュータシステム８００によって実行される。そのような指令は、記憶装置８１０のような他の記憶媒体からメインメモリ８０６内に読み込まれ得る。メインメモリ８０６に含まれる指令のシーケンスの実行によって、プロセッサ８０４は、本明細書で記述されたプロセスステップを実行する。代替的な実施形態においては、配線接続回路が、ソフトウェア指令に代えて、またはそれと結合して用いられ得る。
本明細書で用いられる語句「記憶媒体」は、機械を特定の方法で動作させるデータおよび／または指令を記憶する任意の媒体を称する。このような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、たとえば、記憶装置８１０のような光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ８０６のようなダイナミックメモリを含む。記憶装置の一般的な形体は、たとえば、フロッピディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。
記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられ得る。伝送媒体は、記憶媒体間における情報の伝送に関与する。たとえば、伝送媒体は、同軸ケーブル、銅線および光ファイバを含み、バス８０２を含む配線を含んでいる。伝送媒体は、無線通信および赤外線通信の間に生成されるもののような、音波または光波の形体もとることができる。
さまざまな形体の媒体が、１つまたはより多くの指令の１つまたはより多くのシーケンスを、実行のためにプロセッサ８０４に搬送することに関与し得る。たとえば、指令は、最初に、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上に搬送され得る。リモートコンピュータは、その指令をダイナミックメモリ内に読み込み、モデムを用いて電話回線によってその指令を送信し得る。コンピュータシステム８００にローカル接続されるモデムは、電話回線上のデータを受信し、赤外線通信器を用いてそのデータを赤外線信号に変換し得る。赤外線検出器は、赤外線信号で搬送されたデータを受信し、適切な回路がそのデータをバス８０２上に配置し得る。バス８０２は、そのデータをメインメモリ８０６へ搬送し、そこからプロセッサ８０４が指令を抽出して実行する。メインメモリ８０６によって受信された指令は、任意的に、プロセッサ８０４による実行の前または後のいずれかにおいて、記憶装置８１０上に記憶され得る。
コンピュータシステム８００は、バス８０２に結合された通信インターフェース８１８も含む。通信インターフェース８１８は、ローカルネットワーク８２２に接続されるネットワークリンク８２０に結合する二方向データ通信を提供する。たとえば、通信インターフェース８１８は、統合デジタル通信網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または、電話回線に対応するタイプへのデータ通信接続を提供するモデムであり得る。他の例として、通信インターフェース８１８は、ローカルエリアネットワーク（ＬＡＮ）カードであり、互換ＬＡＮへのデータ通信接続を提供する。ワイヤレスリンクが実現されてもよい。このような任意の実行例において、通信インターフェース８１８は、さまざまなタイプの情報を表すデジタルデータストリームを搬送する、電気的信号、電磁的信号、または光学的信号を送受信する。
ネットワークリンク８２０は、典型的に、１つまたはより多くのネットワークを通して、他のデータ装置へのデータ通信を提供する。たとえば、ネットワークリンク８２０は、ローカルネットワーク８２２を通して、ホストコンピュータ８２４、または、インターネットサービスプロバイダ（ＩＳＰ）８２６によって動作されるデータ機器への接続を提供し得る。ＩＳＰ８２６は、次に、現在一般的に「インターネット」８２８と称される、ワールドワイドパケットデータ通信ネットワークを通して、データ通信サービスを提供する。ローカルネットワーク８２２およびインターネット８２８の双方は、デジタルデータストリームを搬送する電気的信号、電磁的信号、または光学的信号を用いる。さまざまなネットワークを通る信号、ならびに、ネットワークリンク８２０上および通信インターフェース８１８を通る信号は伝送媒体の例示の形体であり、コンピュータシステム８００へおよびコンピュータシステム８００からデジタルデータを搬送する。
コンピュータシステム８００は、ネットワーク、ネットワークリンク８２０、および通信インターフェース８１８を通して、プログラムコードを含む、メッセージを送信しデータを受信することができる。インターネット例においては、サーバ８３０が、インターネット８２８、ＩＳＰ８２６、ローカルネットワーク８２２、および通信インターフェース８１８を通して、アプリケーションプログラムのために要求されたコードを伝達し得る。
受信されたコードは、受信された通りにプロセッサ８０４によって実行され、および／または、後の実行のために、記憶装置８１０もしくは他の不揮発性記憶装置に記憶され得る。
拡張および代替案
本説明においては、特定の処理ステップが特定の順序で記載されるが、英字および英数字のラベルが、特定のステップを識別するために用いられてもよい。本説明において特に述べられていなければ、本発明の実施形態は、そのようなステップを特定の順序で実行することに必ずしも限定されない。特に、ラベルは単にステップの識別を容易にするために用いられ、そのようなステップを特定の順序で実行することを具体化し、または要求することを意図したものではない。
上記の明細書においては、本発明の実施形態は、実行例ごとに変化し得る多くの具体的な詳細に関して述べられた。したがって、何が本発明であるか、および出願人によって何が本発明であるかが意図されているかの唯一かつ排他的な指標は、そのような請求項が発行される特定の形式で、本出願から発行される後続の補正を含む請求項の組である。そのような請求項に含まれる語句について、本明細書で明示的に記載される任意の定義は、請求項において用いられるようなそのような語句の意味を支配するものである。そのため、請求項に明示的には記載されていない限定、要素、特性、特徴、利点、または特質は、いかなる方法でも、そのような請求項の範囲を限定すべきものではない。明細書および図面は、したがって、制限の意味ではなく例示として見なされるべきである。
本発明の背景および要約のセクションに加えて、本明細書で上記のように引用された全ての参照は、代替的な実施形態および要素、ならびに特定の実施形態に関する詳細を開示するものとして、実施形態の詳細な説明に参照として含まれる。以下のものも、これらの目的のために参照により引用される。米国特許出願番号１２／４７９，５９３、１２／３６２，３９９、１２／１１６，１４０、１２／３５４，７０７、１２／０４２，１０４、１１／７６１，６４７、１１／５５４，５３９、１１／４６４，０８３、１１／０２７，００１、１０／８４２，２４４、１１／０２４，０４６、１１／２３３，５１３、１１／４６０，２１８、１１／５７３，７１３、１１／３１９，７６６、１１／４６４，０８３、１１／７４４，０２０、１１／７６７，４１２、１０／７６３，８０１、１１／５７３，７１３、１２／０４２，１０４、１１／８５９，１６４、１２／０２６，４８４、１１／８６１，８５４、および１１／４６０，２１８。米国特許出願公開番号２００８／００１３７９８、２００８／００３１４９８、２００６／０２８５７５４、２００６／０１４０４５５、２００６／０１２０５９９、２００６／００３９６９０、２００８／０２８５７５４、２００７／０１８９７４８、２００７／０２６９１０８、２００８／０１７５４８１、および２００５／００６８４５２。米国特許７，５５１，７５５、７，５５１，７５４、７，４７１，８４６、７，４６９，０５５、７，４７４，３４１、７，４６６，８６６、７，５１５，７４０、７，３１５，６３１、７，４０３，６４３、７，４６０，６９４、および７，４６０，６９５。

Claims (30)

  1. 方法であって、
    画像への１つまたはより多くの左顔面分類器の適用に少なくとも一部基づいて、左顔面確率を決定するステップと、
    前記画像への１つまたはより多くの右顔面分類器の適用に少なくとも一部基づいて、右顔面確率を決定するステップと、
    前記左顔面確率および前記右顔面確率の双方に少なくとも一部基づいて、（ａ）前記画像が全顔面を含むこと、（ｂ）前記画像が右顔面を伴わない左顔面を含むこと、（ｃ）前記画像が左顔面を伴わない右顔面を含むこと、または（ｄ）前記画像が顔を含まないことを決定するステップとを備え、
    前記ステップは、自動化された装置によって実行される、方法。
  2. 前記画像が全顔面を含むことを決定するステップは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超える前記右顔面確率によって、全顔面を予め含むことを決定するステップと、
    前記画像への全顔面分類器の適用から肯定的な結果を受信することによって、前記画像が全顔面を含むことを検証するステップとを含む、請求項１に記載の方法。
  3. 前記画像が右顔面を伴わない左顔面を含むことを決定するステップは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、右顔面を伴わない左顔面を予め含むことを決定するステップと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証するステップとを含む、請求項１に記載の方法。
  4. 前記画像が顔を含まないことを決定するステップは、
    前記画像が、第１の特定のしきい値を超えない前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、顔を予め含まないことを決定するステップと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証するステップとを含む、請求項１に記載の方法。
  5. 前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定するステップと、
    前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定するステップの結果に応答して、前記画像に対して追加の分析を実行して、前記画像が左顔面のみを含むか否か、右顔面のみを含むか否か、全顔面を含むか否か、または顔を含まないか否かを決定するステップをさらに備える、請求項１に記載の方法。
  6. 少なくとも１つの前記左顔面分類器に基づいて、少なくとも１つの前記右顔面分類器を計算するステップをさらに備える、請求項１に記載の方法。
  7. 前記画像内に、特定の割合の肌色の画素を少なくとも含む領域を識別するステップをさらに備え、
    前記画像への１つまたはより多くの前記左顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記左顔面分類器の適用からなり、
    前記画像への１つまたはより多くの前記右顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記右顔面分類器の適用からなる、請求項１に記載の方法。
  8. 前記画像は、第１の画像であり、
    前記方法は、
    前記第１の画像内に、顔の少なくとも一部を含む領域の識別後に、顔面検出アルゴリズムのパラメータを、前記第１の画像とは異なる第２の画像へ前記顔面検出アルゴリズムを提供する前に、前記領域内の画素の輝度特性に基づいて調整するステップをさらに備える、請求項１に記載の方法。
  9. 前記左顔面分類器および前記右顔面分類器の適用が、前記画像内に顔の少なくとも一部の検出する結果をもたらすまで、時間とともにカメラの露出を徐々に調整するステップをさらに備える、請求項１に記載の方法。
  10. 前記画像への１つまたはより多くの前記左顔面分類器の適用に少なくとも一部基づいて前記左顔面確率を決定するステップは、
    前記画像内に第１の特徴の存在を検出するように設計された第１の左顔面分類器を、前記画像に対して適用するステップと、
    前記第１の左顔面分類器が前記画像内に前記第１の特徴の存在を検出したことを示す結果を、前記第１の左顔面分類器が返した場合にのみ、前記画像内に前記第１の特徴とは異なる第２の特徴の存在を検出するように設計された第２の左顔面分類器を、前記画像に適用するステップとを含み、
    前記第１の左顔面分類器の適用は、前記第２の左顔面分類器の適用よりも、演算コストが高くない、請求項１に記載の方法。
  11. １つまたはより多くのプロセッサによって実行されると、前記プロセッサに以下のステップを実行させる指令を記憶する、揮発性または不揮発性のコンピュータ読み取り可能記憶媒体であって、
    前記ステップは、
    画像への１つまたはより多くの左顔面分類器の適用に少なくとも一部基づいて、左顔面確率を決定するステップと、
    前記画像への１つまたはより多くの右顔面分類器の適用に少なくとも一部基づいて、右顔面確率を決定するステップと、
    前記左顔面確率および前記右顔面確率の双方に少なくとも一部基づいて、（ａ）前記画像が全顔面を含むこと、（ｂ）前記画像が右顔面を伴わない左顔面を含むこと、（ｃ）前記画像が左顔面を伴わない右顔面を含むこと、または（ｄ）前記画像が顔を含まないことを決定するステップとを備える、コンピュータ読み取り可能記憶媒体。
  12. 前記画像が全顔面を含むことを決定するステップは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超える前記右顔面確率によって、全顔面を予め含むことを決定するステップと、
    前記画像への全顔面分類器の適用から肯定的な結果を受信することによって、前記画像が全顔面を含むことを検証するステップとを含む、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  13. 前記画像が右顔面を伴わない左顔面を含むことを決定するステップは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、右顔面を伴わない左顔面を予め含むことを決定するステップと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証するステップとを含む、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  14. 前記画像が顔を含まないことを決定するステップは、
    前記画像が、第１の特定のしきい値を超えない前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、顔を予め含まないことを決定するステップと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証するステップとを含む、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  15. 前記ステップは、
    前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定するステップと、
    前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定するステップの結果に応答して、前記画像に対して追加の分析を実行して、前記画像が左顔面のみを含むか否か、右顔面のみを含むか否か、全顔面を含むか否か、または顔を含まないか否かを決定するステップをさらに備える、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  16. 前記ステップは、
    少なくとも１つの前記左顔面分類器に基づいて、少なくとも１つの前記右顔面分類器を計算するステップをさらに備える、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  17. 前記ステップは、
    前記画像内に、特定の割合の肌色の画素を少なくとも含む領域を識別するステップをさらに備え、
    前記画像への１つまたはより多くの前記左顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記左顔面分類器の適用からなり、
    前記画像への１つまたはより多くの前記右顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記右顔面分類器の適用からなる、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  18. 前記画像は、第１の画像であり、
    前記ステップは、
    前記第１の画像内に、顔の少なくとも一部を含む領域の識別後に、顔面検出アルゴリズムのパラメータを、前記第１の画像とは異なる第２の画像へ前記顔面検出アルゴリズムを提供する前に、前記領域内の画素の輝度特性に基づいて調整するステップをさらに備える、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  19. 前記ステップは、
    前記左顔面分類器および前記右顔面分類器の適用が、前記画像内に顔の少なくとも一部の検出する結果をもたらすまで、時間とともにカメラの露出を徐々に調整するステップをさらに備える、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  20. 前記画像への１つまたはより多くの前記左顔面分類器の適用に少なくとも一部基づいて前記左顔面確率を決定するステップは、
    前記画像内に第１の特徴の存在を検出するように設計された第１の左顔面分類器を、前記画像に対して適用するステップと、
    前記第１の左顔面分類器が前記画像内に前記第１の特徴の存在を検出したことを示す結果を、前記第１の左顔面分類器が返した場合にのみ、前記画像内に前記第１の特徴とは異なる第２の特徴の存在を検出するように設計された第２の左顔面分類器を、前記画像に適用するステップとを含み、
    前記第１の左顔面分類器の適用は、前記第２の左顔面分類器の適用よりも、演算コストが高くない、請求項１１に記載のコンピュータ読み取り可能記憶媒体。
  21. 画像取得および記憶モジュールと、
    画像への１つまたはより多くの左顔面分類器の適用に少なくとも一部基づいて、左顔面確率を決定する左顔面分類器モジュールと、
    前記画像への１つまたはより多くの右顔面分類器の適用に少なくとも一部基づいて、右顔面確率を決定する右顔面分類器モジュールと、
    前記左顔面確率および前記右顔面確率の双方に少なくとも一部基づいて、（ａ）前記画像が全顔面を含むこと、（ｂ）前記画像が右顔面を伴わない左顔面を含むこと、（ｃ）前記画像が左顔面を伴わない右顔面を含むこと、または（ｄ）前記画像が顔を含まないことを決定する、画像ラベリングモジュールとを備える、デジタルカメラ。
  22. 前記画像が全顔面を含むことを決定することは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超える前記右顔面確率によって、全顔面を予め含むことを決定することと、
    前記画像への全顔面分類器の適用から肯定的な結果を受信することによって、前記画像が全顔面を含むことを検証することとを含む、請求項２１に記載のデジタルカメラ。
  23. 前記画像が右顔面を伴わない左顔面を含むことを決定することは、
    前記画像が、第１の特定のしきい値を超える前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、右顔面を伴わない左顔面を予め含むことを決定することと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証することとを含む、請求項２１に記載のデジタルカメラ。
  24. 前記画像が顔を含まないことを決定することは、
    前記画像が、第１の特定のしきい値を超えない前記左顔面確率および第２の特定のしきい値を超えない前記右顔面確率によって、顔を予め含まないことを決定することと、
    前記画像への全顔面分類器の適用から否定的な結果を受信することによって、前記画像が全顔面を含まないことを検証することとを含む、請求項２１に記載のデジタルカメラ。
  25. （ａ）前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定し、（ｂ）前記画像への前記左顔面分類器および前記右顔面分類器の適用の結果が、前記画像への全顔面分類器の適用の結果と矛盾することを決定することの結果に応答して、前記画像に対して追加の分析を実行して、前記画像が左顔面のみを含むか否か、右顔面のみを含むか否か、全顔面を含むか否か、または顔を含まないか否かを決定する解析モジュールをさらに備える、請求項２１に記載のデジタルカメラ。
  26. 少なくとも１つの前記左顔面分類器に基づいて、少なくとも１つの前記右顔面分類器を計算する、分類器生成モジュールをさらに備える、請求項２１に記載のデジタルカメラ。
  27. 前記画像内に、特定の割合の肌色の画素を少なくとも含む領域を識別する色調識別モジュールをさらに備え、
    前記画像への１つまたはより多くの前記左顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記左顔面分類器の適用からなり、
    前記画像への１つまたはより多くの前記右顔面分類器の適用は、前記領域のみへの１つまたはより多くの前記右顔面分類器の適用からなる、請求項２１に記載のデジタルカメラ。
  28. 前記画像は、第１の画像であり、
    前記デジタルカメラは、
    前記第１の画像内に、顔の少なくとも一部を含む領域の識別後に、顔面検出アルゴリズムのパラメータを、前記第１の画像とは異なる第２の画像へ前記顔面検出アルゴリズムを提供する前に、前記領域内の画素の輝度特性に基づいて調整するアルゴリズム調整器をさらに備える、請求項２１に記載のデジタルカメラ。
  29. 前記左顔面分類器および前記右顔面分類器の適用が、前記画像内に顔の少なくとも一部の検出する結果をもたらすまで、時間とともにカメラの露出を徐々に調整する露出調整モジュールをさらに備える、請求項２１に記載のデジタルカメラ。
  30. 前記画像への１つまたはより多くの前記左顔面分類器の適用に少なくとも一部基づいて前記左顔面確率を決定することは、
    前記画像内に第１の特徴の存在を検出するように設計された第１の左顔面分類器を、前記画像に対して適用することと、
    前記第１の左顔面分類器が前記画像内に前記第１の特徴の存在を検出したことを示す結果を、前記第１の左顔面分類器が返した場合にのみ、前記画像内に前記第１の特徴とは異なる第２の特徴の存在を検出するように設計された第２の左顔面分類器を、前記画像に適用することとを含み、
    前記第１の左顔面分類器の適用は、前記第２の左顔面分類器の適用よりも、演算コストが高くない、請求項２１に記載のデジタルカメラ。
JP2012516781A 2009-06-29 2010-06-29 半顔面検出のための方法および装置 Pending JP2012530994A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22145509P 2009-06-29 2009-06-29
US61/221,455 2009-06-29
PCT/EP2010/059228 WO2011000841A1 (en) 2009-06-29 2010-06-29 Methods and apparatuses for half-face detection

Publications (1)

Publication Number Publication Date
JP2012530994A true JP2012530994A (ja) 2012-12-06

Family

ID=42357432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516781A Pending JP2012530994A (ja) 2009-06-29 2010-06-29 半顔面検出のための方法および装置

Country Status (3)

Country Link
US (1) US8605955B2 (ja)
JP (1) JP2012530994A (ja)
WO (1) WO2011000841A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
CN106919911A (zh) 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US8520089B2 (en) * 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
JP2011060116A (ja) * 2009-09-11 2011-03-24 Fujifilm Corp 画像処理装置
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8405736B2 (en) * 2010-04-07 2013-03-26 Apple Inc. Face detection using orientation sensor data
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
CN103186763B (zh) * 2011-12-28 2017-07-21 富泰华工业（深圳）有限公司 人脸识别系统及方法
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US10298854B2 (en) * 2014-05-30 2019-05-21 Apple Inc. High dynamic range video capture control for video transmission
WO2016057898A1 (en) 2014-10-10 2016-04-14 Idera Pharmaceuticals, Inc. Treatment of cancer using tlr9 agonist with checkpoint inhibitors
KR102413037B1 (ko) 2016-03-15 2022-06-23 메르사나 테라퓨틱스, 인코포레이티드 Napi2b 표적화된 항체-약물 접합체 및 이의 사용 방법
US11135307B2 (en) 2016-11-23 2021-10-05 Mersana Therapeutics, Inc. Peptide-containing linkers for antibody-drug conjugates
TW201834697A (zh) 2017-02-28 2018-10-01 美商梅爾莎納醫療公司 Her2標靶抗體－藥物結合物之組合療法
US10607143B2 (en) * 2017-08-22 2020-03-31 Internatonal Business Machines Corporation Profile data camera adjustment
EP3489719B1 (en) 2017-11-23 2023-09-20 Trimble AB Improved electronic distance meter
EP3717021A1 (en) 2017-11-27 2020-10-07 Mersana Therapeutics, Inc. Pyrrolobenzodiazepine antibody conjugates
WO2019126691A1 (en) 2017-12-21 2019-06-27 Mersana Therapeutics, Inc. Pyrrolobenzodiazepine antibody conjugates
EP3873534A1 (en) 2018-10-29 2021-09-08 Mersana Therapeutics, Inc. Cysteine engineered antibody-drug conjugates with peptide-containing linkers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072770A (ja) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2007047965A (ja) * 2005-08-09 2007-02-22 Fujifilm Corp デジタル画像の対象物検出方法および装置並びにプログラム
JP2007241424A (ja) * 2006-03-06 2007-09-20 Seiko Epson Corp 画像処理装置および画像処理方法
JP2008005081A (ja) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp 認証装置
WO2008107112A2 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Illumination detection using classifier chains

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2404604A (en) 1943-12-29 1946-07-23 Thomas L Taylor Grinding tool guide
US2700104A (en) 1949-04-29 1955-01-18 Airborne Instr Lab Inc Antenna feed system
US2648408A (en) 1949-12-30 1953-08-11 William O Martin Railroad brake slack adjuster
US4210408A (en) 1978-10-30 1980-07-01 Allis-Chalmers Corporation Eccentric pin positive locking device for hydraulic turbine wicket gates
JPS5870217A (ja) 1981-10-23 1983-04-26 Fuji Photo Film Co Ltd カメラブレ検出装置
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6747690B2 (en) 2000-07-11 2004-06-08 Phase One A/S Digital camera with integrated accelerometers
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US20030184671A1 (en) 2002-03-28 2003-10-02 Robins Mark N. Glare reduction system for image capture devices
GB0212367D0 (en) 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
JP4372494B2 (ja) 2003-08-28 2009-11-25 大日本印刷株式会社 画像処理装置、画像処理方法、プログラム、記録媒体
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
JP2005165984A (ja) 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
JP4502645B2 (ja) 2004-01-20 2010-07-14 富士通株式会社 人物画像抽出装置、及びコンピュータプログラム
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
EP1612636A1 (de) 2004-07-01 2006-01-04 Tecnostore AG Verfahren zur Datenarchivierung mit automatischer Ver- und Entschlüsselung
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4642764B2 (ja) 2005-03-10 2011-03-02 富士フイルム株式会社 背景置換装置、背景置換プログラム、および背景置換方法
US20070189609A1 (en) * 2005-03-31 2007-08-16 Fuji Photo Film Co., Ltd. Method, apparatus, and program for discriminating faces
JP4657934B2 (ja) 2006-01-23 2011-03-23 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP4970468B2 (ja) 2006-02-14 2012-07-04 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 画像ぼかし処理
JP4640825B2 (ja) * 2006-02-23 2011-03-02 富士フイルム株式会社 特定向き顔判定方法および装置並びにプログラム
US7551754B2 (en) 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7724952B2 (en) 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
US8971628B2 (en) * 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
GB201711475D0 (en) 2017-07-17 2017-08-30 Castrol Ltd Agricultural machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072770A (ja) * 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2007047965A (ja) * 2005-08-09 2007-02-22 Fujifilm Corp デジタル画像の対象物検出方法および装置並びにプログラム
JP2007241424A (ja) * 2006-03-06 2007-09-20 Seiko Epson Corp 画像処理装置および画像処理方法
JP2008005081A (ja) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp 認証装置
WO2008107112A2 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Illumination detection using classifier chains

Also Published As

Publication number Publication date
WO2011000841A1 (en) 2011-01-06
US8605955B2 (en) 2013-12-10
US20110158547A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP2012530994A (ja) 半顔面検出のための方法および装置
US8861806B2 (en) Real-time face tracking with reference images
WO2020192483A1 (zh) 图像显示方法和设备
US9681040B2 (en) Face tracking for controlling imaging parameters
US8977056B2 (en) Face detection using division-generated Haar-like features for illumination invariance
JP4472781B2 (ja) デジタル画像取得装置におけるリアルタイムの顔探知
US8422739B2 (en) Real-time face tracking in a digital image acquisition device
JP4234195B2 (ja) 画像分割方法および画像分割システム
US8761446B1 (en) Object detection with false positive filtering
US8983202B2 (en) Smile detection systems and methods
KR20190053602A (ko) 얼굴 인증 방법 및 장치
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP4496005B2 (ja) 画像処理方法および画像処理装置
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
US20080199073A1 (en) Red eye detection in digital images
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
CN116167952A (zh) 图像处理方法及电子系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140225