JP2002501234A - 人間の顔の追跡システム - Google Patents

人間の顔の追跡システム

Info

Publication number
JP2002501234A
JP2002501234A JP2000527909A JP2000527909A JP2002501234A JP 2002501234 A JP2002501234 A JP 2002501234A JP 2000527909 A JP2000527909 A JP 2000527909A JP 2000527909 A JP2000527909 A JP 2000527909A JP 2002501234 A JP2002501234 A JP 2002501234A
Authority
JP
Japan
Prior art keywords
image
distribution
face
value
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000527909A
Other languages
English (en)
Other versions
JP2002501234A5 (ja
Inventor
リチャード ユンイャン キアン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2002501234A publication Critical patent/JP2002501234A/ja
Publication of JP2002501234A5 publication Critical patent/JP2002501234A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

(57)【要約】 複数の画素を含む画像を受信し画像内の顔を検出するシステムであり、画像の複数画素は、少なくとも３つの変数の組により表現される。この画像を、少なくとも３つの変数の複数組で画素を３つより少ない数の変数の組に変換することによりフィルタ処理する。３つより少ない数の変数の組は、少なくとも３つの変数の組より明るさに関し依存度が小さい。皮膚の色調を代表する画像領域をフィルタ処理に基づき決定する。第１方向の皮膚の色調を代表する画像領域の第１分布を計算し、第２方向の皮膚の色調を代表する画像領域の第２分布を計算する。第１方向と第２方向は異なる。画像内の顔を第１分布と第２分布に基づき位置決めする。推定した顔位置は、動画フレーム間の顔を追跡するために使用する。

Description

【発明の詳細な説明】
【０００１】発明の背景 本発明は、画像内の人間の顔を位置決めするシステムに関し、さらに詳細には
、動画シーケンス内の人間の顔をリアルタイムで追跡するに適したシステムに関
する。
【０００２】 入力画像から目的対象を検出するために多くのシステムが開発されている。特
に、画像内の人物の顔を検出することは、かなりの重要性を有している。多くの
装置は、画像（又は動画フレーム）が人の顔を含んでいるか、含んでいる場合そ
の顔は画像のどこにあるかを自動的に決定することを利点とする。かような装置
は、例えば、テレビ電話であり、人とコンピュータのインタフェースである。人
とコンピュータのインタフェース（ヒューマンインタフェース）は、顔の場所を
認定し、特定の顔を認定し、顔の表情とジェスチャを理解する。
【０００３】 従来、顔の検出は、一定の目標パターンと複数の候補画像位置との間の類似性
の測度を計算する相関テンプレートに基づく技法を用いて実行されて来た。類似
性の測度のいずれかが或る閾値（しきい値）を超えるならば、“一致（マッチン
グ）”が宣告され、顔が検出されたこととその位置が示される。複数の相関テン
プレートは顔の主な特徴を検出するために用いられる。“視覚に基づく固有空間
（View-based eigen-spaces）”として知られている関連技法は、原画像のベク トル空間のパラメタ化可能な小空間に基づき距離メトリックを規定する。もし距
離メトリックが或る閾値より小さければ、システムは顔を検出したことを知らせ
る。
【０００４】 他の顔検出技法は、顔画像に特有な画像不変値のセットをコンパイルすること
に基づき、空間画像不変値を用いることを含んでいる。入力画像を、全ての位置
におけるこれらの不変画像のポジティブな発生に対して走査して人の顔を認定す
る。
【０００５】 Ｙａｎｇ他は、論文“リアルタイムな顔の追跡装置（A Real-Time Face Track
er）”において、リアルタイムな顔の追跡システムを開示している。このシステ
ムは赤−緑−青（ＲＧＢ）画像を入手し、フィルタ処理して明るさのない“純粋
色”として知られている有彩色（ｒ及びｇ）を得る。赤−緑−青を有彩色に変換
することは、３次元空間（ＲＧＢ）から２次元空間（ｒｇ）に変換することであ
る。有彩色空間中の顔の色分布は１つの小さな領域中に主に群集する。Ｙａｎｇ
他は、皮膚色の分布を詳細に分析し、有彩色空間における異なる照明条件下の異
なる人々の皮膚色の分布は、類似のグァス分布（Guassian distributions）を有
することを確認した。特定の赤−緑−青の画素が顔の色を示す有彩色空間の領域
にマップするかどうかを算定するために、Ｙａｎｇ他は２次元グァスモデル（Gu
assian model）の使用を教示している。ＲＧＢ画像内の画素ごとに２次元グァス
モデル（Guassian model）に基づいて画像の顔領域を決定する。残念ながら、こ
の２次元グァスモデル（Guassian model）は計算量が莫大で、リアルタイムシス
テムを安価にするには適していない。さらに、Ｙａｎｇ他が教示するこのシステ
ムは、単純なトラッキング装置を用いているので、追跡された顔の位置はジッタ
（揺れ）の影響を受け易い。
【０００６】 Eleftheriadis他は、論文“低ビットレートでのテレビ会議シーケンスのモデ ル支援符号化のための顔位置の自動検出及び追跡（Automatic Face Location De
tection and Tracking for Model-Assisted Coding of Video Teleconferencing
Sequences at Low Bit-Rate）”において、顔の位置検出及び追跡するシステム
を教示している。このシステムは、楕円形の注目領域としてモデル化した人間の
頭と肩部のシーケンスを含む動画データに対して特別に設計されている。このシ
ステムは、人の頭部の輪郭が一般に楕円形であり、フレームからフレームへの時
間的な高い相関関係を有していることを前提としている。この前提条件に基づき
、システムは連続フレーム間の差を計算し、結果を閾値と比較して有意の動き領
域を認定し、非ゼロとして示す。楕円形の非ゼロ領域を位置決めて顔領域として
特定する。
【０００７】 残念ながら、Eleftheriadis他の教示するシステムは、計算量が莫大で、リア ルタイムの用途には適しない。さらに、人間の顔の影又は部分的明暗により、楕
円形でない非ゼロ領域を生じ、そのために、このシステムはそのような領域を顔
として識別できない。加えて、人の顔の方位がカメラから離れて人の頭部の輪郭
が楕円形でなくなると、このシステムはその人の頭部を識別できない。また、画
像の背景内にかなりの動きがあると、顔領域は曖昧になる。
【０００８】 Ｈａｇｅｒ他は、論文“幾何学形状及び照明の変化を伴う画像領域のリアルタ
イムトラッキング（Real-Time Tracking of Image Regions with Changes in Ge
ometry and Illumination）”において、ウィンドウ内の画像の明るさを分析す る顔追跡システムを開示している。ウィンドウ内の明るさパターンを、フレーム
間で顔を追跡するために使用する。Ｈａｇｅｒ他の教示によるシステムは、顔の
方位の変化と、部分的明暗と、画像パターンを曖昧にする影の影響を受ける。こ
のシステムは、顔の位置を最初に決定することができない。
【０００９】 従って、望まれているのは、部分的な明暗と影の影響を受けず、顔の方位及び
／又は縮尺の変化にも影響を受けず、さらに照明条件の変化にも影響を受けずに
、キャリブレーションが容易で、顔の当初位置を決定できる顔追跡システムであ
る。さらに、システムはリアルタイムの応用装置に適するように計算が簡単でな
ければならない。
【００１０】発明の要約 本発明は、先行技術の前述の欠点を克服するために、少なくとも３つの変数の
組により各々表現される複数の画素を含む画像を受信して、画像内の顔を検出す
るシステムを提供する。この画像を、少なくとも３つの変数の複数組を各々、３
つより少ない数の変数の組に変換することによりフィルタ処理する。３つより少
ない数の変数の組は、少なくとも３つの変数の組より明るさに関して依存度が小
さい。皮膚の色調（トーン）を代表する画像領域を、フィルタ処理に基づいて決
定する。第１方向の皮膚の色調を代表する画像領域の第１分布を計算し、第２方
向の皮膚の色調を代表する画像領域の第２分布を計算する。ここで、第１方向と
第２方向は互いに異なる。画像内の顔を第１分布と第２分布に基づいて位置を決
定する。
【００１１】 第１分布と第２分布と共に、明るさへの依存度の低い色表現に基づく皮膚色調
領域を決定するシステムを用いることにより、この顔追跡システムは部分的閉鎖
及び影の影響を受けず、顔の方向及び／又は縮尺の変化の影響も受けず、照明条
件の変化にも影響を受けずに、顔の当初位置を決定できる。さらに、第１分布と
第２分布を用いて画像を分割することにより、このシステムは、計算的に単純に
なりリアルタイムの用途に適するようになる。
【００１２】 好適な実施態様において、推定した顔位置を用いて動画フレーム間の顔を追跡
することができる。簡素化のために、顔の動きは、画像平面内において区分的に
一定の２次元変換としてモデル化できる。線形カルマンフィルタを使用して２次
元変換速度ベクトルの推定及び補正をすることができる。次に、推定（フィルタ
処理）された速度を用いて顔の追跡位置を算定することができる。 本発明の前述及び他の目的、特徴及び利点は、添付の図面を参照し、以下の詳
細説明を読めば容易に理解できよう。
【００１３】 好適な実施態様の詳細な説明 図１を参照する。顔の検出及び追跡システム６は、スチルカメラ又はビデオカ
メラのような画像撮影装置８を含んでいる。フレームグラバ９は顔の検出と追跡
のために、画像撮影装置からの個別フレームを捕捉する。画像プロセッサ１１は
、フレームグラバ９から赤色値，緑色値，青色値により表現される各画素を有し
、全体をＲＧＢ画像と称する画像１０を受信する。画像１０は、例えば、シアン
，マゼンタ，イエロー；輝度，強度，色度（全体をＹＩＱ色モデルと称す）；色
相，明るさ，飽和度；色相，色値，クロマ（彩度）のような他の色フォーマット
に替えて表現できる。しかしながら、ＲＧＢフォーマットは皮膚色を特徴付ける
ために必ずしも好適な色表現ではない。ＲＧＢ色空間において、３つの色［Ｒ，
Ｇ，Ｂ］は色を表すだけでなく、明るさも表す。例えば、２画素の対応要素［Ｒ
１，Ｇ１，Ｂ１］と［Ｒ２，Ｇ２，Ｂ２］が比例していれば（即ち、Ｒ１／Ｒ２
＝Ｇ１／Ｇ２＝Ｂ１／Ｂ２であれば）、同じ色であるにもかかわらず異なる明る
さで特徴づける。人間の視覚系統は、異なる明るさと種々の照明源に適応して広
い範囲の周囲照明条件において色の不変性の感知を維持する。従って、色表示か
ら明るさの情報を低減し、正確で低次元の色情報を保存するのが望ましい。明る
さは通常の照明条件下では皮膚色を特徴付ける上で重要ではないので、画像１０
を変換（フィルタ）１２で有彩色空間に変換する。明るさの無い純粋色として知
られている有彩色（ｒ，ｇ）は、通常正規化プロセスで規定される。即ち、ｒ＝
Ｒ／（Ｒ＋Ｇ＋Ｂ）でありｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）である。
【００１４】 変換１２の効果は、３次元のＲＧＢ画像１０を２次元のｒｇ有彩色空間表現に
マッピングすることである。ｒ＋ｇ＋ｂ＝１なので正規化プロセス後、青色は冗
長である。変換１２には、特にＲＧＢ色空間に関して明るさへの依存度が低減す
る色空間を生じる任意の適当な変換を用いることができる。異なる人々の皮膚色
の分布は、図２に示すように、有彩色空間に群集することも発見されている。図
２のグレイスケールは色の濃度を反映している。異なる人々の皮膚色は広範に変
化するように見えるが、明るさに比べれば色についての変化はかなり少ない。換
言すれば、異なる人間の皮膚色は、実際には極めて類似しており、主として輝度
において異なる。
【００１５】 変換１２の２つの主目的は、（１）皮膚を画像の他の対象物から区別し易くす
ることと、（２）人物ごとに異なり、また、異なる照明条件下では同一人物につ
いても異なる人皮膚の特殊な色とは無関係に、皮膚の色調を検出することである
。従って、適当な変換１２により、異なる人種的背景を持つ人々であっても、異
なる照明条件においても画像の顔を十分等しく追跡する能力が容易に得られる。 図３を参照する。本発明者は、皮膚の色調（カラートーン）の有彩色分布の直
線的特徴は、図２に示すように分布の中央部にほぼ同心の円２０になることを確
認した。これとは別に、四角形，五角形，六角形等のような適当な等辺又は不等
辺多角形（円を含む）を使用してもよい。多角形を用いると、多角形の半径を調
節してシステムを容易に調整することができる。従って、多角形で囲んだ領域に
より特定画素が皮膚の色調か否かを規定する。さらに、ｒｇの値の特定のセット
が多角形領域内であるか否かは、簡単な計算で決定できる。ｒｇが、皮膚色調領
域である多角形領域内にあれば、画像１０の該当画素は顔の特徴であるか、ある
いは、皮膚の色調を有すると見なされる。
【００１６】 前記画像１０の各画素が皮膚の色調領域内であることに基づいて、システムは
、画像１０に相当する２値画像１４を生成する。この２値画像１４は、皮膚の色
調として認定した画像１０の各画素に対して１の値を有する。また、２値画像１
４は、皮膚の色調として認定されない画像の各画素に対しては０の値をとる。画
素グループは、望むならば、画素ごとではなく、グループごとに同様に比較でき
ることは理解できよう。結果として、顔のような皮膚の色調を含む画像１０部分
に主として１を含み、残り部分に主として０を含む２値画像１４を得る。顔でな
い領域の若干部分が皮膚の色調を含むことがあり、従って、２値画像１４が顔で
ない領域に若干の１を含むことがある。逆も又真であり、顔領域が、皮膚の色調
でないことを示す、従って、０で表現される画素を含むことがある。かような領
域は、あごひげ、口ひげ及び髪の毛を含んでいる。例えば、図４に示すような画
像１０は、図５に示すような画像１４にマッピングできる。
【００１７】 別案として、望ましければ、０と１の表示を逆にしても良い。さらに、皮膚の
色調を、皮膚の色調を規定しない部分から区別するために他の適当な表現を用い
ることができる。同様に、変換１２の結果は、画素（又は画素領域）が皮膚の色
調を表す尤度を示す重みを付けた値としてもよい。
【００１８】 図５に示すように、画像の顔領域は、１の主群で示される。画像１４全体に分
散している追加の１は、顔の特徴を示さず一般にノイズと称する。さらに、顔領
域も若干の０を含んでおり、これも一般にノイズと称する。
【００１９】 本発明者は、皮膚の色調の２次元の２値画像１４を、顔の位置決め器１６を用
いて１対の１次元モデルにさらに分割することを実現した。２次元表示を１対の
１次元表示に換算することにより、顔の位置計算に要する計算量が低減される。
【００２０】 図６を参照する。１（皮膚の色調）の分布平均をｘとｙの両方向において計算
する。分布は、各方向における１の数のヒストグラムである。平均（ｍｅａｎ）
は、μ＝（１／Ｎ）Σｘiの式で計算できる。顔のほぼ中央位置３８は、ｘの平 均値３０とｙの平均３２を２値画像１４に投影することにより決定する。ｘ及び
ｙの各方向における分布の分散を計算する。分散は、σ2＝（１／Ｎ）Σ（ｘi−
μ）2の式で計算できる。分散３４ａ−３４ｄは、各々の方向における顔特徴の 幅を示す。分散３４ａ−３４ｄを２値画像１４に投影して顔領域を囲む矩形を規
定する。平均と分散は、一般にノイズのランダムな分布に対する変化には不感で
ある。言い換えれば、平均値と分散はロバストであり、かような追加の１と０は
統計的に重要でない。同一人物又は異なる人物につき異なる照明条件下で、この
平均と分散を用いる技法で顔領域を決定できる。さらに、この平均と分散技法は
、計算的に効率のよい数値の加算のみを要する。
【００２１】 このシステムは、顔特徴の中央部を示す位置及び／又はその寸法を決定するた
めに、ｘ及びｙ方向における２値画像１４に望むならば他の適当な方法を代わり
に用いることができる。又、データが重みを付けた値を有する場合は、より複雑
な計算を用いることができる。このシステムは又、２次元２値画像を、ｘ及びｙ
以外の方向にも分割できる。
【００２２】 顔の位置決めと追跡器１６は、顔中央の全体位置とその寸法を提供する。画像
プロセッサ１１の出力は、通信モジュール４０にデータを提供し、通信モジュー
ルは、任意の適当なフォーマットにより画像を伝送して表示する。顔追跡システ
ム６は、Eleftheriadisが暗示するように、顔を含む画像部分に対するビットレ ートを高めることができる。
【００２３】 推定された顔位置は、動画フレーム間の顔の追跡にも用いることができる。単
純化のために、顔の動きを、画像平面内の区分的に一定の２次元移動としてデル
化できる。線形カルマンフィルタを用い、２次元移動速度ベクトルの推定値を予
測並びに補正することができる。推定（フィルタ処理）される速度は、次に顔の
追跡位置を決定するために用いることができる。
【００２４】 動き追跡のための好適なモデルは次の通りである。 x(k+1)=F(k)x(k)+w(k) z(k+1)=H(k+1)x(k+1)+v(k+1) 式中の、ｘ（ｋ）は推定される真の速度ベクトルであり、ｚ（ｋ）は観測され
た瞬間速度ベクトルであり、ｗ（ｋ）とｖ（ｋ）は白色雑音である。区分的に一
定の動きの場合、Ｆ（ｋ）≡ＩでありＨ（ｋ）≡Ｉである。カルマン予測子は、
次の通りである。（ただし、＾の位置は、印刷の関係で、左右に移動してある。
以下、同じ。）
【００２５】 x＾(k+1|k)=F(k)x＾(k|k)、x＾(0|0)=0 z＾(k+1|k)=H(k+1)x(k+1|k)
【００２６】 カルマン修正子は次の通りである。 x＾(k+1|k+1)=x＾(k+1|k)+K(k+1)Δz(k+1|k)、 Δz(k+1|k)=z(k+1)−z＾(k+1|k) 式中、K(k+1)はカルマン利得である。カルマン利得は下記のように計算される
。 K(k+1)=P(k+1|k)HT(K+1)[H(k+1)P(k+1|k)HT(k+1)+R(k+1)]-1
【００２７】 共分散は次のように計算する。 P(k+1|k)=F(k)P(k|k)FT(k)+Q(k), P(0|0)=P0 P(k+1|k+1)=[I-K(k+1)H(k+1)]P(k+1|k) 式中、Q(k)=E[w(k)wT(k)]、 R(k)=E[v(k)vT(k)]、 P0=E[x(0)xT(0)]である。
【００２８】 照明の変動と画像のノイズがある場合、追跡顔画像にはジッタが生じる。従っ
て、非線形フィルタモジュールをこの好ましくないジッタを除去するために追跡
システムに含ませる。非線形フィルタ処理モジュールを簡単に実装する方法は、
規定閾値より大きさにおいて小さく他の規定閾値より時間において短い追跡した
顔の動きを消去することである。
【００２９】 ここに記述した顔の検出及び追跡システムに適した特別な用途は、テレビ電話
である。その他の適した応用装置にも同様に使用できる。人物が存在しない背景
画像をこのシステムにより得る。それ以降の画像には人物が存在する。得られた
各画像を背景画像と比較して、画像の前景部分を先に得られた背景画像から区別
する。受信者のテレビ電話は、適切な表示背景画像を有している。人物であると
仮定できる前景を受信者のテレビ電話に伝送し、受信者のテレビ電話の適切な背
景画像にフレーム単位で重ねて表示する。顔追跡システムが顔の位置を決定し、
人物の動きを滑らかにしてジッタを除去する。
【００３０】 これに替えて、適切な背景画像を受信テレビ電話に伝送し、好ましくは、１セ
ッションに１回だけ伝送する。これにより、実際の背景周囲条件を隠し、帯域条
件を潜在的に低減する利点が得られる。 このシステムは同一の技術を拡張して用いて一画像中の複数の顔を位置決めし
て追跡することができる。
【００３１】 以上、本明細書において採用した用語及び表現は、制限を目的とするものでは
なく説明のための用語として使用したものであり、かような用語及び表現の使用
は、表示し記述した特徴又はその部分の同等な用語及び表現を排除することを意
図したものではない。本発明の範囲は、特許請求範囲によってのみ規定され制限
されることが認識されよう。
【図面の簡単な説明】
【図１】 図１は、本発明による顔の検出及び追跡システムの１つの実施例を示すブロッ
ク図である。
【図２】 図２は、色濃度の大きさを反映するグレイスケールを持つ有彩色空間中の異な
る人々の皮膚色の分布を示すグラフである。
【図３】 図３は、図２に示す分布の中心にほぼ同心の円を示す図である。
【図４】 図４は、顔を含む画像を示す図である。
【図５】 図５は、図４の顔の２値画像を示す図である。
【図６】 図６は、各ヒストグラムに対する中央値（メディアン）と分散値と共に図５に
示した２値画像の１対のヒストグラムを示す図である。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１１年１２月１３日（１９９９．１２．１３）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項１
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正内容】
【０００５】 Ｙａｎｇ他は、論文“リアルタイムな顔の追跡装置（A Real-Time Face Track
er）”（１９９６年１２月２日，コンピュータビジョンのアプリケーションにお
けるＩＥＥＥワークショップの議事録，Ｐ１４２〜１４７）において、リアルタ
イムな顔の追跡システムを開示している。このシステムは赤−緑−青（ＲＧＢ）
画像を入手し、フィルタ処理して明るさのない“純粋色”として知られている有
彩色（ｒ及びｇ）を得る。赤−緑−青を有彩色に変換することは、３次元空間（
ＲＧＢ）から２次元空間（ｒｇ）に変換することである。有彩色空間中の顔の色
分布は１つの小さな領域中に主に群集する。Ｙａｎｇ他は、皮膚色の分布を詳細
に分析し、有彩色空間における異なる照明条件下の異なる人々の皮膚色の分布は
、類似のガウス分布（Guassian distributions）を有することを確認した。特定
の赤−緑−青の画素が顔の色を示す有彩色空間の領域にマップするかどうかを算
定するために、Ｙａｎｇ他は２次元ガウスモデル（Guassian model）の使用を教
示している。ＲＧＢ画像内の画素ごとに２次元ガウスモデル（Guassian model）
に基づいて画像の顔領域を決定する。残念ながら、この２次元ガウスモデル（Gu
assian model）は計算量が莫大で、リアルタイムシステムを安価にするには適し
ていない。さらに、Ｙａｎｇ他が教示するこのシステムは、単純なトラッキング
装置を用いているので、追跡された顔の位置はジッタ（揺れ）の影響を受け易い
。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正内容】
【０００６】 Eleftheriadis他は、論文“低ビットレートでのテレビ会議シーケンスのモデ ル支援符号化のための顔位置の自動検出及び追跡（Automatic Face Location De
tection and Tracking for Model-Assisted Coding of Video Teleconferencing
Sequences at Low Bit-Rate）”（１９９５年，信号処理：画像通信，Ｎｏ.７ ）において、顔の位置検出及び追跡するシステムを教示している。このシステム
は、楕円形の注目領域としてモデル化した人間の頭と肩部のシーケンスを含む動
画データに対して特別に設計されている。このシステムは、人の頭部の輪郭が一
般に楕円形であり、フレームからフレームへの時間的な高い相関関係を有してい
ることを前提としている。この前提条件に基づき、システムは連続フレーム間の
差を計算し、結果を閾値と比較して有意の動き領域を認定し、非ゼロとして示す
。楕円形の非ゼロ領域を位置決めて顔領域として特定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正内容】
【０００８】 Ｈａｇｅｒ他は、論文“幾何学形状及び照明の変化を伴う画像領域のリアルタ
イムトラッキング（Real-Time Tracking of Image Regions with Changes in Ge
ometry and Illumination）”（１９９６年，コンピュータビジョンとパターン 認識における議事録）において、ウィンドウ内の画像の明るさを分析する顔追跡
システムを開示している。ウィンドウ内の明るさパターンを、フレーム間で顔を
追跡するために使用する。Ｈａｇｅｒ他の教示によるシステムは、顔の方位の変
化と、部分的明暗と、画像パターンを曖昧にする影の影響を受ける。このシステ
ムは、顔の位置を最初に決定することができない。

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 画像内の顔を検出する方法において、 （ａ）少なくとも３つの変数の組で表現される複数の画素を含む前記画像を受信
    するステップと、 （ｂ）前記少なくとも３つの変数の組を、前記少なくとも３つの変数の組より明
    るさへの依存度が少ない前記３つより少ない数の変数の組に変換してフィルタ処
    理するステップと、 （ｃ）ステップ（ｂ）の前記フィルタ処理に基づいて、前記画像の中の皮膚の色
    調を代表する領域を算定するステップと、 （ｄ）第１の方向に前記画像中の皮膚の色調を代表する前記領域の第１分布を計
    算するステップと、 （ｅ）前記第１の方向とは異なる第２の方向に前記画像の中の皮膚の色調を代表
    する前記領域の第２分布を計算するステップと、 （ｆ）前記第１分布と前記第２分布に基づいて、前記画像内の前記顔を位置決め
    するステップとを含んで成ることを特徴とする画像内の顔の検出方法。
  2. 【請求項２】 前記画像は複数の画像を含む動画からの画像であることを特
    徴とする請求項１に記載の画像内の顔の検出方法。
  3. 【請求項３】 前記画像は１人の顔を含んでいることを特徴とする請求項１
    に記載の画像内の顔の検出方法。
  4. 【請求項４】 前記少なくとも３つの変数は、赤色値，緑色値，青色値を含
    むことを特徴とする請求項１に記載の画像内の顔の検出方法。
  5. 【請求項５】 前記３つより少ない数の変数の組は、前記赤色値を該赤色値
    と前記緑色値と前記青色値の合計で割った値で定義されるｒ値と、前記緑色値を
    前記赤色値と前記緑色値と前記青色値の合計で割った値で定義されるｇ値を含む
    ことを特徴とする請求項４に記載の画像内の顔の検出方法。
  6. 【請求項６】 前記領域の少なくとも１つは、前記画像の単一の画素である
    ことを特徴とする請求項１に記載の画像内の顔の検出方法。
  7. 【請求項７】 ステップ（ｃ）の前記算定することは多角形に基づくことを
    特徴とする請求項１に記載の画像内の顔の検出方法。
  8. 【請求項８】 ステップ（ｃ）の前記算定することは円に基づくことを特徴
    とする請求項１に記載の画像内の顔の検出方法。
  9. 【請求項９】 前記第１分布と前記第２分布の少なくとも１つはヒストグラ
    ムであることを特徴とする請求項１に記載の画像内の顔の検出方法。
  10. 【請求項１０】 前記第１分布はｘ方向であることを特徴とする請求項１に
    記載の画像内の顔の検出方法。
  11. 【請求項１１】 前記第２分布はｙ方向であることを特徴とする請求項１０
    に記載の画像内の顔の検出方法。
  12. 【請求項１２】 前記第１分布と前記第２分布は互いに直交方向にあること
    を特徴とする請求項１１に記載の画像内の顔の検出方法。
  13. 【請求項１３】 前記第１分布と前記第２分布は互いに独立していることを
    特徴とする請求項１に記載の画像内の顔の検出方法。
  14. 【請求項１４】 （ａ）前記第１分布の第１の全体的な中央位置を計算する
    ステップと、 （ｂ）前記第２分布の第１の全体的な中央位置を計算するステップと、 （ｃ）前記第１分布の前記第１の全体的な中央位置と前記第２分布の前記第１の
    全体的中央位置に基づいて、前記顔を位置決めするステップとをさらに含んで成
    ることを特徴とする請求項１に記載の画像内の顔の検出方法。
  15. 【請求項１５】 前記第１分布の前記第１の全体的な中央位置と前記第２分
    布の前記第１の全体的な中央位置のうちの少なくとも１つは平均値であることを
    特徴とする請求項１４に記載の画像内の顔の検出方法。
  16. 【請求項１６】 前記顔のサイズは前記第１分布の分散と前記第２分布の分
    散に基づくことを特徴とする請求項１４に記載の画像内の顔の検出方法。
  17. 【請求項１７】 前記顔は後続フレーム間で追跡されることを特徴とする請
    求項１に記載の画像内の顔の検出方法。
  18. 【請求項１８】 前記顔のジッタの動きは前記後続フレーム間で減少するこ
    とを特徴とする請求項１７に記載の画像内の顔の検出方法。
JP2000527909A 1998-01-08 1999-01-06 人間の顔の追跡システム Pending JP2002501234A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/004,539 1998-01-08
US09/004,539 US6148092A (en) 1998-01-08 1998-01-08 System for detecting skin-tone regions within an image
PCT/JP1999/000010 WO1999035606A1 (en) 1998-01-08 1999-01-06 System for human face tracking

Publications (2)

Publication Number Publication Date
JP2002501234A true JP2002501234A (ja) 2002-01-15
JP2002501234A5 JP2002501234A5 (ja) 2006-02-02

Family

ID=21711282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000527909A Pending JP2002501234A (ja) 1998-01-08 1999-01-06 人間の顔の追跡システム

Country Status (5)

Country Link
US (2) US6148092A (ja)
EP (1) EP1046126B1 (ja)
JP (1) JP2002501234A (ja)
DE (1) DE69901380T2 (ja)
WO (1) WO1999035606A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071611A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム
JP2012245356A (ja) * 2011-05-27 2012-12-13 Lvmh Recherche 皮膚又は外皮の色調を特徴付けるための方法

Families Citing this family (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
JP2000048184A (ja) * 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
JP3725784B2 (ja) * 1998-08-07 2005-12-14 コリア インスティテュート オブ サイエンス アンド テクノロジー 色フレームイメージシーケンスで移動体を検出する装置及び方法
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
ES2212857T3 (es) * 1998-12-02 2004-08-01 The Victoria University Of Manchester Determinacion de subespacios faciales.
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US6526169B1 (en) * 1999-03-15 2003-02-25 Grass Valley (Us), Inc. Histogram-based segmentation of objects from a video signal via color moments
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
KR100343223B1 (ko) * 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
US7450734B2 (en) * 2000-01-13 2008-11-11 Digimarc Corporation Digital asset management, targeted searching and desktop searching using digital watermarks
KR100865247B1 (ko) 2000-01-13 2008-10-27 디지맥 코포레이션 메타데이터를 인증하고 매체 신호들의 워터마크들 내에 메타데이터를 임베딩하는 방법
SG103253A1 (en) * 2000-01-26 2004-04-29 Kent Ridge Digital Labs Method and apparatus for cancelling lighting variations in object recognition
JP4158332B2 (ja) * 2000-02-03 2008-10-01 コニカミノルタビジネステクノロジーズ株式会社 カラー画像処理装置
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6792134B2 (en) * 2000-12-19 2004-09-14 Eastman Kodak Company Multi-mode digital image processing method for detecting eyes
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6751348B2 (en) 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US6760465B2 (en) * 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
US7020345B2 (en) * 2001-04-26 2006-03-28 Industrial Technology Research Institute Methods and system for illuminant-compensation
DE60109278T2 (de) * 2001-06-26 2006-03-30 Nokia Corp. Verfahren und Gerät zur Lokalisierung von Schriftzeichen in Bildern aus einer Digitalkamera
US20040146290A1 (en) * 2001-11-08 2004-07-29 Nikiforos Kollias Method of taking images of the skin using blue light and the use thereof
US6922523B2 (en) * 2001-11-08 2005-07-26 Johnson & Johnson Consumer Companies, Inc. Method of promoting skin care products
US6907193B2 (en) 2001-11-08 2005-06-14 Johnson & Johnson Consumer Companies, Inc. Method of taking polarized images of the skin and the use thereof
US7738032B2 (en) * 2001-11-08 2010-06-15 Johnson & Johnson Consumer Companies, Inc. Apparatus for and method of taking and viewing images of the skin
US6961517B2 (en) * 2001-11-08 2005-11-01 Johnson & Johnson Consumer Companies, Inc. Method of promoting skin care products
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
DE10227170A1 (de) * 2002-06-18 2004-01-08 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Steuerung der Lichtverteilung eines Kraftfahrzeugs
JP2004062651A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置、画像処理方法、その記録媒体およびそのプログラム
JP4086580B2 (ja) * 2002-07-30 2008-05-14 キヤノン株式会社 画像処理装置、プログラム及び方法
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
EP1576815A1 (en) * 2002-12-11 2005-09-21 Nielsen Media Research, Inc. Detecting a composition of an audience
US20040228505A1 (en) * 2003-04-14 2004-11-18 Fuji Photo Film Co., Ltd. Image characteristic portion extraction method, computer readable medium, and data collection and processing device
US20040254478A1 (en) * 2003-05-22 2004-12-16 De Josselin De Jong Elbert Fluorescence filter for tissue examination and imaging
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7190829B2 (en) * 2003-06-30 2007-03-13 Microsoft Corporation Speedup of face detection in digital images
US20050075537A1 (en) * 2003-10-06 2005-04-07 Eastman Kodak Company Method and system for real-time automatic abnormality detection for in vivo images
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
AU2005201322B2 (en) * 2004-03-26 2009-11-05 Sri Sports Limited Golf swing-measuring system
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
US8953908B2 (en) * 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8026942B2 (en) 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20060165264A1 (en) * 2005-01-26 2006-07-27 Hirofumi Saitoh Method and apparatus for acquiring images, and verification method and verification apparatus
US20060200745A1 (en) * 2005-02-15 2006-09-07 Christopher Furmanski Method and apparatus for producing re-customizable multi-media
US8570586B2 (en) * 2005-05-02 2013-10-29 Digimarc Corporation Active images through digital watermarking
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
US8077179B2 (en) * 2005-07-11 2011-12-13 Pandoodle Corp. System and method for creating animated video with personalized elements
JP4619927B2 (ja) * 2005-11-01 2011-01-26 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
JP2008033654A (ja) * 2006-07-28 2008-02-14 Noritsu Koki Co Ltd 写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7764303B2 (en) * 2006-10-02 2010-07-27 Johnson & Johnson Consumer Companies, Inc. Imaging apparatus and methods for capturing and analyzing digital images of the skin
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US7558416B2 (en) * 2006-10-02 2009-07-07 Johnson & Johnson Consumer Companies, Inc. Apparatus and method for measuring photodamage to skin
KR100862341B1 (ko) * 2006-11-13 2008-10-13 삼성전기주식회사 사람의 피부 영역 검출장치 및 그 방법
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
WO2008104549A2 (en) 2007-02-28 2008-09-04 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US8483283B2 (en) * 2007-03-26 2013-07-09 Cisco Technology, Inc. Real-time face detection
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US20090153654A1 (en) * 2007-12-18 2009-06-18 Enge Amy D Video customized to include person-of-interest
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
CN101572791A (zh) * 2008-04-28 2009-11-04 鸿富锦精密工业（深圳）有限公司 图像加密系统及方法
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
US8180167B2 (en) 2008-07-16 2012-05-15 Seiko Epson Corporation Model-based error resilience in data communication
JP5547730B2 (ja) 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
US8570359B2 (en) * 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8406482B1 (en) 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8194097B2 (en) 2008-12-12 2012-06-05 Seiko Epson Corporation Virtual masking using rigid parametric modeling
US20100158357A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated Image processing method and system of skin color enhancement
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8311355B2 (en) * 2009-06-05 2012-11-13 Apple Inc. Skin tone aware color boost for cameras
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
US8295610B1 (en) 2010-01-06 2012-10-23 Apple Inc. Feature scaling for face detection
US8649612B1 (en) 2010-01-06 2014-02-11 Apple Inc. Parallelizing cascaded face detection
US8873798B2 (en) * 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof
US8401250B2 (en) 2010-02-19 2013-03-19 MindTree Limited Detecting objects of interest in still images
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US8315443B2 (en) * 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
EP2393039A1 (en) * 2010-06-03 2011-12-07 Mitsubishi Electric R&D Centre Europe B.V. Method for accurate detection of image content
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8705811B1 (en) 2010-10-26 2014-04-22 Apple Inc. Luminance adjusted face detection
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US8705853B2 (en) 2012-04-20 2014-04-22 Apple Inc. Detecting skin tone
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP6341646B2 (ja) * 2013-10-17 2018-06-13 セーレン株式会社 試着支援装置及び方法
GB2519620B (en) 2013-10-23 2015-12-30 Imagination Tech Ltd Skin colour probability map
US9661215B2 (en) 2014-04-22 2017-05-23 Snapaid Ltd. System and method for controlling a camera based on processing an image captured by other camera
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
PL3442397T3 (pl) 2016-04-13 2021-11-08 Inspektor Research Systems B.V. Dwuczęstotliwościowe badanie stomatologiczne
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52156624A (en) * 1976-06-22 1977-12-27 Fuji Photo Film Co Ltd Detection of skin color of color film
JPS61161091A (ja) * 1985-01-08 1986-07-21 Fuji Photo Film Co Ltd 画像処理方法
JPH05232908A (ja) * 1992-02-19 1993-09-10 Toshiba Corp 指示入力装置
JPH05297152A (ja) * 1992-04-15 1993-11-12 Minolta Camera Co Ltd 物体認識装置
JPH06319141A (ja) * 1993-05-10 1994-11-15 Toshiba Corp 監視装置
JPH08153197A (ja) * 1994-11-28 1996-06-11 Sony Corp 画像処理装置
JPH08287216A (ja) * 1995-04-18 1996-11-01 Sanyo Electric Co Ltd 顔面内部位認識方法
JPH09114990A (ja) * 1995-10-19 1997-05-02 Ricoh Co Ltd 画像認識方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975960A (en) * 1985-06-03 1990-12-04 Petajan Eric D Electronic facial tracking and detection system and method and apparatus for automated speech recognition
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
GB8905926D0 (en) * 1989-03-15 1990-04-25 British Aerospace Target aim point location
US5130789A (en) * 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
US5719951A (en) * 1990-07-17 1998-02-17 British Telecommunications Public Limited Company Normalized image feature processing
JPH0771288B2 (ja) * 1990-08-24 1995-07-31 神田通信工業株式会社 自動視野調整方法及び装置
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US5680481A (en) * 1992-05-26 1997-10-21 Ricoh Corporation Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
IT1257073B (it) * 1992-08-11 1996-01-05 Ist Trentino Di Cultura Sistema di riconoscimento, particolarmente per il riconoscimento di persone.
US5557688A (en) * 1992-11-18 1996-09-17 Fuji Photo Film Co., Ltd. Method of extracting characteristic image data and color data conversion device for image processing apparatus
US5689575A (en) * 1993-11-22 1997-11-18 Hitachi, Ltd. Method and apparatus for processing images of facial expressions
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
US5497430A (en) * 1994-11-07 1996-03-05 Physical Optics Corporation Method and apparatus for image recognition using invariant feature signals
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52156624A (en) * 1976-06-22 1977-12-27 Fuji Photo Film Co Ltd Detection of skin color of color film
JPS61161091A (ja) * 1985-01-08 1986-07-21 Fuji Photo Film Co Ltd 画像処理方法
JPH05232908A (ja) * 1992-02-19 1993-09-10 Toshiba Corp 指示入力装置
JPH05297152A (ja) * 1992-04-15 1993-11-12 Minolta Camera Co Ltd 物体認識装置
JPH06319141A (ja) * 1993-05-10 1994-11-15 Toshiba Corp 監視装置
JPH08153197A (ja) * 1994-11-28 1996-06-11 Sony Corp 画像処理装置
JPH08287216A (ja) * 1995-04-18 1996-11-01 Sanyo Electric Co Ltd 顔面内部位認識方法
JPH09114990A (ja) * 1995-10-19 1997-05-02 Ricoh Co Ltd 画像認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071611A1 (ja) * 2004-01-27 2005-08-04 Seiko Epson Corporation 画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム
JP2012245356A (ja) * 2011-05-27 2012-12-13 Lvmh Recherche 皮膚又は外皮の色調を特徴付けるための方法

Also Published As

Publication number Publication date
US6332033B1 (en) 2001-12-18
DE69901380D1 (de) 2002-06-06
DE69901380T2 (de) 2002-11-28
EP1046126A1 (en) 2000-10-25
WO1999035606A1 (en) 1999-07-15
EP1046126B1 (en) 2002-05-02
US6148092A (en) 2000-11-14

Similar Documents

Publication Publication Date Title
JP2002501234A (ja) 人間の顔の追跡システム
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
Qian et al. A robust real-time face tracking algorithm
US6611613B1 (en) Apparatus and method for detecting speaking person's eyes and face
US7376270B2 (en) Detecting human faces and detecting red eyes
US7391900B2 (en) Image processing method for removing glasses from color facial images
Wong et al. A robust scheme for live detection of human faces in color images
Baskan et al. Projection based method for segmentation of human face and its evaluation
US20110299774A1 (en) Method and system for detecting and tracking hands in an image
KR20010103631A (ko) 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법
KR100845969B1 (ko) 동적객체 영역 추출방법 및 장치
EP1300804A2 (en) Face detecting method by skin color recognition
Mu Ear detection based on skin-color and contour information
Monwar et al. Pain recognition using artificial neural network
Monwar et al. Eigenimage based pain expression recognition
CN112818938A (zh) 一种自适应光照干扰环境的人脸识别算法及人脸识别装置
CN109657544B (zh) 一种人脸检测方法和装置
KR101206736B1 (ko) 회전된 얼굴 영역 검출 장치 및 방법
Deepa et al. Age estimation in facial images using histogram equalization
CN108573230B (zh) 人脸跟踪方法和人脸跟踪装置
Shiga et al. Human face extraction based on color and moving information and the recognition of expressions
Devi et al. Active facial tracking
Qian et al. Face tracking using robust statistical estimation
KR20050014072A (ko) 색분포 학습을 통한 얼굴영역 추출 방법
Huang Applying the adaboost face detection algorithm to detect inattentive states

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081202