JP2006508461A - 顔検出及び顔追跡 - Google Patents
顔検出及び顔追跡 Download PDFInfo
- Publication number
- JP2006508461A JP2006508461A JP2004556495A JP2004556495A JP2006508461A JP 2006508461 A JP2006508461 A JP 2006508461A JP 2004556495 A JP2004556495 A JP 2004556495A JP 2004556495 A JP2004556495 A JP 2004556495A JP 2006508461 A JP2006508461 A JP 2006508461A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- detector
- detection
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
1.同じ目位置を有するように正規化された顔の画像のセット300の各顔を、小さいブロックに一様にサンプリングする。
2.後に説明する各ブロックの属性を算出する。
3.属性を、異なる値の処理しやすい数に量子化する。
4.次に、量子化属性を、そのブロック位置に関して1つの量子化値を生成するために組み合わせる。
5.そして、1つの量子化値を、エントリとしてヒストグラム、例えば図5に示すヒストグラムに記録する。全てのトレーニング画像の全てのブロック位置に関する累積されたヒストグラム情報320は、顔の特徴の数学的モデルの基礎を形成する。
6.ウィンドウを、一連のブロックのように一様にサンプリングし、そして、各ブロックに関する属性を算出して、上述のステップ1〜4のように量子化する。
7.各ブロック位置の量子化属性値の対応する「確率(probability)」を、対応するヒストグラムから調べる。すなわち、各ブロック位置のそれぞれの量子化属性を生成し、そのブロック位置に関して予め生成されたヒストグラムと比較する。ヒストグラムが「確率」データを高める方法については後述する。
8.得られる全ての確率を互いに乗算して、ウィンドウを「顔」又は「顔でない」に分類するために、閾値と比較する最終の確率を形成する。「顔」又は「顔でない」の検出結果は絶対検出よりもむしろ確率ベースの方法であることは、言うまでもない。顔を含んでいない画像を間違って「顔」として検出(所謂誤検出(false positive))してしまうことがある。また、顔を含んでいる画像を間違って「顔でない」として検出(所謂見逃し検出(false negative))してしまうこともある。あらゆる顔検出システムの目標は、誤検出の割合及び見逃し検出の割合を減らすことであるが、現在の技術では、これらの割合をゼロに減らすことは、不可能ではないとしても困難である。
この実施例の属性は、所謂固有ブロックに基づいている。固有ブロックを、トレーニングセットのブロックの有効な具象的な才能(good representational ability)を有するように設計した。したがって、固有ブロックは、トレーニングセットからのブロックの大きなセットに対して重要な構成要素の解析を実行することによって生成された。この処理を、図6に示すとともに、付録Bにおいてより詳細に説明する。
実験を、トレーニングブロックの2の異なるセットによって行った。
まず最初に、トレーニングセットの25個の顔画像から得られる一組のブロックを用いた。16×16ブロックを、重ならないように、16画素毎にサンプリングした。このサンプリングを、図6に示す。図6から明らかなように、16×16ブロックは、個々の64×64トレーニング画像から生成される。これにより、全体的に合計400個のトレーニングブロックが生成される。
固有ブロックの第2セットを、トレーニングブロックのより大きなセットから生成した。これらのブロックは、トレーニングセット内の500個の顔画像から得られた。この場合、16×16ブロックを、8画素が重なるように、8画素毎にサンプリングした。各64×64個のトレーニング画像から、49個のブロックが生成され、これを合計24,500個のトレーニングブロックに適用した。
64×64顔画像内の各サンプリングされたブロック位置に対してヒストグラムを作成した。ヒストグラムの数は、ブロック間隔に依存する。例えば、16画素のブロック間隔の場合、16の可能なブロック位置があり、したがって、16個のヒストグラムが用いられる。
・顔画像の位置(i,j)から関連したブロックを抽出する処理410。
・ブロックの固有ブロックベースの属性を算出して、これらの属性から関連したビン数420を判定する処理。
・ヒストグラム430内の関連したビン数を増加させる処理。
ヒストグラムビン数は、図10で示すように、以下の処理を用いて、所定のブロックから生成される。64×64ウィンドウ又は顔画像から16×16ブロック440を抽出する。ブロックは、一組の「固有ブロック重み(eigenblock weight)」を生成するためにA固有ブロックのセット450上で推定される。これらの固有ブロック重みは、この実行で用いられる「属性」である。固有ブロック重みは、−1〜+1の範囲を有する。この処理については、付録Bでより詳細に説明する。各重みを、一組の量子化属性470(wi,i=1,・・・,A)を生成するために、レベルLの固定量に量子化する。量子化重みを、以下のように、単一の値に結合する。
顔検出処理は、検定画像を64×64の移動ウィンドウ(moving 64x64 window)によってサンプリングして、各ウィンドウ位置における顔確率を算出する処理を含む。
顔でないモデルは、顔を含まない画像の属性の確率分布を示すヒストグラムの更なるセットを含む。このヒストグラムは、トレーニング画像が顔の代わりに顔でない画像を含む以外は、顔モデルと正確に同じ方法で生成される。
図12a〜12fは、上述したトレーニング処理によって生成されるヒストグラムの具体例を示す図である。
検定画像における異なる大きさの顔を検出するために、検定画像を係数の範囲(range of factors)によって拡大縮尺し(scale)、距離(distance、すなわち確率)マップを各尺度(scale)に対して生成する。図13a〜13cに、画像及びこれらの対応する距離マップを、3つの異なる尺度で示す。この手法は、最も小さい尺度(図13a)で大きな(中心の)対象に対して最良の応答(最高の確率又は最小の距離)を示し、大きな尺度でより小さい対象(主人物の左側)に対してより良い応答を示す。(マップ上のより暗い色は、反転マップにおけるより低い値、すなわちそこが顔であるというより高い確率を示す)。全ての尺度に対して最良の応答を示す位置を最初に検出ことによって、候補顔位置を異なる尺度に亘って抽出する。すなわち、最も高い確率(最も短い距離)を、全ての尺度で全ての確率マップ中で確定する。この候補位置は、顔としてラベルが付けられる第1の位置である。そして、その顔位置の中心に置かれるウィンドウは、各尺度の確率マップから削除される。削除されるウィンドウの大きさは、確率マップの尺度に比例する。
・各尺度で検定ウィンドウに関する属性を導く(図13a〜図13cに示すように)。
・それらの属性を「フルフェース」ヒストグラムデータと比較して、「フルフェース」の距離マップのセットを生成する。
・属性を「ズームイン」ヒストグラムデータと比較して、「ズームイン」の距離マップのセットを生成する。
・各尺度nについて、尺度n+3の「ズームイン」距離マップを、尺度nの「フルフェース」距離マップに組み合わせる。
・図13a〜図13cによって上述したように、組み合わせた距離マップから顔位置を導く。
顔追跡アルゴリズムについて説明する。追跡アルゴリズムは、画像シーケンスにおいて顔検出性能を向上させることを意図している。
・顔の数。
・各顔の「顔写真(Mugshot)」(個人の顔の画像を表す口語的な言葉、警察にファイルされている写真を照会する用語からきている)。
・各顔が最初に出現するフレーム番号。
・各顔が最後に出現するフレーム番号。
・各顔の識別(前のシーンで見られた顔に一致するか、顔のデータベースに一致したもの)−顔の識別には、顔の認識も必要とされる。
追跡アルゴリズムは、顔の存在を示す顔検出結果とともにフレームが供給されるまで、何もしない。
各既存のカルマンフィルタに対して、顔の次の位置が、以下の標準カルマンフィルタ予測方程式を用いて予測される。カルマンフィルタは、前状態(フレームk−1)、及びフィルタの現状態(フレームk)を推定する他の内部及び外部変数を用いる。
状態予測式:
状態推移行列(φ(k,k―1))は、次の状態の予測をどのようにして行うかを決定する。運動方程式を用い、φ(k,k―1)に対して次の行列を導くことができる。
肌色マッチングは、顔検出結果と良く一致する顔に対しては用いられない。肌色マッチングは、カルマンフィルタによって位置が予測された顔に対して実行されるだけであり、現フレーム内の顔検出結果に一致しない、したがってカルマンフィルタの更新に役立つ観測データがない顔に対しては実行されない。
この方法においては、追跡された顔で色の分布をモデル化するガウス分布を用いる代わりに、色ヒストグラムを用いる。
・2チャンネル(Cr、Cb)の代わりに3チャンネル(Y、Cr、Cb)を用いる。
・量子化レベルの数を変える。
・ウィンドウをブロックに分割して、各ブロックのヒストグラムを算出する。この方法では、色ヒストグラム法は、位置的に依存するようになる。この方法では、ヒストグラムの各対間のMSEを合計する。
・ウィンドウを分割するブロックの数を変える。
・実際に使用するブロックを変える。例えば、単に部分的に顔の画素を含む外側のブロックを省略する。
・3チャンネル(Y、Cr及びCb)。
・各チャンネルに対して8つの量子化レベル(すなわち、ヒストグラムは8×8×8=512ビン(bins)を含む)。
ウィンドウを16ブロックに分割する。
16個の全てのブロックを使用する。
この方法は、上述した第1の方法に基づいている。色マスク法は、顔の画素分布を記述するのに、ガウス分布肌色モデルを用いる。
(a)ガウス分布肌色モデルは、前フレームにおいて追跡された顔の中央に置かれた楕円状の領域のCr及びCbの平均値及び共分散を用いてシードされる。
(b)デフォルトのガウス分布肌色モデルは、前フレームのマスクを算出するために、及び現フレームにおいて距離画像を算出するための両方に、用いられる。
更新ステップは、状態予測及び観測データに基づいて、現在のフレームに対するフィルタの出力を適切なものにするために用いられる。更新ステップでは、予測された状態と観測された状態との間の誤差に基づいて、フィルタの内部変数も更新される。
・ピクチャのエッジから外れた顔及び/又は
・これらの顔をサポートする継続中の証拠がない顔(顔検出結果又は色マッチングより、カルマンフィルタ予測に基づく観測の割合が高い場合)
これらの顔については、関連するカルマンフィルタを除去し、ファイルにはデータを出力しない。
所定の顔の追跡の間に、許容されたカルマン予測顔位置の割合が、この閾値を超えた場合、追跡された顔は拒否される。この閾値は、現在0.8に設定している。
全てのフレームに亘る最後のパスの間に、所定の顔について、許容された顔検出割合がこの閾値を下回った場合、追跡された顔は拒否される。この閾値は、現在0.08に設定している。
全てのフレームに亘る最後のパスの間に、所定の顔について、発生回数がmin_framesより少ない場合、その顔は拒否される。このような場合が生じる可能性があるのは、シーケンスの最後の近くのみである。min_framesは、現在5に設定している。
全てのフレームに亘る最後のパスの間に、追跡されている所定の顔の発生回数が min_frames2であり、許容されたカルマン予測顔位置の割合がfinal_prediction_acceptance_ratio_thresholdを超えた場合、その顔は拒否される。このような場合が生じる可能性があるのは、シーケンスの最後の近くのみである。final_prediction_acceptance_ratio_thresholdは、現在0.5に設定してあり、min_frames2は、現在10に設定してある。
更に、追跡された顔の目の間隔が所定の最小距離を下回る場合、その顔を除外する。このような状況は、カルマンフィルタが目の間隔が狭くなっていると誤って判断し、例えば顔検出結果等、この判断を訂正する他の証拠がない場合に生じる。これを訂正しなければ、目の感覚は最終的に0になってしまう可能性がある。任意の変形例として、目の間隔に関する最小値又は下限を強制的に設定し、検出された目間隔が最小目間隔より小さい場合、検出処理はその目間隔を有する顔の探索を継続し、これより小さい目間隔を有する顔の探索は行わないようにしてもよい。
顔が追跡される場合、顔追跡が重複する可能性がある。重複が発生した場合、少なくとも幾つかのアプリケーションでは、追跡の1つを削除する必要がある。重複が発生した場合、どの顔追跡を持続するかを決定するために、一組の規則を用いる。
D:顔検出−現在の顔の位置は、新たな顔検出によって確認される。
S:肌色追跡−顔検出は行われていないが、適切な肌色追跡が行われている。
P:予測−適切な顔検出も肌色追跡も行われておらず、カルマンフィルタからの予測された顔位置が使用されている。
・番組の種類(例えば、ニュース、インタビュー、ドラマ)。
・例えば「遠くからのショット」、「カメラが接近する」(特定の種類のカメラショットに基づいて、顔のサイズのサブレンジが予測される)、各ショットに何人の人が含まれるか(これによっても、顔のサイズのサブレンジが予測される)等、ショットの詳細に関する脚本情報。
・スポーツ関連情報。スポーツは、多くの場合、固定されたカメラ位置から標準的なビュー及びショットを用いて撮像される。これらのメタデータにおいて特定することによって、顔のサイズのサブレンジを導き出すことができる。
顔追跡法は、以下のような3つの主な利点を有する。
・顔検出結果が得られないフレームにおいて、カルマンフィルタリング及び肌色追跡を用いることにより、見逃された顔を埋める(fill in)ことができる。これにより、画像シーケンス間に亘って、真の許容率を高めることができる。
・顔を連続的に追跡することにより、顔のリンクを提供できる。アルゴリズムは、将来のフレームにおいて検出された顔が同じ個人の顔であるか、他の個人の顔であるかを自動的に知ることができる。したがって、このアルゴリズムから、シーン内の顔の数やこれらの顔が存在するフレームに関する情報を含むシーンメタデータを容易に作成することができ、各顔の代表的な顔写真を作成することもできる。
・顔の誤検出は、画像間で連続することは希であるため、顔の誤検出率を低くすることができる。
(1)(色追跡/カルマン追跡ではなく)検出された顔を用いる。
(2)顔検出の間、確率が高かった、すなわち、少なくとも閾値確率を超えた顔を用いる。
(3)可能な限り64×64画素に近い顔を用い、これにより、再スケーリングによるアーチファクトを低減し、画質を改善する。
(4)(可能であれば)追跡の早い段階での顔すなわち、追跡シーケンスにおけるの所定の初期の部分(例えば、追跡シーケンスの最初から10%又は20のフレーム等)の顔を用いないこの期間は、顔がまだ遠くにある(すなわち、小さい)又は不鮮明である可能性が高いためである。
・まず、顔検出器1160によって検出された最も左上の顔を特定する。
・その顔の最も左上の極値(extreme)を検出する。これにより、クロッピングされる画像の左上角が定義される。
・最も右下の顔と、その顔の最も右下の極値とについて同様の処理を繰り返し、これにより、クロッピングされる画像の右下角が定義される。
・これらの2つの座標に基づいて、画像を長方形状に切り取る。
・最も左及び最も右の顔を特定する。
・ショットのアスペクト比を維持したまま、ピクチャの上半分の位置に顔が表示されるようにする。
1.エイチ・シュナイダーマン(H. Schneiderman)及びティー・カナデ(T. Kanade)著、「顔及び車に適用される3Dオブジェクト検出のための統計モデル(A statistical model for 3D object detection applied to faces and cars)」、コンピュータビジョン及びパーターン検出に関するIEEEコンファレンス2000(IEEE Conference on Computer Vision and Pattern Detection, 2000)
2.エイチ・シュナイダーマン(H. Schneiderman)及びティー・カナデ(T. Kanade)著、「オブジェクト検出のための局所的外観及び空間的関係の確率的モデリング(Probabilistic modelling of local appearance and spatial relationships for object detection)」、コンピュータビジョン及びパーターン検出に関するIEEEコンファレンス1998(IEEE Conference on Computer Vision and Pattern Detection, 1998)
3.エイチ・シュナイダーマン(H. Schneiderman)著、「顔及び車に適用される3Dオブジェクト検出のための統計的手法」、カーネギーメロン大学(Carnegie Mellon University)ロボティクス研究科(Robotics Institute)博士論文、2000年
4.イー・ヘルマス(E. Hjelmas)及びビー・ケー・ロウB.K. Low)著、「顔検出:概観(Face Detection: A Survey)」、コンピュータビジョン及び画像理解(Computer Vision and Image Understanding)第83号、pp.236〜274、2001年
5.エム−エイチ・ヤング(M.-H.Yang)、ディー・クレイグマン(D.Kriegman)及びエヌ・アフジャ(N.Ahuja)著、「画像における顔の検出:概観(Detecting Faces in Images: A Survey)」、パターン分析及びマシン知能に関するIEEEトランザクション(IEEE Trans. on Pattern Analysis and Machine Intelligence)、第24巻1号pp.34〜58、2002年1月
付録A:トレーニング顔セット
1個のデータベースは、屋内の背景の前に立つ数千個の題材(subject)の画像を格納している。上述の手法の実験に用いられる他のトレーニングデータベースは、正面から左右までの様々な範囲の角度から見た人間の頭の8ビットのグレースケール画像を一万個以上格納している。当業者にとっては明らかであるが、これらとは異なる様々なトレーニングセットを用いてもよく、任意として、ローカルの母集団の顔の特徴を反映するようプロファイルされたトレーニングセットを用いてもよい。
顔検出及び認識のための固有顔法(図4及び図5参照)において、各m×n顔画像は、それぞれ長さmnのベクトルによって表現されるようにが記録される。これにより、各画像は、mn次元空間内の点とみなすことができる。画像の組は、この大きな空間内の点の集合にマッピングされる。
固有ブロックは、以下のような手順で算出される。
(1)画像のトレーニングセットを用いる。これらを、それぞれm×nのサイズを有する画像ブロックに分割する。各ブロック位置について、それぞれが各画像におけるそのブロック位置から抽出された、次のような画像ブロックの組が得られる。
(3)ベクトルのトレーニングセット
(4)偏差ベクトルの組
(5)共分散行列Σを算出する。
(7)以下の式を解くことにより、全ての固有ベクトルからなる組P及び共分散行列Σの固有値λi,i=1,・・・,Nを求める。
未知の画像の顔への類似性、すなわち顔類似性(faceness)は、その画像が顔空間によってどれ程適切に表現できるかによって測定される。この処理は、トレーニング処理において用いたものと同じブロックのグリッドを用いて、ブロック毎に行う。
画像を顔空間に射影する前に、トレーニングセットに対して行った前処理と略々同様の前処理をこの画像に対して行う。
(1)m×nのサイズの検査画像ブロックI0を得る。
(2)元の検査画像ブロックI0を0と、1のL2ノルムとの平均値を有するように正規化し、正規化された検査画像ブロックIを生成する。
(3)画像の画素要素を辞書順に並べ替えることによって、偏差ベクトルを生成する。画像を長さN=mnの偏差ベクトルxに並べ替える。
(4)顔空間への射影は、偏差ベクトルxをその固有ブロック成分に変換する処理を含む。この処理は、M個の主固有ベクトル(固有ブロック)Pi,i=1,・・・,Mによる単純な乗算を含む。各重みyiは、以下のようにして求めることができる。
Claims (21)
- ビデオシーケンス内の画像間で検出された顔を追跡する顔検出装置において、
上記画像内の1又は複数の顔の存在を検出する第1の顔検出器と、
上記第1の顔検出器では顔が検出されない領域においても、顔を検出する可能性が高くなるように、検出閾値が低められ、上記画像内の1又は複数の顔の存在を検出する第2の顔検出器と、
検査順のビデオシーケンスにおける1つ以上の前の画像において検出された顔位置に基づいて、該検査順のビデオシーケンスにおける次の画像における顔位置を予測する顔位置予測器とを備え、
上記第1の顔検出器が、予測された顔位置の所定の画像距離閾値内で顔を検出した場合、上記顔位置予測器は、該検出された位置を用いて、次の位置予測を行い、
上記第1の顔検出器が、予測された顔位置の所定の画像距離閾値内で顔を検出しない場合、上記顔位置予測器は、上記第2の顔検出器によって検出された顔位置を用いて次の位置予測を行うことを特徴とする顔検出装置。 - 上記第1の顔検出器は、連続した各画像の領域から一組の属性を導出し、該導出した属性と、顔の存在を示す属性とを比較し、上記導出された属性と上記顔の存在を示す属性との間の類似性に基づいて、顔が存在する確率を導出し、該顔が存在する確率と、確率閾値とを比較することを特徴とする請求項1記載の顔検出装置。
- 上記属性は、画像領域の1つ以上の画像固有ベクトルへの射影であることを特徴とする請求項2記載の顔検出装置。
- 上記第2の顔検出器は、画像領域の色を人間の肌に関連する色と比較することを特徴とする請求項1乃至3いずれか1項記載の顔検出装置。
- 上記検出された顔が肌色から閾値量を超えて異なることを上記第2の検出器が検出した場合、顔追跡を停止することを特徴とする請求項4記載の顔検出装置。
- 上記顔位置予測器は、上記第1の顔検出器による顔検出のみに応じて起動されることを特徴とする請求項1乃至5いずれか1項記載の顔検出装置。
- 上記第1の顔検出器及び第2の顔検出器が、いずれも予測された顔位置の所定の画像距離閾値内で顔を検出しない場合、上記顔位置予測器は、上記予測された顔位置を用いて次の位置予測を行うことを特徴とする請求項1乃至6いずれか1項記載の顔検出装置。
- 上記顔位置予測器が、画像の所定の割合以上の部分について、予測された顔位置を用いて次の位置予測を行った場合、顔追跡を停止することを特徴とする請求項7記載の顔検出装置。
- 上記顔位置予測器が、画像の所定の割合以上の部分について、上記第2の顔検出器によって検出された顔位置を用いて次の位置予測を行った場合、顔追跡を停止することを特徴とする請求項1乃至8いずれか1項記載の顔検出装置。
- ある画像について、2つの顔が追跡されている場合、上記第1の検出器の検出に基づく追跡が上記第2の検出器の検出又は上記予測された位置に基づく追跡より優先され、及び上記第2の検出器の検出に基づく追跡が上記予測された位置に基づく追跡より優先されるように、一方の追跡を停止することを特徴とする請求項1乃至9いずれか1項記載の顔検出装置。
- ある画像について、同じ検出器によって2つの顔が追跡されている場合、検出されている顔のうち大きい方の顔が維持されるように1つの追跡を停止することを特徴とする請求項10記載の顔検出装置。
- 上記顔追跡の開始のためには、上記第1の検出器による少なくとも2つの連続した顔検出を必要とすることを特徴とする請求項1乃至11いずれか1項記載の顔検出装置。
- 上記顔追跡を維持するためには、g<nとして、n個のフレーム毎に、上記第1の検出器による少なくともg回の顔検出を必要とすることを特徴とする請求項1乃至12いずれか1項記載の顔検出装置。
- 上記検出された顔における画素間の変化量が第1の閾値量より少ない又は第2の閾値量より多い場合、顔追跡を停止することを特徴とする請求項1乃至13いずれか1項記載の顔検出装置。
- 請求項1乃至14いずれか1項記載の顔検出装置を備えるビデオ会議装置。
- 請求項1乃至14いずれか1項記載の顔検出装置を備える監視装置。
- ビデオシーケンス内の画像間で検出された顔を追跡する顔検出方法において、
第1の顔検出器を用いて上記画像内の1又は複数の顔の存在を検出するステップと、
上記第1の顔検出器では顔が検出されない領域においても、顔を検出する可能性が高くなるように、検出閾値が低められた第2の顔検出器を用いて上記画像内の1又は複数の顔の存在を検出するステップと、
検査順のビデオシーケンスにおける1つ以上の前の画像において検出された顔位置に基づいて、該検査順のビデオシーケンスにおける次の画像における顔位置を予測するステップとを有し、
上記第1の顔検出器が、予測された顔位置の所定の画像距離閾値内で顔を検出した場合、上記顔位置予測器は、該検出された位置を用いて、次の位置予測を行い、
上記第1の顔検出器が、予測された顔位置の所定の画像距離閾値内で顔を検出しない場合、上記顔位置予測器は、上記第2の顔検出器によって検出された顔位置を用いて次の位置予測を行う顔検出方法。 - 請求項17記載の顔検出方法を実行するプログラムコードを含むコンピュータソフトウェア。
- 請求項18記載のプログラムコードを提供する提供媒体。
- 上記提供媒体は、記録媒体であることを特徴とする請求項19記載の提供媒体。
- 上記提供媒体は、伝送媒体であることを特徴とする請求項20記載の提供媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0227895A GB2395779A (en) | 2002-11-29 | 2002-11-29 | Face detection |
PCT/GB2003/005186 WO2004051551A1 (en) | 2002-11-29 | 2003-11-28 | Face detection and tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006508461A true JP2006508461A (ja) | 2006-03-09 |
Family
ID=9948784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004556495A Pending JP2006508461A (ja) | 2002-11-29 | 2003-11-28 | 顔検出及び顔追跡 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20060104487A1 (ja) |
EP (1) | EP1565870A1 (ja) |
JP (1) | JP2006508461A (ja) |
CN (1) | CN1320490C (ja) |
GB (1) | GB2395779A (ja) |
WO (1) | WO2004051551A1 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006508463A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
JP2007257358A (ja) * | 2006-03-23 | 2007-10-04 | Sanyo Electric Co Ltd | 物体検出装置 |
JP2007336126A (ja) * | 2006-06-14 | 2007-12-27 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP2008005438A (ja) * | 2006-06-26 | 2008-01-10 | Canon Inc | 撮像装置及び撮像方法 |
JP2008172368A (ja) * | 2007-01-09 | 2008-07-24 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP2010250764A (ja) * | 2009-04-20 | 2010-11-04 | Canon Inc | 情報処理装置及び識別方法 |
JP2011234314A (ja) * | 2010-04-30 | 2011-11-17 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2012138013A (ja) * | 2010-12-27 | 2012-07-19 | Canon Inc | 追尾装置およびその制御方法 |
JP2014048702A (ja) * | 2012-08-29 | 2014-03-17 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法、及び画像認識プログラム |
JP2014071832A (ja) * | 2012-10-01 | 2014-04-21 | Toshiba Corp | 物体検出装置及びその検出方法 |
KR101484001B1 (ko) | 2013-11-20 | 2015-01-20 | (주)나노인사이드 | 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 |
JP2015136622A (ja) * | 2014-01-20 | 2015-07-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 放射線撮影装置、放射線撮影装置の制御方法、及び放射線撮影方法 |
KR20160021737A (ko) * | 2014-07-23 | 2016-02-26 | 시아오미 아이엔씨. | 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7920725B2 (en) * | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
EP1566788A3 (en) | 2004-01-23 | 2017-11-22 | Sony United Kingdom Limited | Display |
TW200539046A (en) * | 2004-02-02 | 2005-12-01 | Koninkl Philips Electronics Nv | Continuous face recognition with online learning |
GB2414615A (en) | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Object detection, scanning and labelling |
GB2414614A (en) | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Image processing to determine most dissimilar images |
KR100612858B1 (ko) * | 2004-08-23 | 2006-08-14 | 삼성전자주식회사 | 로봇을 이용하여 사람을 추적하는 방법 및 장치 |
GB0426523D0 (en) * | 2004-12-02 | 2005-01-05 | British Telecomm | Video processing |
JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
CN100361138C (zh) * | 2005-12-31 | 2008-01-09 | 北京中星微电子有限公司 | 视频序列中人脸的实时检测与持续跟踪的方法及系统 |
JP5044321B2 (ja) | 2006-09-13 | 2012-10-10 | 株式会社リコー | 撮像装置および被写体検出方法 |
JP4717766B2 (ja) * | 2006-09-14 | 2011-07-06 | キヤノン株式会社 | 画像表示装置、撮像装置、画像表示方法、記憶媒体、及び、プログラム |
KR20090036734A (ko) * | 2007-10-10 | 2009-04-15 | 삼성전자주식회사 | 화상 통신단말기 및 그 화상 통신단말기의 화상카메라트래킹 방법 |
CN101499128B (zh) * | 2008-01-30 | 2011-06-29 | 中国科学院自动化研究所 | 基于视频流的三维人脸动作检测和跟踪方法 |
US8265474B2 (en) * | 2008-03-19 | 2012-09-11 | Fujinon Corporation | Autofocus system |
JP5429445B2 (ja) * | 2008-04-08 | 2014-02-26 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
CN102016878B (zh) * | 2008-05-08 | 2015-03-18 | 纽昂斯通讯公司 | 定位声音信号源的位置 |
EP2297697A4 (en) * | 2008-06-26 | 2014-05-07 | Hewlett Packard Development Co | FACE DETECTION PROCESSING METHODS, IMAGE PROCESSING DEVICES, AND ARTICLES OF MANUFACTURE |
GB2470072B (en) * | 2009-05-08 | 2014-01-01 | Sony Comp Entertainment Europe | Entertainment device,system and method |
TWI401963B (zh) * | 2009-06-25 | 2013-07-11 | Pixart Imaging Inc | Dynamic image compression method for face detection |
JP5476955B2 (ja) * | 2009-12-04 | 2014-04-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US9135514B2 (en) * | 2010-05-21 | 2015-09-15 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
US8320644B2 (en) * | 2010-06-15 | 2012-11-27 | Apple Inc. | Object detection metadata |
CN101923637B (zh) * | 2010-07-21 | 2016-03-16 | 康佳集团股份有限公司 | 一种移动终端及其人脸检测方法和装置 |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
EP2659429B1 (en) * | 2010-12-30 | 2023-10-25 | Nokia Technologies Oy | Methods, apparatuses and computer program products for efficiently recognizing faces of images associated with various illumination conditions |
US9020207B2 (en) | 2011-06-07 | 2015-04-28 | Accenture Global Services Limited | Biometric authentication technology |
AU2013200450B2 (en) | 2012-01-30 | 2014-10-02 | Accenture Global Services Limited | System and method for face capture and matching |
US8948465B2 (en) | 2012-04-09 | 2015-02-03 | Accenture Global Services Limited | Biometric matching technology |
US9251437B2 (en) * | 2012-12-24 | 2016-02-02 | Google Inc. | System and method for generating training cases for image classification |
CN103079016B (zh) * | 2013-01-24 | 2016-02-24 | 上海斐讯数据通信技术有限公司 | 一种拍照脸型变换方法及智能终端 |
US9294712B2 (en) | 2013-03-20 | 2016-03-22 | Google Inc. | Interpolated video tagging |
CN104680551B (zh) * | 2013-11-29 | 2017-11-21 | 展讯通信(天津)有限公司 | 一种基于肤色检测的跟踪方法及装置 |
GB2528330B (en) * | 2014-07-18 | 2021-08-04 | Unifai Holdings Ltd | A method of video analysis |
US9767358B2 (en) * | 2014-10-22 | 2017-09-19 | Veridium Ip Limited | Systems and methods for performing iris identification and verification using mobile devices |
US10146797B2 (en) | 2015-05-29 | 2018-12-04 | Accenture Global Services Limited | Face recognition image data cache |
CN106295669B (zh) * | 2015-06-10 | 2020-03-24 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN105718887A (zh) * | 2016-01-21 | 2016-06-29 | 惠州Tcl移动通信有限公司 | 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统 |
EP3232368A1 (en) * | 2016-04-14 | 2017-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Determining facial parameters |
JP6649306B2 (ja) * | 2017-03-03 | 2020-02-19 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
CN106960203B (zh) * | 2017-04-28 | 2021-04-20 | 北京搜狐新媒体信息技术有限公司 | 一种面部特征点跟踪方法及系统 |
CN107302658B (zh) | 2017-06-16 | 2019-08-02 | Oppo广东移动通信有限公司 | 实现人脸清晰的对焦方法、装置和计算机设备 |
US20190215464A1 (en) * | 2018-01-11 | 2019-07-11 | Blue Jeans Network, Inc. | Systems and methods for decomposing a video stream into face streams |
US10963680B2 (en) * | 2018-01-12 | 2021-03-30 | Capillary Technologies International Pte Ltd | Overhead people detection and tracking system and method |
CN109614841B (zh) * | 2018-04-26 | 2023-04-18 | 杭州智诺科技股份有限公司 | 嵌入式系统中的快速人脸检测方法 |
US20220279191A1 (en) * | 2019-08-16 | 2022-09-01 | Google Llc | Face-based frame packing for video calls |
CN110659571B (zh) * | 2019-08-22 | 2023-09-15 | 杭州电子科技大学 | 一种基于帧缓存队列的流视频人脸检测加速方法 |
CN110751666A (zh) * | 2019-11-30 | 2020-02-04 | 上海澄镜科技有限公司 | 一种装备在智能美容镜的皮肤检测与建模的系统装置 |
CN113128312B (zh) * | 2020-01-14 | 2023-12-22 | 普天信息技术有限公司 | 挖掘机位置和工作状态检测方法及装置 |
CN111461047A (zh) * | 2020-04-10 | 2020-07-28 | 北京爱笔科技有限公司 | 身份识别的方法、装置、设备及计算机存储介质 |
CN111640134B (zh) * | 2020-05-22 | 2023-04-07 | 深圳市赛为智能股份有限公司 | 人脸跟踪方法、装置、计算机设备及其存储装置 |
CN111757149B (zh) * | 2020-07-17 | 2022-07-05 | 商汤集团有限公司 | 视频剪辑方法、装置、设备及存储介质 |
CN112468734B (zh) * | 2021-01-18 | 2021-07-06 | 山东天创信息科技有限公司 | 一种基于人脸识别的监控摄像头可调节安检装置 |
CN114915772B (zh) * | 2022-07-13 | 2022-11-01 | 沃飞长空科技(成都)有限公司 | 飞行器的视景增强方法、系统、飞行器及存储介质 |
CN117409397B (zh) * | 2023-12-15 | 2024-04-09 | 河北远东通信系统工程有限公司 | 一种基于位置概率的实时人像比选方法、装置及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157596A (ja) * | 2000-11-17 | 2002-05-31 | Sony Corp | ロボット装置及び顔識別方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5715325A (en) * | 1995-08-30 | 1998-02-03 | Siemens Corporate Research, Inc. | Apparatus and method for detecting a face in a video image |
US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
US6298145B1 (en) * | 1999-01-19 | 2001-10-02 | Hewlett-Packard Company | Extracting image frames suitable for printing and visual presentation from the compressed image data |
AUPP839199A0 (en) * | 1999-02-01 | 1999-02-25 | Traffic Pro Pty Ltd | Object recognition & tracking system |
JP2001331804A (ja) * | 2000-05-18 | 2001-11-30 | Victor Co Of Japan Ltd | 画像領域検出装置及び方法 |
CN1352436A (zh) * | 2000-11-15 | 2002-06-05 | 星创科技股份有限公司 | 实时脸部识别系统 |
US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
AUPR676201A0 (en) * | 2001-08-01 | 2001-08-23 | Canon Kabushiki Kaisha | Video feature tracking with loss-of-track detection |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
-
2002
- 2002-11-29 GB GB0227895A patent/GB2395779A/en not_active Withdrawn
-
2003
- 2003-11-28 CN CNB2003801044897A patent/CN1320490C/zh not_active Expired - Fee Related
- 2003-11-28 US US10/536,620 patent/US20060104487A1/en not_active Abandoned
- 2003-11-28 EP EP03778548A patent/EP1565870A1/en not_active Withdrawn
- 2003-11-28 JP JP2004556495A patent/JP2006508461A/ja active Pending
- 2003-11-28 WO PCT/GB2003/005186 patent/WO2004051551A1/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157596A (ja) * | 2000-11-17 | 2002-05-31 | Sony Corp | ロボット装置及び顔識別方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006508463A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
JP2007257358A (ja) * | 2006-03-23 | 2007-10-04 | Sanyo Electric Co Ltd | 物体検出装置 |
JP4498296B2 (ja) * | 2006-03-23 | 2010-07-07 | 三洋電機株式会社 | 物体検出装置 |
JP2007336126A (ja) * | 2006-06-14 | 2007-12-27 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP4686406B2 (ja) * | 2006-06-14 | 2011-05-25 | 富士フイルム株式会社 | 撮像装置およびその制御方法 |
JP2008005438A (ja) * | 2006-06-26 | 2008-01-10 | Canon Inc | 撮像装置及び撮像方法 |
JP2008172368A (ja) * | 2007-01-09 | 2008-07-24 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP2010250764A (ja) * | 2009-04-20 | 2010-11-04 | Canon Inc | 情報処理装置及び識別方法 |
JP2011234314A (ja) * | 2010-04-30 | 2011-11-17 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2012138013A (ja) * | 2010-12-27 | 2012-07-19 | Canon Inc | 追尾装置およびその制御方法 |
JP2014048702A (ja) * | 2012-08-29 | 2014-03-17 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法、及び画像認識プログラム |
JP2014071832A (ja) * | 2012-10-01 | 2014-04-21 | Toshiba Corp | 物体検出装置及びその検出方法 |
US9489737B2 (en) | 2012-10-01 | 2016-11-08 | Kabushiki Kaisha Toshiba | Object detection apparatus and method |
KR101484001B1 (ko) | 2013-11-20 | 2015-01-20 | (주)나노인사이드 | 지역 미세 패턴을 이용한 얼굴 영상 분석 방법 |
JP2015136622A (ja) * | 2014-01-20 | 2015-07-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 放射線撮影装置、放射線撮影装置の制御方法、及び放射線撮影方法 |
KR20160021737A (ko) * | 2014-07-23 | 2016-02-26 | 시아오미 아이엔씨. | 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 |
KR101694643B1 (ko) | 2014-07-23 | 2017-01-09 | 시아오미 아이엔씨. | 이미지 분할 방법, 장치, 기기, 프로그램 및 기록매체 |
US9665945B2 (en) | 2014-07-23 | 2017-05-30 | Xiaomi Inc. | Techniques for image segmentation |
Also Published As
Publication number | Publication date |
---|---|
US20060104487A1 (en) | 2006-05-18 |
CN1717695A (zh) | 2006-01-04 |
CN1320490C (zh) | 2007-06-06 |
WO2004051551A1 (en) | 2004-06-17 |
EP1565870A1 (en) | 2005-08-24 |
GB0227895D0 (en) | 2003-01-08 |
GB2395779A (en) | 2004-06-02 |
WO2004051551A8 (en) | 2005-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4381310B2 (ja) | メディア処理システム | |
JP2006508461A (ja) | 顔検出及び顔追跡 | |
JP2006508463A (ja) | 顔検出 | |
JP2006508601A (ja) | ビデオカメラ | |
JP2006508601A5 (ja) | ||
JP2006508462A (ja) | 顔検出 | |
US7336830B2 (en) | Face detection | |
US7430314B2 (en) | Face detection | |
JP4616702B2 (ja) | 画像処理 | |
US20080013837A1 (en) | Image Comparison | |
US7522772B2 (en) | Object detection | |
JP2005190477A (ja) | オブジェクト検出 | |
GB2414615A (en) | Object detection, scanning and labelling | |
JP2005174353A (ja) | オブジェクト検出 | |
US20050128306A1 (en) | Object detection | |
GB2414613A (en) | Modifying pixels in dependence on surrounding test region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061127 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080418 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100316 |