JP2015501614A - 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体 - Google Patents

顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体 Download PDF

Info

Publication number
JP2015501614A
JP2015501614A JP2014539874A JP2014539874A JP2015501614A JP 2015501614 A JP2015501614 A JP 2015501614A JP 2014539874 A JP2014539874 A JP 2014539874A JP 2014539874 A JP2014539874 A JP 2014539874A JP 2015501614 A JP2015501614 A JP 2015501614A
Authority
JP
Japan
Prior art keywords
input image
face
frame
divided
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014539874A
Other languages
English (en)
Other versions
JP5908596B2 (ja
Inventor
リュ,ウジュ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2015501614A publication Critical patent/JP2015501614A/ja
Application granted granted Critical
Publication of JP5908596B2 publication Critical patent/JP5908596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本発明開示では、既定の時間期間に対して連続的に受け取られた入力画像に係る複数のフレームが取得される。全体検出モードが実施されている場合、第1フレームに対して顔面検出オペレーションが実行される。顔面検出オペレーションの最中に第1フレームの所定の領域から顔面が検出された場合、顔面追跡モードが実施され、第2フレームが分割されて第2フレームに係る分割入力画像領域が生成され、第1フレームにおける所定の領域に対応する第2フレームの分割入力画像領域の所定の領域に係る周辺領域に対して顔面追跡オペレーションが実行される。顔面追跡モードにおいて顔面が検出されなかった場合、部分検出モードが実施され、そして、顔面検出オペレーションが、第3フレームの分割入力画像領域においてリサイズされた画像領域に対して実行される。領域は、第1フレームの所定の領域に対応する第3のフレームの所定の領域が属するものである。

Description

本発明開示は、顔面を検出するための方法及び装置に関し、その方法を実行するためのコンピューターで読取り可能な固定記録媒体に関する。本方法に従えば、画像ピックアップ装置によって取得された入力画像から顔面が検出された場合、連続して受け取られた入力画像における分割領域のいくつか又は全てに関して、顔面追跡モードオペレーションまたは部分検出モードオペレーションが実行される(連続して受け取られた入力画像における領域を含む分割領域は、以前の入力画像において顔面が検出された領域に対応している)。顔面を検出する可能性を拡大させ、一方で、そのために必要なオペレーションの数量が削減されるやり方で、連続して受け取られた入力画像における顔面を検出する。
ポータブル端末の小型化が継続しているため、それらは、より薄く、より軽くなっており。その携帯性は何年にもわたり継続的に改善されており、ポータブル端末に対するより大きな要求を結果として生じている。同様に、ポータブル端末に搭載される追加機能も多様化してきている。
特に、そうした一つの追加機能として、デジタルカメラ機能は絶対必要であるものとして、、最近消費者によって認識されてきている。デジタルカメラ機能は、現在ほとんどのポータブル端末に含まれている。
そうしたデジタルカメラ機能は、単に画像を撮ることに加えて、カメラを通じて取得された入力画像から顔面を検出するための顔面検出オペレーションを実行し、スマイル、まばたき等を認識するといった種々の認識オペレーションを実行することを含み得る。
加えて、従来の顔面検出方法は、フレームを種々のサイズにリサイズすることができ、リサイズされたフレームの中で全ての画像における顔面を検出することができる。例えば、Paul ViolaとMichael J. Jonesによって開発され、「Robust Real−Time Face Detection」というタイトルの論文で開示されており、2004年5月に「International Journal of Computer Vision,Volume57,Issue2」で発行されている(論文のセクション3以前のパラグラフを参照のこと)。こうした従来技術は、しかしながら、大量の計算を要し、そのため顔面検出オペレーションを実行するのに多くの時間がかかるという問題を有している。
Paul Viola and Michael J. Jones,"Robust Real−Time Face Detection",International Journal of Computer Vision,Volume57,Issue2,May 2004
従って、本発明開示の少なくとも一つの目的は、上記の問題を解決することである。
加えて、本発明開示の少なくとも別の目的は、以下のことによって、顔面検出オペレーションを実行するために必要な時間を削減することである。つまり、既定の時間期間にわたり、連続的に受け取られた入力画像のそれぞれを、既定の数量の領域に分割すること、連続的に受け取られた入力画像からの入力画像の分割領域それぞれに対して顔面検出オペレーションを実行すること、そして、分割領域のうち少なくとも一つから顔面が検出された場合に、連続的に受け取られた入力画像における全て又はいくつかの対応する分割領域に対して顔面追跡モードオペレーションまたは部分検出モードオペレーションを実行することによって、入力画像の後に連続的に受け取られた入力画像での顔面を検出することである。
本発明開示の一つの実施態様に従って、以下を含む顔面検出の方法が提供される。(a)入力画像を既定の数量に領域に分割することによって分割入力画像領域を生成するステップであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた複数のフレームのうち一つのフレームを含んでいるステップと;(b)全体検出モードオペレーションの場合に、第1フレームの前記分割入力画像領域それぞれをリサイズし、かつ、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行するステップと;(c)前記顔面検出オペレーションで、前記第1フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域において顔面が検出された場合に、顔面追跡モードオペレーションを進め、かつ、前記顔面が検出された前記第1フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する第2フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡モードを実行するステップと;(d)前記顔面追跡オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションを進め、かつ、第3フレームの分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第3フレームの分割されリサイズされた入力画像領域は、前記顔面が検出された前記第1フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第3フレームにおける所定の領域を含んでいるステップと、を含む方法である。
本発明開示の別の実施態様に従って、以下を含む顔面検出の方法が提供される。(a)既定の時間期間の最中に連続的に入力された入力画像の複数のフレームを取得するステップと;(b)全体検出モードオペレーションである場合に、第1フレームに対して顔面検出オペレーションを実行するステップと;(c)前記顔面検出オペレーションで、前記第1フレームの所定の領域において顔面が検出された場合に、第2フレームを分割することにより第2フレームの分割入力画像領域を生成するために顔面追跡モードオペレーションに進み、かつ、前記第1フレームにおける所定の領域に対応する前記第2フレームの分割入力画像領域における所定の領域の周辺領域に対して顔面追跡オペレーションを実行するステップと;(d)前記顔面検出オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションへ進み、かつ、第3フレームの分割入力画像領域のリサイズされた画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第3フレームの前記分割入力画像領域は、前記第1フレームにおける所定の領域に対応する前記第3フレームにおける所定の領域を含んでいるステップと、を含む方法である。
本発明開示のさらなる別の実施態様に従って、さらに以下の顔面検出装置が提供される。顔面検出装置であって:n個の分割入力画像領域を生成するように入力画像を分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと;第1フレームに対して全体検出モード信号が生成された場合に、第1フレームの前記n個の分割入力画像領域を並行して伝送するモード変換ユニットであり、時間的に前記第1フレームの後に続く第2フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第1フレームの所定の領域に対応する第2フレームの所定の領域を含んでいる分割入力画像領域を伝送し、かつ、時間的に前記第2フレームの後に続く第3フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第1フレームの所定の領域に対応する第3フレームの所定の領域を含んでいる分割入力画像領域を伝送する、モード変換ユニットと;n個の顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第1または第3フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと;n個の顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第2フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと;モード変換信号生成ユニットであり、前記n個の顔面検出ユニットが、前記第1フレームの前記n個の分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたことを示す場合に、前記顔面追跡モード信号を生成し、かつ、前記n個の顔面追跡ユニットが、前記第2フレームの前記分割入力画像領域において顔面が検出されなかったことを示す場合に、前記部分検出モード信号を生成する、モード変換信号生成ユニットと;を含む装置である。
本発明開示のさらに別の実施態様に従って、さらに以下の顔面検出装置が提供される。顔面検出装置であって:分割入力画像領域を生成するように入力画像を既定の数量の領域に分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと;第1フレームに対して全体検出モード信号が生成された場合に、第1フレームの前記分割入力画像領域を連続的に伝送するモード変換ユニットであり、時間的に前記第1フレームの後に続く第2フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第1フレームの所定の領域に対応する第2フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送し、かつ、時間的に前記第2フレームの後に続く第3フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第1フレームの所定の領域に対応する第3フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送する、モード変換ユニットと;顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第1または第3フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと;顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第2フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと;モード変換信号生成ユニットであり、前記顔面検出ユニットが、前記第1フレームの前記分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたと判断する場合に、前記顔面追跡モード信号を生成し、かつ、前記顔面追跡ユニットが、前記第2フレームの前記分割入力画像領域において顔面が検出されなかったと判断する場合に、前記部分検出モード信号を生成する、モード変換信号生成ユニットと;を含む装置である。
加えて、本発明開示に係る種々の実施例を実施するように上述の方法を実行するためのコンピュータープログラムを記録するコンピューターで読取り可能な固定記録媒体が、さらに提供される。
本発明開示に従えば、入力画像に対して全顔面検出オペレーションを実行することによって最初に顔面が検出された場合、連続的に受け取られた入力画像におけるいくつかの又は全ての分割領域に対して顔面追跡モードオペレーションまたは部分検出モードオペレーションを実行することによって、顔面が検出される。これは、以前の入力画像において顔面が最初に検出された領域に対応する領域を決定することを含んでいる。従って、連続的に受け取られた画像全体に対してより労力のかかる全顔面検出オペレーションを実行することなく、連続的に受け取られた入力画像に対する顔面検出を達成でき、よって、顔面検出オペレーションのために必要な時間を削減することができる。
加えて、本発明開示に従えば、分割された顔面画像の領域から、顔面検出の最も高い可能性を有する領域に対するフォーカスを最適に特定することによって、顔面追跡オペレーションに要する時間を削減することができる。
図1は、本発明開示の一つの実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。 図2は、図1のリサイズユニット、回転ユニット、および、顔面検出ユニットの構成を説明するブロックダイヤグラムである。 図3は、図1の画像分割ユニット、および、顔面検出ユニットの構成を説明するブロックダイヤグラムである。 図4Aは、図1の顔面追跡ユニットと実施例に係るオペレーションを説明するブロックダイヤグラムである。 図4Bは、図1の顔面追跡ユニットと実施例に係るオペレーションを説明するブロックダイヤグラムである。 図5は、本発明開示の一つの実施例に係る顔面検出器の構成を説明するブロックダイヤグラムである。 図6は、図5の強力分類器の構成を説明するブロックダイヤグラムである。 図7は、本発明開示の別の実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。 図8は、本発明開示の一つの実施例に従って、顔面検出方法のオペレーションを説明するフローチャートである。
以降に続く本発明開示の詳細な説明においては、添付の図面が参照される。図面は、説明の方法として、本発明開示が実行され得る種々の実施例を示している。これらの実施例は、当業者が本発明開示を実施することができるように十分な詳細を説明している。本発明開示に係る種々の実施例は、相違するとしても、必ずしも相互に排他的であることを要しないことが理解されるべきである。例えば、一つの実施例に関して説明された所定の機能、構成、および、性質は、本発明開示の主旨と範囲から逸脱することなく他の実施例において実施され得る。加えて、開示されたそれぞれ実施例の中の個々のエレメントに係る場所または配置は、本発明開示の主旨と範囲から逸脱することなく変更され得ることが理解されるべきである。以降の詳細な説明は、従って、限定する意味において理解されるべきではない。本発明開示の範囲は、添付の特許請求の範囲によってのみ定められるものであり、適切に解釈されるべきものである。特許請求の範囲が請求するものに対する均等物の全ての範囲も一緒である。図面において、類似の参照番号は、多くのやり方を通じて同一または類似の機能を参照するものである。
以降においては、当業者が容易に本発明開示を実施することができるように、本発明開示の種々の実施例が、添付の図面に関して詳細に説明される。
図1は、本発明開示の一つの実施例に従って、顔面検出装置100の構成を説明するブロックダイヤグラムである。
図1を参照すると、顔面検出装置100は、画像分割ユニット110、リサイズユニット120−1から120−n、回転ユニット130−1から130−n、顔面検出ユニット140−1から140−n、顔面追跡ユニット150−1から150−n、モード変換ユニット160、および、モード変換信号生成ユニット170を含んでいる。モード変換ユニット160は、スイッチユニット160−1から160−nを含み、スイッチユニット160−1から160−nのそれぞれはスイッチS1およびS2を含んでいる。
画像分割ユニット110は、分割入力画像領域DI1からDInを生成する。カメラといった、画像ピックアップ装置を介して受け取った入力画像を既定の数量の画像領域へと分割することによるものである。ここにおいて説明される入力画像は、既定の時間期間(例えば、一秒間)に受け取られた、既定の数量(例えば、30個)の入力画像(フレーム単位におけるもの)を含んでよい。ここにおいて、用語「分割(dividing)」は、実際の分割オペレーショを意味するが、上記の用語は、画像を仮想的な意味で分割されたものとして取り扱うオペレーションを含んでよいことは明らかである。
それぞれのリサイズユニット120−1から120−nは、画像分割ユニット110によって分割された分割入力画像領域DI1からDInを受け取り、リサイズされた分割画像領域を生成する。入力画像領域を既定の数量の画像領域にリサイズすることによるものであり、画像領域は異なるサイズであってよい。
それぞれの回転ユニット130−1から130−nは、既定の数量の互いに異なる角度によって、分割されリサイズされた画像領域を回転させることにより回転画像領域を生成する。
それぞれの顔面検出ユニット140−1から140−nは、顔面が検出されると、分割されリサイズされ回転された画像領域を受け取り、顔面検出オペレーションを実行する。例えば、顔面検出オペレーションは、アダブースト(Adaboost)学習アルゴリズムによって学習され選択された顔面パターンを使用して実行され得る。
それぞれの顔面追跡ユニット150−1から150−nは、分割入力画像領域を受け取り、顔面が検出された分割入力画像の領域の周辺部において、検出された顔面画像と同一の顔面が存在するか否かを追跡する。例えば、第1フレームの分割入力画像の所定の領域において顔面が検出された場合、それぞれの顔面追跡ユニット150−1から150−nは、ブロックマッチング法(block matching method)を使用して、第2フレームの領域において、第1フレームの領域で検出された顔面画像と同一の顔面が存在するか検出する。周辺領域に対応しており、分割入力画像領域の所定の領域を含んでいるものである。
ここでは、例としてブロックマッチング法を説明したが、本発明開示はこれに限定される必要はなく、特徴点追跡法を使用するといった、種々の変更された実施例が仮定されている。
リサイズユニット120−1から120−n、回転ユニット130−1から130−n、および、顔面検出ユニット140−1から140−nを使用して、取得された所定の領域全体から顔面を検出することは、顔面追跡として参照される。しかしながら、顔面は、アダブースト学習アルゴリズム等といった区別されたアルゴリズムを使用して検出されるので、ここにおいては、説明目的のために、ブロックマッチング、または、アダブースト学習アルゴリズム等を使用する顔面検出方法以外の特徴点追跡法が、顔面追跡ユニット150−1から150−nによって実行されてよいことは当然である。同様に、ブロックマッチング、または、アダブースト学習アルゴリズム等を使用する顔面検出方法以外の特徴点追跡法を使用するモードは、追跡モードとして参照される。
モード変換ユニット160は、スイッチユニット160−1から160−nにおけるスイッチS1をオフにし、かつ、スイッチS2をオンすることにより、部分検出モードへ変換する。モード変換信号信号生成ユニット170が、(a)顔面追跡ユニット150−1から150−nの中から、顔面を検出しなかった顔面追跡ユニットに対して部分検出モード信号を生成する場合、または、(b)顔面検出ユニット140−1から140−nの中から、顔面を検出した顔面追跡ユニットに対して部分検出モード信号を生成する場合である。さらに、モード変換ユニット160は、スイッチユニット160−1から160−nにおいて対応するスイッチS1をオンにし、かつ、対応するスイッチS2をオフすることにより、顔面追跡モードへ変換する。モード変換信号信号生成ユニット170が、(a)顔面追跡ユニット150−1から150−nが、それぞれに、ブロックマッチング法、等を使用して顔面を検出したことを示す顔面モード追跡信号を生成する場合、または、(b)全体検出モードのオペレーションにおいて、顔面検出ユニット140−1から140−nの中から、少なくとも一つの顔面検出ユニットによって顔面が検出されたケースに対して、ブロックマッチング法、等が、顔面検出ユニット140−1から140−nの中から、顔面を検出した少なくとも一つの顔面検出ユニットに適用されるべきであることを示す顔面モード追跡信号を生成する場合である。モード変換ユニット160は、スイッチユニット160−1から160−nにおけるn個全てのスイッチS1をオフにし、かつ、n個全てのスイッチS2をオンすることにより、部分検出モードへ変換する。モード変換信号信号生成ユニット170が、(a)全ての顔面検出ユニット140−1から140−nが顔面を検出することができなかったために全ての分割領域が検出されるべきであることを示す全体検出モード信号を生成する場合、または、(b)顔面検出ユニット140−1から140−nのいずれかによって顔面が検出されたか検出されないかにかかわらず、定期的に全体検出モード信号を生成する場合である。
図2は、図1のリサイズユニット120−1、回転ユニット130−1、および、顔面検出ユニット140−1の構成を説明するブロックダイヤグラムである。
図2を参照すると、リサイズユニット120−1は、m個のリサイズ器120−11から120−1mを含んでいる。回転ユニット130−1は、i個の回転器130−11から130−1i、j個の回転器130−11から130−1j、および、k個のリ回転器130−11から130−1kを含んでいる。そして、顔面検出ユニット140−1は、i個の顔面検出器140−11から140−1i、j個の顔面検出器140−11から140−1j、および、k個の顔面検出器140−11から140−1kを含んでいる。
図2に示されたそれぞれのブロックの機能は、以下のとおりである。
m個のリサイズ器120−11から120−1mは、それぞれに、分割入力画像領域を異なるサイズへと調整する。例えば、リサイズ器120−11は、画像分割ユニット110によって分割された入力画像領域と同一のサイズを有する分割入力画像領域を生成し、リサイズ器120−12は、半分のサイズの分割入力画像領域を生成し、リサイズ器120−13は、10分の1のサイズの分割入力画像領域を生成してよい。リサイズ器120−11は同一サイズの分割入力画像領域を生成するので、リサイズオペレーションは実行しない。
図1のリサイズユニット120−2から120ーnのそれぞれは、図2のリサイズユニット120−1とは異なる数量のリサイズ器を有するように構成されてよい。そして、図2のリサイズユニット120−1のリサイズ器と同一の倍率、または、異なる倍率を有するリサイズ器を使用して構成されてもよい。
i個の回転器130−11から130−1iは、リサイズ器120−11から出力された、分割されリサイズされた入力画像領域を回転させる。例えば、回転器130−11は、分割されリサイズされたが回転されていない画像を生成し、回転器130−12は、分割されリサイズされ45°回転された画像を生成し、回転器130−13は、分割されリサイズされ−90°回転された画像を生成してよい。
j個の回転器130−11から130−1jは、リサイズ器120−12から出力された、分割されリサイズされた入力画像領域を回転させる。j個の回転器130−11から130−1jは、i個の回転器130−11から130−1iと同様に構成されてよい。または、数量が異なり、異なる回転角度で入力画像領域を回転するように構成されてよい。つまり、i個の回転器130−11から130−1iは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ0°、45°、90°、−45°、および、−90°だけ回転された画像領域を生成するように構成されている。そして、j個の回転器130−11から130−1jは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ0°、90°、および、−90°だけ回転された画像領域を生成するように構成されている。
k個の回転器130−11から130−1kも、また、リサイズ器120−1mから出力された、分割されリサイズされた入力画像領域を回転させる。k個の回転器130−11から130−1kは、i個の回転器130−11から130−1iおよびj個の回転器130−11から130−1jと同様に構成されてよい。または、数量が異なり、異なる回転角度で入力画像領域を回転するように構成されてよい。 つまり、k個の回転器130−11から130−1kは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ0°、45°、90°、−45°、および、−90°だけ回転された画像領域を生成するように構成されている。j個の回転器130−11から130−1jは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ0°、90°、および、−90°だけ回転された画像領域を生成するように構成されている。そして、k個の回転器130−11から130−1kは、分割されリサイズされた画像領域を受け取って、分割されリサイズされ、それぞれ0°、45°、および、−45°だけ回転された画像領域を生成するように構成されている。
ここで、回転器130−11は、分割されリサイズされたが、回転されない入力画像領域を生成するので、回転オペレーションは実行されない。
顔面検出ユニッ140−11から140−1i、140−11から140−1j、および、140−11から140−1kは、回転器130−11から130−1i、130−11から130−1j、および、130−11から130−1kより、分割されリサイズされ回転された画像領域を受け取り、顔面検出オペレーションを実行する。
それぞれの顔面検出ユニッ140−11から140−1i、140−11から140−1j、および、140−11から140−1kは、アダブーストアルゴリズムによって学習され選択された顔面パターンを使用して顔面検出オペレーションを実行するが、本発明開示は、それに限定される必要はなく、種々の変形された実施例が仮定されている。
本発明開示の顔面検出装置は、入力画像が種々のサイズへとリサイズされるので、顔面のサイズにかかわらず顔面画像を検出することができる。そして、入力画像が種々の角度で回転されるので、種々の姿勢の顔面画像を検出することができる。
図3は、図1に示した画像分割ユニット110、および、顔面検出ユニット140のオペレーション説明している。図3において、「F」は、カメラといった、画像ピックアップ装置によって直接的または間接的に受け取った入力画像のフレーム(Frame)を意味している。「DI1」から「DI15」は、図1で示される画像分割ユニット110によって分割された5つの画像領域を示している。
図3を参照すると、図1の画像分割ユニット110は、フレームFを、例えば、5つの分割画像領域DI1、DI2、DI3、DI4、および、DI5に分割する。そして、それらに対応する顔面検出ユニット140−1から140−5は、分割画像領域それぞれに適用されている既定のサイズのサブウィンドウ画像a、b、c、・・・、dを受け取り、顔面検出オペレーションを実行する。顔面検出オペレーションは、例えば、5×5のピクセルデータである既定のサイズのサブウィンドウ画像を使用して、分割画像領域DI1、DI2、DI3、DI4、および、DI5に対して実行される。
加えて、分割画像領域の中で、中央領域に配置され、または移動された分割入力画像領域DI1に対してリサイズ及び/又は回転オペレーションが実行される。中央領域は、顔面検出する可能性がより高いところであり、顔面検出する可能性がより低い分割入力画像領域DI2からDI4と比較して、より大きな倍率及び/又は回転角が使用される。
本発明開示の全体検出(FD)モードオペレーションは、例えば、一つのフレームF、または、既定の数量のフレームにおける5つの分割入力画像領域DI1、DI2、DI3、DI4、および、DI5に対する少なくとも一つの顔面検出オペレーションを実行することを意味するものである。そして、部分検出モードオペレーションは、一つのフレームFのいくつかの分割入力画像領域に対して顔面検出オペレーションを実行することを意味する。
図4Aと4Bは、図1の顔面追跡ユニット150−1の一つの実施例に係るオペレーションを説明している。図4Aと4Bにおいて、「F1」と「F2」は、入力画像フレームを意味しており、フレームF1は、時間的にフレームF2より以前のものである。F1とF2は、連続的に受け取られたフレームであるが、それは単純に複数のフレームであり、単一フレームを構成するものではない。既定の時間期間(例えば、一秒間)の最中に30フレームが入力される場合、フレームF1とF2は、お互いに時間的に隣接した画像であってよい。
フレームF1に対して顔面検出オペレーションが実行され、分割入力画像DI1のブロックFA1において顔面が検出された場合、顔面追跡ユニットは、フレームF2の分割入力画像DI1の周辺領域FADに対して、ブロックマッチングオペレーション等を実行する。このようにしてブロックマッチングオペレーションを実行することにより、時間的に隣接するフレームに含まれる顔面画像を連続的に追跡することができる。
ブロックマッチングオペレーションは、本発明開示の出願人の名前で発行された韓国特許第10−0970119号において詳細に開示されており、ここにおいて参照として包含されている。この文書において開示されたブロックマッチングオペレーションは、フレームF1の顔面が配置されているブロックFA1の近隣において周辺領域FADを設定する。周辺領域FADは、分割画像Aの領域よりも小さく設定される。
加えて、フレームF2の周辺領域FADの中でフレームF1のブロックFA1における顔面画像に一致する画像を有するブロックFA2を捜すために、周辺領域FADにおける全て又はいくつかのブロックが比較され、最も近く一致したブロックFA2が見出され得る。
従って、ブロックFA1からブロックFA2への移動を追跡することができる。
図4Aと4Bに係るブロックマッチングオペレーションを使用しても、フレームF1において検出された顔面画像と同一の顔面画像が、フレームF2における周辺領域FADの中で捜し出せない場合は、部分検出モードオペレーションによって、時間的にフレームF2に続いているフレームF3(図示なし)における、分割入力画像DI1に対応する全ての領域から顔面が捜し出される。
図5は、本発明開示の一つの実施例に係る顔面検出器140−1の構成を説明するブロックダイヤグラムである。ここで、顔面検出器140−1は、x個のカスケード(cascaded)強力分類器200−1から200−xを含んでいる。
図5を参照すると、それぞれの強力分類器200−1から200−xは、類似性を検出して、顔面検出の結果を出力する。分割されリサイズされ回転された入力画像領域のサブウィンドウに対してアダブースト学習アルゴリズムによって学習され選択された特徴パターンをマッチングすることによるものである。
カスケード強力分類器200−1から200−xの中で、以前のステージにおける強力分類器は、以降のステージにおける強力分類器と比較してさらに少ない数量のアダブーストアルゴリズムによって学習され選択された特徴パターンを使用して、顔面が検出される。例えば、強力分類器200−1が2つの異なる特徴パターンを使用し、強力分類器200−2が4つの異なる特徴パターンを使用し、かつ、強力分類器200−xが10個の異なる特徴パターンを使用してよい。さらに、強力分類器200−1から200−xによってそれぞれに使用される特徴パターンの閾値は、お互いに異なるものであってよい。
カスケード強力分類器200−1から200−xは、全ての強力分類器200−1から200−xが顔面を検出した場合に、顔面検出の結果を生成する。
図示されていないが、他の顔面検出器140−12から140−1i、140−11から140−1j、および、140−11から140−1kそれぞれも、また、図5の顔面検出器140−1と同一であるように構成されてよい。
図6は、図5の実施例に係る強力分類器の構成を説明するブロックダイヤグラムである。図6を参照すると、強力分類器200−1は、微力分類器210−1から210−yと判断ユニット220を含んでいる。
微力分類器210−1から210−yそれぞれは、y個の互いに異なる特徴パターンを使用する。そして、分割されリサイズされ回転された入力画像領域のサブウィンドウを受け取り、マッチングを行うことによって類似性を判断することができ、顔面が検出されたか否かを示す結果を出力する。y個の微力分類器210−1から210−yのうち既定の数量(例えば、y/2個)より多い微力分類器が顔面検出の結果を出力する場合、判断ユニット220は、顔面が検出されたことを示す検出結果を出力する。
図1に示された顔面検出装置100は、入力画像をn個の分割画像領域へと分割し、n個の分割画像領域に対する画像検出を並行して実施することができる。しかしながら、本発明開示に係る顔面検出装置は、n個の分割画像領域に対する画像検出オペレーションを連続的に実施することもでき、このことは図7に関して説明される。
図7は、本発明開示の別の実施例に従って、顔面検出装置の構成を説明するブロックダイヤグラムである。
図7を参照すると、顔面検出装置300は、画像分割ユニット110、リサイズユニット120、回転ユニット130、顔面検出ユニット140、顔面追跡ユニット150、モード変換ユニット160、および、モード変換信号生成ユニット170を含んでいる。
図7に示されているそれぞれのブロックの機能は、以下のとおりである。
画像分割ユニット110は、カメラといった、画像ピックアップ装置を介して受け取った入力画像を既定の数量の画像領域へと分割し、分割入力画像領域を連続的に出力することができる。入力画像は、既定の時間期間(例えば、一分間)に受け取られた既定の数量(例えば、10個)のフレームを含んでよい。全体検出モード信号が生成される場合、画像分割ユニット110は、一つのフレームに対する全ての分割入力画像領域を生成する。部分検出モード信号または顔面追跡信号が生成される場合、画像分割ユニット110は、顔面が検出された以前のフレームにおける領域に対応する領域を含んでいる以降のフレームの分割入力画像領域だけを生成する。顔面が検出された分割入力画像領域に対する情報は、コントロールユニット(図示なし)の中に保管され、顔面が検出された分割入力画像領域に対応する次のフレームの分割入力画像領域が、コントロールユニットの制御の下で生成される。
リサイズユニット120は、既定の数量の異なる倍率を分割入力画像領域に適用することにより、分割されリサイズされた入力画像領域を生成する。加えて、コントロールユニット(図示なし)の制御の下で、5つの異なる倍率、例えば、0、1/2、1/4、1/8、及び、1/16倍を図3の分割画像領域DI1に適用することにより、5つの分割されリサイズされた入力画像領域が生成される。また、例えば、3つの異なる倍率0、1/4、及び、1/16倍をDI2からDI5それぞれの分割画像領域に適用することにより、3つの分割されリサイズされた入力画像領域も生成される。リサイズ倍率は、分割画像領域DI1と同じやり方で適用されてよい。回転ユニット130は、既定の数量の回転角度を分割されリサイズされた像領域に適用することにより、既定の分割されリサイズされ回転された入力画像領域を生成する。加えて、コントロールユニット(図示なし)の制御の下で、5つの回転角度、例えば、0度、45度、90度、−45度、及び、−90度を図3の分割画像領域DI1に適用することにより、5つの分割されリサイズされ回転された入力画像領域が生成される。そして、3つの回転角度、例えば、0度、90度、及び、−90度をDI2からDI5それぞれの分割画像領域に適用することにより、3つの分割されリサイズされ回転された入力画像領域を生成する。回転角度は、分割画像領域DI1と同じやり方で適用されてよい。
顔面検出ユニット140は、分割されリサイズされ回転された画像領域それぞれを受け取り、顔面検出オペレーションを実行する。モード変換信号生成ユニット170は、顔面が検出された分割領域に対する部分検出モード信号を生成する。顔面検出オペレーションは、例えば、アダブースト学習アルゴリズムによって学習され選択された特徴パターンを使用して実行されてよい。
顔面追跡ユニット150は、分割入力画像領域を受け取り、検出された顔面画像と同一の顔面が周辺領域の中に在るか否かを追跡する。周辺領域は、顔面が検出された以前のフレームの分割入力画像領域における領域に対応する、以降のフレームの分割入力画像領域における領域を含んでいる。例えば、第1フレームの入力画像の分割入力画像領域DI1において顔面が検出された場合、顔面追跡ユニット150−1は、第1フレームの入力画像において検出された顔面と同一の顔面が周辺領域の中に在るか否かを追跡する。周辺領域は、第1フレームの入力画像における領域に対応する第2フレームの領域を含んでいる。ブロックマッチング法などを使用して顔面が検出されたところ、つまり、第2フレームにおけ入力画像の分割入力画像領域DI1における周辺領域である。
モード変換ユニット160は、全体検出モード信号または部分検出モード信号が生成された場合、スイッチS1をオフにしてスイッチS2をオンすることにより、顔面検出モードへ変換する。そして、顔面追跡モード信号が生成された場合、スイッチS1をオンしてスイッチS2をオフにすることにより、顔面追跡モードへ変換する。
モード変換信号生成ユニット170は、少なくとも一つの入力画像の分割されリサイズされ回転された入力画像領域に対して実行された顔面検出ユニット140の顔面検出オペレーションの結果が、顔面が全く検出されなかったことを示す場合、または、定期的に全体検出が実行されることを必要とする場合に、全体検出モード信号を生成する。モード変換信号生成ユニット170は、所定の分割入力画像領域における所定の周辺領域に対して実行された顔面検出ユニット150の顔面検出オペレーションの結果が、顔面が検出されなかったことを示す場合に、全体検出モード信号を生成する。
図8は、本発明開示の一つの実施例に係る顔面検出方法のオペレーションを説明するフローチャートである。
最初に、連続的に取得されたフレームのそれぞれを分割することによって分割入力画像領域が生成される(ステップ400)。例えば、既定の時間期間(例えば、一秒間)で異なる時点においてそれぞれ取得された30フレームの入力画像のそれぞれを分割することによって、分割入力画像領域が生成される。異なる時点は、既定の時間期間にわたり連続的に受け取られている複数のフレームを参照するものである。
オペレーションのモードが、全体検出モードオペレーションであるか否かが判断される(ステップ410)。全体検出モードオペレーションは、いずれの分割入力画像領域にも顔面が検出されない場合に実行され、または、顔面の検出にかかわらず定期的に実行される。
全体検出オペレーションの場合、第1フレームの分割入力画像領域のそれぞれに対してリサイズオペレーションが実行される(ステップ420)。図1と図7に対して説明したように、それぞれの分割入力画像領域に適用される倍率および倍率の数量は、お互いに異なっていてよい。
分割されリサイズされた入力画像領域のそれぞれに対して回転オペレーションが実行される(ステップ430)。図1と図7に対して説明したように、それぞれの分割されリサイズされた入力画像領域に適用される倍率および回転角度の数量は、お互いに異なっていてよい。
分割されリサイズされ回転された入力画像領域のそれぞれに対して顔面検出オペレーションが実行される(ステップ440)。図1と図7に対して説明したように、顔面検出オペレーションは、アダブースト学習アルゴリズムによって学習され選択された特徴パターンを使用して実行されてよい。
ステップ440の結果として、第1フレームの少なくとも一つの分割入力画像領域において顔面が検出された場合、フローは、ステップ400、410、450、および、460に進み、顔面追跡モードオペレーションが実行される。ステップ440の結果として、第1フレームの少なくとも一つの分割入力画像領域において顔面が検出されなかった場合、フローは、ステップ400、420、430、および、440に進み、連続的に入力された第2フレームに対して全体検出モードオペレーションが実行される。
オペレーションのモードが顔面追跡モードオペレーションであるか否かが判断される(ステップ450)。
上述のように、ステップ440の結果として、第1フレームの少なくとも一つの分割入力画像領域において顔面が検出された場合、フローはステップ450へ進む。そして、ステップ450の結果として、オペレーションのモードが顔面追跡モードオペレーションであると判断された場合、顔面が検出された第1フレームにおける領域に対応する第2フレームにおける領域を含む周辺領域に対して顔面追跡モードが実行される(ステップ460)。つまり、第2フレームの対応する分割入力画像領域に在る周辺領域のことである。顔面追跡オペレーションは、また、図1と図7に係る顔面追跡ユニット150に関する説明を参照することで容易に理解することができる。
ステップ450の結果として、オペレーションのモードが顔面追跡モードオペレーションではないと判断された場合、オペレーションのモードは、部分検出モードオペレーションであると判断され、フローがステップ470に進む。
ステップ450の結果として、部分検出モードオペレーションにいる場合、分割入力画像を使用してリサイズオペレーションが実行される(ステップ470)。分割入力画像は、顔面が検出された第1フレームに対応する第3フレーム(時間的に第2フレームの後に続くフレーム)における領域を含んでいる。
分割されリサイズされた入力画像領域に対して回転オペレーションが実行される(ステップ480)。
分割されリサイズされ回転された入力画像領域に対して顔面検出オペレーションが実行される(ステップ490)。
ステップ490の結果として、分割入力画像領域において顔面が検出された場合、フローは、ステップ400、410、450、および、470に進み、連続的に入力された第4フレームの分割入力画像に対して、部分検出モードオペレーションも連続的に実行される。ここで、別の実施例として、ステップ490の結果として、第3フレームの特定の分割入力画像領域において顔面が検出された場合、フローは、ステップ400、410、450、および、460に進み、ブロックマッチング法などを通じて連続して入力された第4フレームの特定の分割入力画像領域における所定の周辺領域に対しても、顔面追跡モードオペレーションが実行される。このことは、本発明開示の全体について適用することができる。加えて、ステップ490の結果として、顔面が検出されなかった場合、フローは、ステップ400、410、430、および、440に進み、連続的に入力された第4フレームの分割入力画像に対して、全体検出モードオペレーションが実行される。
第1フレームと第2フレームの入力画像は、それらが入力された時間によって順序付けされた画像であるが、それらは必ずしも連続的に入力された画像ではない。同様に、第2フレームと第3フレームは、第3フレームと第4フレームのものとは異なる時点においてそれぞれ入力されたものである。30フレームの入力画像が入力された場合、第1フレームに含まれている5つの入力画像領域(第1から第5の分割画像領域として参照されるもの)に対して顔面検出オペレーションを同時に実行することにより、全体検出モードオペレーションが実行される。代替的には、全体検出モードオペレーションが行われる変形された実施例が仮定されてよい。第1フレームについて第1の分割画像領域に対して顔面検出オペレーションを実行し、第2フレームについて第2の分割画像領域に対して顔面検出オペレーションを実行し、第3フレームについて第3の分割画像領域に対して顔面検出オペレーションを実行し、第4フレームについて第4の分割画像領域に対して顔面検出オペレーションを実行し、かつ、第5フレームについて第5の分割画像領域に対して顔面検出オペレーションを実行することによるものである。つまり、本発明開示の全滝検出モードオペレーションは一つのフレームの全ての分割画像領域に対して顔面検出オペレーションを実行するように構成されているが、検索領域として少なくとも一回は既定の数量のフレームが第1から第5の分割画像領域をカバーするように、顔面検出オペレーションを実行することによって全体検出モードオペレーションが達成される。
上記の実施例においては、顔面検出オペレーションが、入力画像領域をリサイズし、リサイズされた入力画像領域を回転した後で、顔面検出オペレーションが実行されることが説明されてきたが、顔面検出オペレーションは、リサイズされた入力画像領域を回転すること無しに実行されてもよい。すなわち、リサイズされた入力画像領域を回転することは必須のオペレーションではなく、選択的に適用することができるオペレーションである。つまり、図1および図7の顔面検出装置に係る回転ユニットと図2の回転器は、必須の構成ではなく、そして、図8のステップ430と480も必須のステップではないが、これらは選択的に含むことができる構成およびステップである。
加えて、図1と図7において、リサイズユニット、回転ユニット、および、顔面検出ユニットは、別々に構成されているものとして示されてきたが、顔面検出ユニットは、リサイズユニットと回転ユニットを含むように構成されてもよい。
上記の実施例においては、入力画像領域は、リサイズされた後で回転されるものと説明されてきたが、顔面検出装置は、入力画像領域を回転した後で入力画像領域をリサイズするように構成されてよい、または、顔面検出方法は、入力画像領域を回転した後でリサイズするステップを実行するように実施されてよい。
さらに、本発明開示に係る顔面検出方法および装置は、入力画像の全体、つまり、分割されていない画像、に対して全体検出モードを実行するように実施されてよい。かつ、顔面追跡モードオペレーションおよび後で実行される部分検出モードオペレーションにおいてのみ入力画像を分割することによって、顔面追跡オペレーションと顔面検出オペレーションを実行するように実施されてよい。
さらに、本発明開示に係る顔面検出方法および装置において使用される入力画像は、画像ピックアップ装置を通じたプレビュー(preview)状態における画像入力であってよい。
上記に説明された本発明開示に従った実施例は、プログラム命令の形式において実施することができ、種々のコンピューターコンポーネントを通じて実行され、コンピューターで読取り可能な記録媒体に記録することができる。コンピューターで読取り可能な記録媒体は、プログラム命令、データファイル、データ構造、および、類似のもの、または、それらの組み合わせを含んでいる。コンピューターで読取り可能な記録媒体に記録されたプログラム命令は、本発明開示のために特別に設計され構成されたプログラム命令であって、または、コンピューターソフトウェア分野における当業者によって使用されることが知られているプログラム命令であってよい。コンピューターで読取り可能な記録媒体は、例えば、ハードディスク、フロッピー(登録商標)ディスクと磁気テープといった磁気媒体、CD−ROMとDVDといった光記録媒体、フロプティカルディスクといった光磁気媒体、および、ROM、RAM、フラッシュメモリー等といったプログラム命令を保管し実行するように特別に構成されたハードウェア装置、を含んでいる。プログラム命令は、例えば、インタープリター等を使用するコンピューターによって実行され得るハイレベル言語コードを含んでおり、コンパイラーによって生成されるマシンコードも同様である。ハードウェア装置は、本発明開示に従った処理を実行するために一つまたはそれ以上のソフトウェアモジュールを使用してオペレーションするように構成されており、その逆もまた同様である。
前出の説明においては、特定のコンポーネント、典型的な実施例、および、図面といった、特定の事項に関して本発明開示が説明されてきたが、それらは本発明開示の理解を助けるためだけに提供されるものであって、本発明開示を実施例に限定するものではない。こうした説明から、当業者であれば種々の変形および変更がなされ得ることが明らかであろう。
従って、本発明開示の主旨は、上記に説明された実施例に限定されるべきものではない。そして、添付の請求項およびそれらについて同様に又は均等に変形されたものは、本発明開示の範囲内に在るものと考えられる。

Claims (50)

  1. 顔面検出の方法であって:
    (a)入力画像を既定の数量に領域に分割することによって分割入力画像領域を生成するステップであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた複数のフレームのうち一つのフレームを含んでいるステップと;
    (b)全体検出モードオペレーションの場合に、第1フレームの前記分割入力画像領域それぞれをリサイズし、かつ、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行するステップと;
    (c)前記顔面検出オペレーションで、前記第1フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域において顔面が検出された場合に、顔面追跡モードオペレーションを進め、かつ、前記顔面が検出された前記第1フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する第2フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡モードを実行するステップと;
    (d)前記顔面追跡オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションを進め、かつ、第3フレームの分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第3フレームの分割されリサイズされた入力画像領域は、前記顔面が検出された前記第1フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第3フレームにおける所定の領域を含んでいるステップと、
    を含む、方法。
  2. ステップ(b)は、前記第1フレームの前記分割入力画像領域をリサイズし回転する段階、および、前記第1フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階を含み、
    ステップ(d)は、前記第3フレームの前記分割入力画像領域をリサイズし回転する段階であり、前記第3フレームの前記分割入力画像領域は、前記顔面が検出された前記第1フレームの分割されリサイズされた入力画像領域のうち前記少なくとも一つの入力画像領域の所定の領域に対応する前記第3フレームにおける所定の領域を含んでいる段階、および、前記第3フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階を含む、
    請求項1に記載の方法。
  3. ステップ(a)は、前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域を前記フレームそれぞれの中央に配置する段階を含む、
    請求項1に記載の方法。
  4. ステップ(b)は、複数のリサイズ倍率または複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用する段階であり、リサイズ倍率の数量または回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量または回転角度の数量より大きい段階を含む、
    請求項3に記載の方法。
  5. ステップ(d)の顔面検出オペレーションで、前記第3フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出されなかった場合に、
    前記方法は、前記全体検出モードオペレーションに進み、第4フレームの分割入力画像領域をリサイズし、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行する、
    請求項1に記載の方法。
  6. ステップ(d)の顔面検出オペレーションで、前記第3フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出された場合に、
    前記方法は、前記顔面追跡モードオペレーションに進み、前記顔面が検出された前記第3フレームにおける所定の領域に対応する第4フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行する、
    請求項1に記載の方法。
  7. ステップ(c)の顔面追跡オペレーションで、顔面が検出された場合に、
    前記顔面追跡モードオペレーションが継続され、前記顔面が検出された前記第2フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域に対応する2−Aフレームの分割画像領域における所定の領域の周辺領域に対して前記顔面追跡オペレーションが実行され、
    前記2−Aフレームは、時間的に前記第2フレーム以降であり、かつ、前記第3フレーム以前である、
    請求項1に記載の方法。
  8. ステップ(b)は、リサイズによって前記顔面検出オペレーションを実行する段階を含み、
    少なくとも一つの追加フレームにおける前記入力画像の分割入力画像領域のうち、前記少なくとも一つの追加フレームの分割入力画像領域は、顔面が検出されなかった前記第1フレームの分割入力画像領域に対応しており、
    前記少なくとも一つの追加フレームは、時間的に前記第1フレーム以降であり、かつ、前記第2フレーム以前であって、前記第2フレームは時間的に前記第1フレームの後に続いている、
    請求項1に記載の方法。
  9. 前記全体検出モードオペレーションは、定期的に実行される、
    請求項1に記載の方法。
  10. 前記顔面追跡オペレーションは、前記周辺領域においてブロックマッチングオペレーションを実行することによって、ステップ(b)の前記顔面検出オペレーションにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡すること、を含む、
    請求項1に記載の方法。
  11. 前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
    請求項1に記載の方法。
  12. 顔面検出の方法であって:
    (a)既定の時間期間の最中に連続的に入力された入力画像の複数のフレームを取得するステップと;
    (b)全体検出モードオペレーションである場合に、第1フレームに対して顔面検出オペレーションを実行するステップと;
    (c)前記顔面検出オペレーションで、前記第1フレームの所定の領域において顔面が検出された場合に、第2フレームを分割することにより第2フレームの分割入力画像領域を生成するために顔面追跡モードオペレーションに進み、かつ、前記第1フレームにおける所定の領域に対応する前記第2フレームの分割入力画像領域における所定の領域の周辺領域に対して顔面追跡オペレーションを実行するステップと;
    (d)前記顔面検出オペレーションで、顔面が検出されなかった場合に、部分検出モードオペレーションへ進み、かつ、第3フレームの分割入力画像領域のリサイズされた画像領域に対して前記顔面検出オペレーションを実行するステップであり、前記第3フレームの前記分割入力画像領域は、前記第1フレームにおける所定の領域に対応する前記第3フレームにおける所定の領域を含んでいるステップと、
    を含む、方法。
  13. ステップ(d)は、前記第3フレームの前記分割入力画像領域のうち前記顔面が検出された少なくとも一つの入力画像領域における所定の領域に対応する前記第3フレームにおける所定の領域を含んでいる、前記第3フレームの分割入力画像領域をリサイズし回転する段階、および、前記第3フレームの分割されリサイズされ回転された前記入力画像領域に対して前記顔面検出オペレーションを実行する段階、を含む、
    請求項12に記載の方法。
  14. 前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域は、前記フレームそれぞれの中央に配置されている、
    請求項12に記載の方法。
  15. ステップ(d)は、複数のリサイズ倍率または複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用する段階であり、リサイズ倍率の数量または回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量または回転角度の数量より大きい段階を含む、
    請求項14に記載の方法。
  16. ステップ(d)の顔面検出オペレーションで、前記第3フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出されなかった場合に、
    前記方法は、前記全体検出モードオペレーションに進み、第4フレームの分割入力画像領域をリサイズし、分割されリサイズされた入力画像領域に対して顔面検出オペレーションを実行する、
    請求項12に記載の方法。
  17. ステップ(d)の顔面検出オペレーションで、前記第3フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域において顔面が検出された場合に、
    前記方法は、前記顔面追跡モードオペレーションに進み、前記顔面が検出された前記第3フレームにおける所定の領域に対応する第4フレームの分割されリサイズされた入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行する、
    請求項12に記載の方法。
  18. ステップ(c)の顔面追跡オペレーションで、顔面が検出された場合に、
    前記顔面追跡モードオペレーションが継続され、前記第2フレームの分割されリサイズされた入力画像領域のうち少なくとも一つの入力画像領域の所定の領域に対応する2−Aフレームの分割画像領域における所定の領域の周辺領域に対して前記顔面追跡オペレーションが実行され、
    前記2−Aフレームは、時間的に前記第2フレーム以降であり、かつ、前記第3フレーム以前である、
    請求項12に記載の方法。
  19. 前記全体検出モードオペレーションは、定期的に実行される、
    請求項12に記載の方法。
  20. 前記顔面追跡オペレーションは、前記周辺領域においてブロックマッチングオペレーションを実行することによって、ステップ(b)の前記顔面検出オペレーションにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡すること、を含む、
    請求項12に記載の方法。
  21. 前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
    請求項12に記載の方法。
  22. 顔面検出装置であって:
    n個の分割入力画像領域を生成するように入力画像を分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと;
    第1フレームに対して全体検出モード信号が生成された場合に、第1フレームの前記n個の分割入力画像領域を並行して伝送するモード変換ユニットであり、
    時間的に前記第1フレームの後に続く第2フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第1フレームの所定の領域に対応する第2フレームの所定の領域を含んでいる分割入力画像領域を伝送し、かつ、
    時間的に前記第2フレームの後に続く第3フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第1フレームの所定の領域に対応する第3フレームの所定の領域を含んでいる分割入力画像領域を伝送する、
    モード変換ユニットと;
    n個の顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第1または第3フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと;
    n個の顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第2フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと;
    モード変換信号生成ユニットであり、
    前記n個の顔面検出ユニットが、前記第1フレームの前記n個の分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたことを示す場合に、前記顔面追跡モード信号を生成し、かつ、
    前記n個の顔面追跡ユニットが、前記第2フレームの前記分割入力画像領域において顔面が検出されなかったことを示す場合に、前記部分検出モード信号を生成する、
    モード変換信号生成ユニットと;
    を含む装置。
  23. 前記画像分割ユニットは、前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域を前記フレームそれぞれの中央に配置する、
    請求項22に記載の装置。
  24. 前記n個の顔面検出ユニットは、複数のリサイズ倍率を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、リサイズ倍率の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量より大きい、
    請求項23に記載の装置。
  25. 前記n個の顔面検出ユニットは、複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用される回転角度の数量より大きい、
    請求項23に記載の装置。
  26. 前記n個の顔面検出ユニットは、前記モード変換ユニットを通じて伝送された前記分割入力画像領域を回転することにより、それぞれに前記顔面検出オペレーションを実行する、
    請求項22に記載の装置。
  27. 前記モード変換信号生成ユニットは、
    前記n個の顔面検出ユニットが、前記第3フレームの前記分割されリサイズされた入力画像領域において顔面が検出されなかったことを示す場合に、前記全体検出モード信号を生成し、かつ、
    前記n個の顔面検出ユニットの少なくともいくつかが、前記第3フレームの前記分割されリサイズされた入力画像領域において顔面が検出されたことを示す場合、または、前記n個の顔面追跡ユニットの少なくともいくつかが、前記第2フレームの前記分割入力画像領域において前記顔面が検出されたことを示す場合に、前記顔面追跡モード信号を生成する、
    請求項22に記載の装置。
  28. 前記n個の顔面検出ユニットの少なくともいくつかが、前記第3フレームの前記分割されリサイズされた入力画像領域において前記顔面が検出されたことを示し、かつ、前記モード変換信号生成ユニットが、前記顔面追跡モード信号を生成する場合に、
    前記モード変換ユニットは、前記画像分割ユニットから出力され、前記顔面が検出された前記第3フレームにおける所定の領域に対応する第4フレームの所定の領域を含んでいる前記分割入力画像領域を伝送し、
    前記第4フレームは時間的に前記第3フレームの後に続いている、
    請求項27に記載の装置。
  29. 前記n個の顔面検出ユニットのそれぞれは、
    異なるサイズの既定の数量の前記分割入力画像領域をリサイズすることにより、既定の数量の分割されリサイズされた入力画像領域を生成するためのリサイズユニットと、
    前記既定の数量の分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを実行するための顔面検出器と、
    を含む、請求項22に記載の装置。
  30. 前記n個の顔面検出ユニットのそれぞれは、さらに、
    既定の数量の異なる回転角度で前記分割されリサイズされた入力画像領域のそれぞれを回転することにより、複数の分割されリサイズされ回転された入力画像領域を生成するための回転ユニットと、を含み、
    前記顔面検出器は、前記複数の分割されリサイズされ回転された入力画像領域に対して前記顔面検出オペレーションを実行する、
    請求項29に記載の装置。
  31. 前記n個の顔面追跡ユニットのそれぞれは、前記周辺領域における画像に対してブロックマッチングオペレーションを実行することによって、以前のフレームにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡する、
    請求項22に記載の装置。
  32. 前記第2フレームの前記分割入力画像領域において顔面が検出された場合に、n個の顔面追跡ユニットのそれぞれは、前記顔面が検出された前記第2フレームの所定の領域に対応する2−Aフレームの分割入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行し、
    前記2−Aフレームは、時間的に前記第2フレーム以降であり、かつ、前記第3フレーム以前である、
    請求項22に記載の装置。
  33. 前記モード変換ユニットは、時間的に前記第1フレーム以降であり、かつ、前記第2フレーム以前に受け取られた少なくとも一つの追加フレームに係る前記入力画像の分割入力画像領域のうち、顔面が検出されなかった前記第1フレームの分割入力画像領域に対応する前記少なくとも一つの追加フレームの分割入力画像領域をリサイズし、かつ、分割されリサイズされた入力画像領域をn個の顔面検出ユニットに対して伝送する、
    請求項22に記載の装置。
  34. 前記全体検出モード信号は、定期的に生成される、
    請求項22に記載の装置。
  35. 前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
    請求項22に記載の装置。
  36. 顔面検出装置であって:
    分割入力画像領域を生成するように入力画像を既定の数量の領域に分割するための画像分割ユニットであり、前記入力画像は、既定の時間期間の最中に連続的に受け取られた入力画像の複数のフレームのうち一つのフレームを含んでいる画像分割ユニットと;
    第1フレームに対して全体検出モード信号が生成された場合に、第1フレームの前記分割入力画像領域を連続的に伝送するモード変換ユニットであり、
    時間的に前記第1フレームの後に続く第2フレームに対して顔面追跡モード信号が生成された場合に、顔面が検出された前記第1フレームの所定の領域に対応する第2フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送し、かつ、
    時間的に前記第2フレームの後に続く第3フレームに対して部分検出モード信号が生成された場合に、前記顔面が検出された前記第1フレームの所定の領域に対応する第3フレームの所定の領域を含んでいる分割入力画像領域を連続的に伝送する、
    モード変換ユニットと;
    顔面検出ユニットであり、前記モード変換ユニットを通じて伝送された前記第1または第3フレームの前記分割入力画像領域をリサイズすることにより顔面を検出し、かつ、顔面検出オペレーションを実行する顔面検出ユニットと;
    顔面追跡ユニットであり、前記モード変換ユニットを通じて伝送された前記第2フレームの前記分割入力画像領域の所定の領域の周辺領域に対して顔面追跡オペレーションを実行する顔面追跡ユニットと;
    モード変換信号生成ユニットであり、
    前記顔面検出ユニットが、前記第1フレームの前記分割されリサイズされた入力画像領域のうち少なくとも一つの分割されリサイズされた入力画像領域において顔面が検出されたと判断する場合に、前記顔面追跡モード信号を生成し、かつ、
    前記顔面追跡ユニットが、前記第2フレームの前記分割入力画像領域において顔面が検出されなかったと判断する場合に、前記部分検出モード信号を生成する、
    モード変換信号生成ユニットと;
    を含む装置。
  37. 前記画像分割ユニットは、前記フレームそれぞれの前記分割入力画像領域のうち一つの分割入力画像領域を前記フレームそれぞれの中央に配置する、
    請求項36に記載の装置。
  38. 前記顔面検出ユニットは、複数のリサイズ倍率を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、リサイズ倍率の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用されるリサイズ倍率の数量より大きい、
    請求項37に記載の装置。
  39. 前記顔面検出ユニットは、複数の回転角度を前記フレームそれぞれの中央に配置された前記分割入力画像領域に適用することにより前記顔面を検出し、回転角度の数量は、前記中央に配置された前記分割入力画像領域以外の分割入力画像領域に適用される回転角度の数量より大きい、
    請求項38に記載の装置。
  40. 前記顔面検出ユニットは、前記モード変換ユニットを通じて伝送された前記分割入力画像領域を回転することにより、前記顔面検出オペレーションを実行する、
    請求項36に記載の装置。
  41. 前記モード変換信号生成ユニットは、
    前記顔面検出ユニットが、前記第3フレームの前記分割されリサイズされた全ての入力画像領域において顔面が検出されなかったと判断する場合に、前記全体検出モード信号を生成し、かつ、
    前記顔面検出ユニットが、前記第3フレームの前記分割されリサイズされた入力画像領域の少なくともいくつかにおいて顔面が検出されたと判断する場合、または、前記顔面追跡ユニットが、前記第2フレームの前記分割入力画像領域の少なくともいくつかにおいて前記顔面が検出されたと判断する場合に、前記顔面が検出された前記分割入力画像領域に対して前記顔面追跡モード信号を生成する、
    請求項36に記載の装置。
  42. 前記顔面検出ユニットが、前記第3フレームの前記分割されリサイズされた入力画像領域の少なくともいくつかにおいて前記顔面を検出し、かつ、前記モード変換信号生成ユニットが、前記顔面追跡モード信号を生成する場合に、
    前記モード変換ユニットは、前記画像分割ユニットから出力され、前記顔面が検出された前記第3フレームにおける所定の領域に対応する第4フレームの所定の領域を含んでいる分割入力画像領域を伝送し、
    前記第4フレームは時間的に前記第3フレームの後に続いている、
    請求項41に記載の装置。
  43. 前記モード変換信号生成ユニットは、前記全体検出モード信号を定期的に生成する、
    請求項36に記載の装置。
  44. 前記顔面検出ユニットは、
    異なるサイズの既定の数量の前記分割入力画像領域をリサイズすることにより、既定の数量の分割されリサイズされた入力画像領域を生成するためのリサイズユニットと、
    前記既定の数量の分割されリサイズされた入力画像領域に対して前記顔面検出オペレーションを連続的に実行するための顔面検出器と、
    を含む、請求項36に記載の装置。
  45. 前記顔面検出ユニットは、さらに、
    既定の数量の異なる回転角度で前記分割されリサイズされた入力画像領域のそれぞれを回転することにより、複数の分割されリサイズされ回転された入力画像領域を連続的に生成するための回転ユニットと、を含み、
    前記顔面検出器は、前記複数の分割されリサイズされ回転された入力画像領域に対して連続的に前記顔面検出オペレーションを実行する、
    請求項44に記載の装置。
  46. 前記顔面追跡オペレーションは、前記周辺領域における画像に対してブロックマッチングオペレーションを実行することによって、以前のフレームにおいて検出された顔面画像と同一の顔面画像を有するブロックを追跡する、
    請求項36に記載の装置。
  47. 前記第2フレームの前記分割入力画像領域において顔面が検出された場合に、前記顔面追跡ユニットは、前記顔面が検出された前記第2フレームの所定の領域に対応する2−Aフレームの分割入力画像領域における所定の領域に係る周辺領域に対して顔面追跡オペレーションを実行し、
    前記2−Aフレームは、時間的に前記第2フレーム以降であり、かつ、前記第3フレーム以前である、
    請求項36に記載の装置。
  48. 前記モード変換ユニットは、時間的に前記第1フレーム以降であり、かつ、前記第2フレーム以前に入力された、少なくとも前記追加フレームにおける前記入力画像の分割入力画像領域のうち、前記顔面検出オペレーションが実行されなかった前記第1フレームの分割入力画像領域に対応する前記少なくとも一つの追加フレームの分割入力画像領域をリサイズし、かつ、分割されリサイズされた入力画像領域を前記顔面検出ユニットに対して伝送する、
    請求項36に記載の装置。
  49. 前記全体検出モードオペレーションおよび前記部分検出モードオペレーションに係る前記顔面検出オペレーションは、アダブースト学習アルゴリズムにより学習され選択された特徴パターンを使用して顔面画像を検出する、
    請求項36に記載の装置。
  50. 請求項1乃至12いずれか一項に記載の方法を実行するためのコンピュータープログラムを記録する、コンピューターで読取り可能な固定記録媒体。
JP2014539874A 2011-11-03 2012-11-02 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体 Active JP5908596B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0114160 2011-11-03
KR20110114160A KR101289087B1 (ko) 2011-11-03 2011-11-03 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
PCT/KR2012/009157 WO2013066095A1 (ko) 2011-11-03 2012-11-02 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2015501614A true JP2015501614A (ja) 2015-01-15
JP5908596B2 JP5908596B2 (ja) 2016-04-26

Family

ID=48192377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539874A Active JP5908596B2 (ja) 2011-11-03 2012-11-02 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体

Country Status (7)

Country Link
US (2) US9208575B2 (ja)
EP (1) EP2793190A4 (ja)
JP (1) JP5908596B2 (ja)
KR (1) KR101289087B1 (ja)
CN (1) CN103907135B (ja)
BR (1) BR112014010328A2 (ja)
WO (1) WO2013066095A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081839A1 (ja) * 2015-11-13 2017-05-18 パナソニックIpマネジメント株式会社 移動体追跡方法、移動体追跡装置、およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10347218B2 (en) * 2016-07-12 2019-07-09 Qualcomm Incorporated Multiple orientation detection
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
JP7005546B2 (ja) * 2019-03-15 2022-01-21 株式会社東芝 画像認識装置、画像認識方法および画像認識プログラム
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128127A (ja) * 2005-11-01 2007-05-24 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2008109552A (ja) * 2006-10-27 2008-05-08 Sanyo Electric Co Ltd 追跡機能付き撮像装置
JP2008299784A (ja) * 2007-06-04 2008-12-11 Casio Comput Co Ltd 被写体判定装置及びそのプログラム
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US7212651B2 (en) 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
KR100536747B1 (ko) * 2003-08-08 2005-12-14 (주)아이디스 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR100580626B1 (ko) * 2003-10-31 2006-05-16 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
GB2414616A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Comparing test image with a set of reference images
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
GB2414615A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Object detection, scanning and labelling
JP2006048322A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法
JP2007128122A (ja) 2005-11-01 2007-05-24 Hitachi Ltd 稼働性能データ収集開始時刻決定方法
JP4218711B2 (ja) * 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
JP5227629B2 (ja) * 2008-03-25 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
KR20090113560A (ko) * 2008-04-28 2009-11-02 삼성전자주식회사 안정적인 동작을 보장하는 반도체 장치
KR100970119B1 (ko) * 2009-11-23 2010-07-15 (주)올라웍스 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
US9047376B2 (en) * 2012-05-01 2015-06-02 Hulu, LLC Augmenting video with facial recognition
JP6443609B2 (ja) 2012-07-10 2018-12-26 パナソニックIpマネジメント株式会社 コネクタ装置及びそれに用いる雌側コネクタ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128127A (ja) * 2005-11-01 2007-05-24 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2008109552A (ja) * 2006-10-27 2008-05-08 Sanyo Electric Co Ltd 追跡機能付き撮像装置
JP2008299784A (ja) * 2007-06-04 2008-12-11 Casio Comput Co Ltd 被写体判定装置及びそのプログラム
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017081839A1 (ja) * 2015-11-13 2017-05-18 パナソニックIpマネジメント株式会社 移動体追跡方法、移動体追跡装置、およびプログラム
JPWO2017081839A1 (ja) * 2015-11-13 2018-09-06 パナソニックIpマネジメント株式会社 移動体追跡方法、移動体追跡装置、およびプログラム
US10740907B2 (en) 2015-11-13 2020-08-11 Panasonic Intellectual Property Management Co., Ltd. Moving body tracking method, moving body tracking device, and program

Also Published As

Publication number Publication date
BR112014010328A2 (pt) 2017-04-18
US20140341430A1 (en) 2014-11-20
WO2013066095A1 (ko) 2013-05-10
US20160048977A1 (en) 2016-02-18
JP5908596B2 (ja) 2016-04-26
EP2793190A4 (en) 2016-08-24
KR101289087B1 (ko) 2013-08-07
US9208575B2 (en) 2015-12-08
CN103907135A (zh) 2014-07-02
EP2793190A1 (en) 2014-10-22
US10339414B2 (en) 2019-07-02
CN103907135B (zh) 2018-05-11
KR20130049105A (ko) 2013-05-13

Similar Documents

Publication Publication Date Title
US11302315B2 (en) Digital video fingerprinting using motion segmentation
JP5908596B2 (ja) 顔面検出のための方法及び装置、および、方法を実行するためのコンピューターで読取り可能な固定記録媒体
US10327045B2 (en) Image processing method, image processing device and monitoring system
US9589595B2 (en) Selection and tracking of objects for display partitioning and clustering of video frames
US9020188B2 (en) Method for object detection and apparatus using the same
JP5235691B2 (ja) 情報処理装置及び情報処理方法
US10869028B2 (en) Object tracking method and apparatus and three-dimensional (3D) display apparatus using the same
WO2014001610A1 (en) Method, apparatus and computer program product for human-face features extraction
JP2008234653A (ja) 目標画像検出方法及び画像検出装置
EP3028254A1 (en) Apparatus and method for resource-adaptive object detection and tracking
US20160224864A1 (en) Object detecting method and apparatus based on frame image and motion vector
CN108234821A (zh) 检测视频中的动作的方法、装置和系统
Cheong et al. The application of image processing to solve occlusion issue in object tracking
US20230177703A1 (en) Tracking multiple surgical tools in a surgical video
CN108334811B (zh) 一种人脸图像处理方法及装置
JP2009075926A (ja) 動画像顔検出装置および動画像顔検出方法
JP2024513750A (ja) 画像及びビデオから反射特徴(reflective features)を除去するためのリアルタイム機械学習ベースのプライバシーフィルタ
KR102217547B1 (ko) 다중 인공지능 시맨틱 세그멘테이션 모델 결합에 의한 영상 처리 속도 및 정확도 개선 장치 및 방법
WO2022061319A1 (en) Generic action start detection
US10026181B2 (en) Method and apparatus for detecting object
KR102415223B1 (ko) 동영상으로부터 보행자의 영역을 검출하기 위한 방법 및 이를 수행하기 위한 장치
JP2014206934A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN113434731B (zh) 音乐视频流派分类方法、装置、计算机设备及存储介质
Ziai Detecting Kissing Scenes in a Database of Hollywood Films
Rahman et al. Siamese-Based Attention Learning Networks for Robust Visual Object Tracking

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160323

R150 Certificate of patent or registration of utility model

Ref document number: 5908596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250