JP2014021896A - 顔画像認識装置及び顔画像認識プログラム - Google Patents

顔画像認識装置及び顔画像認識プログラム Download PDF

Info

Publication number
JP2014021896A
JP2014021896A JP2012162475A JP2012162475A JP2014021896A JP 2014021896 A JP2014021896 A JP 2014021896A JP 2012162475 A JP2012162475 A JP 2012162475A JP 2012162475 A JP2012162475 A JP 2012162475A JP 2014021896 A JP2014021896 A JP 2014021896A
Authority
JP
Japan
Prior art keywords
face
person
template
face area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012162475A
Other languages
English (en)
Inventor
Clippingdale Simon
クリピングデル サイモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2012162475A priority Critical patent/JP2014021896A/ja
Publication of JP2014021896A publication Critical patent/JP2014021896A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供することを課題とする。
【解決手段】映像中の人物の顔を認識する顔画像認識装置１０であって、認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段１３と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段１１と、抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段１２とを有することにより上記課題を解決する。
【選択図】図３

Description

本発明は顔画像認識装置及び顔画像認識プログラムに係り、特に映像中の人物の顔を認識する顔画像認識装置及び顔画像認識プログラムに関する。
従来の顔画像認識手法では、認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してデータベース（ＤＢ）に登録する。そして従来の顔画像認識手法では、入力映像中の人物の顔が映る顔領域を検出し、その顔領域と各可変テンプレートとを照合して類似度を算出することにより、誰の顔であるかを認識していた（例えば非特許文献１及び２参照）。
図１は従来の顔画像認識システムの一例の構成図である。図１の顔画像認識システム１００は顔領域検出部１０１、顔部品追跡部１０２、可変テンプレートＤＢ１０３を有する構成である。顔領域検出部１０１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術はＯｐｅｎＣＶライブラリーが提供するＶｉｏｌａ−Ｊｏｎｅｓ系の顔検出器など、既存の技術を利用できる（例えば非特許文献３参照）。
顔部品追跡部１０２は、顔領域検出部１０１によって検出された顔領域と可変テンプレートとの照合（可変テンプレートマッチング）を行うことにより、誰の顔であるかを認識する。可変テンプレートＤＢ１０３は認識対象となる人物の顔が複数の向きで写った画像を集めて、各顔画像から可変テンプレートを構築して登録している。
このように、図１の顔画像認識システム１００は入力映像中の人物の顔が写る顔領域を検出し、左右等の複数の向きについて、認識対象となる人物の人数分の可変テンプレートマッチングを行っていた。
Simon CLIPPINGDALE，伊藤崇之，"動画像の顔検出・追跡・認識への統一されたアプローチ"，電子情報通信学会 PRMU 98−200，1999年1月． S.Clippingdale,M.Fujii,M.Shibata,Multimedia Databases for Video Indexing: Toward Automatic Face Image Registration,Proc.IEEE International Symposium on Multimedia 2009, pp. 639-644,2009. S. Clippingdale,"顔部品の実時間追跡システムの開発",映像情報メディア学会冬季大会，2010.
従来の顔画像認識システム１００では、入力映像の各フレームに顔領域検出の処理を行い、検出された顔領域において可変テンプレートマッチングを初期化して人物を認識する。
従来の顔画像認識システム１００では、顔の向きが正面から離れて顔領域の検出が出来なくなっても、前フレームでの可変テンプレートマッチング結果に基づいて、正面以外の向きでの可変テンプレートと照合して、人物の追跡と認識を続ける。従来の顔画像認識システム１００では正面以外の向きでも、認識対象となる人物の人数分の可変テンプレートが必要であった。
したがって、従来の顔画像認識システム１００では複数の向きごとに認識対象となる人物の人数分の可変テンプレートが必要なため、認識対象となる人物の人数が多くなるほど、可変テンプレートマッチングの回数が多くなる。なお、可変テンプレートマッチングは一般的に計算量が多い。このように従来の顔画像認識システム１００では、認識対象となる人物の人数が多くなるほど、計算量の増加が問題となる。
本発明の一実施形態は、上記の点に鑑みなされたものであり、顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。
上記課題を解決するため、本発明は、映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段とを有することを特徴とする。
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
本発明の一実施形態によれば、顔画像認識の処理の計算量を削減できる顔画像認識装置及び顔画像認識プログラムを提供可能である。
従来の顔画像認識システムの一例の構成図である。 ＰＣの一例のハードウェア構成図である。 本実施例の顔画像認識装置の一例の機能構成図である。 可変テンプレートの内容を示す一例の説明図である。 可変テンプレートマッチングのアルゴリズムを示す一例の説明図である。 ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。 従来の可変テンプレートマッチングの処理を表した一例のイメージ図である。 本発明の可変テンプレートマッチングの処理を表した一例のイメージ図である。 本実施例の顔画像認識装置の他の例の機能構成図である。 肌色領域抽出の概要を示す一例の説明図である。 顔部品追跡部の一例の機能構成図である。 本発明による計算量の軽減の倍率を示したグラフ図である。
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、入力映像に映る人物の顔領域を、認識対象となる人物の人数分の可変テンプレートと照合する代わりに特別に用意した顔テンプレート（人物不特定可変テンプレート）と照合し、照合により抽出された顔領域の特徴を、認識対象となる人物の人数分の可変テンプレートと比較することにより、入力映像に映る人物が誰であるかを認識する。
人物不特定可変テンプレートの詳細については後述するが、認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよい。顔領域と可変テンプレートとの照合（可変テンプレートマッチング）は計算量が多いため、向きごとに一つの人物不特定可変テンプレートを使用することにより、照合対象となる可変テンプレートの数を少なくすることができ、計算量を削減できる。
なお、人物不特定可変テンプレートとの照合により抽出された顔領域の特徴を認識対象となる人物の人数分の可変テンプレートと比較する処理は、可変テンプレートマッチングの処理と比べて圧倒的に計算量が少ない。このように、本発明は可変テンプレートマッチングの計算量と、顔領域の特徴を認識対象となる人物の人数分の可変テンプレートと比較する処理の計算量との合計を大幅に軽減することができるため、顔画像認識の処理の計算量を削減できる。結果として、本発明は顔領域と可変テンプレートとの照合の処理を高速化することで、高速な顔画像認識の処理を実現できる。
＜ハードウェア構成＞
本実施例の顔画像認識装置は、ＰＣやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をＰＣにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。
本実施例の顔画像認識装置は例えば図２に示すようなハードウェア構成のＰＣにより実現される。図２はＰＣの一例のハードウェア構成図である。ＰＣ５０はバス５９で相互に接続されている入力装置５１、出力装置５２、記録媒体読取装置５３、補助記憶装置５４、主記憶装置５５、演算処理装置５６、インタフェース装置５７を含む。
入力装置５１はキーボードやマウス等である。入力装置５１は各種信号を入力するために用いられる。出力装置５２はディスプレイ装置等である。出力装置５２は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置５７は、モデム，ＬＡＮカード等である。インタフェース装置５７は、ネットワークに接続するために用いられる。
顔画像認識装置に搭載される顔画像認識プログラムは、ＰＣ５０を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体５８の配布やネットワーク等からのダウンロードなどによって提供される。
記録媒体５８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
顔画像認識プログラムを記録した記録媒体５８が記録媒体読取装置５３にセットされると、顔画像認識プログラムは記録媒体５８から記録媒体読取装置５３を介して補助記憶装置５４にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置５７を介して補助記憶装置５４にインストールされる。
補助記憶装置５４は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置５５は顔画像認識プログラムの起動時に、補助記憶装置５４から顔画像認識プログラムを読み出して格納する。そして、演算処理装置５６は主記憶装置５５に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。
＜機能構成＞
図３は本実施例の顔画像認識装置の一例の機能構成図である。図３の顔画像認識装置１０は顔領域検出部１１、顔部品追跡部１２、可変テンプレートＤＢ１３を有する構成である。
顔領域検出部１１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術は上記した既存の技術を利用すればよい。顔部品追跡部１２は、顔領域検出部１１によって検出された顔領域を、可変テンプレートＤＢ１３に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ１３に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。顔部品追跡部１２の処理の詳細は後述する。
なお、本実施例で利用する可変テンプレートＤＢ１３は以下のように従来の可変テンプレート１０３と異なっている。可変テンプレートＤＢ１３は複数の向きごとに認識対象となる人物の人数分の人物特定可変テンプレートと一つの人物不特定可変テンプレートとを登録している。
人物特定可変テンプレートは認識対象となる人物の複数の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。
このように、可変テンプレートＤＢ１３は従来の可変テンプレートＤＢ１０３の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録したものである。なお、可変テンプレートＤＢ１３の詳細は後述する。
＜可変テンプレートの構成＞
顔画像認識装置１０で用いる可変テンプレートは例えば図４に示すような成分を有する。図４は可変テンプレートの内容を示す一例の説明図である。顔画像認識装置１０で用いる可変テンプレートは顔画像において、顔の向きによって見えている最大９点の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有する。
なお、図４では特徴点の数をＮＦＰ＝９点としているが、その他の数を採用することもできる。特徴点は目頭、目尻など顔の部品に対して指定されるので顔画像の二次元的な形状を反映する。
また、図４ではガボールウェーブレット特徴を５つの解像度×８つの方位を持つガボールウェーブレットと、特徴点の近傍での画像とのベクトル同士の内積としているが、５つの解像度×８つの方位に限らない。ガボールウェーブレット特徴は各解像度と各方位において、特徴点の近傍に、どの程度の信号エネルギーがあるかを表現するものであるため、画像の輝度パターンを反映する。
＜可変テンプレートマッチング＞
顔画像認識装置１０では例えば図５に示すような可変テンプレートマッチングが行われる。図５は可変テンプレートマッチングのアルゴリズムを示す一例の説明図である。なお、可変テンプレートマッチングのアルゴリズムは非特許文献１及び２にも記載されている。
顔画像認識装置１０は入力映像の各フレームから検出された顔領域の各特徴点の位置を初期化し、そこで複数（今回の実施例では８つ）の方位でのガボールウェーブレット特徴ベクトル（以下、ガボールウェーブレット特徴と呼ぶ）を計測する。顔領域の各特徴点のガボールウェーブレット特徴と可変テンプレートのガボールウェーブレット特徴との位相の差分から、顔画像認識装置１０は顔領域の各特徴点と可変テンプレートとの特徴点が最も類似するための位置ずれを推定できる。
顔画像認識装置１０は推定した位置ずれで顔領域の各特徴点をずらし、ガボールウェーブレット特徴を計測する処理を、顔領域の各特徴点の位置ずれが収束するまで繰り返す。全特徴点が収束したら、顔画像認識装置１０は顔領域の各特徴点と可変テンプレートの各特徴点とのマッチスコアを以下の式（１）により算出する。
Figure 2014021896
 式（１）において、Ａは各フレームから検出された顔領域である。Ａ'は可変テンプレートである。ｃはガボールウェーブレット特徴である。Ｅは空間的な可変テンプレート全体の歪み（ペナルティ）である。
＜人物不特定可変テンプレートの構築＞
顔画像認識装置１０の可変テンプレートＤＢ１３は認識対象となる人物の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録したものである。人物不特定可変テンプレートは例えば図６に示すように構築される。
図６は、ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。まず、ある向きにおける人物不特定可変テンプレートの構築方法では、必ずしも認識対象の人物を含まない多数の人物ｋ，０≦ｋ＜Ｋの、目標とする各向きの顔画像Ｉｋ（ｘ），０≦ｋ＜Ｋを集めて、特徴点
Figure 2014021896
 の位置（座標）を手動で指定する。各特徴点の平均位置
Figure 2014021896
 と各特徴点のガボールウェーブレット特徴
Figure 2014021896
 を計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では各特徴点ｎ，０≦ｎ＜ＮＦＰについて、各画像でその特徴点ｎを平均位置にずらしてアラインした平均画像Ａｎ（ｘ）を算出する。
Figure 2014021896
 次に、ある向きにおける人物不特定可変テンプレートの構築方法ではガボールウェーブレット特徴ｃnを、平均画像Ａｎ（ｘ）での各平均特徴点位置
Figure 2014021896
 で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では人物ｋの顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴ｃnを平均画像Ａｎ（ｘ）において、各平均特徴点位置
Figure 2014021896
 で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴
Figure 2014021896
 とｃｎとの位相の差分より、顔画像Ｉｋの特徴点nが平均画像Ａｎ（ｘ）での平均特徴点
Figure 2014021896
 から、どれだけずれているか、その位置ずれ
Figure 2014021896
 を推定する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では推定した位置ずれを新たに顔画像Ｉｋ（ｘ）に適用して特徴点ごとに、更にずらされた平均画像を算出する。
Figure 2014021896
 次に、ある向きにおける人物不特定可変テンプレートの構築方法では、新たに
Figure 2014021896
 において、平均特徴点位置
Figure 2014021896
 でガボールウェーブレット特徴
Figure 2014021896
 を計測する。人物不特定可変テンプレートは各平均特徴点位置
Figure 2014021896
 とガボールウェーブレット特徴
Figure 2014021896
 を有する。
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、認識対象となる人物の複数の向きに対して、人物不特定可変テンプレートをそれぞれ追加して登録する。なお、人物特定可変テンプレートは複数の向きに対して、認識対象となる人物の人数分、登録されている。
＜本発明における可変テンプレートマッチング＞
図７は従来の可変テンプレートマッチングの処理を表した一例のイメージ図である。従来の可変テンプレートマッチングでは、入力映像の各フレームから検出された顔領域２００と、可変テンプレートＤＢ１０３に登録されている認識対象となる人物の人物特定可変テンプレート２０１とを照合する。
具体的に、従来の顔画像認識装置１００の顔部品追跡部１０２は人物特定可変テンプレート２０１を顔領域２００上で変形させ、ガボールウェーブレット特徴に基づき、顔領域２００及び人物特定可変テンプレート２０１の各特徴点近傍の類似度が最大になる特徴点の位置を見つけて、式（１）により各人物特定可変テンプレート２０１のマッチスコア（類似度）を算出する。そして、顔部品追跡部１０２は各人物特定可変テンプレート２０１の類似度が最大になる特徴点の位置ＦＰと類似度Ｓとを含むマッチ結果２０２により、類似度に基いての競争を行うことで、顔領域２００に映る人物が誰であるかを認識する。
図８は本発明の可変テンプレートマッチングの処理を表した一例のイメージ図である。本発明の可変テンプレートマッチングでは人物不特定可変テンプレートを顔画像認識の処理に利用する。本発明の可変テンプレートマッチングでは入力映像の各フレームから検出された顔領域２００と、可変テンプレートＤＢ１０３に登録されている人物不特定可変テンプレート２０３とを照合する。
具体的に、本発明の顔画像認識装置１０の顔部品追跡部１２は一つの人物不特定可変テンプレート２０３を顔領域２００上で変形させ、ガボールウェーブレット特徴に基づき、顔領域２００及び人物不特定可変テンプレート２０３の各特徴点近傍の類似度が最大になる特徴点の位置を見つける。
そして、顔部品追跡部１２は各特徴点近傍の類似度が最大になる特徴点の位置ＦＰを含むマッチ結果２０４のガボールウェーブレット特徴を計測する。マッチ結果２０４のガボールウェーブレット特徴は顔領域２００の特徴を表す。
顔部品追跡部１２は、計測した人物不特定可変テンプレート２０３のガボールウェーブレット特徴と比較することにより、顔領域２００と各人物特定可変テンプレート２０１とのマッチスコア（類似度）を式（１）で算出する。なお、各人物特定可変テンプレート２０１のマッチスコア（類似度）を式（１）で算出する処理は顔領域２００と人物特定可変テンプレート２０１とを照合する処理に比べて計算量が少ない。
そして、顔部品追跡部１２は算出した各人物特定可変テンプレート２０１の類似度に基づいての競争を行うことで、顔領域２００に映る人物が誰であるかを認識する。このように、本願発明は顔領域と人物特定可変テンプレート２０１との照合を減らすことにより、顔画像認識の処理の計算量を削減できる。
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、映像中の人物の顔を追跡しながら、顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。実施例２は複数の人物と複数の顔の向きとに対応することに伴う計算量の増加及び登録作業の複雑化に対応するため、人物の顔が正面に近い向きで映ったときに顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。
また、実施例２は人物の顔が正面から離れた向きで映ったときに、人物不特定可変テンプレートを使用し、顔領域を追跡して認識結果を保持する。実施例２は認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよいため、顔領域を追跡する為の計算量を大幅に削減することができる。
このように、実施例２は顔領域を追跡する為の追跡技術の計算量が、複数の人物の様々な向きの顔を認識する計算量に比べて少ないため、図３の顔画像認識装置１０による顔画像認識の処理を更に高速化すると共に、可変テンプレートの登録作業を簡単化できる。
なお、ハードウェア構成は実施例１と同様であるため、説明を省略する。以下の説明においても、実施例１と同様な部分については適宜説明を省略する。
＜機能構成＞
図９は本実施例の顔画像認識装置の他の例の機能構成図である。図９の顔画像認識装置２０は肌色領域抽出部２１、顔領域検出部２２、顔部品追跡部２３、可変テンプレートＤＢ２４を有する構成である。
肌色領域抽出部２１は入力映像中から肌色の領域を抽出する。入力映像中から肌色の領域を抽出する処理の詳細は後述する。顔領域検出部２２は肌色領域抽出部２１によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は上記した既存の技術を利用すればよい。
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域を、可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ２４に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。
なお、本実施例で利用する可変テンプレートＤＢ２４は以下のように従来の可変テンプレートＤＢ１０３と異なっている。可変テンプレートＤＢ２４は正面の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートと一つの人物不特定可変テンプレートとを登録している。また、可変テンプレートＤＢ２４は正面以外の向きについて、一つの人物不特定可変テンプレートを登録している。このように、可変テンプレートＤＢ２４は正面の向きについて、一つの人物不特定可変テンプレートを追加して登録したものである。
また、従来の顔画像認識システム１００では各向きに対して認識対象となる人物の人数分の人物特定可変テンプレートを準備する必要があった。本発明は正面以外の向きの登録人数分の人物特定可変テンプレートを一つの人物不特定可変テンプレートに置き換えて登録したものである。
顔部品追跡部２３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。
なお、実施例１で説明した可変テンプレートの構成、可変テンプレートマッチング、人物不特定可変テンプレートの構築、本発明における可変テンプレートマッチングは実施例２でも同様であるため、説明を省略する。
＜肌色領域抽出＞
肌色領域抽出部２１は正規化ＣｂＣｒ手法により入力フレームの各画素のＲＧＢ値が肌色に相当するか否かを判定する（例えば非特許文献３参照）。肌色領域抽出部２１はＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（２）により正規化する。
Figure 2014021896
 なお、Ｙは輝度信号である。ＣｂはＢ信号から輝度信号Ｙを差し引いた色差信号Ｂ−Ｙに特定の定数を掛けた値である。また、ＣｒはＲ信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙに特定の定数を掛けた値である。
肌色領域抽出部２１は、ある画素ｘに対応する（Ｃｂ′，Ｃｒ,′）（ｘ）の位置が肌色代表点から一定の距離以内にあれば、式（３）に示すように、その画素ｘを肌色と判定する。
Figure 2014021896
 肌色領域抽出部２１は一般化されたメディアンフィルタにより、肌色または肌色ではないと判定され孤立した画素を除去する。以下の式（４）ではａ＝０．５の場合に、メディアンフィルタとなる。以下の式（４）では、ａの値により少なめ又は多めに画素がＯＮ（ｑ（ｘ）＝１）になる。
Figure 2014021896
 肌色領域抽出部２１は連接領域抽出（connected component labeling）の処理と連接領域の外周ボックスに条件（閾値）をかけることにより、安定した肌色領域を抽出する。
図１０は肌色領域抽出の概要を示す一例の説明図である。肌色領域抽出部２１は各画素のＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（２）により正規化して、Ｙ＝１２８平面に射影している。肌色領域抽出部２１は、肌色代表点に近ければ画素を肌色と判定する。
肌色領域抽出部２１は一般化されたメディアンフィルタにより独立画素を取り除いた領域を出力する。また、肌色領域抽出部２１は連接領域抽出の処理により肌色領域リストを出力する。肌色領域抽出部２１はメディアンフィルタ及び連接領域抽出の処理により安定した肌色領域を抽出する。
＜顔部品追跡部２３の構成＞
図１１は顔部品追跡部の一例の機能構成図である。図１１の顔部品追跡部２３は認識部３１、追跡部３２を有する構成である。
認識部３１は顔領域検出部２２によって検出された顔領域を可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合し、照合により抽出された顔領域の特徴を、可変テンプレートＤＢ２４に登録されている認識対象となる人物の人数分の可変テンプレートと比較することにより、誰の顔が映っているかを認識する。
また、追跡部３２は顔領域検出部２２によって検出された顔領域を可変テンプレートＤＢ２４に登録されている人物不特定可変テンプレートと照合することにより、認識部３１で認識した顔領域を追跡して認識結果を保持する。
ところで、顔領域検出部２２は肌色の領域に、正面に近い向きの顔が写っているときに顔領域として抽出する。言い換えれば顔領域検出部２２によって抽出された顔領域には正面に近い向きで顔が写っていることになる。結果として、顔領域検出部２２によって抽出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物特定可変テンプレートと最もマッチングすることになる。
その後、顔領域に写っている顔が正面の向きから回転して離れると、顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物不特定可変テンプレートと最もマッチングすることになる。ただし、人物不特定可変テンプレートは多数の人物の顔画像を集めて構築した平均的な可変テンプレートである。そこで、人物不特定可変テンプレートと最もマッチングするとき、認識部３１は既に人物特定可変テンプレートによって推定した推定（認識）結果を維持する。
このように、図１１の顔部品追跡部２３は顔領域に写っている顔が正面の向きから回転して離れても、追跡部３２により顔の追跡を行い、認識部３１により認識結果を維持（保持）することで、様々な顔の向きの人物を認識することを可能としている。
つまり、実施例２の顔画像認識装置２０は正面以外の向きについて、認識対象の人物の人数分の人物特定可変テンプレートが無くても、正面の向きで顔が認識されれば、認識には使用できない人物不特定可変テンプレートにより顔の向きの追跡を行い、既に認識した認識結果を連続的に引き継いでいくことにより、様々な向きの顔画像に対して人物の認識結果を付与することができる。
＜効果＞
例えば認識対象となる人物の可変テンプレートがＮ個あるとすれば、図７に示した従来の可変テンプレートマッチングではＮ回の照合を行う。１個の可変テンプレートとの照合に伴う計算量をＫと呼べば、従来の可変テンプレートマッチングの計算量は大体ＮＫに比例する。
一方、図８に示した本発明の可変テンプレートマッチングでは人物不特定可変テンプレートとの１回の照合により顔領域のガボールウェーブレット特徴を抽出し、そのガボールウェーブレット特徴をＮ個の人物特定可変テンプレートと比較する。１個の人物特定可変テンプレートとの比較に伴う計算量をＨと呼べば、本発明の可変テンプレートマッチングの計算量は大体Ｋ＋ＮＨに比例する。
したがって、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率（軽減の倍率）は
ＮＫ／（Ｋ＋ＮＨ）
となる。可変テンプレートの数Ｎが相当大きくない限り、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率はＮに近づく。なお、可変テンプレートの数Ｎが相当大きい場合、図７に示した従来の可変テンプレートマッチングと図８に示した本発明の可変テンプレートマッチングとの計算量の比率はＫ／Ｈに近づく。
しかし、特殊ハードウェアなしで通常のパソコン（ワークステーション）での実装例では、計った比率Ｋ／Ｈが３０００〜８０００位であった。このため、数千のオーダなどＮが相当大きくないと、比率の分母はＫに近く、軽減の倍率がＮに近くなる。なお、可変テンプレートの数が数千オーダとなると、軽減の倍率のパフォーマンスは別の原因で劣化していく。
図１２は本発明による計算量の軽減の倍率を示したグラフ図である。図１２では可変テンプレートの数Ｎが１０〜３００のときの、従来の可変テンプレートマッチングと比べた本発明の可変テンプレートマッチングの計算量の比率（軽減の倍率）を示している。図１２に示すように、一般的な可変テンプレートの数での軽減の倍率はＮ倍に近く、大幅に計算量の軽減を実現できる。
本発明は、図３の顔画像認識装置１０で行う複数の向きの認証対象となる人物の人数分の可変テンプレートマッチング及び図９の顔画像認識装置２０で行う単一の向きの認証対象となる人物の人数分の可変テンプレートマッチングに伴う計算量を軽減し、顔画像認識の高速化を計ることができる。
なお、顔画像認識装置２０は顔領域検出部２２による顔領域の検出を肌色領域抽出部２１によって抽出された肌色の領域に絞ることにより、顔領域の検出の処理時間を、ほぼ（肌色の領域／画面の面積）という比率で低減できる。
また、顔画像認識装置２０は以前の顔画像認識システム１００と比べて顔部品追跡部２３の追跡部３２の計算量を大幅に省くことができる。追跡部３２の計算量は、正面以外の向きで顔が写っているとき、ほぼ（１／認証対象となる人物の人数）に低減できる。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載したテンプレート格納手段は可変テンプレートＤＢ１３、２４に相当し、顔領域抽出手段は顔領域検出部１１、２２に相当し、顔認識手段及び顔追跡手段は顔部品追跡部１２、２３に相当し、肌色領域抽出手段は肌色領域抽出部２１に相当し、人物特定テンプレートは人物特定可変テンプレートに相当し、人物不特定テンプレートは人物不特定可変テンプレートに相当する。
１０、２０ 顔画像認識装置
１１、２２ 顔領域検出部
１２、２３ 顔部品追跡部
１３、２４ 可変テンプレートＤＢ
２１ 肌色領域抽出部
３１ 認識部
３２ 追跡部
５０ ＰＣ
５１ 入力装置
５２ 出力装置
５３ 記録媒体読取装置
５４ 補助記憶装置
５５ 主記憶装置
５６ 演算処理装置
５７ インタフェース装置
５８ 記録媒体
５９ バス

Claims (6)

  1. 映像中の人物の顔を認識する顔画像認識装置であって、
    認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段と、
    映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段と
    を有することを特徴とする顔画像認識装置。
  2. 映像中の人物の顔を認識する顔画像認識装置であって、
    認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の向きごとの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
    映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段と、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔追跡手段と
    を有することを特徴とする顔画像認識装置。
  3. 前記顔認識手段は、抽出された前記顔領域の特徴との類似度に基づいての競争により前記テンプレート格納手段に登録された前記人物特定テンプレートから前記顔領域に写っている人物の顔を認識すること
    を特徴とする請求項１又は２記載の顔画像認識装置。
  4. 前記人物特定テンプレート及び前記人物不特定テンプレートは複数の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有しており、
    前記人物不特定テンプレートは、目標とする向きの複数の顔画像の各特徴点について、前記顔画像で前記特徴点を平均位置にずらして調整した第１の平均画像を算出し、
    前記第１の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴と前記複数の顔画像の各特徴点で計測されたガボールウェーブレット特徴との位相の差分により位置ずれを推定し、
    推定した位置ずれを新たに前記複数の顔画像に適用して、複数の顔画像の各特徴点について、前記特徴点ごとに更にずらされた第２の平均画像を算出し、前記第２の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴を成分として有すること
    を特徴とする請求項１乃至３何れか一項記載の顔画像認識装置。
  5. コンピュータを、
    認識対象となる人物の顔画像の人物特定テンプレート及び多数の人物の平均的な顔画像の人物不特定テンプレートが向きごとに登録されたテンプレート格納手段、
    映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段
    として機能させるための顔画像認識プログラム。
  6. コンピュータを、
    認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の向きごとの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段、
    映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域の特徴を抽出すると共に、抽出された前記顔領域の特徴を前記テンプレート格納手段に登録された前記人物特定テンプレートと比較して、前記顔領域に写っている人物の顔を認識する顔認識手段、
    抽出された顔領域と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔追跡手段
    として機能させるための顔画像認識プログラム。
JP2012162475A 2012-07-23 2012-07-23 顔画像認識装置及び顔画像認識プログラム Pending JP2014021896A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012162475A JP2014021896A (ja) 2012-07-23 2012-07-23 顔画像認識装置及び顔画像認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012162475A JP2014021896A (ja) 2012-07-23 2012-07-23 顔画像認識装置及び顔画像認識プログラム

Publications (1)

Publication Number Publication Date
JP2014021896A true JP2014021896A (ja) 2014-02-03

Family

ID=50196663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012162475A Pending JP2014021896A (ja) 2012-07-23 2012-07-23 顔画像認識装置及び顔画像認識プログラム

Country Status (1)

Country Link
JP (1) JP2014021896A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021872A (zh) * 2017-11-22 2018-05-11 广州久邦世纪科技有限公司 一种实现实时匹配模板的相机识别方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346147A (ja) * 2002-05-23 2003-12-05 Nippon Hoso Kyokai <Nhk> 被写体判別方法、被写体判別装置、被写体判別プログラム、及び被写体判別プログラムを記録した記録媒体
JP2012008967A (ja) * 2010-06-28 2012-01-12 Glory Ltd 画像照合装置および画像照合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346147A (ja) * 2002-05-23 2003-12-05 Nippon Hoso Kyokai <Nhk> 被写体判別方法、被写体判別装置、被写体判別プログラム、及び被写体判別プログラムを記録した記録媒体
JP2012008967A (ja) * 2010-06-28 2012-01-12 Glory Ltd 画像照合装置および画像照合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
クリピングデル サイモン 外1名: "肌色領域抽出と人物不特定可変テンプレートを用いた高速な顔追跡", 情報処理学会研究報告, vol. ２０１１（平成２３）年度▲５▼ ［ＣＤ−, JPN6016024989, 15 February 2012 (2012-02-15), ISSN: 0003348279 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021872A (zh) * 2017-11-22 2018-05-11 广州久邦世纪科技有限公司 一种实现实时匹配模板的相机识别方法及其系统

Similar Documents

Publication Publication Date Title
Kim et al. Spatiotemporal saliency detection and its applications in static and dynamic scenes
US8165397B2 (en) Identifying descriptor for person or object in an image
US8027521B1 (en) Method and system for robust human gender recognition using facial feature localization
Li et al. Visual tracking via incremental log-euclidean riemannian subspace learning
US7697735B2 (en) Image based multi-biometric system and method
Tome et al. Identification using face regions: Application and assessment in forensic scenarios
US11915518B2 (en) Facial authentication device, facial authentication method, and program recording medium
JP5959093B2 (ja) 人物検索システム
Lei et al. Automatic ear landmark localization, segmentation, and pose classification in range images
Dahmane et al. Head pose estimation based on face symmetry analysis
US7684594B2 (en) Method and apparatus for estimating object part location in digital image data using feature value analysis
Bera et al. Finger contour profile based hand biometric recognition
US8655084B2 (en) Hand-based gender classification
Farooq et al. Performance analysis of biometric recognition system based on palmprint
WO2022130616A1 (ja) 認証方法、情報処理装置、及び認証プログラム
Wu et al. Facial feature extraction and applications: A review
JP5702663B2 (ja) 顔画像認識装置及び顔画像認識プログラム
JP2015219681A (ja) 顔画像認識装置及び顔画像認識プログラム
JP2006277146A (ja) 照合方法および照合装置
US7957555B2 (en) Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part
Boukamcha et al. 3D face landmark auto detection
JP2014021896A (ja) 顔画像認識装置及び顔画像認識プログラム
Zhang et al. Beyond face: Improving person clustering in consumer photos by exploring contextual information
Khalil et al. Authentication of fingerprint biometrics acquired using a cellphone camera: a review
Xu et al. A novel IKP-based biometric recognition using mobile phone camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170124