JP3954484B2 - 画像処理装置およびプログラム - Google Patents
画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP3954484B2 JP3954484B2 JP2002360226A JP2002360226A JP3954484B2 JP 3954484 B2 JP3954484 B2 JP 3954484B2 JP 2002360226 A JP2002360226 A JP 2002360226A JP 2002360226 A JP2002360226 A JP 2002360226A JP 3954484 B2 JP3954484 B2 JP 3954484B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature
- image
- person
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数台のカメラ（マルチカメラ)を用いて入力された画像から顔認識、顔向き検出などの顔画像処理を行う装置及び方法に関する。
【０００２】
【従来の技術】
顔画像を用いた認識は、物理的な鍵やパスワードと違い紛失や忘却の心配がないため、セキュリティの面で非常に有用な技術である。しかしながら、ユーザの立ち位置や背恰好などの個人差により顔の大きさが変化する上、顔の向きも一定ではないため、これらの顔のパターンの変動を吸収することが高精度な認識を行うのには不可欠であった。
【０００３】
これまで顔画像を用いて個人識別を行う技術としては、例えば非特許文献１などがある。これは動画像を用いることにより顔パターンの変動を抑え、認識を行う手法である。高精度な認識を行うためには動画像から個人の多様な顔パターンを集めることが重要であるが、パターン収集はユーザ自身の顔の動きに依存しているという問題があった。
【０００４】
顔画像認識によるセキュリティシステムにおいては、顔写真などによる不正アクセスの危険性がある。そのため、入力された顔が実物か写真かを正確に見分けたいという要求がある。そのときビデオカメラ一台のみから構成されるシステムでは、写真の画質が高い場合、画像情報のみでは区別することが難しい。正確に判別するためには、対象物体の動きなどから３次元情報を抽出するシェイプ・フロム・モーションの技術を利用することなどが考えられるが、３次元情報を正確に抽出できるような特徴点をテクスチャの少なく非剛体の物体である人間の顔から検出することは難しい。そのため、特別な機材を用いないビデオカメラ一台のみのシステムでは対象が写真であるかどうかを正確に判断するのは難しいという問題がある。
【０００５】
カメラ一台のみから入力された画像ではカメラの画角には限界があるため、顔の向きや眼鏡の反射などにより顔の特徴点が隠れてしまうという、オクルージョンや反射などの問題が発生することがある。そのため、隠れや陰影の影響により常に全ての顔特徴点を検出することは難しい。また、正しい位置の特徴点が隠れてしまうため、検出できなかったり、できたとしても本来正解とすべき点からずれた点を誤検出してしまうなど、検出結果が不安定かつ不正確になりやすいという問題がある。
【０００６】
人間の行動を画像から理解しようとした際に、その人間の顔がどの方向を向いているのかは非常に重要な情報のひとつである。そのため、ロバストに顔の向きを検出したいという要求がある。従来の技術では、一台のカメラから、特定の顔領域を切り出してさまざまな角度から撮影したテンプレートとマッチングする方法や、特徴点を抽出して幾何学的な情報を元に計算する方法や、顔の３次元形状を抽出して向きを計算する方法などが知られている。しかし、テンプレートマッチングでは１枚の画像を比較するだけなので高精度化しにくい、幾何学的に計算する方法では顔の特徴点が正確に出しにくく、顔が非剛体のため誤差を含むことがあることや、顔の３次元形状を利用する方法では、レンジファインダなどの特別な機材を要求したり、ステレオ法などでは計算コストがかかったりするなど、顔の形状復元自体が困難な問題である、といった問題点がある。
【０００７】
従来の顔認識のシステム、例えば特許文献１などにおいても、カメラは複数でも良いとされている。しかし、単純にカメラを増やした場合、ユーザの混入という問題点が生じる。例えば、一度に検出可能な顔の数が１つだけだと仮定すると、マルチカメラでユーザを撮影したときに、図９に示すように、あるカメラではユーザＡだけを検出でき、あるカメラでは別のユーザＢだけを検出してしまうことがある。そのとき、検出されたユーザＡとユーザＢの顔特徴を同じ人物のものとして扱ってしまった場合には、他人の情報が混ざってしまうため、誤認識が起きる原因となる。
【０００８】
さらに、もし人物の登録時にこの他人が混ざるという現象が起きた場合には、ユーザＡだけでなくユーザＢの情報も登録されてしまうため、ユーザＢが登録許可されてない人物だとすると、ユーザＢはユーザＡの登録データに対して高い類似度がでてしまい、他人に成りすまして通行できてしまい、セキュリティ面で問題となる。また、一度に検出可能な顔の数が複数だとしても、検出できた顔のカメラ間の対応付けを行わなければ、同様に他人混入の問題が発生してしまう。
【０００９】
【特許文献１】
特開２００２-１３７３４公報
【００１０】
【非特許文献１】
山口、福井、「顔向き表情変化にロバストな顔認識システム'smartface'」, 信学論 (D-II), vol.J４-D-II, No.６, p.１０４５-１０５２, ２００１.
【００１１】
【発明が解決しようとする課題】
以上説明したように、顔画像を用いた従来の顔画像技術では、個人の多用な顔パターン画像を収集する必要がある、人物の立ち位置、顔向き変動等の要因により認識精度が制限される等の問題があった。また複数のカメラを用いて人物認証しようとすると、ユーザの混入により人物認証を誤るという問題があった。
【００１２】
本発明は上記の問題を解決するために、マルチカメラを用いて個人を多方向から同時に撮影することで多様な顔パターンをユーザに負担をかけずに収集し、さらにマルチカメラから得られる情報を有効に利用することでより高精度な人物の認識を行うことを目的とする。
【００１３】
【課題を解決するための手段】
本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出する顔領域検出部と、この顔領域検出部により検出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１４】
また本発明においては、前記顔領域検出部は、前記複数の撮像手段で撮像された画像からそれぞれ人の顔特徴点を検出して顔領域を検出する複数の顔領域検出手段からなり、前記顔特徴量抽出部は、前記顔領域検出部を構成する複数の顔領域検出手段により検出された複数の顔領域の画像からそれぞれ顔の特徴量を抽出する複数の顔特徴量抽出手段からなることを特徴とする。
【００１５】
また本発明においては、前記複数の撮像手段により撮像された複数の画像について抽出された顔の特徴量同士を比較して被写体が写真であるか否かを判定する写真判定部を備えたことを特徴とする。
【００１６】
また本発明においては、複数の撮像手段により撮像された複数の画像からそれぞれ顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点に基づいて他の画像に関する顔の特徴点の位置を推定する顔特徴点推定部と、前記顔特徴点検出部及び前記顔特徴点推定部の結果により修正された顔の特徴点を用いてそれぞれの画像から顔領域を切り出す顔領域切り出し部と、切り出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１７】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出する顔領域検出部と、所定の顔向き毎の人の顔領域集合の特徴量と前記顔特徴量抽出部で抽出された顔領域の特徴量とを比較して人物の顔向きを推定する推定部とを有することを特徴とする顔画像処理装置を提供する。
【００１８】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算する手段とを有することを特徴とする顔画像処理装置を提供する。
【００１９】
また本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出するステップと、検出された顔領域の画像から顔の特徴量を抽出するステップと、予め登録された特定人の顔の特徴量と前記抽出された顔の特徴量とから類似度を計算して人物の認識を行うステップと、その人物認識部の認識結果を出力するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２０】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出するステップと、所定の顔向き毎の人の顔領域集合の特徴量と前記抽出された顔領域の特徴量とを比較して人物の顔向きを推定するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２１】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出するステップと、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２２】
【発明の実施の形態】
以下に図面を参照して本発明を詳細に説明する。
【００２３】
まず、本発明に関わる第１の実施例について述べる。第１の実施例は、マルチカメラから入力された画像からそれぞれ顔特徴領域を検出し、その特徴領域から顔のもつ特徴量を計算し、人物の識別を行い、結果を出力するものである。
【００２４】
図１は第１の実施例の構成を表す図である。画像入力部１０１は複数のビデオカメラ１０１ａ〜１０１ｎから構成される。被認証者を撮像するカメラの数は２台以上ならばいくつでも良い。以下の説明ではカメラが３台の場合について説明する（図２参照）。顔領域検出部１０２は各カメラ１０１ａ〜１０１ｎから入力された複数の画像から、被認証者の顔の特徴点（目、瞳、鼻孔など）を検出する。検出された顔の顔特徴点の大きさ、相対位置関係に基づいて、一定の大きさ、形状に領域を切り出し、その領域の傾きや大きさを補正してｍ×ｎ画素（ピクセル、ｍ、ｎは自然数）の大きさの顔特徴領域を作成する。
【００２５】
顔特徴量抽出部１０３では、作成された顔特徴領域の画像から顔特徴ベクトルを作成する。顔特徴ベクトルは、例えば、各要素を画素値とするｍ×ｎ次元のベクトルでも良いし、さらにヒストグラム平坦化や微分処理やフーリエ変換などの処理を施すこともできる。複数カメラから構成される画像入力部１０１と顔領域検出部１０２を介して時系列的に取得される複数の画像を複数の顔特徴ベクトルとして、それらのベクトルに対してＫ−Ｌ展開を行い、得られた正規直交ベクトルをその人物の顔特徴量とする。被認証用の人物の登録時には、この顔特徴量をその被認証者の識別データとして登録情報保持部１０５に保存しておく。
【００２６】
人物認識部１０４では、入力された未知の人物の顔特徴量と、あらかじめ登録情報保持部１０５に保存されている認証用の人物の顔特徴量を比較することにより類似度を算出し、人物の同定を行う。出力装置１０６は認識結果を映像または音声もしくはその両方によりユーザに提示するものである。
【００２７】
本実施例のシステム構成例を図２に示す。本実施例における画像入力手段２０１ａ〜２０１ｃは３つまたはそれ以上の画像入力手段、例えばビデオカメラなどの動画像撮像装置、スチルカメラ等の静止画撮像装置などで構成される。これら複数のカメラは同時に被認証者の画像を取得するため、撮像領域を重ねるように空間的に配置される。図１の顔領域検出部１０２、顔特徴量抽出部１０３、人物認識部１０４は、図２の演算処理手段２０２、例えばパーソナルコンピュータ上で動作するプログラム（ソフトウェア）で構成される。図１の登録情報保持部１０５は、図２の演算処理手段２０２に備えられた磁気記憶装置（ハードディスク）、光学的記憶装置（ＤＶＤ−ＲＯＭ、追記または書き換え型のＤＶＤ記録媒体）などで構成される。図１の出力装置１０６は、図２の表示手段２０３（スピーカを含む。図示せず）で構成され、顔認証の結果を映像、音声などで出力するものである。
【００２８】
本実施例の各構成部について以下で詳細に述べる。
【００２９】
画像入力部１０１ではビデオカメラもしくは特別な入力装置から対象となる人物の顔を含む動画像を入力する。例えば一般的なＵＳＢカメラやデジタルビデオの他に、パンチルトズームができるカメラや、レンジファインダのような３次元情報の入力装置などもあり得る。また、赤外線カメラを用いることにより、照明条件による影響が少ない画像を撮影し、認識の精度を向上させることもできる。各カメラ１０１ａ〜１０１ｎは同一構成の機器でも良いし、それぞれ別の構成の機器でもかまわないものとする。また、各カメラ同士で同期信号などを利用して、画像入力のタイミングの同期を取っても良い。各カメラ間及び各カメラ以降の処理手段（例えばパーソナルコンピュータ）との接続方式はＵＳＢとＩＥＥＥ１３９４、ネットワーク経由など、複数の接続方式が混在していてもかまわない。カメラの配置はフレームなどの機器に固定しても、自由に動くようにしても、アームや回転台など特別な機材を用いて各カメラを動的に空間的に移動させても良い。
【００３０】
画像入力部１０１より得られた画像は逐次、顔領域検出部１０２に送られる。顔領域検出部１０２では、複数のカメラから入力された各画像から被認証者の顔特徴点および顔特徴領域を求める。具体的には、目（瞳）、鼻孔等の位置的な幾何拘束だけでなく，円、だ円形状の分離度フィルタによる特徴点の形状情報の抽出とパターンによる照合を組み合わせることによりロバストに顔特徴点を抽出する。顔特徴点が求まったら、その点、及び特徴点の位置関係に基づいて、顔の傾きや大きさの補正を行い、得られた画像からある一定の大きさの顔特徴領域を切り出す。
【００３１】
顔特徴量抽出部１０３では、求められた顔特徴領域の画像から顔特徴量を求める。まず、ｍ×ｎピクセルの顔特徴領域の画像を各ピクセルの画素値を要素とするようなｍ×ｎ次元の顔特徴ベクトルに変換する。さらに画像入力部１０１から顔領域検出部を介して得られる複数の画像に対して同様の処理を施し、時系列で複数の顔特徴ベクトルを取得する。このとき画像入力部における各カメラからの入力は任意に選択可能である。例えば、全てのカメラについて得られる同数の画像を入力しても良いし、ある特定のカメラの画像の数を相対的に増やしたり減らしたりしても良い。このように得られた複数の顔特徴ベクトルをＫ−Ｌ展開することで正規直交ベクトルを求め、その正規直交ベクトルを基底とするような部分空間をその人物に関する顔特徴量とすることができる。
【００３２】
登録情報保持部１０５では、得られた顔特徴量（を表わす部分空間）をハードディスクやメモリなどの記録媒体に保存する。保存媒体はカメラ等を制御し、人物認証プロセスを処理するパーソナルコンピュータに接続されているか、ネットワークを経由した別のコンピュータに接続されているものとする。記録媒体自体はバックアップなどのため取り外し、交換して可能であっても差し支えない。
【００３３】
人物認識部１０４では、入力された被認証者の人物の顔特徴量と、すでに登録情報保持部１０５に登録されている顔特徴量を比較することで、登録済みの人物と一致するか否か（登録済みの同一人物と判定されるか否か）等の人物の同定を行う。顔特徴量同士の比較の方法は、例えば相互部分空間法があるが、認識方法は他のパターン認識方法を用いてもかまわない。ここにいう相互部分空間法とは、調べたい２つの部分空間があったときに、部分空間同士の為す角度（正準角という（Ｎ次元部分空間ならＮ個存在する））を計算し、得られた正準角のうち最小の角度を類似度とする手法であり、従来の静止画ベースの手法と異なり、辞書と入力に部分空間を用いることで１つの間違った(不適当な)パターンや，パターンのばらつきに左右されることなく、安定した認識を行うことができる。このような認識方法により顔特徴量同士の類似度を算出することができる。その類似度をある所定の閾値で判定し、登録された人物との同定をする。閾値は事前の認識実験などで定めた値でも良いし、人物の特徴量に応じて増減させることもできる。
【００３４】
出力装置１０６では、人物認識部の結果に応じて、画像や文字からなる映像もしくは音声との組み合わせにより、ユーザに結果を提示する。出力装置１０６は、パーソナルコンピュータの表示装置として通常使われるＣＲＴもしくは液晶パネルなどの他にも、スピーカや液晶プロジェクタとスクリーンなどの出力装置を自由に組み合わせてユーザの理解を助けることができる。
【００３５】
次に本発明にかかわる第２の実施例について述べる。本実施例では、複数の画像取得手段（マルチカメラ）を用いた顔画像処理装置においてユーザの画像を取得するカメラを複数台配置し、それぞれのカメラごとに得られる画像情報の特性を比較することにより、登録されている他人の顔写真などを利用して不正な認証結果を得ようとする場合などに、それを実際の人間か顔写真かを判別して認識する装置について説明する。
【００３６】
図３は本実施例の構成を示したものである。画像入力部３０１は複数台（Ｎ台）のビデオカメラ３０１ａ〜３０１ｎである。各カメラから入力された顔画像は、各カメラに対してそれぞれ設けられた顔領域検出部３０２ａ〜３０２ｎにより被認証者の顔特徴点が検出され、顔特徴領域が抽出される。その後、各カメラごとに設けられた顔特徴量抽出部３０３ａ〜３０３ｎにより、顔領域検出部３０２ａ〜３０２ｎで抽出された顔特徴領域の画像に基づいて被認証者の顔の特徴量（例えばｍ×ｎ次元の顔特徴量ベクトル）が抽出される。
【００３７】
次に写真判定部３０４について詳しく述べる。写真判定部３０４では、各カメラ３０１ａ〜３０１ｎから得られた画像に対して計算された顔特徴量ベクトルに基づいて、２つのカメラの組の間の画像の類似度を計算する。例えば、カメラ１から得られた画像の顔特徴量１とカメラ２から得られた画像の顔特徴量２の間の類似度を計算して、カメラ１の出力画像とカメラ２の出力画像とを比較する。
【００３８】
例えばカメラ１とカメラ２が空間的に水平方向（左右）に並べて配置されていた場合を想定する。図８に被認証者を撮像して得られる画像のパターン（８０１〜８０３）と角度を変えて撮像した写真画像のパターン（８０４〜８０６）とを示す。図８に示すように、被認証者の顔を実際に撮像して得られる顔画像（８０１〜８０３）は、被写体が３次元物体であるので、複数のカメラから得られた画像について顔の傾きや大きさを補正しても、カメラ１とカメラ２では同じ顔パターンにはならない。しかし写真画像を複数のカメラで撮像した場合（８０４〜８０６）は、写真画像上の顔画像は平面であるため、複数カメラで撮像された画像をアフィン変換などで傾きや大きさを補正すると、得られる顔パターンはカメラ１とカメラ２で同じ画像になる。これにより被写体が立体物（人物の顔）であるか、平面物（写真）であるかを区別することができる。
【００３９】
よって写真判定部３０４により被写体が立体物（人物の顔）か平面物（写真）であるかを区別し、人物の顔である場合（入力が写真画像ではない場合）には登録情報保持部３０６に登録された個人認証用の顔特徴ベクトルと被認証者の顔の特徴量ベクトルとを比較することにより人物認証を行ない（人物認識部３０５）、認証結果を出力装置３０７に出力する。特に本実施例では、顔特徴量抽出部３０３ａ〜３０３ｎにおいてカメラ３０１ａ〜３０１ｎごとにそれぞれ顔特徴量が計算されているので、全体としての顔特徴量を求めることが必要である。顔特徴量抽出部３０３ａ〜３０３ｎでのＫ−Ｌ展開する前の各カメラから得られた顔特徴領域をひとまとめにして、Ｋ−Ｌ展開を再度計算することにより１つの顔特徴量を計算し、それらと登録情報保持部との顔特徴量との類似度を計算することができる。写真判定部３０４で、入力された画像が写真画像であると判断された場合は、人物認識部３０５で処理することなく、出力装置３０７によりユーザに認識不可を通知する。
【００４０】
このように複数のカメラから得られる画像間の類似度を計算し、それがある閾値以上の（類似度が高い）場合は写真画像と判定できる。ここで複数のカメラ間の距離が極端に近い場合、３次元の物体であってもそれぞれのカメラから得られる画像間の類似度は高くなり、立体物か平面物かを区別することが難しくなる。そのため複数のカメラ間の距離はある程度の距離を離したほうが効果的に写真画像を排除することをできる。
【００４１】
また複数のカメラの組み合わせが複数存在する場合は、例えば複数のカメラの組ごとの類似度の和をとるなどして、すべて考慮に入れることにより、立体物が平面物かを識別を行なうことも可能である。この場合には識別精度を上げることができる。またセキュリティの面から、写真による拒否とはユーザには通知しないこともできる。表示上は通常の認識不可と同じ（人物認証に失敗しましたとのメッセージ、音声出力など）にしておき、システムの写真判定の判断基準に関する情報を不正なユーザになるべく提供しないようにする。また本実施例において登録情報保持部３０６は、登録時の各カメラからの顔特徴量を別々に保存しておき、それらと入力の各カメラからの顔特徴量との類似度を比較することもできる。
【００４２】
本発明にかかわる第３の実施例について述べる。本実施例では、複数の画像入力部（マルチカメラ）を利用し、一つのカメラからは顔の特徴点が検出でき、別のカメラでは隠れや歪みなどにより顔の特徴点を検出できない場合に、先の特徴点検出可能なカメラからの情報を元にして、特徴点検出不可のカメラから得られた画像における顔特徴点を推定し、顔の向きや特徴点の隠れに対してロバストに顔特徴を検出することで、より高精度な顔認識を行う装置を説明する。
【００４３】
図４は本実施例の構成を示したものである。画像入力部４０１ａ〜４０１ｎは複数（２台以上）の画像入力手段、例えばビデオカメラから構成される。その複数のカメラの配置やカメラの数は特に制限しない。
【００４４】
顔特徴点抽出部４０２ａ〜４０２ｎでは、複数のカメラ４０１ａ〜４０１ｎから得られた複数の画像の入力を受けて、それぞれの画像における被認証者の顔の特徴点を抽出する。抽出する顔の特徴点の構成およびその抽出方法は、第１の実施例における顔領域検出部と同じである。この顔特徴点抽出部４０２ａ〜４０２ｎにより、各カメラの入力画像からその画像に対応した顔の特徴点が得られる。ところで被認証者の顔の向き、立ち位置や各カメラの配置と向きによっては、特定のカメラで撮像された画像における一部もしくは全部の特徴点が抽出できない場合が考えられる。そのような場合に、顔特徴点推定部４０３により他の正しく抽出された特徴点に基づいて欠損した特徴点を計算により補完する。次にこの顔特徴点推定部４０３の詳細を述べる。
【００４５】
顔特徴点推定部４０３では、検出できなかった顔特徴点を推定する。そのためには複数の各カメラの位置関係が予め定まっていることが必要である。具体的には各カメラのキャリブレーション（カメラの相対的な位置合わせ、画像変換パラメータの設定）が行われていることが前提となる。カメラのキャリブレーションは、複数のカメラ間での撮像領域の対応が既知となるような画像上の点の組み合わせ（対応づけ）が必要である。
【００４６】
この対応点については、例えば、あらかじめカメラ等を設置した際に、大きさなどが全て既知の格子状などの特殊なキャリブレーションボードを用意し、そのキャリブレーションボード上の点を人間が手作業もしくは自動的にポイントすることで抽出することができる。あるいは人物の初期データ登録時に、ある時点のカメラ入力において全ての特徴点が求まった場合を考えると、それらの特徴点はカメラ間で対応が取れているので、その特徴点を用いてカメラをキャリブレーションすることもできる。画像間の対応点がいくつか得られれば、例えば、幾何学的および光学的特性が既知なもの（格子模様のボードなど）を撮影し、撮影された特徴点から幾何学的に対応を解いてカメラパラメータを求める手法によりキャリブレーションを実現することができる。
【００４７】
カメラがキャリブレーションできると、予め求められたカメラパラメータにより複数の画像間で対応点が得られているので、エピポーラ幾何等の変換処理を用いて３次元空間上の位置を計算することができる。よって複数のカメラ間で対応のとれている任意のピクセルの３次元空間上の座標を計算できる。３次元空間上の座標が計算できれば、任意の視点から見た座標に変換することができる。つまりあるカメラで検出できた顔特徴点は、他のカメラの視野に入っている場合、他のカメラにおける顔特徴点に変換することができる。
【００４８】
以上のような特徴点推定処理を行うフローチャートを図７に示す。まず複数（ｎ台）のカメラから被認証者の画像を入力し（ステップＳ１）、それらの画像から顔特徴点を抽出する（ステップＳ２）。この段階で、全てのカメラについて全ての特徴点が抽出されていた場合は、特徴点抽出成功として処理を終了する（ステップＳ７、Ｓ８）。一方、あるカメラから入力された画像について抽出できなかった特徴点が存在する場合（ステップＳ３）は、各特徴点がそれぞれ２つ以上のカメラで検出できたかを調べる（ステップＳ４）。２つ以上検出できなかった特徴点があった場合には、特徴点間の対応付けができず、３次元の位置を得ることができないので、特徴点抽出失敗として処理を終了する（ステップＳ９）。各画像について全ての特徴点は２つ以上抽出できている、つまり、特徴点間の対応付けができる場合（ステップＳ５）には、各特徴点について３次元空間上の座標に変換する。その３次元座標を、抽出できない特徴点を含むカメラから見た視点の座標系に変換し、特徴点を推定する（ステップＳ６）。全ての抽出できなかった特徴点を推定することで、特徴点抽出成功として推定処理は終了する（ステップＳ７、Ｓ８）。
【００４９】
また上記の構成とは別に、各画像について顔特徴点が抽出できた場合であっても、抽出された顔特徴点同士を各カメラで撮像された画像間で相互に特徴点を推定し、検出した座標と計算により推定した座標との差を調べることによって、特徴点抽出精度を検証し、誤検出の判定や、検出精度を向上させることもできる。
【００５０】
顔特徴点推定部で推定された顔特徴点に基づいて、補正された顔特徴点は、次に顔領域切り出し部４０４ａ〜４０４ｎに送られる。顔領域切り出し部４０４ａ〜４０４ｎでは、この顔特徴点に基づいて一定の大きさ、形状の顔領域を切り出し、傾きや大きさを補正してｍ×ｎピクセルの大きさの顔特徴領域の画像を作成する。
【００５１】
顔特徴領域の画像が作成されたら、第１の実施例で述べたように、顔特徴量抽出部４０５でｍ×ｎ次元の顔特徴ベクトルを生成し、これをＫ−Ｌ展開することで被認証者の顔特徴量を計算する。この顔特徴量とあらかじめ登録情報保持部にある顔特徴量とを人物認識部において比較することで、個人の顔画像情報による本人識別を行う。
【００５２】
本発明にかかわる第４の実施例について述べる。本実施例では、マルチカメラを用いて対象となる人物の顔がどちらを向いているかを安定かつ正確に検出する方法について説明する。
【００５３】
本装置は、図５の構成図に示す通り、複数のカメラ５０１ａ〜５０１ｎから構成される画像入力部５０１、入力された画像から顔を検出する顔領域検出部５０２、顔領域から顔の向きを計算する顔向き推定部５０３、あらかじめ顔のさまざまな向きの画像を登録しておく登録情報保持部５０４、検出結果を提示する出力装置５０５から構成される。次に各構成要素の詳細を述べる。
【００５４】
画像入力部５０１は複数のビデオカメラで構成され、それらのカメラは２台以上とし、被認証者の顔画像を同時に撮像可能とするように配置される。ここでカメラの台数は特に制限しない。
【００５５】
顔領域検出部５０２では、各カメラからの入力画像から被認証者の顔特徴点を検出し、それに基づいて画像から顔領域を切り出し、大きさを正規化してある一定の大きさの顔特徴領域を切り出す。これは例えば、第１の実施例と同じ方法を用いることにより実現することができる。
【００５６】
顔向き推定部５０３では、切り出された顔特徴領域を利用して、対象の人物がどちらを向いているかを推定する。ある時刻にマルチカメラから撮影された画像(切り出された顔特徴領域)の組をひとつの顔向き特徴領域集合として定義し、その顔向き特徴領域集合に基づいて被認証者の顔向きの推定を行う。図６は、異なった位置に配置されたカメラ３台の場合のある時刻において撮像された特定の被認証者の顔画像３枚（６０１、６０２、６０３）の顔向き特徴領域集合の例を示す。顔向き推定は、入力から得られた顔向き特徴領域集合と、ある角度ごとに登録情報保持部５０４にあらかじめ登録された顔向き特徴領域集合とを比較することで行う。顔向き特徴領域集合をどのように扱い、どのようにそれぞれを比較するかは様々な方法があるが、例えば次のような方法で行うことができる。
【００５７】
まず、Ｎ台のカメラからシステムが構築されていた場合、Ｎ個の顔特徴領域により顔向き特徴領域集合が構成される。このとき、顔特徴領域がそれぞれｍ×ｎピクセルのサイズであるとすると、顔向き特徴領域集合を顔特徴領域を横に並べたｍ×ｎピクセルの領域として定義する。この顔向き特徴領域集合を、画素値を要素とするｍ×ｎ次元の特徴ベクトルとみなすことで、顔向き特徴領域集合をひとつの顔向き特徴量に変換する。そして、既知の角度に対する既知の顔向き特徴量を複数集めておき、それらをＫ−Ｌ展開して、それぞれの角度に対応する部分空間として登録情報保持部５０４に顔向き特徴部分空間として登録する。これを所定の単位角度（５度、１０度など）でサンプリングされた複数の角度の分について全て計算する。実際に顔向き推定を行う場合は、入力されたある時刻に撮像された顔画像について顔向き特徴量を計算し、それと登録情報保持部に登録されている顔向き特徴部分空間と比較することにより、例えば部分空間法（少数の低次の固有ベクトルのみを用いて認識を行う手法。パターンを少ない次元で効率的に照合することができる）等の手法により判定を行う。
【００５８】
この顔向き特徴領域集合から顔向き特徴量に変換する方法は、取得された顔画像データをただ単に横に並べるだけではなく、他のデータとの組み合わせや、前処理として顔画像データに微分フィルタなどの他の何らかの処理や変換を施しても良い。また、入力と登録情報保持部との類似度の算出方法も部分空間法ではない他の手法を用いても良い。登録情報保持部に角度ごとに登録されている顔向き特徴量との比較も、全ての組み合わせについて調べる必要はなく、例えば、ある角度で低い類似度がでた場合はその近傍の角度では計算しないなど、処理を高速化することもできる。
【００５９】
最終的に、判定された顔の向きの結果は出力装置５０５に送られて、ユーザに結果を提示（表示手段に結果のメッセージを表示、音声で出力）したり、別の処理のために送られたり、記録装置などに書き込まれたりなどされる。
【００６０】
次に本発明にかかわる第５の実施例について述べる。本実施例では、複数の画像入力装置（マルチカメラ）で得られた画像について特徴点抽出を行った際に、その特徴点の位置から被認証者の立ち位置（マルチカメラとの相対位置）を推定し、それが同一の場所に存在するかどうかを判定する装置について説明する。
【００６１】
図１０は本実施例の構成を示したものである。画像入力部１００１は２台以上の一般的なビデオカメラ、スチルカメラもしくはその他の複数の撮像装置１００１ａ〜１００１ｎにより構成され、種類や数は特に限定しない。ただし各カメラにより撮像された画像の変換パラメータに関するキャリブレーション済みであり、カメラパラメータやカメラ間の位置関係は既知であるとする。
【００６２】
顔特徴点抽出部１００２ａ〜１００２ｎでは、画像入力部１００１ａ〜１００１ｎからの画像の入力を受けて、それぞれの画像について顔の特徴点を抽出する。ここで抽出する顔の特徴点およびその抽出方法は、第１の実施例における顔領域検出部と同様の手法を用いることができる。
【００６３】
他人混入判定部１００３では、それぞれの画像について検出された顔特徴点に基づいて、その各カメラから得られた特徴点が同一の人物をあらわしているかどうかを判定する。この他人混入判定部について詳しく説明する。
【００６４】
あるカメラで取得された顔画像に対応する人物Ａと、同時に別のカメラで取得された顔画像に対応する人物Ｂとが同一であるかを判定する方法について説明する。第３の実施例において説明したように、画像入力部を構成するマルチカメラがキャリブレーション済みであるならば、各カメラ間で対応づけられた画像平面上の任意の点を相互に３次元空間上の点に座標変換することができる。そこで、それぞれのカメラから取得された画像について得られた特徴点を全て３次元空間上の座標に変換する。その変換された座標系で、同種の特徴点(例えば右目と右目)の距離Ｌを計算する。距離の尺度は、例えば一般的なユークリッド距離などを利用することができる。その距離Ｌが所定のしきい値よりも大きい場合は、それらの特徴点は同一ではない可能性がある。変換された座標上でそれぞれ対応する特徴点について、対応点間の距離Ｌを計算し、カメラごとに特徴点ごとの距離Ｌの総和、平均値をとるなどして、ひとつの尺度Ｌ＊を計算し、それがある一定のしきい値以上であれば、ひとつのカメラで取得された顔画像に対応する人物Ａと別のカメラで取得された顔画像に対応する人物Ｂとは別人であると判断できる。かかる判断が得られた場合には、他人が混入していると判定される。一方、距離Ｌが所定のしきい値以内であれば、それらの顔画像に対応する人物は同一であるとして、他人は混入していないと判定される。
【００６５】
ここで各カメラから複数の人物に対応した顔画像が検出された場合は、各カメラの顔ごとに上記のＬ＊を計算し、個別に顔の対応付けを行なうことにより、複数の人物について顔画像のグルーピングを実現することも可能である。
（変形例）
第３の実施例において、複数のカメラから得られた画像に対する各特徴点を検出する際に、その特徴点の類似度（確からしさ）を計算することもできる。例えば推定した後の特徴点の確からしさＥｐを、対応付けを行った２つの特徴点の類似度の積として、計算することができる。この場合には、特徴点の類似度上対応付け（推定）ができたとしても、その確からしさＥｐの値が小さい場合は、これを無視するなどして最終的な顔検出精度を向上させることができる。
【００６６】
また第４の実施例において、顔向き推定を行った際に、その推定値と特定の角度に対する顔向き特徴量などを用いて顔の個人識別を行うこともできる。例えば、各登録人物においてさまざまな向きの特徴量データをあらかじめ登録しておき、推定された向きに応じて比較する特徴量データを切り替えて個人識別をすることにより、処理を高速化、認識精度を向上させることができる。
【００６７】
また第５の実施例において、複数カメラ間のキャリブレーションできないなど、特徴点の３次元的な座標を求めることができない場合は、計算された特徴点から顔領域を切り出し、一般的なテンプレートマッチングや部分空間法により判定の尺度Ｌ＊を計算することもできる。以上のような変形を加えて本発明を実現することも可能である。
【００６８】
【発明の効果】
以上説明したように本発明によれば、複数台のカメラにより多様な画像を収集し、特徴量を抽出することにより、ロバストな顔認識を行うことができる顔画像処理装置が可能となる。また不正な写真によるアクセスを判定したり、隠れや陰影により顔特徴点が検出できない場合であっても、特徴点を推定し、認識精度を向上することができる。また被認証者の顔の向きも考慮し、処理に他人が混入していないか調べることにより、精度の高い顔向き推定を実現することができる。
【図面の簡単な説明】
【図１】 第１の実施例の構成図
【図２】 第１の実施例の概観図
【図３】 第２の実施例の構成図
【図４】 第３の実施例の構成図
【図５】 第４の実施例の構成図
【図６】 顔特徴領域集合の例
【図７】 顔特徴推定処理のフローチャート
【図８】 実際の顔と写真の顔の見え方の違いを説明する図
【図９】 他人が混入してしまう例を説明する図
【図１０】 第５の実施例の構成図
【符号の説明】
１０１ 画像入力部
１０１ａ〜ｎ カメラ
１０２ 顔領域検出部
１０３ 顔特徴量抽出部
１０４ 人物認識部
１０５ 登録情報保持部
１０６ 出力装置
【発明の属する技術分野】
本発明は、複数台のカメラ（マルチカメラ)を用いて入力された画像から顔認識、顔向き検出などの顔画像処理を行う装置及び方法に関する。
【０００２】
【従来の技術】
顔画像を用いた認識は、物理的な鍵やパスワードと違い紛失や忘却の心配がないため、セキュリティの面で非常に有用な技術である。しかしながら、ユーザの立ち位置や背恰好などの個人差により顔の大きさが変化する上、顔の向きも一定ではないため、これらの顔のパターンの変動を吸収することが高精度な認識を行うのには不可欠であった。
【０００３】
これまで顔画像を用いて個人識別を行う技術としては、例えば非特許文献１などがある。これは動画像を用いることにより顔パターンの変動を抑え、認識を行う手法である。高精度な認識を行うためには動画像から個人の多様な顔パターンを集めることが重要であるが、パターン収集はユーザ自身の顔の動きに依存しているという問題があった。
【０００４】
顔画像認識によるセキュリティシステムにおいては、顔写真などによる不正アクセスの危険性がある。そのため、入力された顔が実物か写真かを正確に見分けたいという要求がある。そのときビデオカメラ一台のみから構成されるシステムでは、写真の画質が高い場合、画像情報のみでは区別することが難しい。正確に判別するためには、対象物体の動きなどから３次元情報を抽出するシェイプ・フロム・モーションの技術を利用することなどが考えられるが、３次元情報を正確に抽出できるような特徴点をテクスチャの少なく非剛体の物体である人間の顔から検出することは難しい。そのため、特別な機材を用いないビデオカメラ一台のみのシステムでは対象が写真であるかどうかを正確に判断するのは難しいという問題がある。
【０００５】
カメラ一台のみから入力された画像ではカメラの画角には限界があるため、顔の向きや眼鏡の反射などにより顔の特徴点が隠れてしまうという、オクルージョンや反射などの問題が発生することがある。そのため、隠れや陰影の影響により常に全ての顔特徴点を検出することは難しい。また、正しい位置の特徴点が隠れてしまうため、検出できなかったり、できたとしても本来正解とすべき点からずれた点を誤検出してしまうなど、検出結果が不安定かつ不正確になりやすいという問題がある。
【０００６】
人間の行動を画像から理解しようとした際に、その人間の顔がどの方向を向いているのかは非常に重要な情報のひとつである。そのため、ロバストに顔の向きを検出したいという要求がある。従来の技術では、一台のカメラから、特定の顔領域を切り出してさまざまな角度から撮影したテンプレートとマッチングする方法や、特徴点を抽出して幾何学的な情報を元に計算する方法や、顔の３次元形状を抽出して向きを計算する方法などが知られている。しかし、テンプレートマッチングでは１枚の画像を比較するだけなので高精度化しにくい、幾何学的に計算する方法では顔の特徴点が正確に出しにくく、顔が非剛体のため誤差を含むことがあることや、顔の３次元形状を利用する方法では、レンジファインダなどの特別な機材を要求したり、ステレオ法などでは計算コストがかかったりするなど、顔の形状復元自体が困難な問題である、といった問題点がある。
【０００７】
従来の顔認識のシステム、例えば特許文献１などにおいても、カメラは複数でも良いとされている。しかし、単純にカメラを増やした場合、ユーザの混入という問題点が生じる。例えば、一度に検出可能な顔の数が１つだけだと仮定すると、マルチカメラでユーザを撮影したときに、図９に示すように、あるカメラではユーザＡだけを検出でき、あるカメラでは別のユーザＢだけを検出してしまうことがある。そのとき、検出されたユーザＡとユーザＢの顔特徴を同じ人物のものとして扱ってしまった場合には、他人の情報が混ざってしまうため、誤認識が起きる原因となる。
【０００８】
さらに、もし人物の登録時にこの他人が混ざるという現象が起きた場合には、ユーザＡだけでなくユーザＢの情報も登録されてしまうため、ユーザＢが登録許可されてない人物だとすると、ユーザＢはユーザＡの登録データに対して高い類似度がでてしまい、他人に成りすまして通行できてしまい、セキュリティ面で問題となる。また、一度に検出可能な顔の数が複数だとしても、検出できた顔のカメラ間の対応付けを行わなければ、同様に他人混入の問題が発生してしまう。
【０００９】
【特許文献１】
特開２００２-１３７３４公報
【００１０】
【非特許文献１】
山口、福井、「顔向き表情変化にロバストな顔認識システム'smartface'」, 信学論 (D-II), vol.J４-D-II, No.６, p.１０４５-１０５２, ２００１.
【００１１】
【発明が解決しようとする課題】
以上説明したように、顔画像を用いた従来の顔画像技術では、個人の多用な顔パターン画像を収集する必要がある、人物の立ち位置、顔向き変動等の要因により認識精度が制限される等の問題があった。また複数のカメラを用いて人物認証しようとすると、ユーザの混入により人物認証を誤るという問題があった。
【００１２】
本発明は上記の問題を解決するために、マルチカメラを用いて個人を多方向から同時に撮影することで多様な顔パターンをユーザに負担をかけずに収集し、さらにマルチカメラから得られる情報を有効に利用することでより高精度な人物の認識を行うことを目的とする。
【００１３】
【課題を解決するための手段】
本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出する顔領域検出部と、この顔領域検出部により検出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１４】
また本発明においては、前記顔領域検出部は、前記複数の撮像手段で撮像された画像からそれぞれ人の顔特徴点を検出して顔領域を検出する複数の顔領域検出手段からなり、前記顔特徴量抽出部は、前記顔領域検出部を構成する複数の顔領域検出手段により検出された複数の顔領域の画像からそれぞれ顔の特徴量を抽出する複数の顔特徴量抽出手段からなることを特徴とする。
【００１５】
また本発明においては、前記複数の撮像手段により撮像された複数の画像について抽出された顔の特徴量同士を比較して被写体が写真であるか否かを判定する写真判定部を備えたことを特徴とする。
【００１６】
また本発明においては、複数の撮像手段により撮像された複数の画像からそれぞれ顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点に基づいて他の画像に関する顔の特徴点の位置を推定する顔特徴点推定部と、前記顔特徴点検出部及び前記顔特徴点推定部の結果により修正された顔の特徴点を用いてそれぞれの画像から顔領域を切り出す顔領域切り出し部と、切り出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１７】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出する顔領域検出部と、所定の顔向き毎の人の顔領域集合の特徴量と前記顔特徴量抽出部で抽出された顔領域の特徴量とを比較して人物の顔向きを推定する推定部とを有することを特徴とする顔画像処理装置を提供する。
【００１８】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算する手段とを有することを特徴とする顔画像処理装置を提供する。
【００１９】
また本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出するステップと、検出された顔領域の画像から顔の特徴量を抽出するステップと、予め登録された特定人の顔の特徴量と前記抽出された顔の特徴量とから類似度を計算して人物の認識を行うステップと、その人物認識部の認識結果を出力するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２０】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出するステップと、所定の顔向き毎の人の顔領域集合の特徴量と前記抽出された顔領域の特徴量とを比較して人物の顔向きを推定するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２１】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出するステップと、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２２】
【発明の実施の形態】
以下に図面を参照して本発明を詳細に説明する。
【００２３】
まず、本発明に関わる第１の実施例について述べる。第１の実施例は、マルチカメラから入力された画像からそれぞれ顔特徴領域を検出し、その特徴領域から顔のもつ特徴量を計算し、人物の識別を行い、結果を出力するものである。
【００２４】
図１は第１の実施例の構成を表す図である。画像入力部１０１は複数のビデオカメラ１０１ａ〜１０１ｎから構成される。被認証者を撮像するカメラの数は２台以上ならばいくつでも良い。以下の説明ではカメラが３台の場合について説明する（図２参照）。顔領域検出部１０２は各カメラ１０１ａ〜１０１ｎから入力された複数の画像から、被認証者の顔の特徴点（目、瞳、鼻孔など）を検出する。検出された顔の顔特徴点の大きさ、相対位置関係に基づいて、一定の大きさ、形状に領域を切り出し、その領域の傾きや大きさを補正してｍ×ｎ画素（ピクセル、ｍ、ｎは自然数）の大きさの顔特徴領域を作成する。
【００２５】
顔特徴量抽出部１０３では、作成された顔特徴領域の画像から顔特徴ベクトルを作成する。顔特徴ベクトルは、例えば、各要素を画素値とするｍ×ｎ次元のベクトルでも良いし、さらにヒストグラム平坦化や微分処理やフーリエ変換などの処理を施すこともできる。複数カメラから構成される画像入力部１０１と顔領域検出部１０２を介して時系列的に取得される複数の画像を複数の顔特徴ベクトルとして、それらのベクトルに対してＫ−Ｌ展開を行い、得られた正規直交ベクトルをその人物の顔特徴量とする。被認証用の人物の登録時には、この顔特徴量をその被認証者の識別データとして登録情報保持部１０５に保存しておく。
【００２６】
人物認識部１０４では、入力された未知の人物の顔特徴量と、あらかじめ登録情報保持部１０５に保存されている認証用の人物の顔特徴量を比較することにより類似度を算出し、人物の同定を行う。出力装置１０６は認識結果を映像または音声もしくはその両方によりユーザに提示するものである。
【００２７】
本実施例のシステム構成例を図２に示す。本実施例における画像入力手段２０１ａ〜２０１ｃは３つまたはそれ以上の画像入力手段、例えばビデオカメラなどの動画像撮像装置、スチルカメラ等の静止画撮像装置などで構成される。これら複数のカメラは同時に被認証者の画像を取得するため、撮像領域を重ねるように空間的に配置される。図１の顔領域検出部１０２、顔特徴量抽出部１０３、人物認識部１０４は、図２の演算処理手段２０２、例えばパーソナルコンピュータ上で動作するプログラム（ソフトウェア）で構成される。図１の登録情報保持部１０５は、図２の演算処理手段２０２に備えられた磁気記憶装置（ハードディスク）、光学的記憶装置（ＤＶＤ−ＲＯＭ、追記または書き換え型のＤＶＤ記録媒体）などで構成される。図１の出力装置１０６は、図２の表示手段２０３（スピーカを含む。図示せず）で構成され、顔認証の結果を映像、音声などで出力するものである。
【００２８】
本実施例の各構成部について以下で詳細に述べる。
【００２９】
画像入力部１０１ではビデオカメラもしくは特別な入力装置から対象となる人物の顔を含む動画像を入力する。例えば一般的なＵＳＢカメラやデジタルビデオの他に、パンチルトズームができるカメラや、レンジファインダのような３次元情報の入力装置などもあり得る。また、赤外線カメラを用いることにより、照明条件による影響が少ない画像を撮影し、認識の精度を向上させることもできる。各カメラ１０１ａ〜１０１ｎは同一構成の機器でも良いし、それぞれ別の構成の機器でもかまわないものとする。また、各カメラ同士で同期信号などを利用して、画像入力のタイミングの同期を取っても良い。各カメラ間及び各カメラ以降の処理手段（例えばパーソナルコンピュータ）との接続方式はＵＳＢとＩＥＥＥ１３９４、ネットワーク経由など、複数の接続方式が混在していてもかまわない。カメラの配置はフレームなどの機器に固定しても、自由に動くようにしても、アームや回転台など特別な機材を用いて各カメラを動的に空間的に移動させても良い。
【００３０】
画像入力部１０１より得られた画像は逐次、顔領域検出部１０２に送られる。顔領域検出部１０２では、複数のカメラから入力された各画像から被認証者の顔特徴点および顔特徴領域を求める。具体的には、目（瞳）、鼻孔等の位置的な幾何拘束だけでなく，円、だ円形状の分離度フィルタによる特徴点の形状情報の抽出とパターンによる照合を組み合わせることによりロバストに顔特徴点を抽出する。顔特徴点が求まったら、その点、及び特徴点の位置関係に基づいて、顔の傾きや大きさの補正を行い、得られた画像からある一定の大きさの顔特徴領域を切り出す。
【００３１】
顔特徴量抽出部１０３では、求められた顔特徴領域の画像から顔特徴量を求める。まず、ｍ×ｎピクセルの顔特徴領域の画像を各ピクセルの画素値を要素とするようなｍ×ｎ次元の顔特徴ベクトルに変換する。さらに画像入力部１０１から顔領域検出部を介して得られる複数の画像に対して同様の処理を施し、時系列で複数の顔特徴ベクトルを取得する。このとき画像入力部における各カメラからの入力は任意に選択可能である。例えば、全てのカメラについて得られる同数の画像を入力しても良いし、ある特定のカメラの画像の数を相対的に増やしたり減らしたりしても良い。このように得られた複数の顔特徴ベクトルをＫ−Ｌ展開することで正規直交ベクトルを求め、その正規直交ベクトルを基底とするような部分空間をその人物に関する顔特徴量とすることができる。
【００３２】
登録情報保持部１０５では、得られた顔特徴量（を表わす部分空間）をハードディスクやメモリなどの記録媒体に保存する。保存媒体はカメラ等を制御し、人物認証プロセスを処理するパーソナルコンピュータに接続されているか、ネットワークを経由した別のコンピュータに接続されているものとする。記録媒体自体はバックアップなどのため取り外し、交換して可能であっても差し支えない。
【００３３】
人物認識部１０４では、入力された被認証者の人物の顔特徴量と、すでに登録情報保持部１０５に登録されている顔特徴量を比較することで、登録済みの人物と一致するか否か（登録済みの同一人物と判定されるか否か）等の人物の同定を行う。顔特徴量同士の比較の方法は、例えば相互部分空間法があるが、認識方法は他のパターン認識方法を用いてもかまわない。ここにいう相互部分空間法とは、調べたい２つの部分空間があったときに、部分空間同士の為す角度（正準角という（Ｎ次元部分空間ならＮ個存在する））を計算し、得られた正準角のうち最小の角度を類似度とする手法であり、従来の静止画ベースの手法と異なり、辞書と入力に部分空間を用いることで１つの間違った(不適当な)パターンや，パターンのばらつきに左右されることなく、安定した認識を行うことができる。このような認識方法により顔特徴量同士の類似度を算出することができる。その類似度をある所定の閾値で判定し、登録された人物との同定をする。閾値は事前の認識実験などで定めた値でも良いし、人物の特徴量に応じて増減させることもできる。
【００３４】
出力装置１０６では、人物認識部の結果に応じて、画像や文字からなる映像もしくは音声との組み合わせにより、ユーザに結果を提示する。出力装置１０６は、パーソナルコンピュータの表示装置として通常使われるＣＲＴもしくは液晶パネルなどの他にも、スピーカや液晶プロジェクタとスクリーンなどの出力装置を自由に組み合わせてユーザの理解を助けることができる。
【００３５】
次に本発明にかかわる第２の実施例について述べる。本実施例では、複数の画像取得手段（マルチカメラ）を用いた顔画像処理装置においてユーザの画像を取得するカメラを複数台配置し、それぞれのカメラごとに得られる画像情報の特性を比較することにより、登録されている他人の顔写真などを利用して不正な認証結果を得ようとする場合などに、それを実際の人間か顔写真かを判別して認識する装置について説明する。
【００３６】
図３は本実施例の構成を示したものである。画像入力部３０１は複数台（Ｎ台）のビデオカメラ３０１ａ〜３０１ｎである。各カメラから入力された顔画像は、各カメラに対してそれぞれ設けられた顔領域検出部３０２ａ〜３０２ｎにより被認証者の顔特徴点が検出され、顔特徴領域が抽出される。その後、各カメラごとに設けられた顔特徴量抽出部３０３ａ〜３０３ｎにより、顔領域検出部３０２ａ〜３０２ｎで抽出された顔特徴領域の画像に基づいて被認証者の顔の特徴量（例えばｍ×ｎ次元の顔特徴量ベクトル）が抽出される。
【００３７】
次に写真判定部３０４について詳しく述べる。写真判定部３０４では、各カメラ３０１ａ〜３０１ｎから得られた画像に対して計算された顔特徴量ベクトルに基づいて、２つのカメラの組の間の画像の類似度を計算する。例えば、カメラ１から得られた画像の顔特徴量１とカメラ２から得られた画像の顔特徴量２の間の類似度を計算して、カメラ１の出力画像とカメラ２の出力画像とを比較する。
【００３８】
例えばカメラ１とカメラ２が空間的に水平方向（左右）に並べて配置されていた場合を想定する。図８に被認証者を撮像して得られる画像のパターン（８０１〜８０３）と角度を変えて撮像した写真画像のパターン（８０４〜８０６）とを示す。図８に示すように、被認証者の顔を実際に撮像して得られる顔画像（８０１〜８０３）は、被写体が３次元物体であるので、複数のカメラから得られた画像について顔の傾きや大きさを補正しても、カメラ１とカメラ２では同じ顔パターンにはならない。しかし写真画像を複数のカメラで撮像した場合（８０４〜８０６）は、写真画像上の顔画像は平面であるため、複数カメラで撮像された画像をアフィン変換などで傾きや大きさを補正すると、得られる顔パターンはカメラ１とカメラ２で同じ画像になる。これにより被写体が立体物（人物の顔）であるか、平面物（写真）であるかを区別することができる。
【００３９】
よって写真判定部３０４により被写体が立体物（人物の顔）か平面物（写真）であるかを区別し、人物の顔である場合（入力が写真画像ではない場合）には登録情報保持部３０６に登録された個人認証用の顔特徴ベクトルと被認証者の顔の特徴量ベクトルとを比較することにより人物認証を行ない（人物認識部３０５）、認証結果を出力装置３０７に出力する。特に本実施例では、顔特徴量抽出部３０３ａ〜３０３ｎにおいてカメラ３０１ａ〜３０１ｎごとにそれぞれ顔特徴量が計算されているので、全体としての顔特徴量を求めることが必要である。顔特徴量抽出部３０３ａ〜３０３ｎでのＫ−Ｌ展開する前の各カメラから得られた顔特徴領域をひとまとめにして、Ｋ−Ｌ展開を再度計算することにより１つの顔特徴量を計算し、それらと登録情報保持部との顔特徴量との類似度を計算することができる。写真判定部３０４で、入力された画像が写真画像であると判断された場合は、人物認識部３０５で処理することなく、出力装置３０７によりユーザに認識不可を通知する。
【００４０】
このように複数のカメラから得られる画像間の類似度を計算し、それがある閾値以上の（類似度が高い）場合は写真画像と判定できる。ここで複数のカメラ間の距離が極端に近い場合、３次元の物体であってもそれぞれのカメラから得られる画像間の類似度は高くなり、立体物か平面物かを区別することが難しくなる。そのため複数のカメラ間の距離はある程度の距離を離したほうが効果的に写真画像を排除することをできる。
【００４１】
また複数のカメラの組み合わせが複数存在する場合は、例えば複数のカメラの組ごとの類似度の和をとるなどして、すべて考慮に入れることにより、立体物が平面物かを識別を行なうことも可能である。この場合には識別精度を上げることができる。またセキュリティの面から、写真による拒否とはユーザには通知しないこともできる。表示上は通常の認識不可と同じ（人物認証に失敗しましたとのメッセージ、音声出力など）にしておき、システムの写真判定の判断基準に関する情報を不正なユーザになるべく提供しないようにする。また本実施例において登録情報保持部３０６は、登録時の各カメラからの顔特徴量を別々に保存しておき、それらと入力の各カメラからの顔特徴量との類似度を比較することもできる。
【００４２】
本発明にかかわる第３の実施例について述べる。本実施例では、複数の画像入力部（マルチカメラ）を利用し、一つのカメラからは顔の特徴点が検出でき、別のカメラでは隠れや歪みなどにより顔の特徴点を検出できない場合に、先の特徴点検出可能なカメラからの情報を元にして、特徴点検出不可のカメラから得られた画像における顔特徴点を推定し、顔の向きや特徴点の隠れに対してロバストに顔特徴を検出することで、より高精度な顔認識を行う装置を説明する。
【００４３】
図４は本実施例の構成を示したものである。画像入力部４０１ａ〜４０１ｎは複数（２台以上）の画像入力手段、例えばビデオカメラから構成される。その複数のカメラの配置やカメラの数は特に制限しない。
【００４４】
顔特徴点抽出部４０２ａ〜４０２ｎでは、複数のカメラ４０１ａ〜４０１ｎから得られた複数の画像の入力を受けて、それぞれの画像における被認証者の顔の特徴点を抽出する。抽出する顔の特徴点の構成およびその抽出方法は、第１の実施例における顔領域検出部と同じである。この顔特徴点抽出部４０２ａ〜４０２ｎにより、各カメラの入力画像からその画像に対応した顔の特徴点が得られる。ところで被認証者の顔の向き、立ち位置や各カメラの配置と向きによっては、特定のカメラで撮像された画像における一部もしくは全部の特徴点が抽出できない場合が考えられる。そのような場合に、顔特徴点推定部４０３により他の正しく抽出された特徴点に基づいて欠損した特徴点を計算により補完する。次にこの顔特徴点推定部４０３の詳細を述べる。
【００４５】
顔特徴点推定部４０３では、検出できなかった顔特徴点を推定する。そのためには複数の各カメラの位置関係が予め定まっていることが必要である。具体的には各カメラのキャリブレーション（カメラの相対的な位置合わせ、画像変換パラメータの設定）が行われていることが前提となる。カメラのキャリブレーションは、複数のカメラ間での撮像領域の対応が既知となるような画像上の点の組み合わせ（対応づけ）が必要である。
【００４６】
この対応点については、例えば、あらかじめカメラ等を設置した際に、大きさなどが全て既知の格子状などの特殊なキャリブレーションボードを用意し、そのキャリブレーションボード上の点を人間が手作業もしくは自動的にポイントすることで抽出することができる。あるいは人物の初期データ登録時に、ある時点のカメラ入力において全ての特徴点が求まった場合を考えると、それらの特徴点はカメラ間で対応が取れているので、その特徴点を用いてカメラをキャリブレーションすることもできる。画像間の対応点がいくつか得られれば、例えば、幾何学的および光学的特性が既知なもの（格子模様のボードなど）を撮影し、撮影された特徴点から幾何学的に対応を解いてカメラパラメータを求める手法によりキャリブレーションを実現することができる。
【００４７】
カメラがキャリブレーションできると、予め求められたカメラパラメータにより複数の画像間で対応点が得られているので、エピポーラ幾何等の変換処理を用いて３次元空間上の位置を計算することができる。よって複数のカメラ間で対応のとれている任意のピクセルの３次元空間上の座標を計算できる。３次元空間上の座標が計算できれば、任意の視点から見た座標に変換することができる。つまりあるカメラで検出できた顔特徴点は、他のカメラの視野に入っている場合、他のカメラにおける顔特徴点に変換することができる。
【００４８】
以上のような特徴点推定処理を行うフローチャートを図７に示す。まず複数（ｎ台）のカメラから被認証者の画像を入力し（ステップＳ１）、それらの画像から顔特徴点を抽出する（ステップＳ２）。この段階で、全てのカメラについて全ての特徴点が抽出されていた場合は、特徴点抽出成功として処理を終了する（ステップＳ７、Ｓ８）。一方、あるカメラから入力された画像について抽出できなかった特徴点が存在する場合（ステップＳ３）は、各特徴点がそれぞれ２つ以上のカメラで検出できたかを調べる（ステップＳ４）。２つ以上検出できなかった特徴点があった場合には、特徴点間の対応付けができず、３次元の位置を得ることができないので、特徴点抽出失敗として処理を終了する（ステップＳ９）。各画像について全ての特徴点は２つ以上抽出できている、つまり、特徴点間の対応付けができる場合（ステップＳ５）には、各特徴点について３次元空間上の座標に変換する。その３次元座標を、抽出できない特徴点を含むカメラから見た視点の座標系に変換し、特徴点を推定する（ステップＳ６）。全ての抽出できなかった特徴点を推定することで、特徴点抽出成功として推定処理は終了する（ステップＳ７、Ｓ８）。
【００４９】
また上記の構成とは別に、各画像について顔特徴点が抽出できた場合であっても、抽出された顔特徴点同士を各カメラで撮像された画像間で相互に特徴点を推定し、検出した座標と計算により推定した座標との差を調べることによって、特徴点抽出精度を検証し、誤検出の判定や、検出精度を向上させることもできる。
【００５０】
顔特徴点推定部で推定された顔特徴点に基づいて、補正された顔特徴点は、次に顔領域切り出し部４０４ａ〜４０４ｎに送られる。顔領域切り出し部４０４ａ〜４０４ｎでは、この顔特徴点に基づいて一定の大きさ、形状の顔領域を切り出し、傾きや大きさを補正してｍ×ｎピクセルの大きさの顔特徴領域の画像を作成する。
【００５１】
顔特徴領域の画像が作成されたら、第１の実施例で述べたように、顔特徴量抽出部４０５でｍ×ｎ次元の顔特徴ベクトルを生成し、これをＫ−Ｌ展開することで被認証者の顔特徴量を計算する。この顔特徴量とあらかじめ登録情報保持部にある顔特徴量とを人物認識部において比較することで、個人の顔画像情報による本人識別を行う。
【００５２】
本発明にかかわる第４の実施例について述べる。本実施例では、マルチカメラを用いて対象となる人物の顔がどちらを向いているかを安定かつ正確に検出する方法について説明する。
【００５３】
本装置は、図５の構成図に示す通り、複数のカメラ５０１ａ〜５０１ｎから構成される画像入力部５０１、入力された画像から顔を検出する顔領域検出部５０２、顔領域から顔の向きを計算する顔向き推定部５０３、あらかじめ顔のさまざまな向きの画像を登録しておく登録情報保持部５０４、検出結果を提示する出力装置５０５から構成される。次に各構成要素の詳細を述べる。
【００５４】
画像入力部５０１は複数のビデオカメラで構成され、それらのカメラは２台以上とし、被認証者の顔画像を同時に撮像可能とするように配置される。ここでカメラの台数は特に制限しない。
【００５５】
顔領域検出部５０２では、各カメラからの入力画像から被認証者の顔特徴点を検出し、それに基づいて画像から顔領域を切り出し、大きさを正規化してある一定の大きさの顔特徴領域を切り出す。これは例えば、第１の実施例と同じ方法を用いることにより実現することができる。
【００５６】
顔向き推定部５０３では、切り出された顔特徴領域を利用して、対象の人物がどちらを向いているかを推定する。ある時刻にマルチカメラから撮影された画像(切り出された顔特徴領域)の組をひとつの顔向き特徴領域集合として定義し、その顔向き特徴領域集合に基づいて被認証者の顔向きの推定を行う。図６は、異なった位置に配置されたカメラ３台の場合のある時刻において撮像された特定の被認証者の顔画像３枚（６０１、６０２、６０３）の顔向き特徴領域集合の例を示す。顔向き推定は、入力から得られた顔向き特徴領域集合と、ある角度ごとに登録情報保持部５０４にあらかじめ登録された顔向き特徴領域集合とを比較することで行う。顔向き特徴領域集合をどのように扱い、どのようにそれぞれを比較するかは様々な方法があるが、例えば次のような方法で行うことができる。
【００５７】
まず、Ｎ台のカメラからシステムが構築されていた場合、Ｎ個の顔特徴領域により顔向き特徴領域集合が構成される。このとき、顔特徴領域がそれぞれｍ×ｎピクセルのサイズであるとすると、顔向き特徴領域集合を顔特徴領域を横に並べたｍ×ｎピクセルの領域として定義する。この顔向き特徴領域集合を、画素値を要素とするｍ×ｎ次元の特徴ベクトルとみなすことで、顔向き特徴領域集合をひとつの顔向き特徴量に変換する。そして、既知の角度に対する既知の顔向き特徴量を複数集めておき、それらをＫ−Ｌ展開して、それぞれの角度に対応する部分空間として登録情報保持部５０４に顔向き特徴部分空間として登録する。これを所定の単位角度（５度、１０度など）でサンプリングされた複数の角度の分について全て計算する。実際に顔向き推定を行う場合は、入力されたある時刻に撮像された顔画像について顔向き特徴量を計算し、それと登録情報保持部に登録されている顔向き特徴部分空間と比較することにより、例えば部分空間法（少数の低次の固有ベクトルのみを用いて認識を行う手法。パターンを少ない次元で効率的に照合することができる）等の手法により判定を行う。
【００５８】
この顔向き特徴領域集合から顔向き特徴量に変換する方法は、取得された顔画像データをただ単に横に並べるだけではなく、他のデータとの組み合わせや、前処理として顔画像データに微分フィルタなどの他の何らかの処理や変換を施しても良い。また、入力と登録情報保持部との類似度の算出方法も部分空間法ではない他の手法を用いても良い。登録情報保持部に角度ごとに登録されている顔向き特徴量との比較も、全ての組み合わせについて調べる必要はなく、例えば、ある角度で低い類似度がでた場合はその近傍の角度では計算しないなど、処理を高速化することもできる。
【００５９】
最終的に、判定された顔の向きの結果は出力装置５０５に送られて、ユーザに結果を提示（表示手段に結果のメッセージを表示、音声で出力）したり、別の処理のために送られたり、記録装置などに書き込まれたりなどされる。
【００６０】
次に本発明にかかわる第５の実施例について述べる。本実施例では、複数の画像入力装置（マルチカメラ）で得られた画像について特徴点抽出を行った際に、その特徴点の位置から被認証者の立ち位置（マルチカメラとの相対位置）を推定し、それが同一の場所に存在するかどうかを判定する装置について説明する。
【００６１】
図１０は本実施例の構成を示したものである。画像入力部１００１は２台以上の一般的なビデオカメラ、スチルカメラもしくはその他の複数の撮像装置１００１ａ〜１００１ｎにより構成され、種類や数は特に限定しない。ただし各カメラにより撮像された画像の変換パラメータに関するキャリブレーション済みであり、カメラパラメータやカメラ間の位置関係は既知であるとする。
【００６２】
顔特徴点抽出部１００２ａ〜１００２ｎでは、画像入力部１００１ａ〜１００１ｎからの画像の入力を受けて、それぞれの画像について顔の特徴点を抽出する。ここで抽出する顔の特徴点およびその抽出方法は、第１の実施例における顔領域検出部と同様の手法を用いることができる。
【００６３】
他人混入判定部１００３では、それぞれの画像について検出された顔特徴点に基づいて、その各カメラから得られた特徴点が同一の人物をあらわしているかどうかを判定する。この他人混入判定部について詳しく説明する。
【００６４】
あるカメラで取得された顔画像に対応する人物Ａと、同時に別のカメラで取得された顔画像に対応する人物Ｂとが同一であるかを判定する方法について説明する。第３の実施例において説明したように、画像入力部を構成するマルチカメラがキャリブレーション済みであるならば、各カメラ間で対応づけられた画像平面上の任意の点を相互に３次元空間上の点に座標変換することができる。そこで、それぞれのカメラから取得された画像について得られた特徴点を全て３次元空間上の座標に変換する。その変換された座標系で、同種の特徴点(例えば右目と右目)の距離Ｌを計算する。距離の尺度は、例えば一般的なユークリッド距離などを利用することができる。その距離Ｌが所定のしきい値よりも大きい場合は、それらの特徴点は同一ではない可能性がある。変換された座標上でそれぞれ対応する特徴点について、対応点間の距離Ｌを計算し、カメラごとに特徴点ごとの距離Ｌの総和、平均値をとるなどして、ひとつの尺度Ｌ＊を計算し、それがある一定のしきい値以上であれば、ひとつのカメラで取得された顔画像に対応する人物Ａと別のカメラで取得された顔画像に対応する人物Ｂとは別人であると判断できる。かかる判断が得られた場合には、他人が混入していると判定される。一方、距離Ｌが所定のしきい値以内であれば、それらの顔画像に対応する人物は同一であるとして、他人は混入していないと判定される。
【００６５】
ここで各カメラから複数の人物に対応した顔画像が検出された場合は、各カメラの顔ごとに上記のＬ＊を計算し、個別に顔の対応付けを行なうことにより、複数の人物について顔画像のグルーピングを実現することも可能である。
（変形例）
第３の実施例において、複数のカメラから得られた画像に対する各特徴点を検出する際に、その特徴点の類似度（確からしさ）を計算することもできる。例えば推定した後の特徴点の確からしさＥｐを、対応付けを行った２つの特徴点の類似度の積として、計算することができる。この場合には、特徴点の類似度上対応付け（推定）ができたとしても、その確からしさＥｐの値が小さい場合は、これを無視するなどして最終的な顔検出精度を向上させることができる。
【００６６】
また第４の実施例において、顔向き推定を行った際に、その推定値と特定の角度に対する顔向き特徴量などを用いて顔の個人識別を行うこともできる。例えば、各登録人物においてさまざまな向きの特徴量データをあらかじめ登録しておき、推定された向きに応じて比較する特徴量データを切り替えて個人識別をすることにより、処理を高速化、認識精度を向上させることができる。
【００６７】
また第５の実施例において、複数カメラ間のキャリブレーションできないなど、特徴点の３次元的な座標を求めることができない場合は、計算された特徴点から顔領域を切り出し、一般的なテンプレートマッチングや部分空間法により判定の尺度Ｌ＊を計算することもできる。以上のような変形を加えて本発明を実現することも可能である。
【００６８】
【発明の効果】
以上説明したように本発明によれば、複数台のカメラにより多様な画像を収集し、特徴量を抽出することにより、ロバストな顔認識を行うことができる顔画像処理装置が可能となる。また不正な写真によるアクセスを判定したり、隠れや陰影により顔特徴点が検出できない場合であっても、特徴点を推定し、認識精度を向上することができる。また被認証者の顔の向きも考慮し、処理に他人が混入していないか調べることにより、精度の高い顔向き推定を実現することができる。
【図面の簡単な説明】
【図１】 第１の実施例の構成図
【図２】 第１の実施例の概観図
【図３】 第２の実施例の構成図
【図４】 第３の実施例の構成図
【図５】 第４の実施例の構成図
【図６】 顔特徴領域集合の例
【図７】 顔特徴推定処理のフローチャート
【図８】 実際の顔と写真の顔の見え方の違いを説明する図
【図９】 他人が混入してしまう例を説明する図
【図１０】 第５の実施例の構成図
【符号の説明】
１０１ 画像入力部
１０１ａ〜ｎ カメラ
１０２ 顔領域検出部
１０３ 顔特徴量抽出部
１０４ 人物認識部
１０５ 登録情報保持部
１０６ 出力装置
Claims (5)
- 相互の撮像領域の空間的な対応関係が既知である少なくとも３つの撮像手段の各々によって撮像された複数の画像からそれぞれ顔特徴点を検出する顔特徴点検出部と、
前記撮像手段間の撮像領域の空間的な対応関係に従い、前記撮像手段のうちの少なくとも２つの撮像手段によって撮像された画像について検出された共通な顔特徴点の３次元空間上の座標を求めて、この３次元空間上の座標を前記少なくとも２つの撮像手段以外の他の撮像手段からの視点の座標系に変換することにより当該他の撮像手段により撮像された画像に関する当該顔特徴点の位置を推定する顔特徴点推定部と、
前記顔特徴点検出部及び前記顔特徴点推定部の結果により修正された顔の特徴点を用いて前記少なくとも３つの撮像手段により撮像された複数の画像のそれぞれから顔領域画像を切り出す顔領域切り出し部と、
前記顔領域切り出し部で切り出された複数の顔領域画像から顔の特徴量を抽出する顔特徴量抽出部と、
予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、
を有することを特徴とする顔画像処理装置。 - 前記顔特徴点推定部は、推定された位置での当該特徴点の確からしさを求め、前記確からしさが閾値以上である場合に、前記推定された位置を前記他の撮像手段によって撮像された画像の当該特徴点の位置として出力する、
ことを特徴とする請求項１に記載の顔画像処理装置。 - 前記顔特徴点推定部は、当該特徴点の推定された位置の座標と前記他の撮像手段によって撮像された画像から抽出された当該特徴点の座標との差に基づいて前記確からしさを求める、請求項２に記載の顔画像処理装置。
- 前記顔特徴量抽出部は、前記撮像手段毎に特徴量ベクトルを抽出して、すべての前記特徴量ベクトルをひとまとめにしてＫ−Ｌ展開を行うことにより前記特徴量を抽出する、請求項１から請求項３までのいずれか一項に記載された画像処理装置。
- コンピュータに実行させるプログラムであって、前記コンピュータを請求項１から請求項４までのいずれか一項に記載された画像処理装置として機能させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360226A JP3954484B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびプログラム |
| US10/733,231 US7324670B2 (en) | 2002-12-12 | 2003-12-12 | Face image processing apparatus and method |
| US11/987,931 US7502496B2 (en) | 2002-12-12 | 2007-12-06 | Face image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002360226A JP3954484B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004192378A JP2004192378A (ja) | 2004-07-08 |
| JP3954484B2 true JP3954484B2 (ja) | 2007-08-08 |
Family
ID=32708091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002360226A Expired - Fee Related JP3954484B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7324670B2 (ja) |
| JP (1) | JP3954484B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014032605A (ja) * | 2012-08-06 | 2014-02-20 | Nec Corp | 画像認識装置、画像認識方法および画像認識プログラム |
Families Citing this family (150)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US7587068B1 (en) | 2004-01-22 | 2009-09-08 | Fotonation Vision Limited | Classification database for consumer digital images |
| US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
| US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
| US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
| US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
| US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
| US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
| US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
| US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
| US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
| US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US7904815B2 (en) * | 2003-06-30 | 2011-03-08 | Microsoft Corporation | Content-based dynamic photo-to-video methods and apparatuses |
| JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
| US7920725B2 (en) * | 2003-09-09 | 2011-04-05 | Fujifilm Corporation | Apparatus, method, and program for discriminating subjects |
| US7555148B1 (en) * | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
| US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
| US7551755B1 (en) * | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
| US7558408B1 (en) * | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
| US7693308B2 (en) * | 2004-03-24 | 2010-04-06 | Fujifilm Corporation | Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method |
| US7995239B2 (en) * | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
| US7542592B2 (en) * | 2004-03-29 | 2009-06-02 | Siemesn Corporate Research, Inc. | Systems and methods for face detection and recognition using infrared imaging |
| JP4507679B2 (ja) | 2004-04-21 | 2010-07-21 | 富士ゼロックス株式会社 | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム |
| US7242810B2 (en) * | 2004-05-13 | 2007-07-10 | Proximex Corporation | Multimodal high-dimensional data fusion for classification and identification |
| JP2005346806A (ja) * | 2004-06-02 | 2005-12-15 | Funai Electric Co Ltd | Ｄｖｄレコーダおよび記録再生装置 |
| JP4368767B2 (ja) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
| US7460692B2 (en) * | 2004-09-10 | 2008-12-02 | Kabushiki Kaisha Toshiba | Image forming apparatus |
| US7956890B2 (en) * | 2004-09-17 | 2011-06-07 | Proximex Corporation | Adaptive multi-modal integrated biometric identification detection and surveillance systems |
| US10445799B2 (en) | 2004-09-30 | 2019-10-15 | Uber Technologies, Inc. | Supply-chain side assistance |
| US20080229198A1 (en) * | 2004-09-30 | 2008-09-18 | Searete Llc, A Limited Liability Corporaiton Of The State Of Delaware | Electronically providing user assistance |
| US20060075344A1 (en) * | 2004-09-30 | 2006-04-06 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Providing assistance |
| US8282003B2 (en) * | 2004-09-30 | 2012-10-09 | The Invention Science Fund I, Llc | Supply-chain side assistance |
| US9307577B2 (en) * | 2005-01-21 | 2016-04-05 | The Invention Science Fund I, Llc | User assistance |
| US8762839B2 (en) * | 2004-09-30 | 2014-06-24 | The Invention Science Fund I, Llc | Supply-chain side assistance |
| US8341522B2 (en) * | 2004-10-27 | 2012-12-25 | The Invention Science Fund I, Llc | Enhanced contextual user assistance |
| US20100223162A1 (en) * | 2004-09-30 | 2010-09-02 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Supply-chain side assistance |
| US7798401B2 (en) * | 2005-01-18 | 2010-09-21 | Invention Science Fund 1, Llc | Obtaining user assistance |
| US20060117001A1 (en) * | 2004-12-01 | 2006-06-01 | Jung Edward K | Enhanced user assistance |
| US8704675B2 (en) * | 2004-09-30 | 2014-04-22 | The Invention Science Fund I, Llc | Obtaining user assistance |
| US9038899B2 (en) * | 2004-09-30 | 2015-05-26 | The Invention Science Fund I, Llc | Obtaining user assistance |
| US20060206817A1 (en) * | 2005-02-28 | 2006-09-14 | Jung Edward K | User assistance for a condition |
| US10514816B2 (en) * | 2004-12-01 | 2019-12-24 | Uber Technologies, Inc. | Enhanced user assistance |
| US20100146390A1 (en) * | 2004-09-30 | 2010-06-10 | Searete Llc, A Limited Liability Corporation | Obtaining user assestance |
| US9747579B2 (en) * | 2004-09-30 | 2017-08-29 | The Invention Science Fund I, Llc | Enhanced user assistance |
| JP2006099614A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 生体判別装置および生体判別方法 |
| US7922086B2 (en) | 2004-09-30 | 2011-04-12 | The Invention Science Fund I, Llc | Obtaining user assistance |
| US7694881B2 (en) * | 2004-09-30 | 2010-04-13 | Searete Llc | Supply-chain side assistance |
| US10687166B2 (en) * | 2004-09-30 | 2020-06-16 | Uber Technologies, Inc. | Obtaining user assistance |
| US7664736B2 (en) | 2005-01-18 | 2010-02-16 | Searete Llc | Obtaining user assistance |
| US9098826B2 (en) * | 2004-09-30 | 2015-08-04 | The Invention Science Fund I, Llc | Enhanced user assistance |
| JP2006109119A (ja) * | 2004-10-06 | 2006-04-20 | Omron Corp | 動画記録装置および動画再生装置 |
| US7480414B2 (en) * | 2004-10-14 | 2009-01-20 | International Business Machines Corporation | Method and apparatus for object normalization using object classification |
| US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
| US7315631B1 (en) * | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| JP2006209342A (ja) * | 2005-01-26 | 2006-08-10 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2006254229A (ja) * | 2005-03-11 | 2006-09-21 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
| JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
| JP2007028555A (ja) * | 2005-07-21 | 2007-02-01 | Sony Corp | カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム |
| US7961937B2 (en) * | 2005-10-26 | 2011-06-14 | Hewlett-Packard Development Company, L.P. | Pre-normalization data classification |
| US7551807B2 (en) * | 2005-11-14 | 2009-06-23 | Korea Institute Of Industrial Technology | Apparatus and method for searching for 3-dimensional shapes |
| CN102231801B (zh) * | 2005-11-25 | 2013-07-10 | 株式会社尼康 | 电子摄像机及图像处理装置 |
| JP4756589B2 (ja) * | 2005-12-07 | 2011-08-24 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US8358976B2 (en) | 2006-03-24 | 2013-01-22 | The Invention Science Fund I, Llc | Wireless device with an aggregate user interface for controlling other devices |
| JP2007300185A (ja) * | 2006-04-27 | 2007-11-15 | Toshiba Corp | 画像監視装置 |
| JP4241763B2 (ja) * | 2006-05-29 | 2009-03-18 | 株式会社東芝 | 人物認識装置及びその方法 |
| US7965875B2 (en) * | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
| JP4603512B2 (ja) * | 2006-06-16 | 2010-12-22 | 独立行政法人産業技術総合研究所 | 異常領域検出装置および異常領域検出方法 |
| JP4751776B2 (ja) | 2006-06-19 | 2011-08-17 | オリンパスイメージング株式会社 | 電子撮像装置及び個人特定システム |
| US7515740B2 (en) | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
| US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
| US8170326B2 (en) * | 2007-01-03 | 2012-05-01 | Vialogy Corp. | Multi parallax exploitation for omni-directional imaging electronic eye |
| US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| JP5024067B2 (ja) * | 2007-01-19 | 2012-09-12 | コニカミノルタホールディングス株式会社 | 顔認証システム、方法及びプログラム |
| WO2008109622A1 (en) * | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
| GB2448050A (en) * | 2007-03-22 | 2008-10-01 | Artnix Inc | A method and apparatus for extracting face images from video data and performing recognition matching for identification of people. |
| US7777783B1 (en) | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
| US9544563B1 (en) | 2007-03-23 | 2017-01-10 | Proximex Corporation | Multi-video navigation system |
| US8356035B1 (en) | 2007-04-10 | 2013-01-15 | Google Inc. | Association of terms with images using image similarity |
| US7904461B2 (en) * | 2007-05-01 | 2011-03-08 | Google Inc. | Advertiser and user association |
| US8055664B2 (en) | 2007-05-01 | 2011-11-08 | Google Inc. | Inferring user interests |
| US8315441B2 (en) | 2007-06-29 | 2012-11-20 | Nec Corporation | Masquerade detection system, masquerade detection method and masquerade detection program |
| KR101378372B1 (ko) * | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| US7853622B1 (en) | 2007-11-01 | 2010-12-14 | Google Inc. | Video-related recommendations using link structure |
| US8041082B1 (en) | 2007-11-02 | 2011-10-18 | Google Inc. | Inferring the gender of a face in an image |
| US8659613B2 (en) * | 2008-03-14 | 2014-02-25 | Metaio Gmbh | Method and system for displaying an image generated by at least one camera |
| US7961986B1 (en) | 2008-06-30 | 2011-06-14 | Google Inc. | Ranking of images and image labels |
| CN102027505A (zh) | 2008-07-30 | 2011-04-20 | 泰塞拉技术爱尔兰公司 | 使用脸部检测的自动脸部和皮肤修饰 |
| CN101673346B (zh) * | 2008-09-09 | 2013-06-05 | 日电（中国）有限公司 | 对图像进行处理的方法、设备和系统 |
| CN102197412B (zh) * | 2008-10-28 | 2014-01-08 | 日本电气株式会社 | 伪装检测系统和伪装检测方法 |
| EA011869B1 (ru) | 2008-10-29 | 2009-06-30 | Владимир Николаевич Бичигов | Способ формирования рекомендательного списка следов с использованием базы данных, база данных и способ ее формирования |
| WO2010063463A2 (en) * | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
| JP2010231350A (ja) * | 2009-03-26 | 2010-10-14 | Toshiba Corp | 人物識別装置、そのプログラム、及び、その方法 |
| IL197996A (en) * | 2009-04-05 | 2014-07-31 | Rafael Advanced Defense Sys | A method for locating people |
| JP5438419B2 (ja) * | 2009-07-29 | 2014-03-12 | 富士フイルム株式会社 | 人物照合装置及び人物照合方法 |
| US8306922B1 (en) | 2009-10-01 | 2012-11-06 | Google Inc. | Detecting content on a social network using links |
| US8311950B1 (en) | 2009-10-01 | 2012-11-13 | Google Inc. | Detecting content on a social network using browsing patterns |
| US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
| JP5115763B2 (ja) * | 2010-03-02 | 2013-01-09 | Ｎｅｃソフト株式会社 | 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム |
| US8414280B2 (en) | 2010-08-18 | 2013-04-09 | Makerbot Industries, Llc | Networked three-dimensional printing |
| US20140067204A1 (en) * | 2011-03-04 | 2014-03-06 | Nikon Corporation | Electronic apparatus, processing system, and computer readable storage medium |
| US9355329B2 (en) * | 2011-05-09 | 2016-05-31 | Catherine G. McVey | Image analysis for determining characteristics of pairs of individuals |
| CA2872841C (en) | 2011-05-09 | 2019-08-06 | Catherine Grace Mcvey | Image analysis for determining characteristics of animals and humans |
| US9552637B2 (en) | 2011-05-09 | 2017-01-24 | Catherine G. McVey | Image analysis for determining characteristics of groups of individuals |
| US9098898B2 (en) * | 2011-05-09 | 2015-08-04 | Catherine Grace McVey | Image analysis for determining characteristics of individuals |
| EP2707830A4 (en) * | 2011-05-12 | 2014-12-03 | Gregory Noe | SYSTEM AND METHOD FOR AUTHENTICATING A PHOTOGRAPH |
| KR20130085316A (ko) * | 2012-01-19 | 2013-07-29 | 한국전자통신연구원 | 원거리 사람 식별을 위한 다중 카메라 기반의 얼굴영상 획득 장치 |
| JP6026119B2 (ja) * | 2012-03-19 | 2016-11-16 | 株式会社東芝 | 生体情報処理装置 |
| US9311564B2 (en) * | 2012-10-05 | 2016-04-12 | Carnegie Mellon University | Face age-estimation and methods, systems, and software therefor |
| JP2014106816A (ja) * | 2012-11-28 | 2014-06-09 | Glory Ltd | 入退管理装置及び入退管理方法 |
| JP6053504B2 (ja) * | 2012-12-25 | 2016-12-27 | セコム株式会社 | 対象検出装置 |
| KR101677641B1 (ko) * | 2013-03-28 | 2016-11-18 | 엘지전자 주식회사 | 사용자 인식 장치 및 그 방법 |
| US20150172637A1 (en) * | 2013-12-12 | 2015-06-18 | Electronics And Telecommunications Research Institute | Apparatus and method for generating three-dimensional output data |
| US9552559B2 (en) | 2014-05-06 | 2017-01-24 | Elwha Llc | System and methods for verifying that one or more directives that direct transport of a second end user does not conflict with one or more obligations to transport a first end user |
| US9483744B2 (en) | 2014-05-06 | 2016-11-01 | Elwha Llc | Real-time carpooling coordinating systems and methods |
| US10458801B2 (en) | 2014-05-06 | 2019-10-29 | Uber Technologies, Inc. | Systems and methods for travel planning that calls for at least one transportation vehicle unit |
| US11100434B2 (en) | 2014-05-06 | 2021-08-24 | Uber Technologies, Inc. | Real-time carpooling coordinating system and methods |
| JP6448223B2 (ja) * | 2014-06-12 | 2019-01-09 | キヤノン株式会社 | 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム |
| JP6484997B2 (ja) * | 2014-10-27 | 2019-03-20 | 富士ゼロックス株式会社 | 画像形成装置 |
| JP6406044B2 (ja) * | 2015-02-13 | 2018-10-17 | オムロン株式会社 | カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム |
| CN104966316B (zh) * | 2015-05-22 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| JP6622990B2 (ja) * | 2015-06-29 | 2019-12-18 | オリンパス株式会社 | 情報弁別装置、情報弁別方法及び情報弁別プログラム |
| JP6548097B2 (ja) * | 2015-10-23 | 2019-07-31 | 国立大学法人大阪大学 | 人体における治療後の形態予測方法及びシステム |
| US10497014B2 (en) * | 2016-04-22 | 2019-12-03 | Inreality Limited | Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network |
| US20170323149A1 (en) * | 2016-05-05 | 2017-11-09 | International Business Machines Corporation | Rotation invariant object detection |
| US10230860B2 (en) * | 2016-08-08 | 2019-03-12 | Kabushiki Kaisha Toshiba | Authentication apparatus for carrying out authentication based on captured image, authentication method and server |
| US10924670B2 (en) | 2017-04-14 | 2021-02-16 | Yang Liu | System and apparatus for co-registration and correlation between multi-modal imagery and method for same |
| US10769415B1 (en) | 2017-09-09 | 2020-09-08 | Apple Inc. | Detection of identity changes during facial recognition enrollment process |
| US11012683B1 (en) | 2017-09-28 | 2021-05-18 | Alarm.Com Incorporated | Dynamic calibration of surveillance devices |
| US10636173B1 (en) * | 2017-09-28 | 2020-04-28 | Alarm.Com Incorporated | Dynamic calibration of surveillance devices |
| CN111201787B (zh) * | 2017-10-16 | 2022-09-20 | 索尼公司 | 成像装置、图像处理装置和图像处理方法 |
| CN111417992A (zh) * | 2017-11-30 | 2020-07-14 | 松下知识产权经营株式会社 | 图像处理装置、图像处理系统、摄像装置、摄像系统及图像处理方法 |
| JP7020263B2 (ja) * | 2018-04-17 | 2022-02-16 | 富士通株式会社 | 体向き推定プログラム、体向き推定装置、及び体向き推定方法 |
| US11048921B2 (en) | 2018-05-09 | 2021-06-29 | Nviso Sa | Image processing system for extracting a behavioral profile from images of an individual specific to an event |
| CN111444744A (zh) | 2018-12-29 | 2020-07-24 | 北京市商汤科技开发有限公司 | 活体检测方法、装置以及存储介质 |
| US11908143B2 (en) | 2020-06-03 | 2024-02-20 | Apple Inc. | Activity zones for camera video |
| US11514717B2 (en) * | 2020-06-03 | 2022-11-29 | Apple Inc. | Identifying objects within images from different sources |
| JP2024057114A (ja) * | 2021-03-02 | 2024-04-24 | ソニーグループ株式会社 | 検出装置、検出方法及びプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59182689A (ja) | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
| US6452632B1 (en) * | 1997-01-31 | 2002-09-17 | Kabushiki Kaisha Toshiba | Solid state image sensor and video system using the same |
| US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
| JP2000163469A (ja) | 1998-11-30 | 2000-06-16 | Dainippon Screen Mfg Co Ltd | 棚割シミュレーション方法、棚割シミュレーション装置、および棚割シミュレーションプログラムを記録した記録媒体 |
| JP2000259814A (ja) | 1999-03-11 | 2000-09-22 | Toshiba Corp | 画像処理装置及びその方法 |
| JP2001331799A (ja) | 2000-03-16 | 2001-11-30 | Toshiba Corp | 画像処理装置および画像処理方法 |
| JP2001357404A (ja) * | 2000-06-14 | 2001-12-26 | Minolta Co Ltd | 画像抽出装置 |
| JP3955170B2 (ja) * | 2000-07-03 | 2007-08-08 | 富士フイルム株式会社 | 画像検索システム |
| US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
| JP2002183734A (ja) | 2000-12-15 | 2002-06-28 | Toshiba Corp | 顔認証装置および顔認証方法 |
| US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
| DE10123330A1 (de) * | 2001-05-14 | 2002-11-28 | Infineon Technologies Ag | Verfahren zur Fälschungserkennung bei der Fingerabdruckerkennung unter Verwendung einer Texturklassifikation von Grauwertdifferenzbildern |
| JP3790680B2 (ja) | 2001-05-25 | 2006-06-28 | 株式会社東芝 | 画像処理システム及びこれを用いた運転支援システム |
| JP2003100876A (ja) | 2001-09-21 | 2003-04-04 | Mitsubishi Electric Corp | 半導体集積回路装置 |
| US7804982B2 (en) * | 2002-11-26 | 2010-09-28 | L-1 Secure Credentialing, Inc. | Systems and methods for managing and detecting fraud in image databases used with identification documents |
-
2002
- 2002-12-12 JP JP2002360226A patent/JP3954484B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-12 US US10/733,231 patent/US7324670B2/en not_active Expired - Fee Related
-
2007
- 2007-12-06 US US11/987,931 patent/US7502496B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014032605A (ja) * | 2012-08-06 | 2014-02-20 | Nec Corp | 画像認識装置、画像認識方法および画像認識プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004192378A (ja) | 2004-07-08 |
| US7324670B2 (en) | 2008-01-29 |
| US20080137919A1 (en) | 2008-06-12 |
| US20040136574A1 (en) | 2004-07-15 |
| US7502496B2 (en) | 2009-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3954484B2 (ja) | 画像処理装置およびプログラム | |
| US20210287026A1 (en) | Method and apparatus with liveness verification | |
| WO2017181899A1 (zh) | 一种人脸活体验证方法及装置 | |
| US20210034864A1 (en) | Iris liveness detection for mobile devices | |
| CN109977770B (zh) | 一种自动跟踪拍摄方法、装置、系统及存储介质 | |
| Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
| EP2375376B1 (en) | Method and arrangement for multi-camera calibration | |
| JP4957922B2 (ja) | 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム | |
| WO2017139964A1 (en) | Method and system of identification and authentication using facial expression | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| KR101818984B1 (ko) | 깊이정보를 이용한 안면인식시스템 | |
| JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
| JP2023015989A (ja) | 物品識別および追跡システム | |
| KR101821144B1 (ko) | 깊이정보 기반의 안면인식 출입통제시스템 | |
| WO2018232717A1 (zh) | 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备 | |
| JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| KR20140074303A (ko) | 생체인식 유형의 접근제어시스템에 대한 부정 검출 | |
| JP4952267B2 (ja) | ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム | |
| CN111222452A (zh) | 一种人脸匹配方法、装置、电子设备及可读存储介质 | |
| JP4426029B2 (ja) | 画像照合方法および装置 | |
| CN112801038A (zh) | 一种多视点的人脸活体检测方法及系统 | |
| JP2006277146A (ja) | 照合方法および照合装置 | |
| JP2002208011A (ja) | 画像照合処理システムおよび画像照合方法 | |
| JP2013029996A (ja) | 画像処理装置 | |
| CN112016495A (zh) | 人脸识别的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070426 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |