JP2017182459A - 顔画像認証装置 - Google Patents
顔画像認証装置 Download PDFInfo
- Publication number
- JP2017182459A JP2017182459A JP2016068693A JP2016068693A JP2017182459A JP 2017182459 A JP2017182459 A JP 2017182459A JP 2016068693 A JP2016068693 A JP 2016068693A JP 2016068693 A JP2016068693 A JP 2016068693A JP 2017182459 A JP2017182459 A JP 2017182459A
- Authority
- JP
- Japan
- Prior art keywords
- perturbation
- face image
- angle
- similarity
- integrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
Description
図1は、本実施の形態にかかる顔画像認証装置が適用された出入管理システムが設置され、運用される様子を示す模式図である。
図1に示すように、顔画像認証装置1は、電気錠制御装置3を介して不図示の電気錠を制御することにより部屋の入口4の出入を管理する。撮像装置2は、入口4に通じる通路を撮影領域として撮影できるように入口4の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置2は、進行方向6に沿って入口4に向かう人物5を撮像することができる。
顔画像認証装置1は、顔画像取得部10、出力部20、記憶部30、画像処理部40から構成される。以下、顔画像認証装置1の各部について図2を参照して詳細に説明する。
各種データには、入口4の通行を許可されている登録者の氏名、登録者ID及び登録顔画像等の登録者データ31が含まれる。
一人分の登録者データ31には1枚または複数枚分の登録顔画像または特徴量ベクトルを用意する。
記憶部30には、撮像装置2が取得した入力画像から人物5の画像を抽出する際の背景差分処理に用いるために、撮影領域が無人のときに取得した背景画像を記憶してもよい。
画像処理部40の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部40の各手段について詳細に説明する。
顔部分の検出は、従来から提案されている周知の方法を適宜採用すればよい。例えば、記憶部30に予め背景画像を記憶しておいて、画素ごとに入力画像と一定以上の差がある変化領域を人物5の全身の領域として抽出し、その変化領域内部にてエッジを抽出して二値化し、楕円形状を検出する一般化ハフ変換を作用させて顔部分から入力顔画像を切り出せばよい。あるいは多数の顔画像を学習データとして用意し、統計的な学習処理により顔部分を直接抽出する識別器を構築して用いてもよい。
顔検出手段41は、抽出された特徴点を用いて入力顔画像の正規化処理を行う。そのために右目中心301と左目中心302を結んだ直線を考え、その直線が予め決めておいた長さになるように入力顔画像を拡大縮小する。
摂動中心点算出手段42は、図3の入力顔画像300に定義された座標系(不図示)において、顔検出手段41が抽出した特徴点からいくつかを選び、その座標値の平均値から摂動中心点305を求める。例えば右目中心点301、左目中心点302、鼻尖点303、口点304を用いればよい。全ての特徴点を用いてもよい。求めた摂動中心点305の座標情報および入力顔画像300を顔画像摂動手段43に出力する。
本発明でいうロール角方向について、図1を用いて説明する。図1において、撮像装置2と人物5の顔との位置関係を踏まえたXYZ座標系を定義している。
X軸は人物5の顎から頭頂に向けて、Y軸は人物5の左耳から右耳に向けて、Z軸は撮像装置2から人物5の顔の表側を通り後頭部に向けて定義される。各軸はそれぞれ互いに直交しており、3次元直交座標系となっている。本発明でいうロール角方向とは、Z軸の周りでの回転であり、矢印7に示す方向を正と定義する。
図4(a)には、入力顔画像300に、摂動の基準となる正中線307が重ねて示されている。正中線307は顔の表面の左右方向の中央に、額から顎にかけて定義される基準線であり、本実施の形態では、既に特徴点の一部として抽出されている鼻根点306、鼻尖点303、口点304を結んだ直線として定義される。
図4(a)のように、回転処理を行わず顔検出手段41にて検出されたそのままの状態を摂動角度が0度と定義し、時計回りを正の角度とする。
摂動限界角度は、顔画像認証技術において登録顔画像との照合処理を行う意味のある、人の顔らしい範囲として定義することができる。または、人の首の関節の可動範囲を考慮し、胴体や脚が直立の状態にて最大限頭部を左右方向に傾けられる角度から決めても良い。
あるいは、後述する特徴量算出手段44にて用いる特徴量としてHoG特徴量を採用した場合には、直線成分の回転方向の分解能に基づいて決定してもよい。すなわち一般的なHoG特徴量は1回転を8方向に分割して、22.5度ごとのエッジ強度をヒストグラム化して特徴量とするが、登録顔画像と入力顔画像との逆回転方向のずれを考慮して、その半分である11.25度を摂動限界角度の最低値とし、同一人物の登録顔画像と入力顔画像ならば同一人物と認証される最大の摂動角度を実験的に求め、摂動限界角度の最大値に設定すればよい。例えば摂動限界角度の最大値が実験的に20度と求められた場合、本実施の形態では摂動限界角度を±15度とする。
また摂動角度は1度刻みで変化させることとする。処理速度や精度との関係から刻みを1度よりも粗くても細かくても良い。
特徴量は、図5に例を模式的に示すように、エッジの強度やエッジの方向に基づくものを好適なものとして用いることとする。本実施の形態では、ガボールウェーブレット特徴量500や、HoG特徴量501、周波数スペクトル(不図示)など顔画像認証の分野では周知のものを適宜選択して用いることとする。
または特徴量算出手段44は、特徴点を中心にした小領域内部の画像からのみならず、摂動顔画像から全ての特徴点を含み、共通の形と大きさにて眉毛から鼻、顎付近にかけて切り出した矩形領域全体から特徴量を求めてもよい。
特徴量算出手段44は、求めた特徴量を成分とする特徴量ベクトルを生成して、記憶部30の一時記憶領域に記憶させるとともに、摂動類似度算出手段45に出力する。
さらに摂動類似度算出手段45は、摂動類似度の最大値にて全ての摂動類似度を除算することにより最大1になるよう正規化する。
そして摂動類似度算出手段45は、記憶部30に記憶されている登録者データ31ごとに同様の処理を行う。
もよい。
この際、統合類似度算出手段46は、単純に全ての摂動類似度を用いるのではなく、以下のような処理にて統合類似度を求める。図6を用いて説明する。
図6(a)には、摂動角度に対する摂動類似度の変化について、本人どうしの場合が符号800の実線グラフにて、他人どうしの場合が符号810の一点鎖線のグラフにて示されている。
これは図6(b)に示す登録顔画像710において、登録作業時に登録者が気づかない程度に眼鏡711が向かって時計方向にわずかに傾いているのに対し、図6(c)に示す入力顔画像720では逆に眼鏡721が向かって反時計方向にわずかに傾いている場合に発生する。
すなわち、登録顔画像710と入力顔画像720が同一人物のものであっても、摂動角度が0度では摂動類似度が最高にはならず図6(a)に示すように、摂動角度が数度の場合に最高値801をとることがある。
よって他人どうしの摂動類似度811と比較すると、摂動角度が0度付近の摂動類似度の統合では誤った認証結果につながりかねない。
そして統合類似度算出手段46は、各登録者ごとの摂動類似度について摂動中心角度から一定範囲の摂動類似度を統合する。これにより、図7に示すように、仮に摂動中心角度では本人どうしの摂動類似度の最高値801の方が他人どうしの摂動類似度の最高値811よりも低くても、摂動中心角度を中心にした一定範囲を統合することにより本人の統合類似度の方が高くなり本人棄却が防止できることになる。
図8(a)に示すように、統合類似度算出手段46は、摂動中心角度600を中心とし上限角度605を設定し、さらに上限角度605よりも小さな下限角度604を設定して、下限角度604から定まる特定範囲602に含まれる摂動角度について求められた摂動類似度は統合類似度の算出には用いず、下限角度604と上限角度605から定まる判定範囲603に含まれる摂動角度を用いて統合類似度を求めることとする。
本人どうしの摂動類似度800は摂動角度が摂動中心角度から離れると値は緩やかに下がっていく。これは、摂動類似度は顔画像の各部分から求められた特徴が合わせられているが、摂動類似度の値に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がっても、顔の他の部位からの類似度は下がりにくく、全体として摂動角度が大きくなっても類似度は高いままを維持する傾向にあるからである。
これに対し、他人どうしの摂動類似度810は、摂動角度が摂動中心角度から離れるほど値が急激に下がる傾向にある。これは、仮に摂動中心角度における摂動類似度が本人よりも高くなっても、摂動角度が大きくなると類似度に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がることに加え、顔の他の部位からの類似度は他人であるが故に当然値は下がるからである。
特定範囲602を定める下限角度604は、摂動中心角度600における摂動類似度と大差が無い摂動類似度が求められる範囲とし、本実施の形態では摂動中心角度600から±2度とする。摂動中心角度のみとしてもよく、さらに広い範囲としてもよい。
例えば判定範囲603に含まれる摂動角度について求められた摂動類似度の分散値を求め、その値が大きいほど、統合類似度を小さくすべく0に近い1未満の正数を重みとして乗算する。これは、図7の他人どうしの摂動類似度810からわかるように、他人の場合には摂動角度が摂動中心角度から離れるほど、摂動類似度が急激に小さくなり、その変化が大きいほど他人らしいと考えられるからである。
あるいは、統合類似度を小さくするために、一旦求められた統合類似度から所定の正の定数を減算してもよい。
さらには、特定範囲の摂動角度から求められた摂動類似度の影響が小さいことが予見される場合には統合類似度の計算から除外せず、図8(b)のように、判定範囲601を上限角度605から定めてもよい。
統合類似度が認証閾値を超える登録者が複数の場合には、統合類似度が最高の人物とする。
ステップS100にて、画像取得部10は、撮像装置2から人物5が写った入力画像を取得し、画像処理部40の顔検出手段41に出力する。
ステップS110にて、顔検出手段41は、入力画像から人物5の顔部分が写った入力顔画像を検出する処理を行う。顔が検出されなかった場合には、処理をステップS100に戻し(ステップS120のNoの分岐)、顔が検出された場合には処理を次のステップS130に移す(同じくYesの分岐)
ステップS140にて、摂動中心点算出手段42は、抽出された特徴点の一部または全部を用いてその座標値の平均から摂動中心点305を求める(図3参照)。
ステップS150とステップS160は、正および負の摂動限界角度の範囲内で、所定の刻みごと、例えば1度ごとに繰り返し行われる。
ステップS150にて、顔画像摂動手段43は、摂動中心点305を中心に入力顔画像を摂動(回転)させ、摂動顔画像を生成する(図4参照)。
ステップS160にて、特徴量算出手段44は、摂動顔画像における特徴点それぞれを中心にした小領域からHoG特徴量などの特徴量を算出し、特徴量ベクトルを求め記憶部30に一時記憶する。
ステップS170にて、摂動類似度算出手段45は、ステップS160にて求められた摂動角度ごとの特徴量ベクトルと、処理対象となっている登録者の特徴量ベクトルとの類似度を求め、記憶部30に一時記憶させる。
ステップS180にて、統合類似度算出手段46は、記憶部30に記憶されている摂動類似度の最大値を特定し、それに対応する摂動角度を摂動中心角度として決定する。
そして統合類似度算出手段46は、登録者データ31ごとに求められた統合類似度を認証判定手段47に出力する。
統合類似度の最高値が認証閾値を超える場合には(Yesの分岐)、認証に成功したとして認証判定手段47は、その旨を出力部20に出力し、出力部20は電気錠を解錠するよう電気錠制御装置3に信号を出力する(ステップS210)。
これにより人物5は入口4を通行でき、入口4が閉じられると一定時間後に再度施錠され、処理をステップS100に戻す。
例えば様々な条件で取得された顔画像を学習データとして収集しておき、“Graph Embedding and Extensions: A General Framework for Dimensionality Reduction”,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 29, NO. 1, JANUARY 2007(Shuicheng Yan他)に開示されている方法によって、特徴量を投影した特徴量算出空間において、顔の向きや照明、年齢などの条件が変化することに対する、本人どうしの特徴量の変化、すなわち個人内変動よりも、他人どうしの特徴量の変化、すなわち他人間変動が小さくなるよう学習処理によって特徴量算出空間が形成されるのが好適である。
すなわち学習データにロール角方向の角度が異なる顔画像を含めておくことで、摂動角度が大きくなることによる類似度の変化が本人どうしよりも他人どうしの方が大きくなるようにすることができる。
45・・・摂動類似度算出手段
46・・・統合類似度算出手段
305・・・摂動中心点
309・・・摂動顔画像
603・・・判定用範囲
Claims (5)
- 登録者の登録顔画像を記憶する記憶部と、
入力顔画像と前記登録顔画像のいずれか一方を参照顔画像とし、他方を予め定めた複数の摂動角度だけ回転させて当該摂動角度ごとの摂動顔画像を生成する顔画像摂動手段と、
前記参照顔画像を前記摂動角度ごとの前記摂動顔画像のそれぞれと比較して、前記摂動角度ごとの摂動類似度を算出する摂動類似度算出手段と、
前記摂動類似度のうち最大の前記摂動類似度が算出された摂動角度を摂動中心角度とし、当該摂動中心角度との差が予め定めた上限角度以下である判定用範囲を設定して、当該判定用範囲の摂動角度について算出された前記摂動類似度を統合して統合類似度を求める統合類似度算出手段と、
前記統合類似度が認証閾値以上であると前記入力顔画像の人物が前記登録者であると判定する認証判定手段と
を有することを特徴とした顔画像認証装置。
- 前記統合類似度算出手段は、前記判定用範囲を、前記摂動中心角度との差が前記上限角度よりも小さい下限角度以下の範囲を除外して設定し、前記統合類似度を求めることを特徴とした請求項1に記載の顔画像認証装置。
- 前記統合類似度算出手段は、前記判定用範囲の摂動角度について算出された前記摂動類似度の平均を前記統合類似度として求めることを特徴とした請求項1または2に記載の顔画像認証装置。
- 前記統合類似度算出手段は、前記摂動中心角度との差が前記上限角度よりも小さい角度以下である前記摂動角度について算出された前記摂動類似度の平均値と前記判定用範囲の摂動角度について算出された前記摂動類似度の平均値との差が大きいほど前記統合類似度を小さく補正することを特徴とした請求項1から3のいずれか1項に記載の顔画像認証装置。
- 前記統合類似度算出手段は、前記判定用範囲の摂動角度について算出された前記摂動類似度の分散が大きいほど前記統合類似度を小さく補正することを特徴とした請求項3または4に記載の顔画像認証装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016068693A JP6396357B2 (ja) | 2016-03-30 | 2016-03-30 | 顔画像認証装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016068693A JP6396357B2 (ja) | 2016-03-30 | 2016-03-30 | 顔画像認証装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182459A true JP2017182459A (ja) | 2017-10-05 |
JP6396357B2 JP6396357B2 (ja) | 2018-09-26 |
Family
ID=60006108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016068693A Active JP6396357B2 (ja) | 2016-03-30 | 2016-03-30 | 顔画像認証装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6396357B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6490861B1 (ja) * | 2018-08-17 | 2019-03-27 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
CN109636706A (zh) * | 2017-12-15 | 2019-04-16 | 株式会社夏蒙 | 标准正面设定装置、测量装置及测量方法 |
WO2019117146A1 (ja) * | 2017-12-15 | 2019-06-20 | 株式会社シャルマン | 基準正面設定装置、計測装置、眼鏡選定装置、カルテ作成装置、計測方法、眼鏡選定方法、及びカルテ作成方法 |
CN115249378A (zh) * | 2022-09-19 | 2022-10-28 | 深圳市博德致远生物技术有限公司 | 一种基于人脸识别的用于核酸检测的系统及方法 |
JP2023083563A (ja) * | 2019-01-04 | 2023-06-15 | 株式会社DSi | 識別システム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056004A (ja) * | 2003-08-07 | 2005-03-03 | Omron Corp | 顔照合装置、顔照合方法、および顔照合プログラム |
-
2016
- 2016-03-30 JP JP2016068693A patent/JP6396357B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056004A (ja) * | 2003-08-07 | 2005-03-03 | Omron Corp | 顔照合装置、顔照合方法、および顔照合プログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636706A (zh) * | 2017-12-15 | 2019-04-16 | 株式会社夏蒙 | 标准正面设定装置、测量装置及测量方法 |
WO2019117146A1 (ja) * | 2017-12-15 | 2019-06-20 | 株式会社シャルマン | 基準正面設定装置、計測装置、眼鏡選定装置、カルテ作成装置、計測方法、眼鏡選定方法、及びカルテ作成方法 |
JP6490861B1 (ja) * | 2018-08-17 | 2019-03-27 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
JP2019109491A (ja) * | 2018-08-17 | 2019-07-04 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
JP2023083563A (ja) * | 2019-01-04 | 2023-06-15 | 株式会社DSi | 識別システム |
CN115249378A (zh) * | 2022-09-19 | 2022-10-28 | 深圳市博德致远生物技术有限公司 | 一种基于人脸识别的用于核酸检测的系统及方法 |
CN115249378B (zh) * | 2022-09-19 | 2023-08-15 | 内蒙古蒙元生物基因科技有限公司 | 一种基于人脸识别的用于核酸检测的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6396357B2 (ja) | 2018-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11288504B2 (en) | Iris liveness detection for mobile devices | |
JP6396357B2 (ja) | 顔画像認証装置 | |
KR100374708B1 (ko) | 회전영상의 보정에 의한 비접촉식 홍채인식방법 | |
WO2021036436A1 (zh) | 一种人脸识别方法及装置 | |
CN109670390B (zh) | 活体面部识别方法与系统 | |
TWI604332B (zh) | 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 | |
US8891819B2 (en) | Line-of-sight detection apparatus and method thereof | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
WO2007050630A2 (en) | Face recognition system and method | |
US9449217B1 (en) | Image authentication | |
US20190286798A1 (en) | User authentication method using face recognition and device therefor | |
KR20070093810A (ko) | 인증 장치, 인증 방법, 인증 프로그램 및 컴퓨터 판독가능한 기록 매체 | |
US10922399B2 (en) | Authentication verification using soft biometric traits | |
JP5955031B2 (ja) | 顔画像認証装置 | |
JP2003150942A (ja) | 目位置追跡方法 | |
US20210256244A1 (en) | Method for authentication or identification of an individual | |
JP5730044B2 (ja) | 顔画像認証装置 | |
JP6739459B2 (ja) | 人物照合装置 | |
KR20110013916A (ko) | 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법 | |
US11354940B2 (en) | Method and apparatus for foreground geometry and topology based face anti-spoofing | |
Lin et al. | Human face recognition using a spatially weighted modified Hausdorff distance | |
JP2005084979A (ja) | 顔認証システムおよび方法並びにプログラム | |
US11188749B2 (en) | Method for biometric recognition from irises | |
CN113128320A (zh) | 基于tof相机的人脸活体检测方法、检测装置及电子设备 | |
JP6430987B2 (ja) | 参照点位置決定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6396357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |