JP2021174504A - 顔認識装置及び顔認識方法 - Google Patents

顔認識装置及び顔認識方法 Download PDF

Info

Publication number
JP2021174504A
JP2021174504A JP2020159668A JP2020159668A JP2021174504A JP 2021174504 A JP2021174504 A JP 2021174504A JP 2020159668 A JP2020159668 A JP 2020159668A JP 2020159668 A JP2020159668 A JP 2020159668A JP 2021174504 A JP2021174504 A JP 2021174504A
Authority
JP
Japan
Prior art keywords
image
face
face recognition
infrared
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020159668A
Other languages
English (en)
Other versions
JP7384772B2 (ja
Inventor
凱 ▲クン▼ ▲チェン▼
Kai Hsun Chen
培 華 孫
Pei Hua Sun
燕 雲 張
Yen Yun Chang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Publication of JP2021174504A publication Critical patent/JP2021174504A/ja
Application granted granted Critical
Publication of JP7384772B2 publication Critical patent/JP7384772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔認識装置及び顔認識方法を提供する。【解決手段】耐クラッキング機構を有する顔認識装置100は、カメラモジュール、プロセッサ及びメモリを備える。カメラモジュールは、認識対象の第1の画像を取得し、認識対象の第2の画像を取得する。プロセッサは、認識対象が本物の顔であるかどうかを判断するための画像条件を第1の画像が満たすかどうかを解析する。メモリは、顔データベースを格納する。プロセッサは、第1の画像が画像条件を満たすと判断した場合に、第2の画像中の複数の顔特徴を解析し、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴に照らして比較して、第2の画像が認識をパスするかどうかを判断する。【選択図】図1

Description

本発明は認識技術に係り、具体的には顔認識装置及び顔認識方法に関する。
現在の顔認識技術では、赤外線カメラを使用して認識用顔画像を得る過程において、未登録ユーザが、赤外線カメラが撮影する登録済みの顔画像を含む赤外線写真を使用する場合に、顔認識装置は、認識対象が本物の顔であるのかそれとも赤外線写真であるのかを判断することができなくなる。結果として、顔認識装置は赤外線写真の撮影結果に基づいて顔認識を行う可能性がある。換言すれば、未登録ユーザは、登録済みの顔画像を含む赤外線写真を使用して顔認識をクラックする可能性がある。このことを踏まえ、以下の実施形態では、顔認識が耐クラッキング機構を備えることを可能にするいくつかの解決策が提供される。
本発明は、耐クラッキング機構を有する顔認識装置及び顔認識方法を提供する。
本発明の顔認識装置は、カメラモジュールと、プロセッサと、メモリとを備える。カメラモジュールは、認識対象の第1の画像を取得し、認識対象の第2の画像を取得するように構成される。プロセッサはカメラモジュールに結合され、認識対象が本物の顔であるかどうかを判断するための画像条件を第1の画像が満たすかどうかを解析するように構成される。メモリはプロセッサに結合され、顔データベースを格納するように構成される。プロセッサは、第1の画像が画像条件を満たすと判断した場合、第2の画像中の複数の顔特徴を解析し、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴に照らして比較して、第2の画像が認識をパスするかどうかを判断する。
本発明のある実施形態では、顔認識装置はさらに赤外線発光モジュールを備える。赤外線発光モジュールはプロセッサに結合される。カメラモジュールは赤外線カメラを含む。赤外線カメラは第1の画像と第2の画像を非同時に取得するように構成される。赤外線カメラが第1の画像を取得するのと同時に、赤外線発光モジュールは第1の照明光を認識対象に発する。赤外線カメラが第2の画像を取得するのと同時に、赤外線発光モジュールは第2の照明光を認識対象に発する。
本発明のある実施形態では、第1の照明光の輝度は第2の照明光の輝度よりも高い。
本発明のある実施形態では、画像条件は、第1の画像の第1の顔特徴量が第1の閾値よりも小さい場合に、プロセッサが第1の画像が画像条件を満たすと判断することを含む。
本発明のある実施形態では、画像条件は、第1の画像の第1の顔特徴量と第2の画像の第2の顔特徴量が異なる場合に、プロセッサが第1の画像が画像条件を満たすと判断することを含む。
本発明のある実施形態では、画像条件は、第1の画像の第1の顔特徴量が第2の閾値よりも大きい場合に、プロセッサが第1の画像が画像条件を満たさないと判断することを含む。
本発明のある実施形態では、顔認識装置はさらに赤外線発光モジュールを備える。赤外線発光モジュールはプロセッサに結合される。カメラモジュールはカラーカメラ及び赤外線カメラを含む。カラーカメラは第1の画像を取得するように構成される。赤外線カメラは第2の画像を取得するように構成される。赤外線カメラが第2の画像を取得するのと同時に、赤外線発光モジュールは赤外照明光を認識対象に発する。
本発明のある実施形態では、画像条件は、第1の画像がカラー画像であるかどうかを判断することを含む。
本発明のある実施形態では、顔認識装置はさらにディスプレイを備える。ディスプレイはプロセッサに結合される。ディスプレイはカラーカメラにより撮影された動画像を表示する。
本発明のある実施形態では、第1の画像と第2の画像は同時に取得される。
本発明の顔認識方法は以下のステップを含む。認識対象の第1の画像及び認識対象の第2の画像はカメラモジュールによって取得される。第1の画像が画像条件を満たすかどうかを解析して、認識対象が本物の顔であるかどうかを判断する。第1の画像が画像条件を満たす場合は、第2の画像中の複数の顔特徴が解析され、第2の画像が顔データベースの顔登録データと一致するかどうかが顔特徴に照らして比較されて、第2の画像が認識をパスするかどうかを判断する。
上記に基づいて、本発明の顔認識装置及び顔認識方法は、2つの顔画像を撮影し、第1の顔画像を解析することによって認識対象が本物の顔であるかどうかを判断した後、第2の画像中の顔特徴を使用することによって顔認識を行うことができる。
上述したことをより分かりやすくするために、図面を伴ういくつかの実施形態が以下のように詳細に説明される。
本発明のある実施形態に係る顔認識装置の模式図。 本発明のある実施形態に係る顔認識方法のフローチャート。 本発明の第1の実施形態に係る顔認識装置の模式図。 本発明の第1の実施形態に係る顔認識方法のフローチャート。 本発明のある実施形態に係る顔写真を撮影することにより生成された画像の模式図。 本発明のある実施形態に係る本物の顔を撮影することにより生成された画像の模式図。 本発明の第2の実施形態に係る顔認識装置の模式図。 本発明の第2の実施形態に係る顔認識方法のフローチャート。
本発明の内容をより分かりやすくするために、実施形態が本発明を実際に実現できることを証明する例として以下で説明される。また、同じ参照番号が付された要素/コンポーネント/ステップは、図面及び実施形態中の同じ又は類似の部分を表す。
図1は、本発明のある実施形態に係る顔認識装置の模式図である。図1を参照すると、顔認識装置100がプロセッサ110、カメラモジュール120及びメモリ130を備える。プロセッサ110はカメラモジュール120及びメモリ130に結合される。メモリ130は顔データベースを格納することができる。この実施形態では、カメラモジュール120は、認識対象200の第1の画像及び第2の画像を同時に又は非同時に取得することができる。この実施形態では、プロセッサ110は、認識対象200が本物の顔であるかどうかを判断する画像条件を第1の画像が満たすかどうかを解析することができる。さらに、プロセッサ110は、第1の画像が画像条件を満たすと判断した場合に、第2の画像中の複数の顔特徴の解析を続けて行うことができる。プロセッサ110は、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴に照らして比較して、第2の画像が認識をパスするかどうかを判断することができる。
この実施形態では、プロセッサ110は、例えば、中央処理ユニット(CPU)若しくはマイクロプロセッサやデジタル信号プロセッサ(DSP)などの汎用あるいは専用の他のプログラマブルデバイス、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、他の類似の処理デバイス又はこれらのデバイスの組み合わせであってよい。メモリ130はさらに、カメラモジュール120により撮影された画像、プロセッサ110により読み取り及び実行可能な関連画像解析プログラム又は顔認識プログラムを格納することができる。
この実施形態では、カメラモジュール120は1つ以上のカメラを含んでよく、カメラは、例えばカラーカメラ(RGBカメラ)又は赤外線カメラであってよい。本発明の特定の実施形態では、カメラモジュール120は、顔認識用の顔画像を取得するのに使用される少なくとも1つの赤外線カメラを含む。この実施形態では、カメラモジュール120は第1の画像と第2の画像を同時に又は比較的短い時間で取得することができ、第1の画像は、顔認識に第2の画像を続けて使用するかどうかを判断するために、プロセッサ110によって使用されて認識対象200が本物の顔であるかどうかを判断することができる。具体的には、本実施形態のプロセッサ110は、第1の画像が本物の顔から取得されたかどうかを判断するための特定の画像条件をあらかじめ設定することができる。そして、プロセッサ110は、第1の画像が本物の顔であると判断した場合にのみ顔特徴解析及び認識を実行し続けることになる。また、この実施形態に記載された画像条件は、例えば顔特徴量又は色度であってよい。
図2は、本発明のある実施形態に係る顔認識方法のフローチャートである。図1及び図2を参照すると、本実施形態の顔認識方法は、顔認識装置100がステップS210〜S230を実行できるように図1の実施形態の顔認識装置100に適合している。ステップS210において、顔認識装置100はカメラモジュール120によって認識対象200の第1の画像を取得し、認識対象200の第2の画像を取得する。ステップS220において、プロセッサ110は、認識対象200が本物の顔であるかどうかを判断するための画像条件を第1の画像が満たすかどうかを解析することができる。条件を満たさない場合は、プロセッサ110はステップS210を再実行して第1の画像及び第2の画像を再撮影する。条件を満たす場合は、プロセッサ110はステップS230を実行する。ステップS230において、第1の画像が画像条件を満たす場合に、プロセッサ110は第2の画像中の顔特徴を解析し、プロセッサ110は、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴に照らして比較して第2の画像が認識をパスするかどうかを判断する。このようにして、本実施形態の顔認識方法は耐クラッキング顔認識機能を提供することができる。
図3は、本発明の第1の実施形態に係る顔認識装置の模式図である。図4は、本発明の第1の実施形態に係る顔認識方法のフローチャートである。図3を参照すると、顔認識装置300が、プロセッサ310、赤外線カメラ320(すなわち、図1の実施形態におけるカメラモジュール120はさらに赤外線カメラを含むことができる)、メモリ330、赤外線発光モジュール340及びディスプレイ350を備える。プロセッサ310は、赤外線カメラ320、メモリ330、赤外線発光モジュール340及びディスプレイ350に結合される。メモリ330は顔データベースを格納することができる。この実施形態では、赤外線カメラ320が認識対象400を撮影して第1の画像を取得するのと同時に、赤外線発光モジュール340は認識対象400に第1の照明光を発して認識対象400を照明することができる。同様に、赤外線カメラ320が認識対象400を撮影して第2の画像を取得するのと同時に、赤外線発光モジュール340は認識対象400に第2の照明光を発して認識対象400を照明することができる。換言すれば、この実施形態の赤外線カメラ320は、輝度(又は露出度)が異なる、異なる時間における2つの画像を取得することができる。ただし、本発明は第1の画像及び第2の画像を取得する順序を制限しない。
図3と図4を併せて参照すると、図3の顔認識装置300は、図4のステップS410〜S460を実行することによって耐クラッキング顔認識機能を実現することができる。ステップS410において、顔認識装置300は、赤外線発光モジュール340によって認識対象400に第1の照明光を発し、赤外線カメラ320によって認識対象400の第1の画像を取得することができる。ステップS420において、顔認識装置300は、赤外線発光モジュール340によって認識対象400に第2の照明光を発し、赤外線カメラ320によって認識対象400の第2の画像を取得することができる。ステップS410及びS420を実行する順序は変更可能であり、図4の順序に制限されないことに注目すべきである。さらに、この実施形態では、認識対象400を照明するために赤外線発光モジュール340により使用される第1の照明光の輝度は第2の照明光の輝度よりも高い。赤外線発光モジュール340は、2つの発光ユニットを使用することによって第1の照明光及び第2の照明光をそれぞれ提供するか、又は同じ発光ユニットの輝度設定を調整することによって第1の照明光及び第2の照明光を提供することができる。
図5Aは、本発明のある実施形態に係る顔写真を撮影することにより生成された画像の模式図である。図5Bは、本発明のある実施形態に係る本物の顔を撮影することにより生成された画像の模式図である。まず図5A及び図5Bを参照すると、認識対象400が本物の顔ではなく赤外線写真である場合は、赤外線写真が高輝度赤外線によって照明されていても、赤外線カメラ320により取得される第1の画像は、高輝度赤外線照明に起因する露出オーバーになりにくい又はなることはなく、図5Aに示された(すなわち、オリジナルの赤外線写真に近い)画像510を示すことになることに留意すべきである。画像510は複数の顔特徴510_1〜510_Mを含み、Mは正の整数である。
逆に、認識対象400が本物の顔である場合、本物の顔が高輝度赤外線照明によって照射された後、図5Bに示す画像520によって示されるように、本物の顔の特定の領域に露出オーバーが存在する可能性がある。画像520は複数の顔特徴520_1〜520_Nを含み、Nは正の整数である。また、画像520中の顔画像は露出オーバー領域521及び522も含む。露出オーバー領域521及び522と重なる顔特徴は露出オーバー領域521及び522によって覆われ、プロセッサ310によって認識することができないため、本物の顔を撮影することにより生成された画像520中の顔特徴量は、本物の顔上の顔特徴量よりも小さく、顔写真を撮影することにより生成された画像510の顔特徴量よりも小さくなる。
図3及び図4を参照すると、ステップS430において、プロセッサ310は、第1の画像の第1の顔特徴量が、認識対象400が本物の顔であるかどうかを判断するための第1の閾値を下回るかどうかを判断することができる。下回らない場合は、認識対象400が本物の顔でないことを意味するため、プロセッサ310はステップS410を再実行する。下回る場合は、認識対象400が本物の顔であることを意味するため、プロセッサ310はステップS440を実行する。ステップS440において、プロセッサ310は第2の画像中の顔特徴を解析して、顔特徴の複数の特徴値を取得する。ステップS450において、プロセッサ310は、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴の特徴値に照らして比較する。顔データベースはメモリ330に格納され、プロセッサ310によって読み取られ実行される。一致しない場合、プロセッサ310は顔認識を終了させるか又はステップS410を再実行する。一致する場合、プロセッサ310はステップS460を実行する。ステップS460において、ディスプレイ350は認識成功画面を表示することができる。したがって、この実施形態の顔認識装置300及び顔認識方法は、赤外線カメラ320が撮影する本物の顔ではなく赤外線写真を使用することによって、他人がプロセッサ310を騙し顔認識の検証にパスするのを効果的に防ぐことができる。
ただし、プロセッサ310により使用される、認識対象400が本物の顔であるかどうかを判断するための画像条件は上記のステップS430に制限されない。一実施形態では、プロセッサ310は、第1の画像の第1の顔特徴量と第2の画像の第2の顔特徴量が異なるかどうかを判断することによって、認識対象400が本物の顔であるかどうかを判断することができる。この点について、第1の画像の第1の顔特徴量と第2の画像の第2の顔特徴量が異なる場合は、第1の画像が画像露出オーバーを有することを示すため、プロセッサ310は認識対象400が本物の顔であると判断することができる。逆に、第1の画像の第1の顔特徴量と第2の画像の第2の顔特徴量が同じである場合は、第1の画像が画像露出オーバーを有しないことを示すため、プロセッサ310は認識対象400が本物の顔でない(赤外線写真かもしれない)と判断することができる。
別の実施形態では、プロセッサ310は、第1の画像の第1の顔特徴量が第2の閾値よりも大きいかどうかを判断することによって、認識対象400が本物の顔であるかどうかを判断することができる。この点について、第1の画像の第1の顔特徴量が第2の閾値よりも大きい場合は、第1の画像が画像露出オーバーを有しないことを示すため、プロセッサ310は認識対象400が本物の顔でない(赤外線写真かもしれない)と判断することができる。逆に、第1の画像の第1の顔特徴量が第2の閾値よりも大きくない場合は、第1の画像が画像露出オーバーを有することを示すため、プロセッサ310は認識対象400が本物の顔であると判断することができる。さらに別の実施形態では、プロセッサ310はまた、上記の3つの画像条件のうちの少なくとも2つが同時に満たされるかどうかを判断することによって、認識対象400が本物の顔であるかどうかをより厳密に判断できることに留意すべきである。
図6は、本発明の第2の実施形態に係る顔認識装置の模式図である。図7は、本発明の第2の実施形態に係る顔認識方法のフローチャートである。図6を参照すると、顔認識装置600が、プロセッサ610、カラーカメラ621、赤外線カメラ622(すなわち、図1の実施形態におけるカメラモジュール120はさらにカラーカメラ及び赤外線カメラを含むことができる)、メモリ630、赤外線発光モジュール640及びディスプレイ650を備える。プロセッサ610は、カラーカメラ621、赤外線カメラ622、メモリ630、赤外線発光モジュール640及びディスプレイ650に結合される。メモリ630は顔データベースを格納することができる。この実施形態では、カラーカメラ621は認識対象700を撮影して第1の画像を取得するように構成される。また、赤外線カメラ622が認識対象700を撮影して第2の画像を取得するのと同時に、赤外線発光モジュール640は認識対象700に赤外照明光を発して認識対象700を照明することができる。換言すれば、本実施形態のカラーカメラ621及び赤外線カメラ622は、第1の画像及び第2の画像を異なる時間に又は同時に取得することができる。ただし、本発明は第1の画像及び第2の画像を取得する順序を制限しない。
図6と図7を併せて参照すると、図6の顔認識装置600は、図7のステップS710〜S760を実行することによって耐クラッキング顔認識機能を実現することができる。ステップS710において、顔認識装置600は、カラーカメラ621によって認識対象700の第1の画像を取得することができる。ステップS720において、顔認識装置600は、赤外線発光モジュール640によって認識対象700に赤外照明光を発し、赤外線カメラ622によって認識対象700の第2の画像を取得することができる。ステップS710及びS720を実行する順序は変更されても同時であってもよく、図6の順序に制限されないことに注目すべきである。
認識対象700が本物の顔ではなく赤外線写真である場合、カラーカメラ621は色なしの第1の画像(例えば、グレースケール画像である可能性がある)を取得することになることに留意すべきである。逆に、認識対象700が本物の顔である場合、カラーカメラ621は色付きの第1の画像を取得することができる。したがって、ステップS730において、プロセッサは第1の画像がカラー画像であるかどうかを判断することができる。カラー画像でない場合は、認識対象700が本物の顔でないことを意味するため、プロセッサ610はステップS710を再実行する。カラー画像である場合は、認識対象700が本物の顔であることを意味するため、プロセッサ610はステップS740を実行する。ステップS740において、プロセッサ610は第2の画像中の顔特徴を解析して顔特徴の複数の特徴値を取得する。ステップS750において、プロセッサ610は、第2の画像が顔データベースの顔登録データと一致するかどうかを顔特徴の特徴値に照らして比較する。顔データベースはメモリ630に格納され、プロセッサ610によって読み取られ実行される。一致しない場合、プロセッサ610は顔認識を終了させるか又はステップS710を再実行する。一致する場合、プロセッサ610はステップS760を実行する。ステップS760において、ディスプレイ650は認識成功画面を表示することができる。したがって、この実施形態の顔認識装置600及び顔認識方法は、赤外線カメラ622が撮影する本物の顔ではなく赤外線写真を使用することによって、他人がプロセッサ610を騙し顔認識の検証にパスするのを効果的に防ぐことができる。
また、この実施形態では、ユーザが顔認識装置600を動作させて顔認識を実行するとき、ディスプレイ650は、ユーザがカラーカメラ621及び赤外線カメラ622が顔を効果的に撮影できるように顔の位置を適切に調整できるように、カラーカメラ621により撮影された動画像を表示することができる。
要約すれば、本発明の顔認識装置及び顔認識方法に従えば、耐クラッキング機能を実現するために、顔認識の過程において2つの顔画像を取得し、認識対象が本物の顔であるかどうかを判断し、顔認識を実行するのに使用することができる。
上記の実施形態を参照して本開示を説明してきたが、説明した実施形態に対する修正を本開示の趣旨から逸脱することなく行うことができることは当業者に明らかであろう。したがって、本開示の範囲は上記の詳細な説明ではなく添付の請求項によって規定されるものである。
本発明の顔認識装置及び顔認識方法は、顔認識の分野に適用することができる。
100、300、600:顔認識装置
110、310、610:プロセッサ
120:カメラモジュール
130、330、630:メモリ
200、400、700:認識対象
340、640:赤外線発光モジュール
350、650:ディスプレイ
510、520:画像
510_1〜510_M、520_1〜520_N:顔特徴
521、522:露出オーバー領域
621:カラーカメラ
622:赤外カメラ
S210〜S230、S410〜S460、S710〜S760:ステップ

Claims (20)

  1. 認識対象の第1の画像を取得し、前記認識対象の第2の画像を取得するように構成されたカメラモジュールと、
    前記カメラモジュールに結合され、前記認識対象が本物の顔であるかどうかを判断するための画像条件を前記第1の画像が満たすかどうかを解析するように構成されたプロセッサと、
    前記プロセッサに結合され、顔データベースを格納するように構成されたメモリと、を備えた顔認識装置であって、
    前記プロセッサが、前記第1の画像が前記画像条件を満たすと判断した場合に、前記第2の画像中の複数の顔特徴を解析し、前記プロセッサが、前記第2の画像が前記顔データベースの顔登録データに一致するかどうかを前記顔特徴に照らして比較して、前記第2の画像が認識をパスするかどうかを判断する、顔認識装置。
  2. 前記プロセッサに結合された赤外線発光モジュールをさらに備え、
    前記カメラモジュールが赤外線カメラを含み、前記赤外線カメラが前記第1の画像及び前記第2の画像を非同時に取得するように構成され、
    前記赤外線カメラが前記第1の画像を取得するのと同時に、前記赤外線発光モジュールが前記認識対象に第1の照明光を発し、前記赤外線カメラが前記第2の画像を取得するのと同時に、前記赤外線発光モジュールが前記認識対象に第2の照明光を発する、請求項1に記載の顔認識装置。
  3. 前記第1の照明光の輝度が前記第2の照明光の輝度よりも高い、請求項2に記載の顔認識装置。
  4. 前記画像条件が、前記第1の画像の第1の顔特徴量が第1の閾値よりも小さい場合に、前記プロセッサが前記第1の画像が前記画像条件を満たすと判断することを含む、請求項2に記載の顔認識装置。
  5. 前記画像条件が、前記第1の画像の第1の顔特徴量と前記第2の画像の第2の顔特徴量が異なる場合に、前記プロセッサが前記第1の画像が前記画像条件を満たすと判断することを含む、請求項2に記載の顔認識装置。
  6. 前記画像条件が、前記第1の画像の第1の顔特徴量が第2の閾値よりも大きい場合に、前記プロセッサが前記第1の画像が前記画像条件を満たさないと判断することを含む、請求項2に記載の顔認識装置。
  7. 前記プロセッサに結合された赤外線発光モジュールをさらに備え、
    前記カメラモジュールが、カラーカメラ及び赤外線カメラを含み、前記カラーカメラが前記第1の画像を取得するように構成され、前記赤外線カメラが前記第2の画像を取得するように構成され、
    前記赤外線カメラが前記第2の画像を取得するのと同時に、前記赤外線発光モジュールが前記認識対象に赤外照明光を発する、請求項1から6のいずれか一項に記載の顔認識装置。
  8. 前記画像条件が、前記第1の画像がカラー画像であるかどうかを判断することを含む、請求項7に記載の顔認識装置。
  9. 前記プロセッサに結合され、前記カラーカメラにより撮影された動画像を表示するように構成されたディスプレイをさらに備えた、請求項7に記載の顔認識装置。
  10. 前記第1の画像と前記第2の画像が同時に取得される、請求項7に記載の顔認識装置。
  11. カメラモジュールによって認識対象の第1の画像を取得し、前記認識対象の第2の画像を取得すること、
    前記認識対象が本物の顔であるかどうかを判断するための画像条件を前記第1の画像が満たすかどうかを解析すること、及び
    前記第1の画像が前記画像条件を満たす場合に、前記第2の画像中の複数の顔特徴を解析し、前記第2の画像が顔データベースの顔登録データに一致するかどうかを前記顔特徴に照らして比較して前記第2の画像が認識をパスするかどうかを判断すること、を含む顔認識方法。
  12. 前記カメラモジュールが赤外線カメラを含み、前記顔認識方法がさらに、
    前記赤外線カメラが前記第1の画像を取得するのと同時に、赤外線発光モジュールによって第1の照明光を前記認識対象に発すること、及び
    前記赤外線カメラが前記第2の画像を取得するのと同時に、前記赤外線発光モジュールによって第2の照明光を前記認識対象に発することを含む、請求項11に記載の顔認識方法。
  13. 前記第1の照明光の輝度が前記第2の照明光の輝度よりも高い、請求項12に記載の顔認識方法。
  14. 前記第1の画像が前記画像条件を満たすかどうかを判断するステップが、
    前記第1の画像の第1の顔特徴量が第1の閾値よりも小さい場合に、前記第1の画像が前記画像条件を満たすと判断することを含む、請求項12に記載の顔認識方法。
  15. 前記第1の画像が前記画像条件を満たすかどうかを判断するステップが、
    前記第1の画像の第1の顔特徴量と前記第2の画像の第2の顔特徴量が異なる場合に、前記第1の画像が前記画像条件を満たすと判断することを含む、請求項12に記載の顔認識方法。
  16. 前記第1の画像が前記画像条件を満たすかどうかを判断するステップが、
    前記第1の画像の第1の顔特徴量が第2の閾値よりも大きい場合に、前記第1の画像が前記画像条件を満たさないと判断することを含む、請求項12に記載の顔認識方法。
  17. 前記カメラモジュールがカラーカメラ及び赤外線カメラを含み、前記カラーカメラが前記第1の画像を取得するように構成され、前記顔認識方法がさらに、
    前記赤外線カメラが前記第2の画像を取得するのと同時に、赤外線発光モジュールによって前記認識対象に赤外照明光を発することを含む、請求項11から16のいずれか一項に記載の顔認識方法。
  18. 前記第1の画像が前記画像条件を満たすかどうかを判断するステップが、
    前記第1の画像がカラー画像であるかどうかを判断することを含む、請求項17に記載の顔認識方法。
  19. 前記カラーカメラにより撮影された動画像をディスプレイにより表示することをさらに含む、請求項17に記載の顔認識方法。
  20. 前記第1の画像及び前記第2の画像が同時に取得される、請求項17に記載の顔認識方法。
JP2020159668A 2020-04-17 2020-09-24 顔認識装置及び顔認識方法 Active JP7384772B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109112931A TWI722872B (zh) 2020-04-17 2020-04-17 人臉辨識裝置以及人臉辨識方法
TW109112931 2020-04-17

Publications (2)

Publication Number Publication Date
JP2021174504A true JP2021174504A (ja) 2021-11-01
JP7384772B2 JP7384772B2 (ja) 2023-11-21

Family

ID=72355851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020159668A Active JP7384772B2 (ja) 2020-04-17 2020-09-24 顔認識装置及び顔認識方法

Country Status (5)

Country Link
US (1) US11417149B2 (ja)
EP (1) EP3896603A1 (ja)
JP (1) JP7384772B2 (ja)
CN (1) CN113536869A (ja)
TW (1) TWI722872B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
JP2019159982A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027619B2 (en) * 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7203346B2 (en) * 2002-04-27 2007-04-10 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
JP2008181468A (ja) * 2006-02-13 2008-08-07 Smart Wireless Kk 赤外線顔認証装置、これを備える携帯端末器およびセキュリティ装置
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
KR101064945B1 (ko) * 2008-11-25 2011-09-15 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
US8493178B2 (en) * 2008-12-02 2013-07-23 Electronics And Telecommunications Research Institute Forged face detecting method and apparatus thereof
CN101964056B (zh) * 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
CN102622588B (zh) * 2012-03-08 2013-10-09 无锡中科奥森科技有限公司 双验证人脸防伪方法及装置
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20140266604A1 (en) * 2013-03-13 2014-09-18 Sololnsight, Inc. Apparatus, methods and systems for integrated workforce management and access control
CN103593598B (zh) * 2013-11-25 2016-09-21 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
JP2017049867A (ja) 2015-09-03 2017-03-09 日本電気株式会社 認証装置、防犯システム、認証方法およびプログラム
WO2017120469A1 (en) * 2016-01-06 2017-07-13 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
EP3671633A1 (en) * 2016-02-26 2020-06-24 NEC Corporation Face recognition system, face recognition method, and storage medium
CN105912986B (zh) * 2016-04-01 2019-06-07 北京旷视科技有限公司 一种活体检测方法和系统
WO2018003336A1 (ja) 2016-06-29 2018-01-04 シャープ株式会社 ユーザ認証装置、ユーザ認証装置の制御方法、制御プログラム、及び記録媒体
CN111542222B (zh) * 2017-11-06 2022-04-22 犊瑞乳品设备有限公司 估计牲畜重量的系统和方法
CN108229362B (zh) * 2017-12-27 2021-12-21 杭州悉尔科技有限公司 一种基于门禁系统的双目人脸识别活体检测方法
CN108764071B (zh) * 2018-05-11 2021-11-12 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN109635770A (zh) * 2018-12-20 2019-04-16 上海瑾盛通信科技有限公司 活体检测方法、装置、存储介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
JP2019159982A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
EP3896603A1 (en) 2021-10-20
TWI722872B (zh) 2021-03-21
US11417149B2 (en) 2022-08-16
CN113536869A (zh) 2021-10-22
US20210326580A1 (en) 2021-10-21
TW202141354A (zh) 2021-11-01
JP7384772B2 (ja) 2023-11-21

Similar Documents

Publication Publication Date Title
US8155397B2 (en) Face tracking in a camera processor
CN105122943B (zh) 特性化光源和移动设备的方法
CN105959581A (zh) 具有动态控制闪光灯的用于图像捕捉的电子设备及相关的控制方法
JP2006319534A (ja) 撮影装置および方法並びにプログラム
IES20070820A2 (en) Method for improved red eye detection in ISO images
JP2011530911A (ja) 欠陥目を高精度で検知するインカメラに基づいた方法
CN108881710A (zh) 图像处理方法、装置和系统及存储介质
TW201112168A (en) Information processing apparatus and information processing method
CN109661668B (zh) 用于虹膜识别的图像处理方法和系统
US20140253711A1 (en) Agile non-contact biometric sensor
WO2020059587A1 (ja) 情報取得システム、制御装置、情報取得方法及び記憶媒体
CN113596344B (zh) 拍摄处理方法、装置、电子设备和可读存储介质
CN113824884A (zh) 拍摄方法与装置、摄影设备及计算机可读存储介质
TWI505233B (zh) 影像處理方法及影像處理裝置
JPWO2003032261A1 (ja) コイン判別装置及びコイン判別方法
CN108388858B (zh) 虹膜防伪方法与装置
KR100572626B1 (ko) 홍채 등록 장치
JP2021174504A (ja) 顔認識装置及び顔認識方法
CN112906610A (zh) 用于活体检测的方法、电子电路、电子设备和介质
TWI677811B (zh) 指紋辨識方法以及使用其的電子裝置
CN111046706B (zh) 指纹辨识方法以及使用其的电子装置
Karthik et al. Image quality assessment based outlier detection for face anti-spoofing
JP2004062846A (ja) 個人識別装置の入力装置
KR20150114614A (ko) 표면실장부품 패키지의 분류 시스템 및 방법
KR100774991B1 (ko) 머신비전을 이용한 리모컨 외관검사 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221201

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221223

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230110

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230131

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7384772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150