JP2017091520A - ユーザ認証のための登録データベースの適応的更新方法及び装置 - Google Patents

ユーザ認証のための登録データベースの適応的更新方法及び装置 Download PDF

Info

Publication number
JP2017091520A
JP2017091520A JP2016211851A JP2016211851A JP2017091520A JP 2017091520 A JP2017091520 A JP 2017091520A JP 2016211851 A JP2016211851 A JP 2016211851A JP 2016211851 A JP2016211851 A JP 2016211851A JP 2017091520 A JP2017091520 A JP 2017091520A
Authority
JP
Japan
Prior art keywords
registration database
feature vector
feature
vector
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016211851A
Other languages
English (en)
Other versions
JP6802039B2 (ja
Inventor
在 濬 韓
Jae Joon Han
在 濬 韓
亭 培 金
Jung-Bae Kim
亭 培 金
宣 ▲みん▼ 李
Seon-Min Yi
宣 ▲ミン▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160027745A external-priority patent/KR102427853B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017091520A publication Critical patent/JP2017091520A/ja
Application granted granted Critical
Publication of JP6802039B2 publication Critical patent/JP6802039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2393—Updating materialised views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 他領域に発散しないように入力映像の登録データベースを更新できるようにすること。
【解決手段】 登録データベースの適応的更新方法は、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び第２特徴ベクトルを代表する代表ベクトルに基づいて入力映像を登録データベースに登録するか否かを判断し、判断の結果に基づいて入力映像を登録データベースに登録する。
【選択図】 図１

Description

本発明の実施形態は、ユーザ認証のための登録データベースの適応的更新方法及び装置に関する。
スマートフォンなどの様々なモバイル機器やウェアラブル機器は、指紋、紅彩、声、顔、血管などユーザの生体情報をセキュリティー認証に利用できる。
特開２０１４−００２５０６号公報
本発明の目的は、入力映像を登録データベースに登録するか否かを判断することにおいて、登録映像の間の特徴距離を最大確保することで本人認識率を向上させ、入力映像と登録映像との間の類似度の他にも、入力映像と登録映像の平均特徴（代表ベクトル）との類似度によってアウトライアーを排除することにより登録データベースが他人領域に発散しないようにする。
顔認識の場合は、例えば、ユーザの化粧、ヘアースタイル、ひげ、及び体重などのように時間による多くの変化要素を有することで最初に登録された１つの登録映像と入力される顔映像とを比較して認証を行う方式に問題が発生し得る。
一側によると、登録データベースの適応的更新方法は、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出するステップと、前記第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて、前記入力映像を前記登録データベースに登録するか否かを判断するステップと、前記判断の結果に基づいて前記入力映像を前記登録データベースに登録するステップとを含む。
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップと、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かを判断するステップとのうち少なくとも１つを含み得る。
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップを含み、前記入力映像がアウトライアーに該当するか否かを判断するステップは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断するステップとを含み得る。
前記アウトライアーであるかを判断するステップは、前記最小距離が第１閾値よりも小さいか否か、及び前記代表距離が第２閾値よりも小さいか否かに基づいて前記入力映像がアウトライアーであるかを判断するステップを含み得る。
前記登録するか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が拡張されるか否かを判断するステップを含み、前記登録データベースの特徴範囲が拡張されるか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離（前記累積特徴距離は前記ベクトル集合内の１つのベクトルと残りのベクトルとの間の距離に基づいて決定される）を決定するステップと、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップとを含み得る。
前記登録データベースに登録するステップは、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合に前記登録映像のうち１つの登録映像を前記入力映像に交替するステップを含み得る。
前記いずれか１つの登録映像を前記入力映像に交替するステップは、前記累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替するステップを含み得る。
前記登録するか否かを判断するステップは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数とを比較するステップを含み得る。
前記入力映像を前記登録データベースに登録するステップは、前記登録映像の個数が前記最大登録個数よりも小さい場合に前記入力映像を前記登録データベースに追加するステップと、前記登録映像の個数が前記最大登録個数と同一である場合、前記登録データベースに登録された登録映像のうちいずれか１つを前記入力映像に交替するステップとを含み得る。
前記登録データベースに追加するステップは、前記入力映像がアウトライアではなく、前記登録映像の個数が前記最大登録個数よりも小さければ、前記入力映像を前記登録データベースに追加するステップを含み得る。
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証するステップを含み得る。
前記ユーザを認証するステップは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、前記最小距離、前記代表距離、及び少なくとも１つの距離閾値に基づいて前記ユーザを認証するステップと、を含み得る。
前記登録するか否かを判断するステップは、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断するステップを含み得る。
前記登録データベースの適応的更新方法は、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルに基づいて前記代表ベクトルを更新するステップをさらに含み得る。
一実施形態によると、登録データベースの適応的更新装置は、登録データベース及びコンピュータ読み出し可能な命令語を格納するメモリと、前記コンピュータ読み出し可能な命令語を行ってユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、前記第１特徴ベクトル、前記登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて前記入力映像を前記登録データベースに登録するか否かを判断して登録する１つ又はそれ以上のプロセッサを含む。
前記１つ又はそれ以上のプロセッサは、ｉ）前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否か、又はｉｉ）前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かのうち少なくとも１つを判断し得る。
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離、及び前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断し得る。
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、対応する１つのベクトルと残りのベクトルとの間の距離に基づいてそれぞれのベクトルに対応する累積特徴距離を決定し、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かに基づいて、前記登録データベースの特徴範囲が拡張されるか否かを判断し得る。
前記１つ又はそれ以上のプロセッサは、前記判断の結果、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、前記登録映像のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替し得る。
前記１つ又はそれ以上のプロセッサは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数に基づいて、前記入力映像を前記登録データベースに追加又は交替するか否かを決定し得る。
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証し、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断し得る。
前記１つ又はそれ以上のプロセッサは、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルを用いて前記代表ベクトルを更新し得る。
一実施形態によると、登録データベースの適応的更新方法は、入力映像を認証するステップと、前記入力映像がアウトライアーであるか否かを判断するステップと、前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップと、前記入力映像によって前記登録データベースの特徴範囲が増加するか否かの判断結果に基づいて、前記登録データベースの登録映像のうちいずれか１つと前記入力映像を交替するステップとを含む。
前記入力映像がアウトライアーであるか否かを判断するステップは、前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出するステップと、前記第１特徴ベクトルと前記第２特徴ベクトルを代表する代表ベクトルとの間の代表距離を算出するステップと、前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断するステップとを含み得る。
前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップは、前記入力映像から抽出された第１特徴ベクトル及び前記登録データベースの登録映像から抽出された第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離を算出するステップと、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップとを含み得る。
前記それぞれのベクトルに対応する累積特徴距離を算出するステップは、前記累積特徴距離に対応する前記ベクトルと前記ベクトル集合内の残りのベクトルとの間の距離を合算するステップを含み得る。
一実施形態によると、登録データベースの適応的更新装置は、コンピュータ読み出し可能な命令語を格納するメモリと、前記コンピュータ読み出し可能な命令語を行って登録データベースに基づいて入力映像を認証し、前記登録データベースの登録映像を代表する代表ベクトルに基づいて前記入力映像がアウトライアーであるか否かを判断し、前記認証結果及び前記判断の結果に基づいて前記登録データベースを適応的に更新するプロセッサを含む。
前記プロセッサは、前記入力映像がアウトライアーであるか否かを判断するために、前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出し、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断し得る。
本発明によると、入力映像を登録データベースに登録するか否かを判断することにおいて、登録映像間の特徴距離を最大に確保することで本人認識率を向上させ、入力映像と登録映像との間の類似度の他にも、入力映像と登録映像の平均特徴（代表ベクトル）との類似度によりアウトライアーを排除することで、登録データベースが他人領域に発散されないようにすることができる。
一実施形態に係る登録データベースの適応的更新方法を示したフローチャートである。 一実施形態に係る登録データベースの適応的更新によって本人認証率が向上する原理を説明する図である。 一実施形態に係る入力映像がアウトライアーに該当するか否かを判断する方法を説明する図である。 一実施形態に係る入力映像がアウトライアーに該当するか否かを判断する方法を説明する図である。 一実施形態に係る登録データベースの適応的更新アルゴリズムを示したフローチャートである。 一実施形態に係る閾値を決定する方法を説明する図である。 一実施形態に係る入力映像によって登録データベースの特徴範囲が拡張されるか否かを判断する方法を説明する図である。 一実施形態に係る登録データベースに適応的に更新された登録映像を示す図である。 登録データベースに初めて登録された登録映像の間の特徴距離及び最終的に更新された登録映像の間の特徴距離を示す図である。 一実施形態に係る登録データベースの適応的更新装置のブロック図である。 少なくとも１つの実施形態により視聴覚コンテンツを設定するシステムで登録データベースの適応的更新装置を示す図である。 少なくとも１つの実施形態に係る駐車を行うシステムにある登録データベースの適応的更新装置を示す図である。
以下、例示的な図面を参照して実施形態を詳細に説明する。各図面の構成要素に参照符号を付すことにおいて、同一の構成要素に対してはたとえ他の図面上に表示されたとしても可能な限り同じ符号を付してあるという点に留意しなければならない。また、実施形態の説明において、関連する公知構成又は機能に対する具体的な説明が実施形態に対する理解を妨害するものと判断される場合は、その詳細な説明は省略する。
また、実施形態における構成要素の説明において、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）等の用語を用いることができる。これらの用語は、ある構成要素を他の構成要素と区別するためのものであり、その用語によって当該の構成要素の本質や順番又は順序等が限定されることはない。いずれかの構成要素が他の構成要素に「連結」、「結合」又は「接続」されると記載されている場合、その構成要素はその他の構成要素に直接的に連結されたり接続され得るが、各構成要素の間に更なる構成要素が「連結」、「結合」又は「接続」されてもよいことを理解すべきである。
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
下記で説明される実施形態は、ユーザの顔を認識するために用いられる。ユーザの顔を認識する動作は、そのユーザを認証したり識別する動作を含む。ユーザを認証する動作は、例えば、そのユーザが予め登録されたユーザであるか否かを判断する動作を含む。この場合、ユーザを認証する動作の結果は、真又は偽のように出力される。ユーザを識別する動作は、例えば、そのユーザが予め登録された複数のユーザのうち、いずれかのユーザに該当するかを判断する動作を含む。この場合、ユーザを識別する動作の結果は、いずれか１つの予め登録されたユーザのＩＤから出力される。もし、そのユーザが予め登録された複数のユーザのうちいずれのユーザにも該当しない場合、そのユーザが識別されないことを通知する信号が出力され得る。
実施形態は、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、テレビ、スマート家電機器、知能型自動車、キオスク、ウェアラブル装置などの様々な形態の製品で実現され得る。例えば、実施形態は、スマートフォン、モバイル機器、スマートホームシステムなどでユーザを認証するために適用され得る。実施形態は、ユーザ認証を通した決済サービスに適用され得る。また、実施形態は、ユーザを認証して自動に始動する知能型自動車システムなどにも適用され得る。以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
図１は、一実施形態に係る登録データベースの適応的更新方法を示したフローチャートである。適応的更新方法を行う更新装置は、例えば、ユーザ認証装置に含まれてもよく、別途の装置で構成されてもよい。更新装置は、ソフトウェア、ハードウェア、又は、ファームウェアのような組合いのハードウェアによって実現され得る。登録データベースは、登録テンプレート（ｅｎｒｏｌｌｍｅｎｔ ｔｅｍｐｌａｔｅ）に称され得る。
図１を参照すると、更新装置はステップＳ１１０において、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出する。「第１特徴ベクトル」は入力映像から抽出される顔認識のための特徴を示すベクトルとして理解される。更新装置は、例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）方式、カボル（Ｇａｂｏｒ）方式、又は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）方式などの様々な方式を用いて入力映像から第１特徴ベクトルを抽出する。
更新装置は、ステップＳ１２０において、入力映像を登録データベースに登録するか否かを判断する。例えば、更新装置は、入力映像の認証を行って入力映像がアウトライアーに該当するか否かを判断することで、入力映像を登録データベースに登録するか否かを判断する。
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルを用いる。「第２特徴ベクトル」は、登録データベースに登録された複数の登録映像から抽出される顔認識のための特徴を示すベクトルとして理解され得る。第２特徴ベクトルも、ＬＢＰ方式、Ｇａｂｏｒ方式、又は、ディープラーニング方式などによって抽出される。「代表ベクトル」は第２特徴ベクトルを代表するベクトルとして、第２特徴ベクトルの統計演算（例えば、平均、標準偏差など）によって算出される。
第２特徴ベクトルｘｉ及び代表ベクトル（正確にはｘの真上に「〜」が付いた文字で表現されるべきであるが、便宜上「ｘ〜」と記載する場合がある）は数式（１）に記載されたように、登録映像Ｘ１、Ｘ２、．．、Ｘｎから更新装置によって決定され得る。
ここで、ｎは登録データベースに登録された登録映像の数である。
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像の認証を行う。一例として、更新装置は、｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとを比較することによって入力映像の認証を行うことができる。
更新装置は｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の最小距離を算出する。｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の距離は、例えば、特徴ベクトルの間の類似度に反比例するユークリッド距離として理解される。更新装置は数式（２）を用いて最小距離ｄｎを算出する。
ここで、ｙは第１特徴ベクトルであり、ｘ１〜ｘｎは第２特徴ベクトルであり、ｘの上に〜が付いた記号は代表ベクトルであり（上述したように、便宜上「ｘ〜」と記載する場合がある）、ｄｎは｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の最小距離である。
最小距離ｄｎが第１閾値距離よりも小さい場合、更新装置は入力映像の認証が成功したと判断する。第１閾値距離は１％の誤認識率（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ ｒａｔｅ；ＦＡＲ）に該当する距離などに応じて予め決定及び／又は選択される。誤認識率（ＦＡＲ）は他人を本人に間違って認識する比率である。
更新装置は、距離の代わりに類似度を用いてもよい。この場合、更新装置は、｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の最大類似度を算出する。最大類似度が第１閾値類似度よりも大きい場合、更新装置は入力映像の認証に成功したと判断する。第１閾値類似度は１％の誤認識率（ＦＡＲ）に該当する類似度などにより予め決定及び／又は選択される。
異なる例として、更新装置は、第１特徴ベクトルと第２特徴ベクトルとを比較することによって、入力映像の認証成功の有無を判断し得る。
入力映像の認証が成功した場合にも、実際には入力映像が誤認識された場合があり得る。例えば、認証過程で入力映像が本人に該当すると判断されたが、実際に入力映像は他人に該当する映像であり得る。更新装置は、誤認識された入力映像が登録データベースに登録されることを防止するために、認証のための第１基準よりも厳しい第２基準によって、入力映像を登録データベースに登録するか否かを決定する。第２基準は、入力映像がアウトライアーに該当するか否かを判断する基準であり得る。
ここで、「アウトライアー」は認証に成功したが、実際には本人ではない他人に該当する映像として理解される。
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像がアウトライアーに該当するか否かを判断する。例えば、更新装置は２つの条件を検査する。第１に、更新装置は、第１特徴ベクトルと第２特徴ベクトルとの間の距離のうち最小距離が予め決定された／又は選択された第２閾値距離よりも小さいか否かを検査する。ここで、第２閾値距離は、入力映像の認証のための第１閾値距離よりも厳しく決定される。例えば、第２閾値距離は、０．０１％の誤認識率（ＦＡＲ）に該当する距離であり得る。第２に、更新装置は、第１特徴ベクトルと代表ベクトルとの間の距離が予め決定された／又は選択された第３閾値距離よりも小さいか否かを検査する。第３閾値距離は、第２閾値距離と同一に決定されてもよく、相違に決定されてもよい。
更新装置は、距離の代わりに類似度を用いてもよい。この場合、更新装置は、第１特徴ベクトルと第２特徴ベクトルとの間の最大類似度が予め決定された／又は選択された第２閾値類似度よりも大きいかを検査する。第２閾値類似度は例えば、０．０１％の誤認識率（ＦＡＲ）に該当する類似度であり得る。また、更新装置は、第１特徴ベクトルと代表ベクトルとの間の類似度が予め決定された／又は第３閾値類似度よりも大きいか否かを検査する。
更新装置は、前述した２つの条件が全て通過する場合、入力映像がアウトライアーに該当しないものと判断する。入力映像がアウトライアーに該当しない場合、更新装置は、入力映像を登録データベースに登録すると判断する。一方、入力映像がアウトライアーに該当する場合、更新装置は、入力映像を登録データベースに登録させないものと判断する。入力映像を登録データベースに登録するという判断に応じて、更新装置は、ステップＳ１３０において、入力映像を登録データベースに登録する。ここで、「登録」は、登録映像の個数が予め決定及び／又は選択された閾値よりも大きいか同一の場合、登録データベースに入力映像を追加すること、及び登録データベースにある登録映像のうちいずれか１つと入力映像を交替することを全て含む意味として理解される。
一例として、登録データベースに含まれた登録映像の数が予め決定された／又は選択された閾値個数（例えば、１０個）よりも小さい場合、登録は入力映像を登録データベースに追加する更新装置を参照できる。閾値個数は１０よりも大きいか小さい。
異なる例として、登録データベースに含まれた登録映像の数が閾値個数と同一である場合、更新装置は、入力映像によって登録データベースの特徴範囲が拡張されるか否かに応じて、登録映像のうちいずれか１つと入力映像を交替する。ここで、「登録データベースの特徴範囲が拡張される」ことは、登録データベースに含まれた登録映像によって認識可能なユーザの顔の変化が多様化することを意味する。ユーザの顔の変化は、化粧、ヘアースタイル、ひげ、体重などの様々な要素に基づくものである。
更新装置は、第１特徴ベクトル及び第２特徴ベクトルに基づいて登録データベースの特徴範囲が拡張されるか否かを判断する。登録データベースの特徴範囲が拡張されるか否かを判断する方法は、図６を参照して説明する。
実施形態に係る更新装置は、他人に該当する映像が登録データベースに間違って含まれることを防止しながら、本人に該当する様々な映像が登録データベースに含まれるように登録データベースを適応的に更新できる。適応的に更新された登録データベースによって、本人認証率が向上し得る。図２の（Ａ）〜（Ｃ）は、一実施形態に係る登録データベースの適応的更新によって本人認証率が向上する原理を説明する図である。図２の（Ａ）〜（Ｃ）を参照すると、登録データベースの登録映像が適応的に追加又は交替されることにより、登録データベースの登録映像による認証範囲が本人に該当する範囲を効率よくカバーできるよう改善される。図２において、各登録映像から放射形に示される円は当該の登録映像による認証範囲を示す。
図２の（Ａ）を参照すると、登録データベースに一個の登録映像Ｘ１が登録された場合の登録映像Ｘ１による認証範囲が示されている。上述したように、顔は、例えば、照明、化粧、ヘアスタイル、ひげ、及び体重などのような多くの変化要素を有するため、一個の登録映像ではユーザに該当する範囲を効率よくカバーすることが難い。この場合、認識率（ｖｅｒｉｆｉｃａｔｉｏｎ ｒａｔｅ；ＶＲ）が低く、本人拒否率（ｆａｌｓｅ ｒｅｊｅｃｔｉｏｎ ｒａｔｅ；ＦＲＲ）が大きい。認識率（ＶＲ）はユーザ本人を正しく認識する比率であり、本人拒否率（ＦＲＲ）はユーザ本人を間違って拒否する比率である。図には図示していないが、登録映像Ｘ１だけでユーザに該当する範囲を全てカバーするためには、登録映像Ｘ１の認証範囲が他人を本人に誤認識する範囲まで拡張されなければならない。
図２の（Ｂ）を参照すると、登録データベースに複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５が追加された場合の認証範囲が示されている。登録データベースに複数の登録映像Ｘ２、Ｘ３、Ｘ４、Ｘ５が追加された場合、一個の登録映像Ｘ１だけ登録された場合に比べて認識率（ＶＲ）が向上される。
一実施形態では、複数の登録映像の特徴（例えば、第２特徴ベクトル）及び登録映像の代表特徴（例えば、平均ベクトル）を共に用いて認識率（ＶＲ）を高める一方、個別登録映像の認証範囲を狭く設定することで誤認識率（ＦＡＲ）を低くすることができる。
図２の（Ｃ）を参照すると、登録データベースが複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５に交替される場合の認証範囲が示されている。交替された複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５が本人に該当する範囲に広く分布された場合、多様に変化するユーザの顔に対する認識率（ＶＲ）を向上させることができる。
一実施形態では、登録データベースに格納された登録映像の間の距離が、例えば、最大要求幅まで最大限に広く保持されるように登録映像を周期的、動的、及び／又は指示された時間に交替することによって、認識率（ＶＲ）を高めてユーザの顔変化に適応するようにできる。ここで、「登録映像の間の距離を最大限に広く保持及び／又は増加する」ことは、登録映像がユーザの様々な変化を示すように、登録映像間の類似度を低くする意味として理解される。ここで、登録映像の間に距離が保持及び／又は増加してもアウトライアーが登録映像に含まれないようにしなければならない。アウトライアーが登録映像に含まれないようにする方法については図３を参照して説明する。
一実施形態では、図２の（Ｂ）及び図２の（Ｃ）に示すような登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ’１、Ｘ’２、Ｘ’３、Ｘ’４、Ｘ’５の追加及び交替によって、ユーザに該当する範囲を効率よくカバーすることで入力映像に対する認識率（ＶＲ）を高める一方、誤認識率（ＦＡＲ）及び本人拒否率（ＦＲＲ）を低くすることができる。
図３Ａ及び図３Ｂは、一実施形態に係る入力映像がアウトライアーに該当するか否かを判断する方法を説明する図である。図３Ａ及び３Ｂは、更新装置によって実行される。
図３Ａは、入力映像がアウトライアーであると判断される場合を示し、図３Ｂは、入力映像がアウトライアではないと判断される場合を示す。ここで、登録データベースは、登録映像の第２特徴ベクトルｘ１、ｘ２、ｘ３、ｘ４、ｘ５及び第２特徴ベクトルを代表する代表ベクトルｘ〜を含むものとする。代表ベクトルは、登録映像の代表ベクトル（例えば、平均特徴）に当該する。
図３Ａを参照すると、第１入力映像の第１特徴ベクトルｙ１と登録データベースに格納された第４登録映像の特徴ベクトルｘ４との間の距離は、予め決定された／又は選択された第２閾値距離よりも小さいものの、第１特徴ベクトルｙ１と登録映像の代表ベクトルｘ〜との間の距離は、予め決定された／又は選択された第３閾値距離よりも大きい。この場合、第１入力映像は第４登録映像に類似するが、登録データベースに格納された登録映像を代表する映像に類似していないと判断される。
更新装置は、入力映像が登録データベースに格納された登録映像のうちの１つ又はそれ以上の登録映像に類似するものと判断されても、入力映像が登録映像を代表する映像に類似していないものと判断される場合、入力映像を登録データベースに登録させない。そのため、実施形態はアウトライアーが登録データベースに含まれることを防止することができる。
図３Ｂを参照すると、第２入力映像の第１特徴ベクトルｙ２と登録データベースに格納された第４登録映像の特徴ベクトルｘ４との間の距離が第２閾値距離よりも小さく、第１特徴ベクトルｙ２と代表ベクトルｘ〜との間の距離が第３閾値距離よりも小さいこともある。これは、第２入力映像が登録映像の全てと一定のレベル以上の高い距離を有することを示す。更新装置は、第１特徴ベクトルｙ２に対応する第２入力映像を本人に該当する映像として判断し、第２入力映像を登録データベースに登録することができる。
図４は、一実施形態に係る登録データベースの適応的更新アルゴリズムを示したフローチャートである。図４を参照すると、更新装置は、ステップＳ４１０において、入力映像Ｙを受信する。更新装置は、入力映像Ｙから第１特徴ベクトルを抽出する。更新装置は、ステップＳ４２０において、ユーザ認証に成功したか否かを判断する。例えば、更新装置は、第１特徴ベクトルと登録データベースを用いてユーザ認証を行う。ユーザ認証に失敗すると、更新装置は、入力映像Ｙを登録データベースに登録せずに動作を終了する。
ユーザ認証に成功すると、更新装置は、ステップＳ４３０において、入力映像Ｙがアウトライアーであるか否かを判断する。更新装置は、図１を参照して前述した２つの条件を検査することによって、入力映像Ｙがアウトライアーであるか否かを判断し得る。
入力映像がアウトライアーに該当するか否かを判断する様々な条件は、更新装置を用いて使用し得る。例えば、更新装置は、以下の数式（３）によって入力映像がアウトライアーであるかを判断する。
ここで、ｙは第１特徴ベクトルであり、ｘｉはｉ番目の第２特徴ベクトルであり、Ｎは第２特徴ベクトルの数であり、ｘ〜は代表ベクトルである。ｄ（ｘｉ、ｙ）は第１特徴ベクトルとｉ番目の第２特徴ベクトルとの間の距離であり、ｄ（ｘ〜、ｙ）は第１特徴ベクトルと代表ベクトルとの間の距離である。
数式（３）によると、Ｎ個の第２特徴ベクトルのうち第１特徴ベクトルとの距離が閾値Ｔ３よりも小さい第２特徴ベクトルの数が２以上であり、代表ベクトルと第１特徴ベクトルとの間の距離が閾値Ｔ３よりも小さい場合、更新装置は、第１特徴ベクトルがアウトライアではなくて登録更新候補であると判断する。他の実施形態によると、ｄ（ｘｉ、ｙ）＜Ｔ２（ここで、Ｔ２は第２閾値距離／類似度）はｄ（ｘｉ、ｙ）＜Ｔ３に交替され得る。
入力映像Ｙがアウトライアーと判断されれば、更新装置は入力映像Ｙを登録データベースに登録することなく動作を終了する。
更新装置によって入力映像Ｙがアウトライアではないと判断されれば、更新装置は、ステップＳ４４０において、登録データベースに登録された登録映像の個数ｎと登録データベースの最大登録個数Ｎとを比較する。最大登録個数Ｎは、予め設定された値（例えば、１０）であってもよい。
登録映像の個数が最大登録個数よりも小さい場合、更新装置は、ステップＳ４４５において、入力映像Ｙを登録データベースに追加する。入力映像Ｙが登録データベースに追加されれば、登録データベースを代表する代表ベクトルが更新される。例えば、入力映像Ｙが登録データベースに追加される場合、代表ベクトルは下の数式（４）のように更新される。
登録映像の個数が最大登録個数よりも大きいか同一の場合、更新装置は、ステップＳ４５０において、入力映像Ｙによって登録データベースの特徴範囲が拡張されるか否かを判断する。入力映像Ｙによって登録データベースの特徴範囲が拡張されるか否かを判断する方法は、図６の（Ａ）〜（Ｃ）を参照して説明する。入力映像Ｙによって登録データベース特徴範囲が拡張されないと判断されれば、更新装置は、入力映像Ｙを登録データベースに登録することなく動作を終了する。
入力映像Ｙによって登録データベースの特徴範囲が拡張されると判断されれば、更新装置は、ステップＳ４５５において、入力映像Ｙを登録データベースに登録された登録映像のうちいずれか１つに交替する。一例として、更新装置は、数式（５）によって入力映像Ｙを登録データベースに登録するか否かを決定する。

より具体的に、更新装置は、第１特徴ベクトルｙをＮ＋１番目の第２特徴ベクトルｘＮ＋１に設定する。更新装置はＮ＋１個の第２特徴ベクトルのそれぞれに対応する累積特徴距離Ｓｉを算出できる。累積特徴距離のうち最小累積特徴距離のインデックスｉｍｉｎがＮ以下である場合、更新装置はｉｍｉｎ番目の映像を入力映像に交替する。言い換えれば、入力映像が最小累積特徴距離を有する場合、更新装置は交替を行うことなく、既存の登録映像が最小累積特徴距離を有する場合に更新装置は最小累積特徴距離を有する登録映像と入力映像を交替する。
入力映像Ｙが登録データベースの登録映像のうちいずれか１つに交替されれば、登録データベースを代表する代表ベクトルが更新され得る。
一実施形態では、入力映像Ｙがアウトライアではなく、入力映像Ｙが登録映像の特徴範囲（又は、認証範囲）をさらに広げることができれば、入力映像Ｙを従来の登録映像に交替して登録データベースに含まれた登録映像の多様性を確保できる。
ステップＳ４１０は図１に示すステップＳ１１０に対応し、ステップＳ４２０及びステップＳ４３０は図１に示すステップＳ１２０に対応し、ステップＳ４４０、ステップＳ４４５、ステップＳ４５０、及びステップＳ４５５は図１に示すステップＳ１３０に対応するため、より詳細な説明は省略する。
図５は、一実施形態に係る閾値を決定する方法を説明する図である。一実施形態に係る方法は、ユーザ認証のための閾値距離又は閾値類似度、アウトライアー判断のための閾値距離又は閾値類似度などを決定するために用いられる。閾値は様々な性能指標に基づいて決定される。例えば、閾値は、認識率（ＶＲ）、誤認識率（ＦＡＲ）、本人拒否率（ＦＲＲ）、又はこれらの様々な組合せに基づいて決定される。
図５を参照すると、ユーザ本人の映像の間の特徴距離に関する正規分布曲線５１０と他人映像との間の特徴距離に関する正規分布曲線５３０が示されている。ここで、特徴距離は映像間の類似度に反比例する距離であると理解される。図５に示すグラフにおいて、ｘ軸は２つの映像間の特徴距離を示し、ｙ軸は当該特徴距離に対応する確率密度関数の値を示す。
一例として、ユーザ認証のための第１閾値距離を１％の誤認識率（ＦＡＲ）に該当する距離に設定するため、更新装置は他人映像の間の特徴距離に関する正規分布曲線５３０の全体面積のうち、下位１％の面積を区分する境界線５５０の特徴距離を第１閾値距離に設定する。
図６は、一実施形態に係る入力映像によって登録データベースの特徴範囲が拡張されるか否かを判断する方法を説明する図である。図６の（Ａ）を参照すると、入力映像が受信された場合に入力映像の第１特徴ベクトルｙ及び登録映像の第２特徴ベクトルｘ１、ｘ２、ｘ３、ｘ４、ｘ５を含むベクトル集合が示されている。
更新装置は、図６の（Ａ）に示すベクトル集合内のいずれか１つのベクトルと残りのベクトルとの間の距離の和によって、図６の（Ｂ）に示すように、それぞれのベクトルに対応する累積特徴距離Ｓを決定する。更新装置は、例えば、第２特徴ベクトルｘ１と第１特徴ベクトルｙとの間の距離、及び第２特徴ベクトルｘ１と残りの第２特徴ベクトルｘ２、ｘ３、ｘ４、ｘ５のそれぞれとの距離を合算して第２特徴ベクトルｘ１に対応する累積特徴距離ｓ１を決定する。更新装置はこのような方式で、残りの第２特徴ベクトルｘ２、ｘ３、ｘ４、ｘ５それぞれに対応する累積特徴距離Ｓ２、Ｓ３、Ｓ４、Ｓ５と第１特徴ベクトルｙに対応する累積特徴距離ＳＹを決定する。
更新装置は、第１特徴ベクトルに対応する累積特徴距離ＳＹが第２特徴ベクトルに対応する累積特徴距離Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５のうち少なくとも１つよりも大きいか否かを判断する。更新装置は、第１特徴ベクトルに対応する累積特徴距離が第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、従来の登録映像を入力映像に交替する。更新装置は、累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を入力映像に交替する。
例えば、各特徴ベクトルに対応する累積特徴距離の大きさがＳ４＜Ｓ５＜ＳＹ＜Ｓ３＜Ｓ１＜Ｓ２であると仮定する。ここで、第１特徴ベクトルに対応する累積特徴距離ＳＹは第２特徴ベクトルに対応する累積特徴距離Ｓ４、Ｓ５よりも大きい。更新装置は累積特徴距離Ｓ４、Ｓ５を有する第２特徴ベクトルｘ４、ｘ５に対応する登録映像のうちいずれか１つと入力映像を交替する。更新装置は、最小累積特徴距離Ｓ４を有する第２特徴ベクトルｘ４に対応する登録映像を入力映像に交替する。第２特徴ベクトルｘ４に対応する登録映像が入力映像によって交替された結果は図６の（Ｃ）に示す通りである。
実施形態によって、更新装置は入力映像を、最小累積特徴距離（例えば、第２特徴ベクトルｘ５）を有する第２特徴ベクトルに対応する登録映像に交替し得る。
更新装置は、入力映像と登録映像の特徴距離とを互いに比較して交替することで、登録映像間の特徴距離がさらに広くなるようにし、さらに多様に変化した入力映像に対する認証率を向上させることができる。
図７は、一実施形態に係る登録データベースに適応的に更新された登録映像を示す図であり、図８は、図７に示す登録データベースに初めて登録された登録映像間の特徴距離及び最終的に更新された登録映像の間の特徴距離を示す図である。
図７を参照すると、最初登録映像Ａ１７１０、追加された９個の登録映像Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８、Ａ９、Ａ１０７３０及び最終的に交替された１０個の登録映像Ａ１’’’、Ａ２、Ａ３’、Ａ４’、Ａ５’’’、Ａ６’’、Ａ７、Ａ８’’、Ａ９、Ａ１０’’’７５０が示されている。図７においてＡ１’は最初登録映像Ａ１に対応して１回交替された映像、Ａ１’’は２回交替された映像、Ａ１’’’は３回交替された映像を示す。同一の表示が９個の登録映像７３０についても適用され得る。
図８において上側の図は登録データベースに初めて登録された登録映像間の特徴距離を示し、下側の図は登録データベースに最終的に登録された登録映像間の特徴距離を示す。図８を参照すると、初めて登録された登録映像に比べて最終的に登録された登録映像間の特徴距離がより大きい値を有することが把握できる。
一実施形態では、登録映像の追加及び交替によって登録映像間の特徴距離を広く保持することにより、多様に変化した顔映像に対する認証性能を向上させることができる。
図９は、一実施形態に係る登録データベースの適応的更新装置のブロック図である。図９を参照すると、一実施形態に係る更新装置９００は、プロセッサ９１０、メモリ９２０、及びイメージセンサ９３０を含む。プロセッサ９１０、メモリ９２０、及びイメージセンサ９３０はバス９４０によって通信される。
プロセッサ９１０は、ユーザの顔を含む入力映像と予め登録された登録映像を用いて登録データベースを適応的に更新し得る。
プロセッサ９１０は、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出する。プロセッサ９１０は、第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び第２特徴ベクトルを代表する代表ベクトルに基づいて、入力映像を登録データベースに登録するか否かを判断する。プロセッサ９１０は、判断の結果に基づいて入力映像を登録データベースに登録する。
プロセッサ９１０は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像がアウトライアーに該当するか否か、又は第１特徴ベクトル及び第２特徴ベクトルに基づいて登録データベースの特徴範囲が拡張されるか否かのうち少なくとも１つを判断する。入力映像がアウトライアーに当該することなく登録映像の個数が最大登録個数よりも小さい場合、プロセッサ９１０は入力映像を登録データベースに追加する。登録映像の個数が最大登録個数よりも大きいか同一の場合、プロセッサ９１０は、登録データベースの特徴範囲が拡張されるか否かをさらに判断する。特徴範囲が拡張される場合、プロセッサ９１０は入力映像を登録映像のうちの１つに交替され得る。
その他にも、プロセッサ９１０は、図１〜図８を参照して前述した少なくとも１つの方法を行うことができる。
プロセッサ９１０は、メモリ９２０に格納されたコンピュータ読み出し可能な命令を行うことによって図１〜図８に記述された更新装置９００の機能を行う。プロセッサ９１０は、１つ又はそれ以上のプロセッサであり得る。更新装置９００は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続し、データを交替できる。
メモリ９２０は、予め登録映像を含む登録データベース９２５を格納する。メモリ９２０は、入力映像から抽出された第１特徴ベクトル、登録映像の第２特徴ベクトル、及び第２特徴ベクトルを代表する代表ベクトルを含む。また、メモリ９２０は、新しく登録された入力映像と新しく登録された入力映像によって更新された代表ベクトルも格納できる。メモリ９２０は、揮発性メモリ又は不揮発性メモリであり得る。イメージセンサ９３０は、ユーザの顔を含む入力映像をキャプチャーできる。
更新装置９００はソフトウェア及びハードウェアの組合で実現され得る。この場合、ソフトウェアで具現された機能はプロセッサによって実行され、ハードウェアで具現された機能は当該のハードウェアによって実行される。プロセッサとハードウェアは入出力バスなどを介して信号のやり取りできる。
更新装置９００は、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどコンピューティング装置、又は、テレビ、スマートテレビ、ゲート制御のためのセキュリティー装置などの電子製品などの様々な電子システムを含む。
図１０は、少なくとも１つの実施形態により視聴覚コンテンツを設定するシステムで登録データベースの適応的更新装置を説明する。図１０を参照すると、受信機１００１は視聴覚コンテンツ１００２を受信する。視聴覚コンテンツ１００２は、例えば、インターネットのようなネットワーク１００３によって受信機１００１にリンクされたサーバに格納される。
受信機１００１は、メモリ１００５を含む。メモリ１００５は、受信された視聴覚コンテンツ１００２を格納する。視聴覚コンテンツ１００２は、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ（登録商標）ｄｉｓｃ）のような物理的メディア１００４に格納される。受信機１００１は、メモリ１００５に格納された適切な命令語集合を受信し、命令語集合をレンダリングする前に視聴覚コンテンツ１００２をデコーディングするプロセッサ１００７を含む。
選択的に、受信機１００１は、物理的メディア１００４に格納された視聴覚コンテンツ１００２を読み出すメディア読出機１００６を含む。メモリ１００５は予め登録された登録映像を含む登録データベース９２５を格納する。
システムは、例えば、ディスプレイ装置１００８のように視聴覚コンテンツ１００２をレンダリングする手段を含む。ディスプレイ装置１００８はイメージセンサ１０１０を含む。イメージセンサ１０１０は、ディスプレイ装置１００８を用いてユーザのイメージを取得する。また、プロセッサ１００７、登録データベース９２５、及びイメージセンサ１０１０は適応的更新装置を構成する。プロセッサ１００７は、メモリ１００５に格納されたコンピュータ読み出し可能な命令語を行うことによって図１〜図８に記述された適応的更新装置の機能を行う。
視聴覚コンテンツ１００２は、ウオッチングレベル（ｗａｔｃｈｉｎｇ ｌｅｖｅｌ）に関するフレームを含む。ウオッチングレベルは、暴力レベルのように視聴覚コンテンツ１００２の一部がどれ程攻撃的であるかを示す指標である。
ウオッチングレベルは、視聴覚コンテンツ１００２の映像、聴覚部分、字幕テキストの方法、及びこれらの組合せに基づく。ウオッチングレベルは、例えば、暴力、性、恐怖などのような攻撃的な内容のカテゴリーを一側面の数個の類型に有してもよく、当該のカテゴリーに関する値を有してもよい。ここで、値は、例えば、１と１０との間の値であってもよく、この値が大きいほど選択されたカテゴリーに関する攻撃性も増大することを示す。
視聴覚コンテンツ１００２は、ウオッチングレベルそれぞれに関する視聴覚セグメント及び／又はフレームを含む。それぞれのフレーム及びセグメントは視聴覚コンテンツ１００２の一部又は全ての攻撃性の程度を示す代表となる。ウオッチングレベルは、視聴覚コンテンツ１００２のメタデータの一部であり得る。
視聴覚コンテンツ１００２の生成過程において、視聴覚コンテンツ１００２に注釈は予め記載されており、セグメント又はフレームは自動化された方式でウオッチングレベルに関わる。例えば、ウオッチングレベルが暴力スケールに対応すれば、視聴覚セグメント及び／又はフレームは暴力場面に関するものであり、及び／又はフレームが検出されて暴力スケールに応じて等級が決定され得る。このようなウオッチングレベルの検出を許容する方法及び技術は、例えば、Ｄｅｔｅｃｔｉｎｇ Ｖｉｏｌｅｎｔ Ｓｃｅｎｅｓ ｉｎ Ｍｏｖｉｅｓ ｂｙ Ａｕｄｉｔｏｒｙ ａｎｄ Ｖｉｓｕａｌ Ｃｕｅｓ、９ｔｈ Ｐａｃｉｆｉｃ Ｒｉｍ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ、ＮａｔｌＣｈｅｎｇ Ｋｕｎｇ Ｕｎｉｖ．Ｔａｉｎａｎ ＴＡＩＷＡＮ、Ｄｅｃ．９−１３、２００８、ｐｐ．３１７−３２６を参照する。
受信機１００１によって視聴覚コンテンツ１００２が受信されれば、プロセッサ１００７はメモリ１００５に格納された命令語を行う。それぞれのウオッチングレベルに関する視聴覚コンテンツ１００２の少なくとも２つのフレームを分析したプロセッサ１００７は、ディスプレイ装置１００８を用いて分析結果を表示することができる。
プロセッサ１００７は、当該表示装置１００８を用いて認証されたユーザに対応して表示するフレームを選択する。ユーザは、図１〜図８に記述された適応的更新装置によって認証され得る。
より具体的に、メモリ１００５は、認証されたユーザに関するウオッチングレベルを格納する。プロセッサ１００７は、選択されたフレームに関するウオッチングレベルが表示装置１００８を用いて認証されたユーザに関する要求されたウオッチングレベルを超過しないようにフレームを選択する。
図１１は、少なくとも１つの実施形態に係る駐車を行うシステムにある登録データベースの適応的更新装置を説明する。図１１を参照すると、駐車空間施行システム１１１０は、例えば、プロセッサ１１２８、カメラ１１１６、及びメモリ１１３０を含む適応的更新装置、及び、例えば、１つ又はそれ以上の超音波センサのような近接センサ１１２０を含む。駐車空間施行システム１１１０は、予約された駐車空間、又は障害者の使用のために予約された駐車空間、又は駐車地点内における車両進入を検出したり、車両運転者又は乗客を認証する。
プロセッサ１１２８は、メモリ１１３０に格納されたコンピュータで読み出し可能な命令語によって実行される図１〜図８に記述された機能及び適応的更新装置の機能を行う。
アラーム１１２６は駐車空間に隣接して配置し、運転者及び／又は乗客が認証されていない場合、予め設定された期間（例えば、３０秒）の間に活性化される。アラーム１１２６は、例えば、スピーカによって生成される警告、光源によって生成される視覚的アラーム、及びこれらの組合せなどの様々な形態の知らせであり得る。
カメラ１１１６は、運転者及び／又は乗客の写真映像を撮影するために駐車空間に隣接して位置する。カメラに適切な様々な類型が用いられ、様々な類型の視覚センサ又はイメージセンサが使用され得る。
アラーム１１２６、カメラ１１１６、近接センサ１１２０、及びの以下で記述するラインセンサ１１２２、１１２４のそれぞれは制御部１１１８と共に電気的に通信できる。
カメラ１１１６によって撮影された映像は、図１〜図８に記述されたように、プロセッサ１１２８及びメモリ１１３０によって乗客及び運転者を認証するために用いられる。また、ラインセンサ１１２２、１１２４は、車両が駐車空間又は駐車場の指定された範囲内に適切に駐車されているかを検出するために用いられる。
例えば、車両がライン表示を越えて駐車している場合、言い換えれば、部分的に隣接した駐車空間に駐車している場合にアラーム１１２６が作動する。
近接センサ１１２０及びラインセンサ１１２２、１１２４は、車両の存在を検出するための多様かつ適切な類型のセンサであり得る。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
９００：更新装置
９１０：プロセッサ
９２０：メモリ
９３０：イメージセンサ
９４０：バス

Claims (29)

  1. ユーザの顔を含む入力映像から第１特徴ベクトルを抽出するステップと、
    前記第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて、前記入力映像を前記登録データベースに登録するか否かを判断するステップと、
    前記判断の結果に基づいて前記入力映像を前記登録データベースに登録するステップと、
    を含む、登録データベースの適応的更新方法。
  2. 前記登録するか否かを判断するステップは、
    前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップと、
    前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かを判断するステップと、
    のうち少なくとも１つを含む、請求項１に記載の登録データベースの適応的更新方法。
  3. 前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップを含み、
    前記入力映像がアウトライアーに該当するか否かを判断するステップは、
    前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
    前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
    前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断するステップと、
    を含む、請求項２に記載の登録データベースの適応的更新方法。
  4. 前記アウトライアーであるかを判断するステップは、前記最小距離が第１閾値よりも小さいか否か、及び前記代表距離が第２閾値よりも小さいか否かに基づいて前記入力映像がアウトライアーであるかを判断するステップを含む、請求項３に記載の登録データベースの適応的更新方法。
  5. 前記登録するか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が拡張されるか否かを判断するステップを含み、
    前記登録データベースの特徴範囲が拡張されるか否かを判断するステップは、
    前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離（前記累積特徴距離は前記ベクトル集合内の１つのベクトルと残りのベクトルとの間の距離に基づいて決定される）を決定するステップと、
    前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップと、
    を含む、請求項２ないし４のうちの何れか一項に記載の登録データベースの適応的更新方法。
  6. 前記登録データベースに登録するステップは、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合に前記登録映像のうち１つの登録映像を前記入力映像に交替するステップを含む、請求項５に記載の登録データベースの適応的更新方法。
  7. 前記いずれか１つの登録映像を前記入力映像に交替するステップは、前記累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替するステップを含む、請求項６に記載の登録データベースの適応的更新方法。
  8. 前記登録するか否かを判断するステップは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数とを比較するステップを含む、請求項１に記載の登録データベースの適応的更新方法。
  9. 前記入力映像を前記登録データベースに登録するステップは、
    前記登録映像の個数が前記最大登録個数よりも小さい場合に前記入力映像を前記登録データベースに追加するステップと、
    前記登録映像の個数が前記最大登録個数と同一である場合、前記登録データベースに登録された登録映像のうちいずれか１つを前記入力映像に交替するステップと、
    を含む、請求項８に記載の登録データベースの適応的更新方法。
  10. 前記登録データベースに追加するステップは、前記入力映像がアウトライアではなく、前記登録映像の個数が前記最大登録個数よりも小さければ、前記入力映像を前記登録データベースに追加するステップを含む、請求項９に記載の登録データベースの適応的更新方法。
  11. 前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証するステップを含む、請求項１に記載の登録データベースの適応的更新方法。
  12. 前記ユーザを認証するステップは、
    前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
    前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
    前記最小距離、前記代表距離、及び少なくとも１つの距離閾値に基づいて前記ユーザを認証するステップと、
    を含む、請求項１１に記載の登録データベースの適応的更新方法。
  13. 前記登録するか否かを判断するステップは、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断するステップを含む、請求項１１に記載の登録データベースの適応的更新方法。
  14. 前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルに基づいて前記代表ベクトルを更新するステップをさらに含む、請求項１ないし１３のうち何れか一項に記載の登録データベースの適応的更新方法。
  15. 請求項１ないし１４のうちの何れか一項に記載の方法を、適応的更新装置のコンピュータに実行させるコンピュータプログラム。
  16. 登録データベース及びコンピュータ読み出し可能な命令語を格納するメモリと、
    前記コンピュータ読み出し可能な命令語を行ってユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、前記第１特徴ベクトル、前記登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて前記入力映像を前記登録データベースに登録するか否かを判断して登録する１つ又はそれ以上のプロセッサを含む、登録データベースの適応的更新装置。
  17. 前記１つ又はそれ以上のプロセッサは、ｉ）前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否か、又はｉｉ）前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かのうち少なくとも１つを判断する、請求項１６に記載の登録データベースの適応的更新装置。
  18. 前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離、及び前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断する、請求項１７に記載の登録データベースの適応的更新装置。
  19. 前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、対応する１つのベクトルと残りのベクトルとの間の距離に基づいてそれぞれのベクトルに対応する累積特徴距離を決定し、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かに基づいて、前記登録データベースの特徴範囲が拡張されるか否かを判断する、請求項１７に記載の登録データベースの適応的更新装置。
  20. 前記１つ又はそれ以上のプロセッサは、前記判断の結果、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、前記登録映像のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替する、請求項１９に記載の登録データベースの適応的更新装置。
  21. 前記１つ又はそれ以上のプロセッサは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数に基づいて、前記入力映像を前記登録データベースに追加又は交替するか否かを決定する、請求項１６に記載の登録データベースの適応的更新装置。
  22. 前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証し、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断する、請求項１６に記載の登録データベースの適応的更新装置。
  23. 前記１つ又はそれ以上のプロセッサは、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルを用いて前記代表ベクトルを更新する、請求項１６ないし２２のうちの何れか一項に記載の登録データベースの適応的更新装置。
  24. 入力映像を認証するステップと、
    前記入力映像がアウトライアーであるか否かを判断するステップと、
    前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップと、
    前記入力映像によって前記登録データベースの特徴範囲が増加するか否かの判断結果に基づいて、前記登録データベースの登録映像のうちいずれか１つと前記入力映像を交替するステップと、
    を含む、登録データベースの適応的更新方法。
  25. 前記入力映像がアウトライアーであるか否かを判断するステップは、
    前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出するステップと、
    前記第１特徴ベクトルと前記第２特徴ベクトルを代表する代表ベクトルとの間の代表距離を算出するステップと、
    前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断するステップと、
    を含む、請求項２４に記載の登録データベースの適応的更新方法。
  26. 前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップは、
    前記入力映像から抽出された第１特徴ベクトル及び前記登録データベースの登録映像から抽出された第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離を算出するステップと、
    前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップと、
    を含む、請求項２４に記載の登録データベースの適応的更新方法。
  27. 前記それぞれのベクトルに対応する累積特徴距離を算出するステップは、前記累積特徴距離に対応する前記ベクトルと前記ベクトル集合内の残りのベクトルとの間の距離を合算するステップを含む、請求項２６に記載の登録データベースの適応的更新方法。
  28. コンピュータ読み出し可能な命令語を格納するメモリと、
    前記コンピュータ読み出し可能な命令語を行って登録データベースに基づいて入力映像を認証し、前記登録データベースの登録映像を代表する代表ベクトルに基づいて前記入力映像がアウトライアーであるか否かを判断し、認証結果及び前記判断の結果に基づいて前記登録データベースを適応的に更新するプロセッサを含む、登録データベースの適応的更新装置。
  29. 前記プロセッサは、前記入力映像がアウトライアーであるか否かを判断するために、前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出し、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断する、請求項２８に記載の登録データベースの適応的更新装置。
JP2016211851A 2015-11-11 2016-10-28 ユーザ認証のための登録データベースの適応的更新方法及び装置 Active JP6802039B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150158148 2015-11-11
KR10-2015-0158148 2015-11-11
KR10-2016-0027745 2016-03-08
KR1020160027745A KR102427853B1 (ko) 2015-11-11 2016-03-08 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020195840A Division JP7098701B2 (ja) 2015-11-11 2020-11-26 登録データベースの適応的更新方法及び装置

Publications (2)

Publication Number Publication Date
JP2017091520A true JP2017091520A (ja) 2017-05-25
JP6802039B2 JP6802039B2 (ja) 2020-12-16

Family

ID=57017984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016211851A Active JP6802039B2 (ja) 2015-11-11 2016-10-28 ユーザ認証のための登録データベースの適応的更新方法及び装置

Country Status (4)

Country Link
US (3) US10769255B2 (ja)
EP (1) EP3168777B1 (ja)
JP (1) JP6802039B2 (ja)
CN (1) CN106682068B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123350A (ja) * 2019-01-30 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法及び装置
JP2021513700A (ja) * 2018-03-22 2021-05-27 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 顔認識方法、顔認識装置及び顔認識方法を実行するコンピュータプログラム
JPWO2021176544A1 (ja) * 2020-03-03 2021-09-10

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176377B2 (en) * 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
WO2017173228A1 (en) * 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric enrollment systems and methods
CN107870666B (zh) * 2016-09-28 2020-12-29 腾讯科技（深圳）有限公司 一种终端控制方法及终端
KR102476756B1 (ko) * 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
US10210381B1 (en) 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
EP3662406B1 (en) 2017-08-01 2023-11-22 Apple Inc. Determining sparse versus dense pattern illumination
KR102362651B1 (ko) 2017-08-01 2022-02-14 애플 인크. 얼굴 인식에 사용되는 템플릿들을 업데이트하기 위한 프로세스
KR102558741B1 (ko) 2017-12-12 2023-07-24 삼성전자주식회사 사용자 등록 장치 및 방법
US10666681B2 (en) * 2017-12-31 2020-05-26 Rapid7, Inc. Detecting malicious actors
CN108268838B (zh) * 2018-01-02 2020-12-29 中国科学院福建物质结构研究所 人脸表情识别方法及人脸表情识别系统
CN108806050A (zh) * 2018-06-27 2018-11-13 北京安恒数通信息技术有限公司 出入管理方法和系统
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
CN109544745A (zh) * 2018-11-20 2019-03-29 北京千丁互联科技有限公司 一种智能门锁控制方法、装置及系统
EP3898581A4 (en) * 2018-12-17 2022-08-17 Intra-Cellular Therapies, Inc. SYNTHESIS OF CONDENSED GAMMA-CARBOLINES WITH SUBSTITUTED HETEROCYCLE
KR102570070B1 (ko) * 2018-12-27 2023-08-23 삼성전자주식회사 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치
CN110287202B (zh) * 2019-05-16 2022-02-15 北京百度网讯科技有限公司 数据更新方法、装置、电子设备及存储介质
CN110136309A (zh) * 2019-05-18 2019-08-16 深圳智云镖科技有限公司 一种基于智能门锁的智能家居控制方法及系统
WO2021056450A1 (zh) * 2019-09-27 2021-04-01 深圳市汇顶科技股份有限公司 图像模板的更新方法、设备及存储介质
US11899765B2 (en) * 2019-12-23 2024-02-13 Dts Inc. Dual-factor identification system and method with adaptive enrollment
CN111641640B (zh) * 2020-05-28 2022-10-28 青岛海尔科技有限公司 一种设备绑定处理方法及装置
CN111970328A (zh) * 2020-07-23 2020-11-20 江苏信息职业技术学院 一种基于物联网的健康防疫管理系统
US11983965B2 (en) 2020-11-05 2024-05-14 Samsung Electronics Co., Ltd. Electronic device for biometric authentication and method for operating the same
CN112446364B (zh) * 2021-01-29 2021-06-08 中国科学院自动化研究所 高清人脸替换视频生成方法及系统
US20220347524A1 (en) * 2021-04-28 2022-11-03 PJB Co.,ltd Moving bike device controlling contents playing according to contents properties and driving method thereof
US11912234B2 (en) 2021-12-02 2024-02-27 Ford Global Technologies, Llc Enhanced biometric authorization
US12095761B2 (en) * 2021-12-02 2024-09-17 Ford Global Technologies, Llc Enhanced biometric authorization
CN114417294A (zh) * 2022-01-13 2022-04-29 中国银联股份有限公司 特征向量数据库的更新方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194605A (ja) * 2011-03-14 2012-10-11 Omron Corp 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
JP2015069574A (ja) * 2013-09-30 2015-04-13 株式会社東芝 認証装置、認証システムおよび認証方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302644A (ja) 2003-03-28 2004-10-28 Sony Corp 顔識別装置、顔識別方法、記録媒体、及びロボット装置
AU2005286823B2 (en) * 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20060123239A1 (en) * 2004-12-07 2006-06-08 Emin Martinian Biometric based user authentication with syndrome codes
US7415152B2 (en) 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
JP4618058B2 (ja) * 2005-09-01 2011-01-26 株式会社日立製作所 背景画像生成方法とその装置及び画像監視システム
WO2008080414A1 (en) * 2006-12-28 2008-07-10 Telecom Italia S.P.A. Method and system for biometric authentication and encryption
KR100886557B1 (ko) 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
JP5123037B2 (ja) 2008-04-16 2013-01-16 パナソニック株式会社 顔認証装置及び顔認証方法
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
JP2011013732A (ja) * 2009-06-30 2011-01-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2011140605A1 (en) 2010-05-13 2011-11-17 National Ict Australia Limited Automatic identity enrolment
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックＩｐマネジメント株式会社 顔画像登録装置および方法
CN102045367B (zh) * 2011-01-10 2014-04-23 软库创投（北京）科技有限公司 实名认证的注册方法及认证服务器
WO2012114452A1 (ja) 2011-02-22 2012-08-30 三菱電機株式会社 類似度算出システム及び類似度算出装置及びコンピュータプログラム及び類似度算出方法
CN102682309B (zh) * 2011-03-14 2014-11-19 汉王科技股份有限公司 一种基于模板学习的人脸注册方法及装置
JP5791364B2 (ja) 2011-05-16 2015-10-07 キヤノン株式会社 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
US8660322B2 (en) * 2011-08-25 2014-02-25 King Saud University Passive continuous authentication method
JP6035059B2 (ja) 2012-06-18 2016-11-30 株式会社日立情報通信エンジニアリング 認証システム、認証方法
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2013077068A (ja) 2011-09-29 2013-04-25 Sogo Keibi Hosho Co Ltd 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム
US20130325483A1 (en) * 2012-05-29 2013-12-05 GM Global Technology Operations LLC Dialogue models for vehicle occupants
US8942431B2 (en) 2012-06-24 2015-01-27 Neurologix Security Group Inc Biometrics based methods and systems for user authentication
JP2014126865A (ja) 2012-12-27 2014-07-07 Fujitsu Ltd 暗号処理装置および方法
US9530052B1 (en) 2013-03-13 2016-12-27 University Of Maryland System and method for sensor adaptation in iris biometrics
JP6268960B2 (ja) 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
CN104200146A (zh) * 2014-08-29 2014-12-10 华侨大学 一种结合视频人脸和数字唇动密码的身份验证方法
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194605A (ja) * 2011-03-14 2012-10-11 Omron Corp 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
JP2015069574A (ja) * 2013-09-30 2015-04-13 株式会社東芝 認証装置、認証システムおよび認証方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513700A (ja) * 2018-03-22 2021-05-27 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 顔認識方法、顔認識装置及び顔認識方法を実行するコンピュータプログラム
JP2020123350A (ja) * 2019-01-30 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法及び装置
JPWO2021176544A1 (ja) * 2020-03-03 2021-09-10
WO2021176544A1 (ja) * 2020-03-03 2021-09-10 富士通株式会社 制御方法、制御プログラムおよび情報処理装置

Also Published As

Publication number Publication date
CN106682068B (zh) 2022-10-14
US20200257786A1 (en) 2020-08-13
US20170132408A1 (en) 2017-05-11
US11537698B2 (en) 2022-12-27
US20170199996A1 (en) 2017-07-13
JP6802039B2 (ja) 2020-12-16
CN106682068A (zh) 2017-05-17
US10769256B2 (en) 2020-09-08
US10769255B2 (en) 2020-09-08
EP3168777A1 (en) 2017-05-17
EP3168777B1 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
JP6802039B2 (ja) ユーザ認証のための登録データベースの適応的更新方法及び装置
JP7098701B2 (ja) 登録データベースの適応的更新方法及び装置
US11544497B2 (en) Method and apparatus for recognizing object, and method and apparatus for training recognition model
KR102370063B1 (ko) 얼굴 인증 방법 및 장치
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US20170124428A1 (en) Authentication method and apparatus, and method and apparatus for training a recognizer
EP3528158B1 (en) Method and apparatus for selective combined authentication
EP2657908A1 (en) Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method
JP6798798B2 (ja) ユーザ認証のためのデータを更新する方法及び装置
US11455384B2 (en) User authentication method and apparatus with adaptively updated enrollment database (DB)
US20150205995A1 (en) Personal recognition apparatus that performs personal recognition using face detecting function, personal recognition method, and storage medium
CN107025425B (zh) 认证方法和设备以及用于训练识别器的方法和设备
US11720658B2 (en) Method and apparatus of performing authentication
CN111382666A (zh) 具有用户验证的设备和方法
CN108876386B (zh) 对象认证方法和装置、基于对象认证的交易方法和装置
KR102483648B1 (ko) 인증을 수행하는 방법 및 장치
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201126

R150 Certificate of patent or registration of utility model

Ref document number: 6802039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250