CN114270417A - 能够更新注册人脸模板的人脸识别系统及方法 - Google Patents

能够更新注册人脸模板的人脸识别系统及方法 Download PDF

Info

Publication number
CN114270417A
CN114270417A CN202080011939.1A CN202080011939A CN114270417A CN 114270417 A CN114270417 A CN 114270417A CN 202080011939 A CN202080011939 A CN 202080011939A CN 114270417 A CN114270417 A CN 114270417A
Authority
CN
China
Prior art keywords
face
template
authentication
registered
templates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080011939.1A
Other languages
English (en)
Inventor
蔡将秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cmi Technology Co ltd
Original Assignee
Cmi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cmi Technology Co ltd filed Critical Cmi Technology Co ltd
Publication of CN114270417A publication Critical patent/CN114270417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种能够更新注册人脸模板的人脸识别系统及方法，根据本发明的人脸识别系统包括：注册模板数据库(DB)，存储有注册人脸模板；认证模板数据库，用于存储认证人脸模板；控制部，根据用户的人脸认证，在认证模板数据库中存储认证人脸模板，经过预定时间后，使用存储在认证模板数据库中的多个认证人脸模板来对多个认证人脸模板中的每一个求出彼此之间的相似度，使用这些相似度值来对多个认证人脸模板中的每一个求出平均相似度值，通过选择具有平均相似度值中的最大值的认证人脸模板作为新的注册人脸模板并存储在注册模板数据库来更新注册人脸模板，从而能够自动更新注册人脸模板。

Description

能够更新注册人脸模板的人脸识别系统及方法
技术领域
本发明涉及一种能够更新注册人脸模板(registered face template)的人脸识别系统及方法，特别地，涉及一种能够使用认证人脸模板自动更新注册人脸模板的人脸识别系统及方法。
背景技术
作为一种从包括面部的图像中自动检测并分析人脸区域以辨别相应面部是什么人的技术，人脸识别技术是在模式识别及计算机视觉领域已经研究了很长时间的领域。根据许多研究结果，人脸识别技术最近已实际应用于监控系统、出入境管制或生物识别等领域。
众所周知，与其他物体识别技术相比，这种人脸识别技术作为一种相对成熟的技术，表现出高性能。然而，众所周知，由于姿态及光照变化、远距离拍摄和人体运动引起的低分辨率/模糊等，在实际环境中获取的图像仍存在许多需要解决的问题。
换句话说，用于实际认证的人脸图像可能因各种变量而改变，例如用户的姿态、用户周围的明暗程度、用户面部的对比度等。由此，经常会出现用户认证失败或认证处理时间增加的情况。
而且，正在使用能够基于用户进行认证所使用的人脸图像来自动更新注册的人脸图像的技术。然而，如果未正确地确定要自动更新的人脸图像，反而会增加认证失败的情况。
发明内容
发明所要解决的问题
为了解决上述问题，本发明的目的在于提供一种能够使用多个认证人脸模板相互之间的相似度来自动更新注册人脸模板的人脸识别系统及方法。
用于解决问题的方案
为了实现上述目的，根据本发明的一实施例的人脸识别系统包括：注册模板数据库(DB)，存储有注册人脸模板；认证模板数据库，用于存储认证人脸模板；以及控制部，根据用户的人脸认证，在上述认证模板数据库中存储上述认证人脸模板，经过预定时间后，使用存储在上述认证模板数据库中的多个认证人脸模板来对上述多个认证人脸模板中的每一个求出彼此之间的相似度，使用这些相似度的值来对上述多个认证人脸模板中的每一个求出平均相似度值，选择具有上述平均相似度值中的最大值的认证人脸模板作为新的注册人脸模板，将新的注册人脸模板存储在上述注册模板数据库来更新上述注册人脸模板。
上述控制部可通过神经网络(Neural Network)存储从上述认证人脸模板获得的模板值，为了选择上述新的注册人脸模板，使用上述认证模板数据库中存储的上述多个认证人脸模板的值来对上述多个认证人脸模板中的每一个求出彼此之间的距离，使用这些距离值来对上述多个认证人脸模板中的每一个求出平均距离值，选择具有上述平均距离值中的最小值的人脸模板作为上述新的注册人脸模板。
上述控制部可对上述多个认证人脸模板中的每一个求出彼此之间的距离，并且仅使用平均距离值为预定值以下的认证人脸模板的值来选择上述新的注册人脸模板。
上述控制部可以将存储有上述认证人脸模板的时间信息存储在上述认证模板数据库的时间信息区域中，并且使用存储在上述时间信息区域的上述时间信息来选择每一个预定时间段的上述新的注册人脸模板。
上述人脸识别系统还可包括相机部，上述相机部用于拍摄包括人脸的图像，上述控制部可以将上述相机部拍摄的图像中的人脸图像的尺寸信息存储在上述认证模板数据库的尺寸信息区域中，并且仅使用上述尺寸信息区域中存储的上述尺寸信息为预定尺寸值以上的认证人脸模板的值来选择上述新的注册人脸模板。
上述人脸图像的尺寸信息可以是上述人脸图像的长度及宽度中至少一个最大尺寸或上述人脸图像的像素。
上述人脸识别系统还可包括：相机部，用于拍摄包括人脸的图像；人脸检测部，用于在上述相机部拍摄的图像中检测人脸图像；特征提取部，用于在上述人脸图像中提取特征点信息；归一化处理部，通过使用上述特征点信息来对人脸图像进行归一化处理，从而生成对齐的人脸模板；以及人脸识别部，将从上述归一化处理部输入的人脸模板与上述注册模板数据库中存储的注册人脸模板进行比较，以确定上述输入的人脸模板是否属于注册用户。
根据本发明的另一实施例的基于人脸识别系统的人脸识别方法中，上述人脸识别系统包括存储有注册人脸模板的注册模板数据库以及用于存储认证人脸模板的认证模板数据库，上述人脸识别方法可包括：根据用户的人脸认证，在上述认证模板数据库中存储上述认证人脸模板的步骤；经过预定时间后，使用存储在上述认证模板数据库中的多个认证人脸模板来对上述多个认证人脸模板中的每一个求出彼此之间的相似度的步骤；使用这些相似度的值来对上述多个认证人脸模板中的每一个求出平均相似度值的步骤；选择具有上述平均相似度值中的最大值的认证人脸模板作为新的注册人脸模板的步骤；以及将新的注册人脸模板存储在上述注册模板数据库来更新上述注册人脸模板的步骤。
并且，上述人脸识别方法还可包括：通过神经网络(Neural Network)存储从上述认证人脸模板获得的模板值的步骤；使用上述认证模板数据库中存储的多个认证人脸模板的值来对上述多个认证人脸模板中的每一个求出彼此之间的距离的步骤；使用这些距离值来对上述多个认证人脸模板中的每一个求出平均距离值的步骤；选择具有上述平均距离值中的最小值的人脸模板作为上述新的注册人脸模板的步骤。
发明效果
新注册的人脸图像可能是预定时间段的人脸图像中最接近平均的人脸图像。因此，通过使用该新的注册人脸图像可提高认证用户的面部的速度，也可减少认证失败。
并且，在本发明中，通过从认证的人脸图像中排除部分人脸图像，可进一步反映人脸图像随着年龄、季节等变化而发生的变化，也可减少认证失败。
附图说明
图1是示出根据本发明的一实施例的人脸识别系统的框图的图。
图2是示出图1所示的认证模板数据库的表的示例的图。
图3是以坐标的形式示出图2所示的模板值区域中存储的模板值的图。
图4是示出根据本发明的另一实施例的人脸识别方法的流程图的图。
具体实施方式
以下，参照附图描述根据本发明的能够更新注册人脸模板的人脸识别系统及方法的优选实施例。作为参考，在下面描述本发明时，本发明的组件的术语是考虑到每一个组件的功能来命名的，因此不应将其理解为限定本发明的技术组件。
图1是示出根据本发明的一实施例的人脸识别系统的框图的图，图2是示出图1所示的认证模板数据库的表的示例的图，图3是以坐标的形式示出图2所示的模板值区域中存储的模板值的图，图4是示出根据本发明的另一实施例的人脸识别方法的流程图的图。
如图1所示，人脸识别系统包括模板存储部110、相机部120、人脸检测部130、特征提取部140、归一化处理部150、人脸识别部160、控制部170。人脸识别系统具体可被分为人脸处理设备(未图示)及管理服务器(未图示)进行操作。
作为存储模板的存储空间，模板存储部110包括注册模板数据库112及认证模板数据库114。注册模板数据库112中可存储有用于注册而存储的多个注册人脸模板、多个注册人脸模板的归一化的特征点信息、多个注册人脸模板的模板值及多个注册人脸模板被存储的时间信息等。认证模板数据库114中可存储有根据用户人脸认证的多个认证人脸模板、多个认证人脸模板的归一化的特征点信息、多个认证人脸模板的模板值、多个认证人脸模板被存储的时间信息及与人脸检测部130检测到的面部相关的尺寸信息等。图2中示出了认证模板数据库114的表的示例。
相机部120安装在出入门附近，以拍摄包括人脸的图像。
人脸检测部130基本上检测由相机部120拍摄的图像中存在的人脸图像。其中，由相机部120拍摄的图像是包括面部的一张图像。人脸检测部130可使用类Haar特征(Haar-like feature)算法来从相机部120输入的图像中检测人脸图像。在这种情况下，可以单独检测面部部分(头部、眼睛、鼻子、嘴巴和胡须)并将其确定为最终面部。人脸检测部130可通过微调人脸图像来提高最终人脸检测的性能。
特征提取部140在用户的人脸图像中提取特征点信息。特征提取部140可使用例如预先学习的3D面部几何模型在人脸图像中提取68个特征点，即，标志(landmark)。
特征提取部140在人脸图像中找出眉毛、眼睛、鼻子、嘴巴区域及其周围的特征点并将其映射到人脸图像中。当然，特征点不限定于上面列出的特定部分。特征提取部140可以具体通过模式分类器(Pattern Classifier)实现，例如支持向量机(SVM，SupportVector Machine)。特征提取部140可以基于两只眼睛的位置来识别面部的左右倾斜程度。
特征提取部140还可被配置为从标志(landmark)信息中提取特征向量，并使用特征向量识别用户的面部表情及用户的当前情绪状态。在这种情况下，特征提取部140可通过使用标志(landmark)相互之间的角度、距离比例信息来从标志(landmark)信息中提取特征向量。特别是在提取特征向量时，通过最小化特征向量的维度(dimension)来减少计算量是至关重要的。由此，与现有的人脸识别技术相比，可提高识别用户的面部表情的速度。
特征提取部140还可使用例如人脸图像的纹理特征、整个人脸图像的形态特征、身体部位(眼睛、鼻子、嘴巴等)等形态特征来生成特征向量，上述特征向量表达人脸图像。特征提取部140还可以将上述人脸图像从RGB图像变换为亮度/色差(Y/C)图像，并从变换后的图像生成特征向量。其中，色差图像是指排除亮度值而仅使用纯色信息来表达颜色之间的差异的图像。特征提取部140可以仅使用除亮度图像之外的色差图像来生成特征向量，以减少照明的影响。
归一化处理部150通过使用在人脸图像中提取的特征点信息来归一化人脸图像，从而生成对齐的人脸图像。归一化处理部150通过使用特征点信息来对人脸图像进行仿射(affine)变换，即，二维仿射变换或三维仿射变换，从而执行人脸对齐及光度校正等图像归一化处理。在这种情况下，可旋转人脸图像使得眼睛中心和嘴巴中心垂直，并且可校正人脸图像的尺寸使得眼睛中心和嘴巴中心之间的距离为40像素。由此，即使检测到的人脸图像是侧脸而不是正脸，也可通过变换该图像来生成正面人脸图像。
在归一化处理部150中对齐的人脸图像可以作为人脸模板存储在模板存储部110中。在这种情况下，从对齐的人脸图像获得的归一化的特征点信息可存储在模板存储部110中以便替换人脸模板，或者可以与人脸模板一起存储在单独的区域中。归一化处理部150使用归一化的特征点信息将人脸图像划分为多个块后，每个块均生成归一化的特征向量。控制部170可以将每个块的归一化的特征向量存储在模板存储部110的归一化的特征点信息区域中。在本实施例中，人脸模板与从对齐的人脸图像获得的归一化的特征点信息是相互区分的。然而需要说明的是，从对齐的人脸图像获得的归一化的特征点信息是从对齐的人脸图像中导出的，因此包含在人脸模板中。
人脸识别部160将输入到相机部120的图像的人脸模板与存储在注册模板数据库112的注册人脸模板进行比较，以确定输入的图像的人脸模板是否属于注册用户。人脸识别部160可使用各种深度学习技术，例如，深度神经网络(DNN，Deep Neural Network)、卷积神经网络(CNN，Convolutional Neural Network)、循环神经网络(RNN，Recurrent NeuralNetwork)、限制波尔兹曼机(RBM，Restricted Boltzmann Machine)、深度信念神经网络(DBN，Deep Belief Network)、深度Q-网络(Deep QNetworks)等，但不限定于此。在本实施例中，人脸识别部160可被配置为由多个层组成的卷积(convolution)神经网络。此时，可使用局部连接(locally connected)卷积层来有效地提取人脸区域内的局部特征。
人脸识别部160可通过使用人脸模板的特征点信息来确定面部的相似度。此时，人脸识别部160可通过使用输入的图像的人脸模板来确定存储的每个注册人脸模板的相似度，并可通过使用每一个相似度结果来确定用户是否为注册用户。例如，假设在注册模板数据库112中存储有四个注册人脸模板，并确定人脸相似度分别为97％、85％、80％及75％。使用相似度的最大值来检查上述用户是否为注册用户，当相似度的最大值高于基准值时，可确定上述用户为注册用户。例如，当将基准值设定为95％时，在上述假设中，相似度的最大值为97％，上述最大值高于上述基准值，因此可确定上述用户为注册用户。
具体地，人脸识别部160可调取归一化处理部150处理的人脸模板和注册模板数据库112中存储的注册人脸模板，以块为单位向卷积神经网络提供数据，通过对每个块求出块模板值来确定每个块的相似度，并将其全部加起来确定总相似度。在这种情况下，可使用存储在注册模板数据库112中的每个块的归一化的特征向量或模板值来求出相似度。
一方面，人脸识别部160可结合训练来执行人脸验证。人脸验证(faceverification)是验证同一个人的两个人脸模板是否确定为同一个人。通过这种方式，可降低在图像中的人脸识别过程中产生的误识别率。
在训练中，可使用多个学习模型来训练面部特征点。多个学习模型可包括用户的面部学习模型、他人的面部学习模型、光照学习模型及姿势学习模型中的至少一个。例如，在训练中，可基于从多个学习模型的学习数据中检测到的面部特征点，将学习数据划分为至少一个区域来训练面部特征点。
在训练中，可以将对每个面部特征点的代表性特征向量以与用于学习数据的面部特征点相同的数量存储在缓冲区(buffer)中。例如，在面部的特征为同一人的情况下，面部特征点的数据是围绕特定向量形成的，因此可以将作为中心的代表性特征向量存储在单独的缓冲区中，使其成为学习的中心点
Figure BDA0003189201550000071
在训练中，如果将同一用户的不同图像以预定数量输入而作为学习数据，则可获得面部特征点、照明变化引起的面部特征点、对姿势变化的面部特征点的输出值。
在注册模式中，控制部170将由归一化处理部150处理而生成的注册人脸模板存储在注册模板数据库112中。而且，控制部170在训练模式下控制人脸识别部160，并执行深度学习训练，即，将由归一化处理部150处理而生成的同一用户的验证人脸模板与存储在注册模板数据库112中的注册人脸模板进行比较，并且可以将根据训练的人脸验证的值提供给卷积(convolution)神经网络。
在认证模式中，控制部170通过控制人脸识别部160来将由归一化处理部150处理而生成的人脸模板与在注册模板数据库112中注册的所有人脸模板进行比较，从而确定输入的图像的人脸模板是否属于注册用户。
如果输入的图像的人脸模板属于注册用户，例如在打开门之后，控制部170将输入的图像的人脸模板和/或归一化的特征点信息存储在认证模板数据库114的人脸模板区域和/或特征点信息区域中，并将人脸识别部160通过卷积神经网络计算的模板值存储在模板值区域中，也可以将存储时间存储在时间信息区域中。而且，控制部170可以将与人脸检测部130检测到的面部相关的尺寸信息存储在认证模板数据库114的尺寸信息区域中。在这种情况下，尺寸信息可以是人脸图像的长度及/宽度中最大尺寸或人脸图像的像素数。
控制部170可以在经过预定时间段，例如一个月之后更新存储在注册模板数据库112中的注册人脸模板。控制部170调取存储在认证模板数据库114中的相应用户的模板值，例如，ID1的模板值。在图3中以坐标的形式示出图2所示的模板值区域中存储的模板值。其中，蓝色是当前存储在注册模板数据库112中的注册人脸模板的模板值，剩余的所有颜色是存储在认证模板数据库114中的人脸模板的模板值。
控制部170在预定时间段内获得的模板值中求出相互之间的相似度，使用这些相似度的值来对多个认证人脸模板中的每一个求出平均相似度值，选择具有这些平均相似度值中的最大值的人脸模板作为新注册人脸模板。然后，控制部170将被选定为注册人脸模板的人脸模板有关的所有信息存储在注册模板数据库112来更新注册人脸模板。在这种情况下，控制部170可原样保持先前存储的注册人脸模板的信息。由此，控制部170可使用注册模板数据库112中新更新的人脸模板来处理人脸识别。如果相似度低，则还可通过使用原先存储在注册模板数据库112中的注册人脸模板来处理人脸识别。
其中，平均相似度值是指例如，在认证人脸模板为3个的情况下，如果第一认证人脸模板与第二认证人脸模板的相似度为82，第二认证人脸模板与第三认证人脸模板的相似度为90，第一认证人脸模板与第三认证人脸模板的相似度为86，则第一认证人脸模板的平均相似度为(82+86)/2＝84，第二认证人脸模板的平均相似度为(82+90)/2＝86，第三认证人脸模板的平均相似度为(90+86)/2＝88。因此，其中具有最大的平均相似度值的认证人脸模板为第三认证人脸模板。
具体地，控制部170使用模板值求出模板彼此之间的距离，使用这些距离值来对多个认证人脸模板中的每一个求出平均距离值，选择具有这些平均距离值中的最小值的人脸模板作为新注册人脸模板。在这种情况下，控制部170可以从注册人脸模板候选中预先排除具有预定阈值以上的平均距离值的人脸模板。即，在存储在认证模板数据库114中的人脸模板的模板值的整个分布中，可以从注册人脸模板候选中排除超出预定偏差的人脸模板。如图3所示，与位于右侧的模板值相比，左侧的两个模板值更接近注册人脸模板值，但与存储在认证模板数据库114中的整个模板值相隔很远。由此，被选定为新的注册人脸模板的人脸模板可进一步反映人脸图像随着年龄、季节等变化而发生的变化。
控制部170还可使用人脸检测部130检测到的人脸图像的尺寸信息来预先从注册人脸模板候选中排除尺寸信息小于预定阈值的人脸模板。由此，可清除因归一化处理引起的错误。
控制部170还可使用存储有人脸模板的时间信息为每个预定时间段确定注册人脸模板。由此，可反映一天内根据时间的面部变化及夜间和白天时间段发生的光照变化等。
图4是示出根据本发明的另一实施例的人脸识别方法的流程图的图。
控制部170在注册模式中，将由归一化处理部150处理而生成的注册人脸模板存储在注册模板数据库112中(S402)。
在训练模式中，控制部170控制人脸识别部160使其以训练模式进行动作，因此人脸识别部160执行深度学习训练，即，将由归一化处理部150处理而生成的同一用户的验证人脸模板与存储在注册模板数据库112中的注册人脸模板进行比较(S404)。
在认证模式中，控制部170控制人脸识别部160使其以认证模式进行动作，因此人脸识别部160将由归一化处理部150处理而生成的人脸模板与在注册模板数据库112中注册的人脸模板进行比较，从而确定输入的图像的人脸模板是否属于注册用户(S406)。
如果输入的图像的人脸模板属于注册用户，控制部170将输入的图像的人脸模板存储在认证模板数据库114的人脸模板区域中作为认证人脸模板(S408)。在这种情况下，控制部170将归一化的特征点信息存储在认证模板数据库114的特征点信息区域中，并将通过人脸识别部160中的卷积神经网络获得的模板值存储在模板值区域中，并且还可以将存储时间存储在时间信息区域中。另外，控制部170可以将与人脸检测部130检测到的面部相关的尺寸信息存储在认证模板数据库114的尺寸信息区域中。
控制部170确定是否经过了预定时间段，例如，一个月(S410)。当经过预定时间段时，控制部170读取存储在认证模板数据库114中的多个认证人脸模板(S412)。
控制部170对多个认证人脸模板中的每一个求出彼此之间的距离，并且仅将平均距离值为预定值以下的认证人脸模板的值确定为注册模板候选(S414)。此时，控制部170还可以将存储在认证模板数据库的尺寸信息区域的尺寸信息为预定尺寸值以上的认证人脸模板的值，确定为注册模板候选。
控制部170对存储在认证模板数据库114中的多个认证人脸模板中确定的每个注册模板候选求出彼此之间的相似度，并选择具有最大平均相似度值的认证人脸模板作为新的注册人脸模板(S416)。在这种情况下，为了选择新的注册人脸模板，控制部170对存储在认证模板数据库114中的多个认证人脸模板值中所选择的注册模板候选的每个认证人脸模板值，求出彼此之间的距离，并选择具有最小平均距离值的人脸模板作为上述新的注册人脸模板。
控制部170通过将选择的新的注册人脸模板存储在注册模板数据库112来更新注册人脸模板(S418)。
以上描述的本发明的实施例仅示例性地示出了本发明的技术思想，本发明的保护范围应理解为以权利要求书为准。而且，本发明所述领域的普通技术人员可在不脱离本发明的本质特征的范围内进行各种修改及变化，在与本发明等同的范围内的所有技术思想均应理解为包含在本发明的权利范围内。

Claims (9)

1.一种人脸识别系统，其特征在于，包括：
注册模板数据库，存储有注册人脸模板；
认证模板数据库，用于存储认证人脸模板；以及
控制部，根据用户的人脸认证，在上述认证模板数据库中存储上述认证人脸模板，经过预定时间后，使用存储在上述认证模板数据库中的多个认证人脸模板来对上述多个认证人脸模板中的每一个求出彼此之间的相似度，使用这些相似度的值来对上述多个认证人脸模板中的每一个求出平均相似度值，选择具有上述平均相似度值中的最大值的认证人脸模板作为新的注册人脸模板，将新的注册人脸模板存储在上述注册模板数据库来更新上述注册人脸模板。
2.根据权利要求1所述的人脸识别系统，其特征在于，
上述控制部通过神经网络存储从上述认证人脸模板获得的模板值，为了选择上述新的注册人脸模板，使用上述认证模板数据库中存储的上述多个认证人脸模板的值来对上述多个认证人脸模板中的每一个求出彼此之间的距离，使用这些距离值来对上述多个认证人脸模板中的每一个求出平均距离值，选择具有上述平均距离值中的最小值的人脸模板作为上述新的注册人脸模板。
3.根据权利要求2所述的人脸识别系统，其特征在于，
上述控制部对上述多个认证人脸模板中的每一个求出彼此之间的距离，并且仅使用平均距离值为预定值以下的认证人脸模板的值来选择上述新的注册人脸模板。
4.根据权利要求1至3中任一项所述的人脸识别系统，其特征在于，
上述控制部将存储有上述认证人脸模板的时间信息存储在上述认证模板数据库的时间信息区域中，并且使用存储在上述时间信息区域的上述时间信息来选择每一个预定时间段的上述新的注册人脸模板。
5.根据权利要求1至3中任一项所述的人脸识别系统，其特征在于，
还包括相机部，上述相机部用于拍摄包括人脸的图像，
上述控制部将上述相机部拍摄的图像中的人脸图像的尺寸信息存储在上述认证模板数据库的尺寸信息区域中，并且仅使用上述尺寸信息区域中存储的上述尺寸信息为预定尺寸值以上的认证人脸模板的值来选择上述新的注册人脸模板。
6.根据权利要求5所述的人脸识别系统，其特征在于，
上述人脸图像的尺寸信息是上述人脸图像的长度及宽度中至少一个最大尺寸或上述人脸图像的像素数。
7.根据权利要求1至3中任一项所述的人脸识别系统，其特征在于，还包括：
相机部，用于拍摄包括人脸的图像；
人脸检测部，用于在上述相机部拍摄的图像中检测人脸图像；
特征提取部，用于在上述人脸图像中提取特征点信息；
归一化处理部，通过使用上述特征点信息来对人脸图像进行归一化处理，从而生成对齐的人脸模板；以及
人脸识别部，将从上述归一化处理部输入的人脸模板与上述注册模板数据库中存储的注册人脸模板进行比较，以确定上述输入的人脸模板是否属于注册用户。
8.一种人脸识别方法，其基于人脸识别系统，上述人脸识别系统包括存储有注册人脸模板的注册模板数据库以及用于存储认证人脸模板的认证模板数据库，其特征在于，上述人脸识别方法包括：
根据用户的人脸认证，在上述认证模板数据库中存储上述认证人脸模板的步骤；
经过预定时间后，使用存储在上述认证模板数据库中的多个认证人脸模板来对上述多个认证人脸模板中的每一个求出彼此之间的相似度的步骤；
使用这些相似度的值来对上述多个认证人脸模板中的每一个求出平均相似度值的步骤；
选择具有上述平均相似度值中的最大值的认证人脸模板作为新的注册人脸模板的步骤；以及
将新的注册人脸模板存储在上述注册模板数据库来更新上述注册人脸模板的步骤。
9.根据权利要求8所述的人脸识别方法，其特征在于，还包括：
通过神经网络存储从上述认证人脸模板获得的模板值的步骤；
使用上述认证模板数据库中存储的多个认证人脸模板的值来对上述多个认证人脸模板中的每一个求出彼此之间的距离的步骤；
使用这些距离的值来对上述多个认证人脸模板中的每一个求出平均距离值的步骤；
选择具有上述平均距离值中的最小值的人脸模板作为上述新的注册人脸模板的步骤。
CN202080011939.1A 2020-03-04 2020-11-09 能够更新注册人脸模板的人脸识别系统及方法 Pending CN114270417A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200027174A KR102137060B1 (ko) 2020-03-04 2020-03-04 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
KR10-2020-0027174 2020-03-04
PCT/KR2020/015581 WO2021177544A1 (ko) 2020-03-04 2020-11-09 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
CN114270417A true CN114270417A (zh) 2022-04-01

Family

ID=71894317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011939.1A Pending CN114270417A (zh) 2020-03-04 2020-11-09 能够更新注册人脸模板的人脸识别系统及方法

Country Status (4)

Country Link
US (1) US20220318369A1 (zh)
KR (1) KR102137060B1 (zh)
CN (1) CN114270417A (zh)
WO (1) WO2021177544A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512427A (zh) * 2022-11-04 2022-12-23 北京城建设计发展集团股份有限公司 一种结合配合式活检的用户人脸注册方法与系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
US11983965B2 (en) 2020-11-05 2024-05-14 Samsung Electronics Co., Ltd. Electronic device for biometric authentication and method for operating the same
KR102591040B1 (ko) * 2021-09-23 2023-10-20 국민대학교산학협력단 딥러닝 기반 비대면 실시간 학습 관리 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100445800B1 (ko) * 2001-01-05 2004-08-25 학교법인 인하학원 상관관계를 이용한 유사도 측정의 얼굴 인증 방법
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
KR20080090035A (ko) * 2007-04-03 2008-10-08 삼성전자주식회사 웹 서비스를 이용한 방문자 식별 시스템 및 방법
US8331632B1 (en) * 2007-08-06 2012-12-11 University Of South Florida Indexing face templates using linear models
JP5072757B2 (ja) * 2008-07-24 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20100080425A1 (en) * 2008-09-29 2010-04-01 Board of regents of the Nevada System of Higher Education, on Behalf of the University of Minutiae-based template synthesis and matching
KR101421952B1 (ko) * 2013-05-03 2014-07-23 주식회사 슈프리마 얼굴 인식 장치 및 방법
US9747494B2 (en) * 2015-11-16 2017-08-29 MorphoTrak, LLC Facial matching system
CN107818253B (zh) * 2017-10-18 2020-07-17 Oppo广东移动通信有限公司 人脸模板数据录入控制方法及相关产品
US10970516B2 (en) * 2017-10-25 2021-04-06 Synaptics Incorporated Systems and methods for biometric recognition
CN109615733A (zh) * 2018-11-15 2019-04-12 金菁 一种基于人脸识别的农牧场防盗方法、装置及存储介质
KR102137060B1 (ko) * 2020-03-04 2020-07-23 씨엠아이텍주식회사 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512427A (zh) * 2022-11-04 2022-12-23 北京城建设计发展集团股份有限公司 一种结合配合式活检的用户人脸注册方法与系统
CN115512427B (zh) * 2022-11-04 2023-04-25 北京城建设计发展集团股份有限公司 一种结合配合式活检的用户人脸注册方法与系统

Also Published As

Publication number Publication date
US20220318369A1 (en) 2022-10-06
KR102137060B1 (ko) 2020-07-23
WO2021177544A1 (ko) 2021-09-10

Similar Documents

Publication Publication Date Title
CN114270417A (zh) 能够更新注册人脸模板的人脸识别系统及方法
KR102462818B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
US9098760B2 (en) Face recognizing apparatus and face recognizing method
EP1629415B1 (en) Face identification verification using frontal and side views
JP5517858B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8929595B2 (en) Dictionary creation using image similarity
US10922399B2 (en) Authentication verification using soft biometric traits
JP2003317101A (ja) データベース自動更新方法を用いた顔検証方法及びそのシステム
CN111183405A (zh) 调整头部区域的数字表示
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
KR20160054783A (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
Conde et al. Multimodal 2D, 2.5 D & 3D Face Verification
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
WO2021026281A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
KR101756919B1 (ko) 얼굴 인식 장치 및 방법
KR100955255B1 (ko) 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
Cai et al. Robust facial expression recognition using RGB-D images and multichannel features
JP2008015871A (ja) 認証装置、及び認証方法
KR100893086B1 (ko) 조명 변화에 강인한 얼굴 검출 방법
KR102325251B1 (ko) 근태 메뉴의 활성화가 가능한 얼굴 인식 시스템 및 방법
CN112183215A (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及系统
CN117854194B (zh) 基于人工智能的可视化门禁控制方法和系统
JP2013218604A (ja) 画像認識装置、画像認識方法及びプログラム
Middendorff et al. Multibiometrics using face and ear

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination