CN110633677B - 人脸识别的方法及装置 - Google Patents

人脸识别的方法及装置 Download PDF

Info

Publication number
CN110633677B
CN110633677B CN201910881025.XA CN201910881025A CN110633677B CN 110633677 B CN110633677 B CN 110633677B CN 201910881025 A CN201910881025 A CN 201910881025A CN 110633677 B CN110633677 B CN 110633677B
Authority
CN
China
Prior art keywords
face image
similarity
face
standard
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910881025.XA
Other languages
English (en)
Other versions
CN110633677A (zh
Inventor
孙浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Priority to CN201910881025.XA priority Critical patent/CN110633677B/zh
Priority to TW108140067A priority patent/TWI734246B/zh
Publication of CN110633677A publication Critical patent/CN110633677A/zh
Priority to US16/807,292 priority patent/US11216648B2/en
Application granted granted Critical
Publication of CN110633677B publication Critical patent/CN110633677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种人脸识别的方法，包括：接收多个原始人脸图像；通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像；以及使用原始人脸图像测试集及标准人脸图像测试集训练识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集及上述标准人脸图像测试集分别由上述原始人脸图像及上述标准人脸图像采样组成。

Description

人脸识别的方法及装置
技术领域
本公开一般涉及生物识别技术，且更加具体地说是有关于一种人脸识别的方法及装置。
背景技术
由于脸部为人类的一项重要的生物特征，因此发展出许多人脸相关的研究。其中，一项重要的应用为人脸识别，其通过计算机分析比较人脸特征，进行身份鉴别。在利用人脸识别作为门禁控管的依据时，可省去感应卡的管理建置费用，也能免去进出门禁的人员忘记带卡的困扰。相较于其他生物特征的识别方式，人脸识别利用非侵入、非接触的方式进行，容易被大多数人接受的。尤其，在双手无暇刷卡或按密码时，特别能感受到人脸识别技术的好处。
此外，另一项重要的人脸相关的研究为人脸检测。人脸检测常应用在有可疑的移动物体进入监控摄影机的设定范围内时，立即检测并启动人脸判别及追踪功能，锁定移动物体并判断其是否为可疑的入侵者。
然而，由于现代人对潮流的不断追求，往往会进行一定程度的装扮，比如：佩戴帽子、眼镜、墨镜、口罩、化妆等。同时在进行人脸识别时由于个体身高、身型等差异，会存在不同识别角度，比如：造成侧脸、低头等识别角度问题。如何能在不同情景下快速、准确的识别人脸结果，是一个亟待解决的问题。
因此，需要一种人脸识别的方法及装置，以提升人脸识别的精确度。
发明内容
以下发明内容仅为示例性的，且不意指以任何方式加以限制。除所述说明性方面、实施方式和特征之外，通过参照附图和下述具体实施方式，其他方面、实施方式和特征也将显而易见。即，以下发明内容被提供以介绍概念、重点、益处及本文所描述新颖且非显而易见的技术优势。所选择，非所有的，实施例将进一步详细描述如下。因此，以下发明内容并不意旨在所要求保护主题的必要特征，也不意旨在决定所要求保护主题的范围中使用。
本公开提出一种人脸识别模型训练的方法，包括：接收多个原始人脸图像；通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像；使用上述原始人脸图像及上述标准人脸图像训练识别模型；以及使用原始人脸图像测试集及标准人脸图像测试集测试上述识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集是由上述原始人脸图像采样组成，而上述标准人脸图像测试集是由上述标准人脸图像采样组成。
在一些实施例中，上述方法还包括：使用混合测试集测试上述识别模型，其中上述混合测试集是由上述原始人脸图像及上述标准人脸图像随机采样所组成。
在一些实施例中，上述方法还包括：通过上述标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像；将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度；以及根据上述第一相似度及上述第二相似度计算最终相似度。
在一些实施例中，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
在一些实施例中，上述方法还包括：将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
在一些实施例中，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
在一些实施例中，每一标准人脸图像是仅包括人脸区域且上述人脸区域未有其他物件的正脸图像。
在一些实施例中，上述原始人脸图像是具有多姿态或具有其他物件的人脸图像。
在一些实施例中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
在一些实施例中，上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
本公开提出一种人脸识别模型训练的装置，包括：一个或多个处理器；以及一个或多个计算机存储介质，储存计算机可读取指令，其中上述处理器使用上述计算机存储介质以执行：接收多个原始人脸图像；通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像；使用上述原始人脸图像及上述标准人脸图像训练识别模型；以及使用原始人脸图像测试集及标准人脸图像测试集测试上述识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集是由上述原始人脸图像采样组成，而上述标准人脸图像测试集是由上述标准人脸图像采样组成。
本公开提出一种人脸识别的方法，包括：通过标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像；将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度；以及根据上述第一相似度及上述第二相似度计算最终相似度。
在一些实施例中，上述第一原始人脸图像及上述第一标准人脸图像为预存图像。
在一些实施例中，上述第二原始人脸图像及上述第二标准人脸图像为即时图像。
在一些实施例中，上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
在一些实施例中，α＝0.5及β＝0.5。
在一些实施例中，上述方法还包括：将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
在一些实施例中，上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×"SimiF2P1"
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
在一些实施例中，α＝0.5、β＝0.3、γ＝0.1及δ＝0.1。
在一些实施例中，每一标准人脸图像是仅包括人脸区域且上述人脸区域未有其他物件的正脸图像。
在一些实施例中，上述第一原始人脸图像或上述第二原始人脸图像是具有多姿态或具有其他物件的人脸图像。
在一些实施例中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
在一些实施例中，上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
本公开提出一种人脸识别的装置，包括：一个或多个处理器；以及一个或多个计算机存储介质，储存计算机可读取指令，其中上述处理器使用上述计算机存储介质以执行：通过标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像；将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度；以及根据上述第一相似度及上述第二相似度计算最终相似度。
附图说明
附图被包括以提供本公开进一步理解且被合并并组成本公开的一部分。附图是说明本公开的实施例且连同描述一起用以解释本公开的原理。其可理解附图不一定按比例描绘，一些元件可以超过在实际实施方式的大小来显示，以清楚地说明本公开的概念。
图1是示出根据本发明实施例所述的包括人脸识别系统的环境示意图。
图2A至2L是示出根据本公开实施例的原始人脸图像。
图3是示出根据本公开实施例的标准人脸图像。
图4是示出根据本公开实施例所述的人脸识别模型训练的方法的流程图。
图5是示出根据本公开实施例所述的原始人脸图像测试集中的原始人脸图像与标准人脸图像测试集中的人脸图像之间的对应关系。
图6是示出根据本公开实施例所述的人脸识别的方法的流程图。
图7是示出用以实现本发明实施例的示例性操作环境。
具体实施方式
在下文中将参考附图对本公开的各方面进行更充分的描述。然而，本公开可以具体化成许多不同形式且不应解释为局限于贯穿本公开所呈现的任何特定结构或功能。相反地，提供这些方面将使得本公开周全且完整，并且本公开将给本领域技术人员充分地传达本公开的范围。基于本文所教导的内容，本领域的技术人员应意识到，无论是单独还是结合本公开的任何其它方面实现本文所公开的任何方面，本公开的范围旨在涵盖本文中所公开的任何方面。例如，可以使用本文所提出任意数量的装置或者执行方法来实现。另外，除了本文所提出本公开的多个方面之外，本公开的范围更旨在涵盖使用其它结构、功能或结构和功能来实现的装置或方法。应当理解的是，其可通过申请专利范围的一个或多个元件具体化本文所公开的任何方面。
词语“示例性”在本文中用于表示“用作示例、实例或说明”。本公开的任何方面或本文描述为“示例性”的设计不一定被解释为优选于或优于本公开或设计的其他方面。此外，相同的数字在所有若干图示中指示相同的元件，且除非在描述中另有指定，而冠词“一”和“上述”包含多个的参考。
可以理解，当元件被称为被“连接”或“耦接”至另一元件时，该元件可被直接地连接到或耦接至另一元件或者可存在中间元件。相反地，当该元件被称为被“直接连接”或“直接耦接”至到另一元件时，则不存在中间元件。用于描述元件之间的关系的其他词语应以类似方式被解释(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等方式)。
图1是示出根据本发明实施例所述的包括人脸识别系统100的环境示意图。人脸识别系统100至少包含连接至网络130的影像采集装置110及识别装置120。
影像采集装置110的设置角度以能够捕捉人脸的角度为主，用以采集人脸图像。影像采集装置110可以是任何市售可采集影像的装置或设备，例如网络摄影机等。
识别装置120可包括输入装置122，其中，该输入装置122被配置为从各种来源接收输入数据。举例来说，识别装置120可以通过网络130从其他来源装置接收人脸图像数据或接收由影像采集装置110所传送的人脸图像。识别装置120也可接收包括脸部的训练图像，并基于接收到的训练图像训练被配置为识别脸部的识别器。
识别装置120还包括处理器124及可以存储程序1282的存储器128。此外，图像可储存在存储器128中。在另一实施例中，识别装置120可与本文所描述之外的其他组件、系统、子系统和/或装置一起使用。
识别装置120的类型范围从小型手持装置(例如，移动电话/便携式计算机)到大型主机系统(例如大型计算机)。便携式计算机的示例包括个人数字助理(PDA)、笔记本电脑等装置。影像采集装置110可使用网络130连接至识别装置120。网络130可以是本领域技术人员所熟悉任何类型的网络，其可使用各种通信上可用协定中的任一种来支持数据通信，包括但不局限于TCP/IP等等。举例来说，网络130可为局域网(LocalAreaNetwork，LAN)，像是以太网等等、虚拟网络，包括但不局限于虚拟专用网络(VirtualPrivateNetwork，VPN)、英特网(Internet)、无线网络和/或这些和/或其他网络的任何组合。
应当理解的是，图1所示的识别装置120是上述人脸识别系统100架构的示例。图1所示的每个元件可经由任何类型的计算装置来实现，像是参考图7所描述的计算装置700，如图7所示。
为方便说明本发明实施例，在此先定义原始人脸图像及标准人脸图像。原始人脸图像定义为原始取得的人脸图像。举例来说，原始人脸图像可为配置有穿戴装饰物件(如，口罩、眼镜、帽子等)的人脸图像、有头发的人脸图像、有化妆的人脸图像、具有多姿态(如，夸张表情)的人脸图像、脸上非关键部位被遮挡的人脸图像或是仅显示侧脸的人脸图像。图2A-2L是示出根据本公开实施例的原始人脸图像。图2A-2B是示出原始人脸图像为具有多姿态(如，皱眉、张嘴等表情)的人脸图像。图2C-2H是示出原始人脸图像为仅显示侧脸的人脸图像或人脸偏向某一方向的人脸图像。图2I-2L是示出原始人脸图像为配置有穿戴装饰物件(如，口罩、眼镜、帽子等)的人脸图像。
标准人脸图像定义为仅包含人脸区域的正脸图像。举例来说，标准人脸图像是没有化妆、没有头发且脸部区域并没有任何装饰物件(如，口罩、眼镜、帽子等)的正脸图像。图3是示出根据本公开实施例的标准人脸图像。如图所示，此标准人脸图像只有脸部区域且并没有其他任何装饰物件(如，口罩、眼镜、帽子等)。
图4是示出根据本公开实施例所述的人脸识别模型训练的方法400的流程图。此方法可执行于如图1所示的识别装置120的处理器中。
在步骤S405中，识别装置接收多个原始人脸图像。在实施例中，识别装置可通过网络从其他来源装置接收原始人脸图像或接收由影像采集装置所传送的原始人脸图像。这些多个原始人脸图像的集合在本文中又可被称为原始人脸图像测试集。
然后，在步骤S410中，识别装置通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像。举例来说，原始人脸图像被口罩遮住部分(如，口、鼻)或侧脸时，标准人脸生成模型会模拟生成被遮住部分。举例来说，当原始人脸图像是侧脸(如图2C、2D、2E、2F、2G、2H所示)或被口罩遮住口、鼻(如图2K、2L所示)而导致缺少部份的人脸信息时，标准人脸生成模型会通过模拟的方式生成被遮住部分。在实施例中，此标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。上述生成式对抗网络是指利用生成式对抗网络生成标准人脸的方法。具体地，生成式对抗网络(GenerativeAdversarialNetwork，GAN)更包含相应的衍生技术及方法。例如：inforGAN、BigGAN、cycleGAN、AttGAN、StarGAN等方法。在另一实施例中，此标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。须注意的是，上述标准人脸生成模型均可由图1中识别装置120中处理器124所实现。此外，这些多个标准人脸图像的集合在本文中又可被称为标准人脸图像测试集，其中原始人脸图像测试集中的人脸图像和标准人脸图像测试集中的人脸图像一一对应，对应关系可由图5所示。须注意的是，原始人脸图像测试集中的人脸图像和标准人脸图像测试集中的人脸图像可为任意收集的测试图像，也可为实际用户的人脸图像。在人脸识别过程中，当识别模型在训练阶段所使用的人脸图像为任意收集的测试图像时，可重新录入用户的原始人脸图像及相应的标准人脸图像至识别模型的数据库中。当识别模型在训练阶段所使用的人脸图像为实际用户的人脸图像时，可直接导入用户原始人脸图像与标准人脸图像至识别模型的数据库中。还须注意的是，无论是重新录入用户的原始人脸图像及相应的标准人脸图像或导入实际用户原始人脸图像与标准人脸图像至识别装置的数据库中时，识别模型都不需再次训练即可使用。
在步骤S415中，识别装置使用上述原始人脸图像及上述标准人脸图像训练识别模型。在实施例中，此识别模型是卷积神经网络(ConvolutionalNeuralNetwork,CNN)。在步骤S420中，识别装置使用原始人脸图像测试集及标准人脸图像测试集测试上述识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集是由原始人脸图像采样组成，而上述标准人脸图像测试集是由标准人脸图像采样组成。须注意的是，上述第一阈值及上述第二阈值可根据实际使用情况及符合产品应用需求而人为设定。例如：在通常情况下，第一阈值与第二阈值可设置为50％，即识别模型准确率为一半以上时，可认为识别模型已具备识别能力。但是，在门禁识别、出入境识别等较为严格的应用需求下，第一阈值与第二阈值可设置为较高数值(例如：99％)，即识别模型准确率超过阈值时认为识别模型已具备识别能力。
在另一实施例中，在执行完步骤S420后，识别装置还可使用混合测试集测试上述识别模型，其中上述混合测试集是对在原始人脸图像测试集中的原始人脸图像及对在标准人脸图像测试集中的标准人脸图像进行随机采样所组成。例如：上述混合测试集是由上述原始人脸图像及上述标准人脸图像按1：1、2：1或1：2等不同比例随机采样组成，或者上述混合测试集是由上述原始人脸图像及上述标准人脸图像根据实际测试情况需要，没有比例或数量限制随机采样组成。当上述识别模型识别上述混合测试集的第三准确率高于第三阈值时，识别装置则可判定上述识别模型已具备同时识别原始人脸及标准人脸的能力。在此实施例中，须特别注意的是，在一些实际应用的过程中，可不必执行完步骤S420后，再使用混合测试集测试上述识别模型。更具体的说，可单独使用混合测试集测试上述识别模型，以使识别模型具备同时识别原始人脸及标准人脸的能力；而不用使用步骤S420训练识别模型。
下方将详细说明识别装置如何在第4图中所训练并测试识别模型进行人脸识别的流程。图6是示出根据本公开实施例所述的人脸识别模型训练的方法600的流程图。此方法可执行于如图1所示的识别装置120的处理器中。
在流程开始之前，识别装置已预先将识别模型训练并测试完成。此外，识别装置更可先储存对应用户中的一个第一原始人脸图像。在步骤S605中识别装置通过标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像。在实施例中，此标准人脸生成模型是生成式对抗网络。在另一实施例中，此标准人脸生成模型是变分自动编码器。须注意的是，上述标准人脸生成模型均可由图1中识别装置120中处理器124所实现。在一些的实际应用中，上述第一原始人脸图像与上述第一标准人脸图像可由人脸识别模型训练时产生的原始人脸图像测试集及标准人脸图像测试集直接导入至上述识别装置数据库中。在另外一些实际应用中，上述第一原始人脸图像与上述第一标准人脸图像可根据实际应用，重新录入用户人脸图像至上述识别装置的数据库中。在此须注意的是，上述第一原始人脸图像与上述第一标准人脸图像将作为用户人脸图像预存至识别装置数据库中。换言之，第一原始人脸图像与第一标准人脸图像为预存图像。
接着，在步骤S610中，识别装置通过上述标准人脸生成模型产生对应用户的第二原始人脸图像中的一个第二标准人脸图像。此第二原始人脸图像可由识别装置通过网络从其他来源装置所接收或由影像采集装置所传送，并通过上述标准人脸生成模型可即时产生上述第二标准人脸图像。换言之，第二原始人脸图像与第二标准人脸图像为即时图像。须注意的是，第一原始人脸图像或第二原始人脸图像可为具有多姿态(如，夸张表情)或具有其他物件(如，口罩、眼镜、帽子等)的人脸图像。在另一实施例中，识别装置也可接收包括对应上述用户的图像。举例来说此图像可包括两个以上不同的多个人脸，而多个人脸其中的一个必须是第二原始人脸图像。须注意的是，第一标准人脸图像及第二标准人脸图像均为仅包括人脸区域且上述人脸区域没有其他物件的正脸图像。
然后，在步骤S615中，识别装置将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度。
在步骤S620中，识别装置根据上述第一相似度及上述第二相似度计算最终相似度，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。在一实施例中，α＝0.5及β＝0.5。以下更详细地说明α≥β的用意。对大多数的情况而言，原始人脸图像的识别率会比标准人脸图像高。但若是某些脸部特征被遮住的情况下，标准人脸图像的识别率便会比原始人脸图像的识别率高。因此，在通过结合原始人脸图像与标准人脸图像做人脸识别后，识别装置将给予原始人脸图像识别率较高的权重α，而标准人脸图像的识别率β做辅助的方式，以提高对人脸识别的成功率。
在另一实施例中，在步骤S620执行后，识别装置更可将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度。识别装置可根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。在一实施例中，α＝0.5、β＝0.3、γ＝0.1及δ＝0.1。以下更详细地说明α≥β+γ+δ及β>γ+δ的用意。对大多数的情况而言，原始人脸图像的识别率会比标准人脸图像高。但若是某些脸部特征被遮住的情况下，标准人脸图像的识别率便会比原始人脸图像的识别率高。因此，在通过结合原始人脸图像与标准人脸图像做人脸识别后，识别装置将给予原始人脸图像识别率最高的权重α。除了较重视原始人脸图像的识别率所以给予较高权重α之外，标准人脸图像的识别率仍是作为参考用。但标准人脸图像的识别率仍会比使用原始人脸图像与标准人脸图像交叉比对的识别率高，因此识别装置将设定标准人脸图像的权重β大于使用原始人脸图像与标准人脸图像交叉比对的权重总和γ+δ。须注意的是，上述α、β、γ及δ的数值并不用以限定本公开，所属技术领域中具有通常知识者得以根据本实施例做适当更换或调整。
如上所述，本公开的人脸识别模型训练的方法及装置是通过标准人脸生成模型去除原始人脸图像的装饰，以辅助人脸识别，并提高准确率。
对于本发明已描述的实施例，下文描述了可以实现本发明实施例的示例性操作环境。具体参考图7，图7是示出用以实现本发明实施例的示例性操作环境，一般可被视为计算装置700。计算装置700仅为合适计算环境的一个示例，并不意图暗示对本发明使用或功能范围的任何限制。计算装置700也不应被解释为具有与所示元件任一或组合相关任何的依赖性或要求。
本发明可在计算机程序码或机器可使用指令来执行本发明，指令可为程序模块的计算机可执行指令，其程序模块由计算机或其它机器，例如个人数位助理或其它便携式装置执行。一般而言，程序模块包括例程、程序、物件、元件、数据结构等，程序模块指的是执行特定任务或实现特定抽象数据类型的程序码。本发明可在各种系统组态中实现，包括便携式装置、消费电子产品、通用计算机、更专业的计算装置等。本发明还可在分布式运算环境中实现，处理由通信网络所连结的装置。
参考图7。计算装置700包括直接或间接耦接以下装置的总线710、存储器712、一个或多个处理器714、一个或多个显示元件716、输入/输出(I/O)端口718、输入/输出(I/O)元件720以及说明性电源供应器722。总线710表示可为一个或多个总线的元件(例如，地址总线、数据总线或其组合)。虽然图7的各个方块为简要起见以线示出，实际上，各个元件的分界并不是具体的，例如，可将显示装置的呈现元件视为I/O元件；处理器可具有存储器。
计算装置700一般包括各种计算机可读取介质。计算机可读取介质可以是可被计算装置700存取的任何可用介质，该介质同时包括易失性和非易失性介质、可移动和不可移动介质。举例但不局限于，计算机可读取介质可包括计算机存储介质和通信介质。计算机可读取介质同时包括在用于储存像是计算机可读取指令、数据结构、程序模块或其它数据之类信息的任何方法或技术中实现的易失性和非易失性介质、可移动和不可移动介质。计算机存储介质包括但不局限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能光盘(DVD)或其它光盘储存装置、磁片、磁盘、磁片储存装置或其它磁储存装置，或可用于储存所需的信息并且可被计算装置700存取的其它任何介质。计算机存储介质本身不包括信号。
通信介质一般包含计算机可读取指令、数据结构、程序模块或其它采用诸如载波或其他传输机制之类的模块化数据信号形式的数据，并包括任何信息传递介质。术语“模块化数据信号”是指具有一个或多个特征集合或以在信号中编码信息中的一个方式更改的信号。举例但不局限于，通信介质包括像是有线网络或直接有线连接的有线介质及无线介质，像是声频、射频、红外线以及其它无线介质。上述介质的组合包括在计算机可读取介质的范围内。
存储器712包括以易失性和非易失性存储器形式的计算机存储介质。存储器可为可移动、不移动或可以为这两种的组合。示例性硬体装置包括固态存储器、硬盘驱动器、光盘驱动器等。计算装置700包括一个或多个处理器，其读取来自像是存储器712或I/O元件720各实体的数据。显示元件716向用户或其它装置显示数据指示。示例性显示元件包括显示装置、扬声器、列印元件、振动元件等。
I/O端口718允许计算装置700逻辑连接到包括I/O元件720的其它装置，一些此种装置为内建装置。示例性元件包括麦克风、摇杆、游戏台、碟形卫星信号接收器、扫描仪、打印机、无线装置等。I/O元件720可提供自然用户介面，用于处理用户生成的姿势、声音或其它生理输入。在一些例子中，这些输入可被传送到合适的网络元件以便进一步处理。NUI可实现语言识别、触摸与手写笔识别、面部识别、生物识别、在屏幕上以及邻近屏幕的姿势识别、空中手势、头部及眼部追踪以及与计算装置700所显示相关联的触摸识别的任意组合。计算装置700可装备有深度照相机，像是立体照相机系统、红外线照相机系统、RGB照相机系统和这些系统的组合，以检测与识别姿势。另外，计算装置700可以装备有检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可被提供给计算装置700显示以呈现沉浸式增强现实或虚拟实境。
此外，计算装置700中的处理器714也可执行存储器712中的程序及指令以呈现上述实施例所述的操作和步骤，或其它在说明书中内容的描述。
在此所公开程序的任何具体顺序或分层的步骤仅为举例的方式。基于设计上的偏好，必须了解到程序上的任何具体顺序或分层的步骤可在此文件所公开的范围内被重新安排。伴随的方法权利要求以示例顺序呈现出各种步骤的元件，也因此不应被此所展示的特定顺序或阶层所限制。
权利要求中用以修饰元件的“第一”、“第二”、“第三”等序数词的使用本身未暗示任何优先权、优先次序、各元件之间的先后次序、或方法所执行的步骤的次序，而仅用作标识来区分具有相同名称(具有不同序数词)的不同元件。
虽然本公开已以实施范例公开如上，然其并非用以限定本案，任何熟悉此项技术者，在不脱离本公开的精神和范围内，可做些许改动与润饰，因此本案的保护范围当视后附的权利要求书所界定者为准。
[符号说明]
100 人脸识别系统
110 影像采集装置
120 识别装置
122 输入装置
124 处理器
128 存储器
1282 程序
130 网络
400 方法
S405、S410、S415、S420 步骤
600 方法
S605、S610、S615、S620 步骤
700 计算装置
710 总线
712 存储器
714 处理器
716 显示元件
718I/O 端口
720I/O 元件
722 电源供应器

Claims (44)

1.一种人脸识别模型训练的方法，包括：
接收多个原始人脸图像，其中所述原始人脸图像为原始取得的人脸图像；
通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像，其中所述标准人脸图像为仅包含人脸区域的正脸图像；
使用上述原始人脸图像及上述标准人脸图像训练识别模型；以及
使用原始人脸图像测试集及标准人脸图像测试集测试上述识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集是由上述原始人脸图像采样组成，而上述标准人脸图像测试集是由上述标准人脸图像采样组成。
2.根据权利要求1所述的人脸识别模型训练的方法，还包括：
使用混合测试集测试上述识别模型，其中上述混合测试集是由上述原始人脸图像及上述标准人脸图像随机采样所组成。
3.根据权利要求1所述的人脸识别模型训练的方法，还包括：
通过上述标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；
通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像；
将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度；以及
根据上述第一相似度及上述第二相似度计算最终相似度。
4.根据权利要求3所述的人脸识别模型训练的方法，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
5.根据权利要求3所述的人脸识别模型训练的方法，还包括：
将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及
根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
6.根据权利要求5所述的人脸识别模型训练的方法，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
7.根据权利要求1所述的人脸识别模型训练的方法，其中每一个标准人脸图像是仅包括人脸区域且上述人脸区域没有其他物件的正脸图像。
8.根据权利要求1所述的人脸识别模型训练的方法，其中上述原始人脸图像是具有多姿态或具有其他物件的人脸图像。
9.根据权利要求1所述的人脸识别模型训练的方法，其中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
10.根据权利要求1所述的人脸识别模型训练的方法，其中上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
11.一种人脸识别模型训练的装置，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，储存计算机可读取指令，其中上述处理器使用上述计算机存储介质以执行：
接收多个原始人脸图像，其中所述原始人脸图像为原始取得的人脸图像；
通过标准人脸生成模型产生对应上述原始人脸图像的多个标准人脸图像，其中所述标准人脸图像为仅包含人脸区域的正脸图像；
使用上述原始人脸图像及上述标准人脸图像训练识别模型；以及
使用原始人脸图像测试集及标准人脸图像测试集测试上述识别模型，直到上述识别模型识别上述原始人脸图像测试集的第一准确率高于第一阈值，且上述识别模型识别上述标准人脸图像测试集的第二准确率高于第二阈值为止，其中上述原始人脸图像测试集是由上述原始人脸图像采样组成，而上述标准人脸图像测试集是由上述标准人脸图像采样组成。
12.根据权利要求11所述的人脸识别模型训练的装置，上述处理器还执行：
使用混合测试集测试上述识别模型，其中上述混合测试集是由上述原始人脸图像及上述标准人脸图像随机采样所组成。
13.根据权利要求11所述的人脸识别模型训练的装置，上述处理器还执行：
通过上述标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；
通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像；
将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度；以及
根据上述第一相似度及上述第二相似度计算最终相似度。
14.根据权利要求13所述的人脸识别模型训练的装置，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
15.根据权利要求13所述的人脸识别模型训练的装置，上述处理器还执行：
将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及
根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
16.根据权利要求15所述的人脸识别模型训练的装置，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
17.根据权利要求11所述的人脸识别模型训练的装置，其中每一个标准人脸图像是仅包括人脸区域且上述人脸区域没有其他物件的正脸图像。
18.根据权利要求11所述的人脸识别模型训练的装置，其中上述原始人脸图像是具有多姿态或具有其他物件的人脸图像。
19.根据权利要求11所述的人脸识别模型训练的装置，其中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
20.根据权利要求11所述的人脸识别模型训练的装置，其中上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
21.一种人脸识别的方法，包括：
通过标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；
通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像，其中所述第一原始人脸图像和所述第二原始人脸图像为原始取得的人脸图像；
将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度，其中所述第一标准人脸图像和所述第二标准人脸图像为仅包含人脸区域的正脸图像；以及
根据上述第一相似度及上述第二相似度计算最终相似度。
22.根据权利要求21所述的人脸识别的方法，其中上述第一原始人脸图像及上述第一标准人脸图像为预存图像。
23.根据权利要求21所述的人脸识别的方法，其中上述第二原始人脸图像及上述第二标准人脸图像为即时图像。
24.根据权利要求21所述的人脸识别的方法，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
25.根据权利要求24所述的人脸识别的方法，其中α＝0.5及β＝0.5。
26.根据权利要求21所述的人脸识别的方法，还包括：
将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及
根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
27.根据权利要求26所述的人脸识别的方法，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
28.根据权利要求24所述的人脸识别的方法，其中α＝0.5、β＝0.3、γ＝0.1及δ＝0.1。
29.根据权利要求21所述的人脸识别的方法，其中每一个标准人脸图像是仅包括人脸区域且上述人脸区域没有其他物件的正脸图像。
30.根据权利要求21所述的人脸识别的方法，其中上述第一原始人脸图像或上述第二原始人脸图像是具有多姿态或具有其他物件的人脸图像。
31.根据权利要求21所述的人脸识别的方法，其中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
32.根据权利要求21所述的人脸识别的方法，其中上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
33.一种人脸识别的装置，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，储存计算机可读取指令，其中上述处理器使用上述计算机存储介质以执行：
通过标准人脸生成模型产生对应用户的第一原始人脸图像中的一个第一标准人脸图像；
通过上述标准人脸生成模型产生对应上述用户的第二原始人脸图像中的一个第二标准人脸图像，其中所述第一原始人脸图像和所述第二原始人脸图像为原始取得的人脸图像；
将上述第二原始人脸图像与上述第一原始人脸图像相比较取得第一相似度，并将上述第二标准人脸图像与上述第一标准人脸图像相比较取得第二相似度，其中所述第一标准人脸图像和所述第二标准人脸图像为仅包含人脸区域的正脸图像；以及
根据上述第一相似度及上述第二相似度计算最终相似度。
34.根据权利要求33所述的人脸识别的装置，其中上述第一原始人脸图像及上述第一标准人脸图像为预存图像。
35.根据权利要求33所述的人脸识别的装置，其中上述第二原始人脸图像及上述第二标准人脸图像为即时图像。
36.根据权利要求33所述的人脸识别的装置，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，α及β是介于0～1之间的数值，且α+β＝1及α≥β。
37.根据权利要求36所述的人脸识别的装置，其中α＝0.5及β＝0.5。
38.根据权利要求33所述的人脸识别的装置，还包括：
将上述第二原始人脸图像与上述第一标准人脸图像相比较取得第三相似度，并将上述第二标准人脸图像与上述第一原始人脸图像相比较取得第四相似度；以及
根据上述第一相似度、上述第二相似度、上述第三相似度及上述第四相似度计算上述最终相似度。
39.根据权利要求38所述的人脸识别的装置，其中上述最终相似度FinalSimilarity表示如下：
FinalSimilarity＝α×SimiP2P1+β×SimiF2F1+γ×SimiP2F1+δ×SimiF2P1
其中SimiP2P1是上述第一相似度，SimiF2F1是上述第二相似度，SimiP2F1是上述第三相似度，SimiF2P1是上述第四相似度，α、β、γ及δ是介于0～1之间的数值，且α+β+γ+δ＝1、α≥β+γ+δ及β>γ+δ。
40.根据权利要求39所述的人脸识别的装置，其中α＝0.5、β＝0.3、γ＝0.1及δ＝0.1。
41.根据权利要求33所述的人脸识别的装置，其中每一个标准人脸图像是仅包括人脸区域且上述人脸区域没有其他物件的正脸图像。
42.根据权利要求33所述的人脸识别的装置，其中上述第一原始人脸图像或上述第二原始人脸图像是具有多姿态或具有其他物件的人脸图像。
43.根据权利要求33所述的人脸识别的装置，其中，上述标准人脸生成模型是生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
44.根据权利要求33所述的人脸识别的装置，其中上述标准人脸生成模型是变分自动编码器(VariationalAuto-Encoder，VAE)。
CN201910881025.XA 2019-09-18 2019-09-18 人脸识别的方法及装置 Active CN110633677B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910881025.XA CN110633677B (zh) 2019-09-18 2019-09-18 人脸识别的方法及装置
TW108140067A TWI734246B (zh) 2019-09-18 2019-11-05 人臉辨識的方法及裝置
US16/807,292 US11216648B2 (en) 2019-09-18 2020-03-03 Method and device for facial image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910881025.XA CN110633677B (zh) 2019-09-18 2019-09-18 人脸识别的方法及装置

Publications (2)

Publication Number Publication Date
CN110633677A CN110633677A (zh) 2019-12-31
CN110633677B true CN110633677B (zh) 2023-05-26

Family

ID=68971546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910881025.XA Active CN110633677B (zh) 2019-09-18 2019-09-18 人脸识别的方法及装置

Country Status (3)

Country Link
US (1) US11216648B2 (zh)
CN (1) CN110633677B (zh)
TW (1) TWI734246B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN114092864B (zh) * 2022-01-19 2022-04-12 湖南信达通信息技术有限公司 伪造视频的识别方法、装置、电子设备及计算机存储介质
CN114882578B (zh) * 2022-07-12 2022-09-06 华中科技大学 一种多域对抗学习的小样本条件下复合表情识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
CN108491824A (zh) * 2018-04-03 2018-09-04 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110575B2 (en) * 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7512571B2 (en) * 2002-08-29 2009-03-31 Paul Rudolf Associative memory device and method based on wave propagation
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7657086B2 (en) * 2006-01-31 2010-02-02 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection using a nose ridge mask
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
TWI382354B (zh) 2008-12-02 2013-01-11 Nat Univ Tsing Hua 臉部辨識方法
US10505756B2 (en) * 2017-02-10 2019-12-10 Johnson Controls Technology Company Building management system with space graphs
US20180343120A1 (en) * 2016-10-26 2018-11-29 Black Gold Coin, Inc. Systems and methods for providing a universal decentralized solution for verification of users with cross-verification features
CN109145801B (zh) * 2018-08-13 2021-02-02 浙江宇视科技有限公司 一种人脸识别方法及人脸识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
CN107609481A (zh) * 2017-08-14 2018-01-19 百度在线网络技术（北京）有限公司 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN108491824A (zh) * 2018-04-03 2018-09-04 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质

Also Published As

Publication number Publication date
TW202113685A (zh) 2021-04-01
US11216648B2 (en) 2022-01-04
CN110633677A (zh) 2019-12-31
US20210081653A1 (en) 2021-03-18
TWI734246B (zh) 2021-07-21

Similar Documents

Publication Publication Date Title
US11074436B1 (en) Method and apparatus for face recognition
CN110633677B (zh) 人脸识别的方法及装置
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
US9443307B2 (en) Processing of images of a subject individual
Porzi et al. A smart watch-based gesture recognition system for assisting people with visual impairments
Chauhan et al. Study & analysis of different face detection techniques
US11062126B1 (en) Human face detection method
Huong et al. Static hand gesture recognition for vietnamese sign language (VSL) using principle components analysis
CN114698399A (zh) 人脸识别方法、装置及可读存储介质
CN114360697A (zh) 远程防疫作业方法、系统、设备及存储介质
Zhang et al. A virtual proctor with biometric authentication for facilitating distance education
US11620728B2 (en) Information processing device, information processing system, information processing method, and program
JP7247579B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7314509B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021026744A (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
Jeny et al. Deep Learning Framework for Face Mask Detection
JP2016018406A (ja) 認証装置、認証方法、およびプログラム
Hossain et al. A multi-modal gait based human identity recognition system based on surveillance videos
Grabovskyi et al. Facial recognition with using of the microsoft face API Service
JP7211435B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
Khan et al. Face recognition techniques (frt) based on face ratio under controlled conditions
JP2013069187A (ja) 画像処理システム、画像処理方法、サーバおよびプログラム
US20220101649A1 (en) Information processing system, information processing method, and storage medium for anonymized person detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant