CN108664782B - 面部验证方法和设备 - Google Patents

面部验证方法和设备 Download PDF

Info

Publication number
CN108664782B
CN108664782B CN201711455941.4A CN201711455941A CN108664782B CN 108664782 B CN108664782 B CN 108664782B CN 201711455941 A CN201711455941 A CN 201711455941A CN 108664782 B CN108664782 B CN 108664782B
Authority
CN
China
Prior art keywords
image
facial
face
verification
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711455941.4A
Other languages
English (en)
Other versions
CN108664782A (zh
Inventor
韩承周
高民守
金德相
崔昌圭
韩在濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170071331A external-priority patent/KR102359558B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108664782A publication Critical patent/CN108664782A/zh
Application granted granted Critical
Publication of CN108664782B publication Critical patent/CN108664782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

一种面部验证方法和设备。所述面部验证方法包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息来执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。

Description

面部验证方法和设备
本申请要求于2017年3月28日提交到韩国知识产权局的第10-2017-0039202号韩国专利申请的权益，以及于2017年6月8日提交到韩国知识产权局的第10-2017-0071331号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有的目的通过引用合并于此。
技术领域
下面的描述涉及面部验证技术。
背景技术
面部验证技术是一种生物测量学认证技术，并且可包括基于静止图像或视频中呈现的面部来验证用户是否是有效用户。这样的面部验证技术可在不与目标接触的情况下验证目标。
发明内容
提供该发明内容来以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。该发明内容不意图指出要求保护的主题的关键特征或必要特征，所述发明内容也不意图用于帮助确定要求保护的主题的范围。
在一个总体方面，一种处理器实现的面部验证方法，包括：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。
确定的遮蔽区域可对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。
提取一个或多个面部特征的步骤可包括：从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征；执行验证操作的步骤可包括：将第三面部特征与有效用户的登记面部特征进行比较。
提取一个或多个面部特征的步骤可包括：从来自面部区域和合成的面部图像的图像信息的组合提取面部特征；执行验证操作的步骤可包括：将提取的面部特征与有效用户的登记面部特征进行比较。
生成合成的面部图像的步骤可包括：通过将参考图像中的与遮蔽区域对应的区域的图像信息与从面部区域排除遮蔽区域的剩余区域的图像信息进行合成，来生成合成的面部图像。
生成合成的面部图像的步骤可包括：通过将面部区域内的预定义的遮蔽区域的图像信息替换为参考图像信息，来生成合成的面部图像。
生成合成的面部图像的步骤可包括：检测面部区域中的遮挡区域，确定检测到的遮挡区域的遮挡对象类型，基于确定的遮挡对象类型确定遮蔽区域，通过将面部图像中的与确定的遮蔽区域对应的面部区域内的图像信息替换为参考图像信息来生成合成的面部图像。
所述方法还可包括：基于确定的遮蔽区域从参考图像确定参考图像信息。
确定检测到的遮挡区域的遮挡对象类型的步骤可包括：检测面部区域中的面部的界标，基于界标的检测的结果来确定遮挡区域的遮挡对象类型。
确定遮挡对象类型的步骤可包括：从眼镜、太阳镜、帽子和面具的多个遮挡对象类型之中确定遮挡对象类型。
所述方法还可包括：将遮蔽区域确定为具有眼镜、太阳镜、面具或帽子的形式。
提取一个或多个面部特征的步骤可包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像和从合成的面部图像提取面部特征。
所述方法可包括：通过将训练数据反复地应用到神经网络并调节神经网络的参数，来训练神经网络特征提取器，直到神经网络被训练为从训练数据准确地提取特征为止。
训练神经网络特征提取器的步骤还可包括：从训练数据生成参考图像信息。
面部图像与参考图像之间的第一差分图像的图像信息可被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息可被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层可输出提取的面部特征，其中，可针对提取的面部特征和预定的登记信息执行验证操作。
参考图像信息可以是从训练图像确定的图像信息，其中，通过训练图像训练执行所述一个或多个面部特征的提取的特征提取器。
提取所述一个或多个面部特征的步骤可包括：从面部区域与参考图像之间的第一差分图像提取第一面部特征；从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征；基于第一面部特征和第二面部特征，确定与输入图像对应的第三面部特征，其中，可针对第三特征和预定的登记信息执行验证操作。
可通过第一特征提取器提取第一面部特征，可通过第二特征提取器提取第二面部特征。
确定第三面部特征的步骤可包括：通过第三特征提取器提取第三面部特征。
参考图像信息可以是单个颜色。
执行验证操作的步骤可包括：将来自提取的一个或多个面部特征中的提取的面部特征与在针对有效用户的登记操作中提取的登记特征进行比较。
登记特征可代表是基于用于面部登记的登记图像和合成的登记面部图像，其中，通过将登记图像中的确定的登记遮蔽区域的图像信息替换为与参考图像信息对应的参考图像的图像信息来在面部登记中生成的合成的登记面部图像。
所述方法还可包括：通过将登记图像的面部区域的图像信息和基于确定的登记遮蔽区域选择的对应的参考图像信息进行组合，来生成合成的登记面部图像，从登记面部图像的面部区域和合成的登记面部图像提取登记特征，其中，参考图像信息和对应的参考图像信息可以是参考图像的图像信息。
登记特征可代表基于用于面部登记的登记图像和基于多个遮蔽区域类型合成的在面部登记中生成的合成的登记面部图像。
在一个总体方面，提供一种存储指令的非暂时性计算机可读介质，其中，所述指令在被处理器执行时，使得处理器实现在此描述的一个或多个或所有操作。
在一个总体方面，一种处理器执行的面部验证方法包括：从登记图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和基于验证图像提取的一个或多个特征，执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。
确定的遮蔽区域可对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。
提取一个或多个面部特征的步骤可包括：从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，其中，执行验证操作的步骤可包括：将第三面部特征与来自验证图像提取的一个或多个特征中的验证特征进行比较。
所述方法还可包括：基于确定的验证遮蔽区域，通过将验证图像的面部区域的图像信息与对应的参考图像信息进行组合，来生成合成的验证面部图像；从验证图像的面部区域和合成的验证面部图像提取验证特征，其中，参考图像信息和对应的参考图像信息可以是同一参考图像的图像信息。
提取一个或多个面部特征的步骤可包括：从来自面部区域与合成的面部图像的图像信息的组合提取面部特征，其中，执行验证操作的步骤可包括：将提取的面部特征与来自基于验证图像提取的一个或多个特征中的验证面部特征进行比较。
提取一个或多个面部特征的步骤可包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像和从合成的面部图像提取面部特征。
所述方法还可包括：使用训练的神经网络特征提取器，提取基于验证图像提取的所述一个或多个特征中的验证特征，并通过将验证特征与提取的面部特征进行比较，来执行验证操作。
面部图像与参考图像之间的第一差分图像的图像信息可被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息可被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层可输出提取的面部特征。
在一个总体方面，一种面部验证设备包括处理器，其中，处理器被配置为：从输入图像检测面部区域；基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；从面部区域和合成的面部图像提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息，执行验证操作以指示输入图像的验证是否成功。
确定的遮蔽区域可对应于包括在面部区域中的由处理器确定的遮挡对象或者对应于被处理器预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。
处理器可被配置为：通过将参考图像中的与遮蔽区域对应的区域的图像信息与从面部区域排除遮蔽区域的剩余区域的图像信息进行合成，来生成合成的面部图像。
处理器可被配置为：从面部区域与参考图像之间的第一差分图像提取第一面部特征；从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征；基于第一面部特征和第二面部特征，确定与输入面部对应的第三面部特征，针对第三特征和预定的登记信息执行验证。
在一个总体方面，一种处理器实现的面部验证方法包括：获得用于验证的面部图像；通过将被预测为包括遮挡区域的面部图像的区域替换为其他数据来生成合成的面部图像；使用训练的神经网络从面部图像和合成的面部图像提取特征；通过将提取的特征与登记用户面部的特征进行比较来确定验证是否成功。
被预测为包括遮挡区域的面部图像的区域可以是被预测为包括眼镜、太阳镜、帽子或面具的面部图像的区域。
生成合成的面部图像的步骤可包括：在没有确定面部图像中是否存在遮挡区域的情况下，生成合成的面部图像。
神经网络可包括一个或多个特征提取层，其中，面部图像的信息和合成的面部图像的信息二者可被输入到所述一个或多个特征提取层中的同一特征提取层，其中，所述同一特征提取层的提取的特征结果可确定来自面部图像的提取的特征。
神经网络可包括多个特征提取层，其中，面部图像的信息可被提供给所述多个特征提取层的第一层，合成的面部图像的信息可被输入到所述多个特征提取层的第二层，来自第一层的提取的特征结果和来自第二层的提取的特征结果二者可被输入到所述多个特征提取层的第三层，来自第三层的提取的特征结果可确定来自面部图像的提取的特征。
在面部图像中可不包括遮挡区域，并且可基于包括遮挡区域的面部图像来提取登记用户面部的特征。
在面部图像中可包括遮挡区域，并且可基于不包括遮挡区域的面部图像来提取登记用户面部的特征。
在一个总体方面，一种计算设备包括：相机，被配置为获得面部图像；处理器，被配置为：通过将被预测为包括遮挡区域的面部图像的区域替换为其他数据来生成合成的面部图像，使用训练的神经网络从面部图像和合成的面部图像提取特征，通过将提取的特征与登记用户面部的特征进行比较来确定验证是否成功。
被预测为包括遮挡区域的面部图像的区域可以是被预测为包括眼镜、太阳镜、帽子或面具的面部图像的区域。
处理器可被配置为：在没有确定面部图像中是否存在遮挡区域的情况下生成合成的面部图像。
处理器可被配置为：实现包括一个或多个特征提取层的神经网络，并将面部图像的信息和合成的面部图像的信息二者输入到所述一个或多个特征提取层的同一特征提取层，其中，所述同一特征提取层的提取的特征结果确定来自面部图像的提取的特征。
处理器可被配置为实现包括多个特征提取层的神经网络，并被配置为：将面部图像的信息输入到所述多个特征提取层的第一层，将合成的面部图像的输入信息输入到所述多个特征提取层的第二层，并且将来自第一层的提取的特征结果和来自第二层的提取的特征结果二者输入到所述多个特征提取层的第三层，其中，第三层的提取的特征结果决定来自面部图像的提取的特征。
在面部图像中可不包括遮挡区域，并且可基于包括遮挡区域的面部图像来提取登记用户面部的特征。
在面部图像中可包括遮挡区域，并且可基于不包括遮挡区域的面部图像来提取登记用户面部的特征。
在一个总体方面，一种处理器实现的面部验证方法，包括：从输入图像检测面部区域；从面部区域的图像信息和与确定的遮挡遮蔽区域对应的参考图像信息提取一个或多个面部特征；针对所述一个或多个面部特征和预定的登记信息，执行验证操作；基于执行的验证操作的结果，指示输入图像的验证是否成功。
可通过基于训练数据训练的一个或多个训练的神经网络层来执行所述一个或多个面部特征的提取，并且可从训练数据得到参考图像信息。
确定的遮蔽区域可对应于包括在面部区域中的一个或多个确定的遮挡对象和/或对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的一个或多个区域。
提取一个或多个面部特征的步骤可包括：从面部区域提取第一面部特征并从面部区域的图像信息和与确定的遮挡遮蔽区域对应的参考图像信息的组合提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，其中，执行验证操作的步骤可包括：将第三面部特征与有效用户的登记面部特征进行比较。
所述方法还可包括：通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像，其中，提取第二面部特征的步骤可包括：从生成的合成的面部图像提取第二面部特征。
确定的遮挡遮蔽区域可对应于包括在面部区域中的两个或更多个确定的遮挡对象和/或对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的两个或更多个区域。
所述方法可包括：通过将面部区域的图像信息与参考图像信息进行组合，来生成合成的面部图像，提取一个或多个面部特征的步骤可包括：从生成的合成的面部图像提取所述一个或多个面部特征。
从下面具体实施方式、附图和权利要求，其他特征和方面将变得清楚。
附图说明
图1示出面部验证的示例。
图2是示出面部验证方法的示例的流程图。
图3是示出产生合成的面部图像的处理的示例的流程图。
图4A至图4D示出面部登记处理和面部验证处理的示例。
图5示出合成的面部图像的示例。
图6A至图6D示出确定面部特征的处理的示例。
图7是示出面部验证设备的示例的框图。
图8是示出计算设备的示例的框图。
图9是示出训练设备的示例的框图。
贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便，附图中元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将变得清楚。在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将变得清楚的那样改变。另外，为了更加清楚和简洁，可省略对已知的功能和构造的描述。
在此描述的特征可以以不同的形式实施，并且不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出在理解本申请的公开之后将变得清楚的实施在此描述的方法、装置和/或系统的许多可能的方式中的一些方式。
下面的具体结构或功能描述仅是示例性地描述示例，并且示例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。
虽然术语“第一”或“第二”用于解释各种组件，但是所述组件不受限于所述术语。这些术语应仅用于区分一个组件与另一个组件。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
如在此使用的，除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。例如，如在此使用的，除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。还应理解，除非本公开的上下文和理解另外指示，否则当在本说明书中使用时，术语“包括”、“包含”和/或“具有”指出在示例实施例中存在阐述的特征、整体、操作、元件、组件或它们的组合/组，但不排除在可选实施例中存在或添加一个或多个其他特征、整体、操作、元件、组件和/或它们的组合/组，也不排除在另外可选实施例中缺少这样阐述的特征、整体、操作、元件、组件和/或它们的组合/组。此外，在此针对示例或实施例(例如，关于示例或实施例可包括或者可实现什么)的术语“可”的使用表示存在包括或实现这样的特征的至少一个示例或实施例，然而所有的示例和实施例不限于此。
除非在此另外定义，否则在此使用的所有术语(包括技术或科学术语)具有与本公开的理解一致并且在理解本公开之后本领域普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则通用字典中定义的术语应被解释为具有与相关领域和本公开中的上下文含义相匹配的含义，而不应被解释为理想化的或过于正式的含义。
图1示出面部验证的示例。
面部验证指的是基于试图验证的用户的面部来验证用户是否为有效用户的方法。例如，面部验证用于验证在用户登录、支付服务或访问控制中的有效用户。参照图1，被配置为执行面部验证的面部验证设备被包括在计算设备120中。计算设备120包括：例如，智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理(PDA)、机顶盒、家用电器、基于生物测量学的门锁、安全装置或车辆起动装置。
计算设备120可通过面部验证来验证试图访问计算设备120的用户110。例如，当用户110正在试图向计算设备120进行面部验证例如以取消计算设备120的锁定状态时，计算设备120使用图像获得设备(例如，相机130)来获得用户110的面部图像，并通过分析获得的面部图像来确定是否取消计算设备120的锁定状态。在这样的示例中，如果从登记图像提取的特征与从验证图像提取的特征之间的确定的相似度满足预定阈值，则用户可被确定为计算设备120的有效用户，用户可被允许获得对受限区域的访问，或者用户可被授权实施金融交易或支付等。可通过显示器125向用户通知成功验证，或者示例的另外操作然后可通过显示器125而变为可用。
在一个示例中，计算设备120使用特征提取器从面部图像提取面部特征，并基于提取的面部特征与在例如相同或不同的计算设备120的面部登记处理中登记的示例登记特征的比较的结果来确定面部验证是否成功。特征提取器表示基于输入信息输出特征信息(例如，特征向量或概率值)的硬件实现的模型。在一个示例中，特征提取器表示基于训练数据训练的训练的神经网络。在一个示例中，示例神经网络可以是单个训练的神经网络，或者可由多个训练的神经网络组成。在以上示例中，响应于面部验证成功，用户110可成功地取消计算设备120的锁定状态。相反，响应于面部验证的确定的失败，用户110可无法取消计算设备120的锁定状态，并且计算设备120可保持在示例锁定状态下操作，或者用户可不被允许获得对受限区域的访问，或者用户可不被允许执行金融或支付操作。
针对面部验证，可使用示例相机130拍摄用户110的至少面部。这里，如图1所示，当用户110佩戴眼镜115时，眼镜115可以为通常可妨碍面部验证的准确判断的遮挡障碍物、元素或对象。在另一种情况下，当用户110佩戴太阳镜、面具(例如，保健面具)或帽子时，遮挡障碍物可以是通常可妨碍准确的判断的太阳镜、面具或者帽子。通常，在捕捉的面部图像中可存在眼镜115、太阳镜、面具或帽子这样的遮挡障碍物中的任何一个或全部；因为遮挡障碍物可阻碍通常用于验证用户110的独特特征或者对应的验证处理可由于在对应的登记处理期间来自登记图像的提取的特征而通常依赖的独特特征的检测或可观察性，所以这样的遮挡障碍物通常可单个或集体地负面影响通过计算设备的面部验证的可靠性和准确性。此外，通常，除了用户110是否佩戴示例眼镜115、太阳镜、面具或帽子之外，眼镜115、太阳镜、面具或帽子的各种类型和形状也可影响这样的面部验证的结果。
例如，通常，当在用户110没有佩戴眼镜115的状态下已经执行面部登记处理之后，用户110佩戴眼镜115并试图进行这样的面部验证时，因为在对应的典型的面部登记处理中没有考虑眼镜115来确定登记特征，所以可由于眼镜115的出现而发生错误拒绝。类似地，通常，当在用户佩戴眼镜115的状态下执行这样的面部登记处理之后，用户110没有佩戴眼镜115并试图典型的面部验证时，可由于在验证图像中不存在眼镜115而发生错误拒绝。因此，在这样的典型的验证技术方法中存在至少如下技术问题：登记和验证特征提取间的这样的遮挡差异可导致错误的拒绝，计算设备可例如无法基于处于审查的潜在主体的实际的准确性或精确性来适当地操作。仅作为非限制性示例，如在下面图2至图9中进一步讨论的，针对解决当前方法的这样的缺陷的一个或多个技术方案的讨论在下面被提供，并因此可在计算设备120中提供一个或多个解决方案，其中，一个或多个解决方案通过使用计算设备120执行可对面部遮挡方面(例如，眼镜115)较不敏感或者可对面部遮挡方面更鲁棒的面部验证来提高面部验证期间的识别率。
图2是示出面部验证方法的示例的流程图。
参照图2，在操作210中，面部验证设备接收输入图像。
输入图像被输入到面部验证设备，并表示作为面部验证的目标的输入面部。输入的验证图像可通过图像获得设备(例如，数码照相机、摄像机和/或其他传感器)获得，可被外部地提供，或者可从面部验证设备的本地存储器获取或可通过面部验证设备的其他处理操作提供。
在诸如图1的计算设备120、图7的面部验证设备700、图8的计算设备800以及图9的训练设备900的示例中每个面部验证设备包括一个或多个处理器，其中，一个或多个处理器被配置为基于一个或多个验证图像执行面部验证，并输出验证结果和/或基于一个或多个登记图像执行面部登记，其中，图1的计算设备120、图7的面部验证设备700、图8的计算设备800以及图9的训练设备900中的每一个在此可单独地和共同地被称为各自的面部验证设备。例如，验证结果例如通过明确的指示或推理的指示来指示包括在验证图像中的面部是否对应于有效用户。例如，当包括在验证图像中的面部对应于有效用户时，验证结果可包括指示验证已经成功的信息；当包括在验证图像中的面部不对应于有效用户时，验证结果可选择地包括指示验证失败的信息。可选地，诸如，在(例如，在没有用户的请求或潜在知晓的情况下)自动执行或在后台操作中执行面部验证的情况下，可不向用户明确地报告成功或失败的验证结果，但是成功或失败的指示可通过推理操作来控制/建立另外的操作(或者不操作)，或者输出结果可被明确地指示给另一装置或服务器，其中，另一装置或服务器可从一个或多个这样的面部验证设备接收或监视一个或多个捕捉的面部的一个或多个面部验证的结果。因此，验证结果可通过实现或启动面部验证设备的进一步处理(诸如，用户验证可以是有益的或者需要用户验证的进一步的处理操作)来指示，并且验证结果可用于实现或启动面部验证设备的进一步处理。仅作为示例，当包括在验证图像中的面部被面部验证设备验证为有效用户的面部时，面部验证设备可诸如当面部验证设备为用户终端(例如，智能电话或平板电脑)时解锁面部验证设备的用户界面，解锁使用户能够访问另外的信息或执行用户终端的另外的功能，或者面部验证设备可由于面部验证而控制或指示外部装置允许用户进入受到限制的区域，或者可授权进行或启动金融或支付交易，以及根据实施例的可选操作或处理。
通过将关于一个或多个验证图像的信息与关于一个或多个登记图像的信息进行比较来执行面部验证。例如，有效用户自动地或者在用户控制下通过例如经由面部验证设备的登记图像的捕捉，来使用面部验证设备登记面部图像。作为非限制性示例，面部验证设备的处理器可以是控制示例用户终端的另外的操作的面部验证设备的一个或多个处理器，或者可以是专门配置用于面部验证的专用处理器(例如，GPU、可重构处理器或者专用神经网络或机器学习加速处理器)。当在面部验证设备的验证处理中时，输入图像可被称为验证图像，而在面部验证设备的登记处理中，输入图像可被称为登记图像。在登记处理中，面部验证设备从有效用户的面部提取特征并存储提取的特征。也可使用训练数据预先训练用于提取特征的神经网络配置。例如，当用户登记完成时，并且当验证图像被接收时，面部验证设备可分析验证图像，从验证图像中的用户的面部提取特征，并且基于验证阈值通过比较从验证图像提取的特征与预先存储的登记图像的特征来执行面部验证。
面部验证设备可被配置为执行一个或多个或所有的神经网络验证训练、没有验证的在此的登记操作、不执行登记的在此的一个或多个或所有的验证操作，或者可被配置为执行训练、登记操作和验证操作中的任何一个或任何组合。在一个示例中，一个面部验证设备可捕捉登记图像，该面部验证设备或另一个面部验证设备可执行图像登记，并且该面部验证设备、该另一个面部验证设备和/或又一面部验证设备可捕捉验证图像，以及上述面部验证设备或者另外的面部验证设备中的任何面部验证设备可基于例如如由这样的面部验证设备中的任何面部验证设备登记并存储的登记图像来执行验证图像的验证。任何面部验证设备可训练提取器或验证模型或神经网络，或者另一个面部验证设备可执行训练。这样的面部验证设备可进行通信并且共享或者分别从其各自的存储提供任何训练的参数、任何登记图像、包括对应的提取的特征的任何其他图像登记信息、任何验证图像、包括对应的提取的特征的任何其他验证信息和/或验证处理的验证结果。因此，虽然下面的示例可涉及获取登记图像、执行登记、获取验证图像并执行验证以及另外的操作(诸如，训练或其他操作)的面部验证设备，但是实施例不限于单个面部验证设备产生所有这样的数据、执行所有这样的操作或者基于验证的成功或不成功结果来授权或实现用户装置的功能的进一步操作。
在这样的示例中，面部验证设备还可被配置为对输入图像执行图像预处理。图像预处理过程(process)可包括：以预定的方式处理输入图像以使输入图像更适合训练、面部验证和/或登记的至少一个处理。例如，预处理过程可包括：调节输入图像的大小的处理、旋转输入图像的处理、从输入图像去除噪声的处理、增加输入图像的对比度的处理、从输入图像去除模糊的去模糊处理、去除背景区域的处理、校正输入图像中的畸变的变形处理、裁剪输入图像中的预定区域的处理或者对输入图像执行二值化的处理。在下文中，不管是否执行这样的图像预处理，之后对“输入图像”的引用可被理解为表示当预处理被执行时已经对其执行了图像预处理的输入图像，并且被理解为表示当预处理未被执行时没有进行图像预处理的输入图像。
因此，在操作220中，面部验证设备可从输入图像检测面部区域。仅作为示例，面部验证设备可使用基于Haar的级联AdaBoost分类器或者Viola-Jones检测器来检测面部区域。然而，示例不限于此。面部验证设备可基于各种面部区域检测方案来检测面部区域。如下面进一步讨论的，可从输入图像获得面部图像。仅作为示例，还可执行前述预处理操作中的一些，以例如诸如通过对输入图像进行标准化、裁剪、仿射变换和/或图像变换以致单独地或者主要地包括检测到的面部区域来获得面部图像。
在操作230中，面部验证方法基于针对面部图像和参考图像的遮蔽区域，通过将面部图像的样子(aspect)和参考图像的样子进行组合来生成合成的面部图像。例如，合成的面部图像中的遮蔽区域对应于输入图像的图像信息已经被参考图像、参考图案或参考值的图像信息替换的一个或多个区域，其中，参考图像、参考图案或参考值的图像信息被选择用于减少可能在面部图像中的面部上存在和/或可能在面部图像中原本不存在但是考虑到可有助于提高验证准确性的面部遮挡元素或对象的影响。在一个示例中，面部验证设备通过将示例参考图像中的与遮蔽区域对应的区域的图像信息和从面部图像排除遮蔽区域的剩余区域的图像信息进行合成来生成合成的面部图像。因此，合成的面部图像中的与遮蔽区域对应的区域表示示例参考图像的图像信息，排除遮蔽区域的剩余区域表示面部图像的图像信息。仅作为示例，各个图像信息可指示图像像素的像素值(例如，颜色值或亮度值)。因此，可通过将输入图像与其他数据进行组合(例如，通过将可被确定、预测或者预先确定为更有可能或通常具有遮挡区域的输入图像的区域替换为其他数据)来生成合成的面部图像。例如，被预测为具有遮挡区域的区域可以是例如被确定或预测为具有眼镜、太阳镜、帽子或面具的区域，或者可以是通常包括这样的遮挡区域或特征的区域。例如，面部验证设备可在不验证对应的遮蔽区域是否实际存在于面部图像中的情况下基于一个或多个这样的遮蔽区域生成合成的面部图像。
在一个示例中，可基于对面部验证的结果的影响将被减少的面部遮挡元素(或者被预测为具有遮挡的区域)的类型来预定义遮蔽区域的位置和形式。在登记和/或验证处理期间，不管登记用户的图像是否包括遮蔽元素或区域，减少这样的遮挡样子对面部验证结果的影响可对应于针对同一用户更少的验证拒绝。例如，当将要减少眼镜(或者太阳镜)对面部验证处理的准确性的影响时，可基于从面部区域检测到的眼睛的位置来确定遮蔽区域的位置(被估计为出现眼镜或太阳镜的位置)，并且可以以与眼镜(或太阳镜)的确定的形状相似的形状来确定遮蔽区域。因此，可通过将来自面部图像的图像信息和与遮蔽区域对应的示例参考图像的图像信息进行混合来形成合成的面部图像。在另一示例中，当在面部验证中要减少面具(例如，保健面具)的影响时，可基于从面部区域检测到的鼻子或嘴巴的位置来确定遮蔽区域的位置(被估计为存在面具的区域)，并且可以以与面具的确定的形状相似的形状来确定遮蔽区域。在另一示例中，当在面部验证中要减少帽子的影响时，可基于从面部区域检测到的眼睛或眉毛的位置来确定遮蔽区域的位置(被估计为存在帽子的位置)，并且可以以与在面部区域中要出现的帽子的确定的形状相似的形状来确定遮蔽区域。此外，面部验证设备通过将输入图像中的预定义的遮蔽区域的图像信息替换为参考图像、图案或值的图像信息来生成合成的面部图像。在本公开中，当确定面部区域中存在面部遮挡元素的遮挡区域时，甚至当在面部区域中实际不存在或者甚至未检测到面部遮挡元素的这样的遮挡区域时，可基于在输入的面部图像中检测到的眼睛、眉毛、鼻子、嘴巴、下巴、耳朵、头发、面部的轮廓或其他特征，通过将定义的遮蔽区域替换为这样的其他参考数据(例如，参考图像的图像信息)，在登记处理或验证处理中，或者在登记处理和验证处理二者中生成合成的面部图像。
在一个示例中，可在生成一个或多个合成的面部图像的处理中实现包括例如与眼镜对应的遮蔽区域和与帽子对应的遮蔽区域的多个遮蔽区域。例如，当单个对应的合成的面部图像被生成时，可将输入图像中的多个遮蔽区域的图像信息分别替换为参考图像中的对应区域的图像信息；或者可实现遮蔽区域的任何组合以生成多个对应的合成的面部图像。
在另一示例中，可基于从输入图像的面部区域检测到的遮挡区域的确定的类型来确定遮蔽区域的位置和形状。下面将参照图3进一步提供相关的更详细的描述。
在一个示例中，参考图像可以是用于生成合成的面部图像的预定义图像。上述参考图像可用于在面部登记处理中生成用于面部登记的合成的面部图像，并可因此类似地用于面部验证处理的面部验证。在一个示例中，仅作为示例，可基于用于训练在登记和/或验证处理中实现的特征提取器的训练图像(诸如，用于训练提取模型或神经网络的训练图像，其中，提取模型或神经网络随后将被用于下面参照图6A-6D和图9进一步讨论的登记和验证处理)来确定参考图像。例如，参考图像可以是训练图像的平均图像或平均值图像。例如，可通过对训练图像中的对应位置的像素值进行平均来生成平均图像。可通过对包括在训练图像中的所有像素的像素值进行平均并将平均像素值分配给所有像素来生成平均值图像。因为像素值可因每个像素位置而不同，所以可在平均图像中表示形式，但是因为所有像素可具有相同的像素值，所以不可以在平均值图像中表示形式。然而，参考图像的形式不限于此。参考图像的形式可变化。例如，参考图像也可以是在整个区域中具有相同颜色的单一颜色图像，而不管训练图像，或者参考图像、图案或值可通过替代方法来确定。
在操作240中，面部验证设备基于面部图像和合成的面部图像来确定与输入面部对应的面部特征。例如，面部验证设备使用基于示例训练的模型或神经网络的特征提取器从面部图像和从合成的面部图像提取与用户面部对应的特征。例如，特征提取器可输出与输入信息对应的特征值作为面部特征。在一个示例中，面部图像与参考图像之间的第一差分图像的图像信息以及合成的面部图像与参考图像之间的第二差分图像的图像信息可被单独地或共同地输入到特征提取器。可通过从面部图像的每个像素值减去参考图像的对应位置的像素值来生成第一差分图像。可通过从合成的面部图像的每个像素值减去参考图像的对应位置的像素值来生成第二差分图像。在另一示例中，第一差分图像的图像信息和第二差分图像的图像信息被输入到不同的特征提取器，并且与输入面部对应的面部特征基于分别从不同的特征提取器输出的第一面部特征和第二面部特征来确定。例如，可在面部登记处理之前预先训练特征提取器，下面分别参照图6A-6D和图9提供特征提取器的训练的进一步的详细描述。
在操作250中，面部验证设备可基于确定的面部特征来确定验证是否成功。例如，面部验证设备可基于将在操作240中确定的面部特征与存储的登记特征(登记的用户面部的特征)进行比较的结果来确定验证是否成功。面部验证设备可确定例如确定的面部特征与登记特征之间的概率相似度，并且基于确定的相似度来确定在输入面部中表示的用户是否是有效用户。随着面部特征与登记特征之间的差异增大，相似度减小。随着面部特征与登记特征之间的差异减小，相似度增大。在一个示例中，面部验证设备响应于相似度满足或大于验证阈值而确定验证成功，并且响应于相似度不满足或小于或等于验证阈值而确定验证失败。
登记特征可指示在面部登记处理中登记的有效用户的面部特征。如指出的，也可在登记处理中通过将登记面部图像中的预定义的遮蔽区域的图像信息替换为参考图像的图像信息来生成对应的合成的面部图像，其中，在登记面部图像中呈现要登记的面部。可因此基于生成的合成的面部图像和登记面部图像来确定登记特征。确定登记特征的处理可以与上述在操作220至240中确定面部特征的处理相同或相似。在一个示例中，登记特征包括分别与遮蔽区域类型对应的登记特征。例如，类似于验证面部图像的特征的提取，可分别与以下登记面部图像对应地提取登记特征中的一个或多个登记特征：不存在眼镜、太阳镜、面具和/或帽子的登记面部图像，和/或存在这样的眼镜、太阳镜、面具和/或帽子的登记面部图像，以及由存在或不存在这样的遮挡的元素或对象的登记面部图像的参考数据表示遮蔽区域的合成的登记面部图像。
如上所述，可基于遮蔽区域生成合成的面部图像，并且可基于对应生成的合成的面部图像和对应的面部图像执行面部登记和/或面部验证，使得面部验证的结果可受到更少的由于因验证图像中的面部遮挡元素或对象的遮挡区域产生的影响。因此，与典型的方法相比，可基于登记和/或验证图像中的面部遮挡元素或对象的形状和位置以及在登记或验证图像中是否存在面部遮挡元素，来防止面部验证的准确性降低。
图3是示出生成合成的面部图像的处理的示例的流程图。
在一个示例中，面部验证设备检测在面部区域中是否存在遮挡区域，并基于与遮蔽区域的确定的类型对应的确定的遮蔽区域来生成面部图像和参考图像的合成的面部图像。下面将提供相关描述。这里，例如，虽然如图3中所示，图3的操作可对应于图2的操作230，但是实施例不限于此。
参照图3，在操作310中，面部验证设备可例如在登记处理或验证处理中从检测到的面部区域(诸如，在输入图像或面部图像的检测到的面部区域中)检测面部的界标(landmark)。面部验证设备可使用基于例如活动轮廓模型(ACM)、活动形状模型(ASM)、活动外观模型(AAM)、监督下降法(SDM)或神经网络模型的界标检测方案，来从面部区域检测面部的界标。面部的界标可以是主要面部部位的特征点。例如，仅作为示例，界标可以是用于辨识诸如眉毛、眼睛、鼻子、嘴巴、下巴、耳朵、头发或脸部轮廓的主要面部部位的特征点。
在操作320中，面部验证设备基于检测界标的结果来检测面部区域中的遮挡区域，并且如果检测到遮挡区域，则确定遮挡区域的类型。例如，响应于确定从面部区域未检测到眼睛周围的区域(例如，眉毛)的界标，遮挡可被检测到，并且遮挡区域的类型可被确定为眼镜。此外，响应于确定未检测到眼睛区域的界标，遮挡可被检测到，并且遮挡区域的类型可被确定为太阳镜。响应于确定未检测到嘴巴区域、嘴巴周围的区域和/或鼻尖区域的界标，遮挡可被检测到，并且遮挡区域的类型可被确定为面具(例如，保健面具)。此外，响应于确定未检测到头发区域的界标，遮挡可被检测到，并且遮挡区域的类型可被确定为帽子。
仅作为示例，响应于在面部区域中未检测到遮挡区域，可如参照图2描述的以及下面针对图4A至图5进一步讨论的，基于任意预定义的遮蔽区域来生成合成的面部图像。
在操作330中，面部验证设备基于遮挡区域的确定的类型来生成对应的面部图像和参考图像的合成的面部图像。面部验证设备通过将与面部图像中的遮挡区域的类型对应的遮蔽区域的图像信息替换为参考图像的图像信息，来生成合成的面部图像。例如，响应于遮挡区域的类型被确定为眼镜，面部验证设备通过将与面部图像中的眼镜对应的遮蔽区域的图像信息替换为参考图像的图像信息，来生成合成的面部图像。在另一示例中，响应于遮挡区域的类型被确定为面具，面部验证设备通过将与面具对应的遮蔽区域的信息替换为参考图像的图像信息，来生成合成的面部图像。此外，在一个示例中，确定的遮挡区域的形状可被确定，并且可以以与确定的遮挡区域的形状相同或相似的形状生成遮蔽区域。
图4A至图4D示出面部登记处理和面部验证处理的示例。
图4A示出在面部登记处理410中基于不包括遮挡区域的面部图像提取登记用户面部的特征的示例以及在面部验证处理450中基于包括遮挡区域的面部图像提取用于面部验证而提取的特征的示例。例如，在面部登记处理410中，面部登记在用户登记未佩戴眼镜时被执行；在面部验证处理450中，面部验证在用户佩戴眼镜462时被执行。
在面部登记处理410中，有效用户的面部被登记。在一个示例中，通过使用用于面部登记的相机拍摄用户的面部来获得登记图像420。从登记图像420检测面部区域，并获得表示检测到的面部区域的面部图像425。如以上针对图2所讨论的，为了获得面部图像425，可执行图像标准化处理(例如，图像裁剪、仿射变换或图像缩放)。
随后，基于面部图像425生成合成的面部图像430。可通过将面部图像425中的与遮蔽区域435对应的区域的图像信息替换为参考图像的图像信息，来生成合成的面部图像430。生成合成的面部图像430的过程可以与图2的操作230和图3的操作中的处理过程相同或相似。仅作为示例，图4A示出遮蔽区域435被定义为眼镜类型的示例。如登记图像420中所示，即使在登记图像420中用户没有佩戴眼镜，也可基于与预定义的眼镜类型对应的遮蔽区域435来生成合成的面部图像430。
在操作440中，可基于面部图像425和合成的面部图像430二者来确定登记特征；在操作445中，可将确定的登记特征存储在诸如验证设备的存储器中。例如，可通过经由神经网络或其他模型实现的特征提取器来确定登记特征。例如，在操作440中的确定登记特征的过程可以与图2的操作240中的验证特征的提取相同或相似。这里，虽然在图2的操作240中确定将要与验证特征进行比较的面部特征，但是可在面部登记处理410中类似地确定用于登记有效用户的面部的登记特征。可针对一个或多个登记图像以及每个登记图像的一个或多个对应的合成的面部图像提取多个特征。
在面部验证处理450中，可确定试图面部验证的用户是否是有效用户。在一个示例中，可通过使用用于面部验证的相机拍摄用户的面部来获得出现验证目标的验证图像460。可从验证图像460检测面部区域，并且可获得表示检测到的面部区域的面部图像465。在一个示例中，还可执行图像标准化处理以从验证图像460获得面部图像465。
随后，可基于与图2的操作230和图3的操作中的处理过程相同或相似的处理过程来生成一个或多个合成的面部图像470。可通过将与遮蔽区域475对应的区域的图像信息替换为参考图像的图像信息，来生成合成的面部图像470。这里，可例如使用与面部图像470中的示例遮挡眼镜对应的形状，从面部图像470确定遮蔽区域475对应的区域。因此，例如，在得到的合成的面部图像470中，眼镜462未出现，而是眼镜462已经被具有参考图像的图像信息的遮蔽区域475替换。
例如，基于与图2的操作240中的处理过程相同或相似的处理过程，然后可在操作480中从面部图像465和合成的面部图像470提取面部特征。这里，特征提取器可用于确定面部特征。用于面部登记处理410的参考图像和特征提取器也可用于面部验证处理450。随后，在操作490中，可基于从操作480得到的面部特征与在面部登记处理410中登记的登记特征的比较的结果，来确定验证是否成功。例如，响应于面部特征与登记特征之间的相似度满足或大于验证阈值，验证被确定为成功。响应于面部特征与登记特征之间的相似度不满足或者小于或等于验证阈值，验证被确定为失败。
图4B示出与图4A的操作相似的当用户在面部登记处理410中未佩戴眼镜时再次执行面部登记并且当用户在面部验证处理450中也未佩戴眼镜时执行面部验证的示例。虽然在各自的面部登记处理410和面部验证处理450中，在输入图像420和输入图像460中出现的各自的用户未佩戴眼镜，但是均基于预定义的遮蔽区域435和遮蔽区域475生成对应的合成的面部图像430和合成的面部图像470，因此，在操作440和操作480中，可基于合成的面部图像430和合成的面部图像470以及面部图像425和面部图像465分别类似地确定对应的提取的面部特征。
图4C示出在面部登记处理410中基于包括遮挡区域的面部图像来提取登记用户面部的特征的示例以及在面部验证处理450中基于不包括遮挡区域的面部图像来提取针对面部验证而提取的特征的示例。例如，面部登记在用户在面部登记处理410中佩戴眼镜422时被执行，面部验证在用户在面部验证处理450中未佩戴眼镜422时被执行。在面部登记处理410中，通过将与面部图像425中的遮蔽区域435对应的区域的图像信息替换为参考图像的图像信息，来生成合成的面部图像430。这里，例如，这可与图4A的验证处理450的操作相似。使用包括来自登记图像的图像信息的遮蔽区域435，眼镜422没有出现在合成的面部图像430中。随后，在操作440中，基于合成的面部图像430和面部图像425确定登记特征。例如，图4C的验证处理450可与图4B的验证处理450相似。
图4D示出当用户在面部登记处理410中佩戴眼镜422时执行面部登记以及当用户在面部验证处理450中也佩戴眼镜462时执行面部验证的示例。在这个示例中，面部登记处理410可与图4C的登记处理410相同地操作，面部验证处理450可与图4A的验证处理450相同地操作。在图4D的面部登记处理410中，眼镜422已经被遮蔽区域435遮挡的合成的面部图像430被生成。在面部验证处理450中，眼镜462已经被遮蔽区域475遮挡的合成的面部图像470被生成。在操作440中，基于合成的面部图像430和面部图像425来确定登记特征；在操作480中，基于合成的面部图像470和面部图像465来确定验证特征。
图5示出合成的面部图像的示例。
如图5中所示，合成的面部图像的形式可根据遮蔽区域的确定的类型而变化。如图像510、530、550和570中所示，在作为面部验证(或者面部登记)的目标的图像中可存在面部遮挡元素(或对象)(例如，眼镜、太阳镜、面具或帽子)的遮挡区域。从图像510、530、550和570中的每一个检测面部区域，并且获得表示各自的检测到的面部区域的面部图像515、535、555和575。与面部图像515、535、555和575中的不同示例类型的遮挡区域分别对应的遮蔽区域525、545、565和585被确定，并且合成的面部图像520、540、560和580通过将来自对应的面部图像515、535、555和575的各自的图像信息与确定的遮蔽区域525、545、565和585内的参考图像的对应区域的交替图像信息进行组合来生成。例如，除了依赖于来自参考图像的图像信息的遮蔽区域525之外，可再现整个面部图像515来共同地生成合成的脸部图像520。在一个示例中，可基于从面部区域检测到的主要的面部部位(例如，眼睛，鼻子和嘴巴)的位置来确定遮蔽区域525、545、565和585的各自的位置。例如，可基于面部图像或输入图像的界标的检测的结果来确定主要的面部部位的位置。如图5中所示，合成的面部图像520中的遮蔽区域525具有眼镜的形式，合成的面部图像560中的遮蔽区域545具有太阳镜的形式。合成的面部图像560中的遮蔽区域565具有面具的形式，合成的面部图像580中的遮蔽区域585具有帽子的形式。可预确定各自的形式，可基于输入图像或面部图像中的对应的检测到的遮挡元素分别定义各自的形式，或者可基于对输入图像或面部图像中的遮挡元素或者潜在面部的特性的这样的分析，从针对每个示例类型的遮挡元素的多个对应的各自的形式之间的选择，来分别确定各自的形式。因此，合成的面部图像520、540、560和580分别包括面部图像515、535、555和575的图像信息以及分配给遮蔽区域525、545、565、585的参考图像的图像信息。
图6A至图6D示出确定面部特征的处理的示例。
参照图6A，面部验证设备通过将面部图像610内的与遮蔽区域625对应的区域替换为参考图像615的图像信息，来生成合成的面部图像620。参考图像615可以是例如在整个区域中具有单个颜色的图像、平均值图像或者用于训练面部验证设备的特征提取器630的两个或更多个或所有的训练图像的平均的图像。因此，可基于面部图像610、合成的面部图像620和参考图像615来提取在面部图像610中表示的输入面部的面部特征。这里，面部图像610的图像信息与合成的面部图像620的图像信息进行组合，然后组合的结果可被输入到特征提取器630。例如，面部图像610和合成的面部图像620中的对应位置处的像素的值的求和的结果被输入到特征提取器630。作为另一示例，面部图像610的图像信息和合成的面部图像620的图像信息的拼接(concatenation)的结果被输入到特征提取器630。在一个示例中，特征提取器630通过从输入图像信息减去参考图像615的图像信息来生成零中心化数据(zero-centered data)，并且使用训练的神经网络模型输出与零中心化数据对应的特征信息。
在此，神经网络包括多个层，多个层中的每个层包括多个节点，并且由验证设备的一个或多个处理器来实现。例如，可存在输入层、至少一个隐藏层和输出层。根据神经网络的架构，可根据各自的训练的连接权重选择地连接包括在相邻层中的节点。例如，可通过这样的处理器(即，验证设备的一个或多个处理器)来实现神经网络，其中，这样的处理器被配置为生成具有这样的多个层的神经网络结构/架构，并且被配置为在神经网络结构的相邻层中的相邻节点之间施加这样的加权连接以解释施加到神经网络结构的输入数据(诸如由图6A-6D的各自的特征提取器630、635、640、645和650表示的输入数据)，其中，多个层中的每个层包括多个节点。仅作为示例，在此，输入数据的这样的“解释”可包括诸如在此用于图像识别或验证的执行的特征提取、识别、验证或拒绝，以及各自的层、层的集合和/或整个神经网络的任何其他训练目标。因此，基于训练数据和期望的解释目标，可在训练期间改变架构、相邻节点之间的选择性连接以及对应的连接权重，直到神经网络被训练为达到期望的解释目标的期望的可接受度为止。例如，在神经网络被训练用于图像验证或拒绝的示例中，神经网络可包括卷积层或者神经网络可代表卷积神经网络(CNN)，因此，例如用于通过特征内核改变特征提取的各自的卷积连接权重可被训练为达到诸如由图9的训练设备900执行的特征提取和面部验证或拒绝操作的原始期望的可接受度。神经网络也可以是不同类型的神经网络，并且为了其他目的而仅包括例如用于选择性的特征提取的一个或多个卷积层。回到神经网络的训练，训练的神经网络的结果连接权重可被称为神经网络的参数(例如，被表示卷积层的至少训练的内核值或者示例CNN的操作的参数)。例如，可基于有标签的输入图像信息或期望的对应输出图像、分类或几何参数诸如通过考虑损失的反向传播或模拟退火算法来训练神经网络。例如，可训练神经网络来提取训练数据的特征。因此，例如，在训练中，递归地调节不同隐藏层的节点之间或用于卷积层的内核的连接权重，直到对应的神经网络模型被训练为具有期望的准确率或低于最大错误率为止。训练的神经网络可被存储在训练或识别设备的存储器中(例如，在在此讨论的验证设备中的任何验证设备中)。在多个示例中，训练的神经网络可以以训练的矢量、矩阵或其他格式被存储，例如，仅作为示例，在训练的矢量、矩阵或其他格式中，矢量、矩阵或其他格式的元素表示或暗示对应的神经网络结构的对应的训练的加权连接或内核(参数)。存储的训练的神经网络还可包括超参数信息，其中，超参数信息可定义示例存储的训练的参数对应的对应神经网络的具体结构或架构。仅作为示例，超参数可定义输入和输出层的架构或结构以及存在多少隐藏层和各自隐藏层的功能和结构/架构、它们各自的布置和哪些是完全连接层、循环层、卷积层、去卷积层或池化层。超参数还可包括神经网络中的任何偏移和/或上下文节点的配置和值、节点的对应的激活函数、节点的类型(诸如，长短期记忆节点)的信息，并且定义可根据训练的神经网络的实施例和解释目标而变化的神经网络的任何或任何进一步的循环结构。
因此，在图6A-6D的操作之前或期间，仅作为示例，验证设备可获取这样的训练参数，并且将如在此讨论的面部图像和合成的面部图像输入到图6A-6D的提取器630、635、640、645和650中的任意提取器，其中，仅作为示例，使用获取的训练的参数来将图6A-6D的提取器630、635、640、645和650中的任意提取器专门配置执行如针对提取器630、635、640、645和650描述的对应的描述的操作。
下面在图6A-6D中提及的特征提取器630、635、640、645和650中的一个或多个特征提取器也可仅通过专门配置的硬件模块来实现，或者通过硬件和存储在例如验证设备中的非暂时性介质中/上或者例如验证设备的外部的非暂时性介质中/上的指令来实现，其中，所述指令在由所述硬件的一个或多个处理器执行时例如使得处理器实现在此描述的操作中的任何操作、任何组合或所有操作。此外，虽然这里针对图6A-6D已经讨论了训练的神经网络实现的特征提取器，但是实施例不限于此。
因此，参照图6B，提供用于获得面部特征的多个这样的特征提取器。第一特征提取器635从面部图像610与参考图像615之间的第一差分图像提取第一面部特征。第二特征提取器640从合成的面部图像620与参考图像615之间的第二差分图像提取第二面部特征。将第一面部特征与第二面部特征进行组合的结果可被确定为与输入面部对应的最终面部特征。例如，第一面部特征与第二面部特征的求和或拼接的结果被确定为最终面部特征。
在第一特征提取器635和第二特征提取器640均通过各自的一个或多个神经网络层来实现的示例中，可将这样的一个或多个神经网络层中的每一个神经网络层的提取的特征结果都提供给随后的神经网络层的同一个下一层，注意可选择的实施方式也是可用的。例如，通过将提取的特征结果都提供给同一个下一层，图6B中示出的求和或拼接可仅通过被提供提取的特征结果的下一层的操作来实现。
例如，如图6C中所示，将从第一特征提取器635和第二特征提取器640分别得到的第一面部特征和第二面部特征组合的这个示例结果可被输入到第三特征提取器645，从第三特征提取器645输出的结果被确定为最终面部特征。
图6C中示出的第一特征提取器635、第二特征提取器640和第三特征提取器645可被设置为实现为如图6D中所示的更详细的神经网络示例的特征提取器650。
参照图6D，将面部图像610与参考图像615之间的第一差分图像的图像信息输入到特征提取器650的神经网络的第一输入层655，并且将合成的面部图像620与参考图像615之间的第二差分图像的图像信息输入到特征提取器650的神经网络的第二输入层660。在一个示例中，第一输入层655和第二输入层660是被具体配置并训练为通过分别执行特征提取操作的各自的卷积操作来提取特征的前述卷积层或网络。可基于特征提取器650的神经网络模型的操作来处理输入到第一输入层655和第二输入层660的图像信息。第一输入层655和第二输入层660可以是并行操作的卷积层或网络，其中，例如，在所述卷积层或网络中，来自第一输入层655和第二输入层660的各自的特征提取操作中的每个特征提取操作的结果可被转发到例如特征提取器650的神经网络中的同一个下一层(例如，由在第一输入层655和第二输入层660的结果的示出的求和或拼接之后的层表示的同一个下一层)。这里，与图6C的示例相似，可在特征提取器650的神经网络操作的这样的中间操作中，将与第一差分图像对应的特征和与第二差分图像对应的特征进行组合。特征提取器650的输出层665可将面部特征输出作为与特征提取器650的输入对应的输出。可选择地，示出的层可以是以输出层665终止的一系列顺序的完全连接的或密集的前馈节点层，其中，输出层665可如训练的那样操作以分析最终提取的特征并例如针对来自前述示例特征提取器630、635、640和645的相似或相同的登记操作的最终确定的提取的特征，例如使用相似或相同的特征提取器650输出验证图像的有效或无效指示。作为另一示例，这样的顺序的完全连接的或密集的前馈节点层可被配置为在特征提取器650之后，并可被提供在登记处理期间由特征提取器650得到的存储的提取的特征以及在验证处理期间由特征提取器650得到的示例当前提取的特征，以输出登记提取的特征中的一个或多个与验证提取的特征中的一个或多个之间的相似度是否满足预定的验证阈值的指示和/或这样的验证概率信息。此外，虽然为了便于描述，简化了图6D中示出的特征提取器650的层结构，但是特征提取器650的层结构不限于此。
图7是示出面部验证设备的示例的框图。验证设备700可被配置为执行以上描述的操作中的任何一个或组合或全部操作，注意实施例也不限于此。
参照图7，面部验证设备700接收用于面部验证的输入图像。面部验证设备700基于将从输入图像提取的面部特征与预先存储在数据库730中的登记特征进行比较的结果，来确定验证是否成功。有效用户可通过在此讨论的面部登记处理中的任何处理来预先登记有效用户的面部，并且关于登记的面部的信息可被存储在数据库730中。
面部验证设备700执行在此描述的一个或多个、任何组合或所有的处理、阶段或面部验证和/或登记操作，并向用户提供面部验证的结果。此外，面部验证设备700还可对应于图9的训练设备900，因此，面部验证设备700还被配置为实现在此描述的一个或多个或所有示例特征提取器模型或神经网络的训练以及如在此讨论的用于进一步提供用户的面部验证的结果的这样的模型或神经网络的训练。
面部验证设备700包括至少一个处理器710和存储器720。存储器720是连接到处理器710的非暂时性计算机可读介质或装置，并可存储指令，其中，所述指令在由处理器710执行时使得处理器710实现在此描述的一个或多个或所有操作。存储器720还可存储将由处理器710操作的数据或由处理器710处理的数据。存储器720还可存储一个或多个模型或神经网络的训练的参数，其中，所述参数当被应用时如在此描述的那样配置处理器710。存储器720可包括例如高速随机存取存储器和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置和其他非易失性固态存储器装置)。
处理器710可被配置为执行在此参照图1-6和图8-9描述的一个或多个或所有处理、阶段或操作。例如，处理器710可被配置为通过将在输入图像中被预测为具有遮挡区域的区域替换为其他数据来生成合成的面部图像。处理器710可被配置为：从输入图像检测面部区域，生成面部图像，并基于确定的遮蔽区域，通过将表示面部区域的面部图像与参考图像进行合成来生成合成的面部图像。例如，处理器710可通过将参考图像中的与遮蔽区域对应的区域的图像信息与排除了遮蔽区域的剩余区域的图像信息进行合成来生成合成的面部图像。处理器710基于面部图像和合成的面部图像来确定与输入面部对应的一个或多个面部特征。例如，处理器710可从面部图像与参考图像之间的第一差分图像提取第一面部特征，并从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征，然后基于第一面部特征和第二面部特征确定与输入面部对应的最终面部特征。处理器710可基于确定的面部特征与登记特征之间的确定的相似度来确定验证是否成功。
图8是示出计算设备的示例的框图。
计算设备800通过获得表示用户的面部的图像来执行面部验证处理，并通过将从获得的图像提取的面部特征与预先登记的登记特征进行比较来执行面部验证处理。作为非限制性示例，计算设备800可对应于图1的计算设备120、图7的面部验证设备700以及图9的训练设备900。
计算设备800包括：处理器810、存储器820、相机830、存储装置840、输入装置850、输出装置860和网络接口870。处理器810、存储器820、相机830、存储装置840、输入装置850、输出装置860和网络接口870通过通信总线880相互通信。
处理器810可如在此描述的那样在计算设备800中实现功能和指令。例如，处理器810可执行存储在存储器820或存储装置840中的指令。处理器810被配置为执行参照图1至图9描述的一个或多个或所有处理、阶段或操作。此外，处理器810被配置为控制计算设备800的其他功能。例如，计算设备800可以是移动装置(诸如，移动电话、平板电脑或个人计算机)，因此，处理器810还被配置为实现计算设备800的其他典型的功能。在一个示例中，处理器810可被配置为：一旦用户的捕捉的面部图像成功验证，实现仅允许用户访问的解锁操作或者实现这样的其他典型的功能。
存储器820是存储将要用于面部验证的信息的非暂时性计算机可读介质或装置。存储器820包括计算机可读存储介质或计算机可读存储装置。此外，存储器820还代表多个这种类型的存储器。存储器820存储将由处理器810实现或执行的指令，并存储在由计算设备800正在执行的软件或应用期间的相关信息。
相机830捕捉静止图像、视频或二者。处理器810可控制相机830捕捉例如试图面部验证的用户的包括面部区域的图像，或者可(例如，在没有用户启动的情况下)控制相机830自动地捕捉图像并自动地验证用户。此外，如上所述，还可在计算设备800的其他功能期间(诸如，当作为个人相机操作时)通过处理器810来控制相机830。
存储装置840包括计算机可读存储介质或计算机可读存储装置。存储装置840存储包括在面部登记处理中登记的信息(例如，登记特征)的数据库。在一个示例中，存储装置840比存储器820存储更大量的信息，并且将信息存储很长一段时间。例如，存储装置840可包括：例如，磁性硬盘、光盘、闪存、软盘和在本公开所属的技术领域中公知的其他形式的非易失性存储器。
输入装置850通过触觉、视频、音频或触摸输入从用户接收输入。例如，输入装置850可包括被配置为检测来自用户的输入并且将检测到的输入传送到计算设备800的键盘、鼠标、触摸屏、麦克风和其他装置。
输出装置860通过视觉、听觉或触觉通道向用户提供计算设备800的输出。例如，输出装置860包括被配置为将输出提供给用户的显示器、触摸屏、扬声器、振动生成器以及其他装置。
网络接口870通过有线或无线网络与外部装置进行通信。网络接口870包括：例如，被配置为发送或接收信息的以太网卡、光收发器、射频收发器或另一网络接口卡。网络接口870使用蓝牙、WiFi或者第三代(3G)、第四代(4G)或第五代(5G)通信方法与外部装置进行通信。网络接口870还可包括近场收发器等。例如，通过在用户的认证时对处理器810的控制，近场收发器可诸如利用由近场收发器发送的适当的移动支付指令来将支付授权发送到外部终端。此外，例如，处理器810可控制网络接口870例行地检查用于登记提取器和/或验证提取器以及神经网络的更新，并在存储器820中请求、接收、存储登记提取器和/或验证提取器以及神经网络的参数或系数。例如，当通过以上示例神经网络特征提取器和/或面部验证网络来实现特征提取器和面部验证时，处理器810可请求、接收并存储用于提取器中的任何或所有的提取器或面部验证网络的更新的加权矩阵。此外，还可在存储器820或存储装置840中的任意一个中请求、接收并存储可控制或改变这样的神经网络的配置或架构的更新的超参数以及对应的加权矩阵。
图9是示出训练设备的示例的框图。
参照图9，训练设备900训练用于面部验证的特征提取器930(诸如，以上针对图6A-6D讨论的特征提取器)。在这样的示例中，特征提取器930与被训练为输出与输入值对应的结果值并基于训练图像和参考图像训练的一个或多个神经网络相关联。这里，参考图像可与在上述面部登记处理和面部验证处理中使用的参考图像等同，但是实施例不限于此。
训练设备900包括至少一个处理器910和存储器920。存储器920是连接到处理器910的非暂时性计算机可读介质或装置，并存储可由处理器910实现的用于实现神经网络的这样的训练的指令、将要由处理器910操作的数据或者在神经网络的训练期间由处理器910处理的数据。存储器920还存储训练之后的神经网络的作为结果产生的训练参数。
响应于训练图像被输入到训练设备900，处理器910从训练图像检测面部区域，并例如使用处理器910(例如，与图2-6D的面部登记和面部验证处理相似地)基于遮蔽区域通过将表示面部区域的面部图像与参考图像进行合成来生成合成的面部图像，其中，处理器910通过将与参考图像中的遮蔽区域对应的区域的图像信息和面部图像中排除遮蔽区域的剩余区域的图像信息进行合成来生成合成的面部图像。例如，诸如以上结合图6A-6D的描述所讨论的，处理器910使用特征提取器930从面部图像和合成的面部图像提取面部特征，并且不同隐藏层的节点之间的连接权重被递归地调节，直到特征提取器930的对应的神经网络被训练为具有期望的准确率或者低于最大错误率为止。因此，关于面部验证处理的所有以上描述也适用于训练设备900。此外，处理器910可被配置为根据包括图6A至图6D的示出的示例的上述示例中的任何示例来执行用于训练特征提取器930的各个训练，其中，图6A至图6D的示出的示例的描述可适用于特征提取器930的作为结果而产生的训练的结构和操作。
如上所述，在训练处理期间，处理器910还可基于由特征提取器930提取的特征与期望特征之间的差来计算损失，并反复地调节用于特征提取器930的参数以减少计算的损失，直到特征提取器903被训练为止。例如，训练设备900通过针对多个训练图像中的每个训练图像反复地执行上述处理来沿确定的期望的方向逐渐调节特征提取器930的参数。训练的特征提取器930然后可用于以上针对图1至图8描述的面部登记处理和面部验证处理。
通过硬件组件来实现执行在本申请中描述的操作的图1至图9中的计算设备120、相机130、显示器125、特征提取器630、635、640、645和650、面部验证设备700、处理器710、存储器720、数据库730、计算设备800、处理器810、存储器820、相机830、存储设备840、输入装置850、输出装置860以及网络装置870、训练设备900、处理器910、存储器920和特征提取器930，其中，硬件组件被配置为执行由硬件组件执行的在本申请中描述的操作。可被用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行用于执行本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建并存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中所述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器，或者两个或更多个处理器，或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器，或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器，或者另一个处理器和另一个控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有任何一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图9中示出的执行本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件如上所述地被实现为执行用于执行本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器或者另一个处理器和另一个控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码(诸如，由编译器生成的机器代码)。在另一个示例中，指令或软件包括由一个或多个处理器或者计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及说明书(中的对应描述，使用任何编程语言来编写指令或软件，其中，说明书中的相应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制计算硬件(例如，一个或多个处理器或者计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且为一个或多个处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或者计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或者计算机以分布式方式被存储、访问和执行。
虽然本公开包括特定的示例，但是在理解了本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下可在这些示例中进行形式和细节的各种改变。在此描述的示例仅在描述性意义上被考虑，而不是为了限制的目的。每一个示例中的特征或方面的描述被认为可应用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、结构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现适当的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

Claims (29)

1.一种面部验证方法，包括：
从输入图像检测面部区域；
基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；
基于面部区域和合成的面部图像提取与输入图像对应一个或多个面部特征；
针对所述一个或多个面部特征和预定的登记信息来执行验证操作；和
基于执行的验证操作的结果，指示输入图像的验证是否成功，
其中，参考图像信息是在获得输入图像之前生成的图像信息，
其中，提取一个或多个面部特征的步骤包括：
从面部区域与参考图像之间的第一差分图像提取第一面部特征，从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征，基于第一面部特征和第二面部特征，确定与输入图像对应的第三面部特征；或者
组合面部区域和合成的面部图像以生成组合的结果，从组合的结果减去参考图像以生成零中心化数据，并从零中心化数据提取第三面部特征；或者
从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，
其中，针对第三面部特征和预定的登记信息执行验证操作。
2.根据权利要求1所述的方法，其中，确定的遮蔽区域对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。
3.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：通过将参考图像中的与遮蔽区域对应的区域的图像信息与从面部区域排除遮蔽区域的剩余区域的图像信息进行合成，来生成合成的面部图像。
4.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：通过将面部区域内的确定的遮蔽区域的图像信息替换为参考图像信息，来生成合成的面部图像。
5.根据权利要求1所述的方法，其中，生成合成的面部图像的步骤包括：
检测面部区域中的遮挡区域；
确定检测到的遮挡区域的遮挡对象类型；
基于确定的遮挡对象类型来确定遮蔽区域；
通过将面部区域中的确定的遮蔽区域内的图像信息替换为参考图像信息，来生成合成的面部图像。
6.根据权利要求5所述的方法，还包括：基于确定的遮蔽区域，从参考图像确定参考图像信息。
7.根据权利要求5所述的方法，其中，确定检测到的遮挡区域的遮挡对象类型的步骤包括：
检测面部区域中的面部的界标；
基于界标的检测的结果，确定遮挡区域的遮挡对象类型。
8.根据权利要求5所述的方法，其中，确定检测到的遮挡区域的遮挡对象类型的步骤包括：从眼镜、太阳镜、帽子和面具的多个遮挡对象类型中，确定遮挡对象类型。
9.根据权利要求1所述的方法，还包括：将遮蔽区域确定为具有眼镜、太阳镜、面具和帽子中的至少一种形式。
10.根据权利要求1所述的方法，其中，提取一个或多个面部特征的步骤包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像以及从合成的面部图像提取面部特征。
11.根据权利要求10所述的方法，还包括：通过将训练数据反复地应用到神经网络并调节神经网络的参数，来训练神经网络特征提取器，直到神经网络特征提取器被训练为从训练数据准确地提取特征为止，
其中，训练神经网络特征提取器的步骤还包括：从训练数据生成参考图像信息。
12.根据权利要求10所述的方法，其中，面部图像与参考图像之间的第一差分图像的图像信息被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层输出提取的面部特征，
其中，针对提取的面部特征和预定的登记信息执行验证操作。
13.根据权利要求1所述的方法，其中，执行验证操作的步骤包括：将来自提取的一个或多个面部特征中的提取的面部特征与在针对有效用户的登记操作中提取的登记特征进行比较，
其中，登记特征代表用于面部登记的登记图像和合成的登记面部图像，其中，通过将登记图像中的确定的登记遮蔽区域的图像信息替换为与参考图像信息对应的参考图像的图像信息来在面部登记中生成合成的登记面部图像。
14.根据权利要求13所述的方法，还包括：生成合成的登记面部图像；
从登记面部图像的面部区域和合成的登记面部图像提取登记特征。
15.根据权利要求13所述的方法，其中，合成的登记面部图像基于多个遮蔽区域类型而被合成。
16.一种面部验证方法，包括：
从登记图像检测面部区域；
基于确定的遮蔽区域，通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像；
基于面部区域和合成的面部图像提取与登记图像对应一个或多个面部特征；
针对所述一个或多个面部特征和基于验证图像提取的一个或多个特征，执行验证操作；和
基于执行的验证操作的结果，指示验证图像的验证是否成功，
其中，参考图像信息是在获得登记图像之前生成的图像信息，
其中，提取一个或多个面部特征的步骤包括：
从面部区域与参考图像之间的第一差分图像提取第一面部特征，从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征，基于第一面部特征和第二面部特征，确定与登记图像对应的第三面部特征；或者
组合面部区域和合成的面部图像以生成组合的结果，从组合的结果减去参考图像以生成零中心化数据，并从零中心化数据提取第三面部特征；或者
从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，
其中，针对第三面部特征和基于验证图像提取的一个或多个特征执行验证操作。
17.根据权利要求16所述的方法，其中，确定的遮蔽区域对应于包括在面部区域中的确定的遮挡对象或者对应于被预测或预定为与包括在面部区域中的已知潜在遮挡对象对应的面部区域的区域。
18.根据权利要求17所述的方法，其中，执行验证操作的步骤包括：将第三面部特征与来自基于验证图像提取的一个或多个特征中的验证特征进行比较。
19.根据权利要求18所述的方法，还包括：基于确定的验证遮蔽区域，通过将验证图像的面部区域的图像信息与对应的参考图像信息进行组合，来生成合成的验证面部图像；
从验证图像的面部区域和合成的验证面部图像提取验证特征，
其中，参考图像信息和对应的参考图像信息为同一参考图像的图像信息。
20.根据权利要求17所述的方法，
其中，提取一个或多个面部特征的步骤包括：从来自面部区域和合成的面部图像的图像信息的组合提取面部特征，
其中，执行验证操作的步骤包括：将提取的面部特征与来自基于验证图像提取的一个或多个特征中的验证面部特征进行比较。
21.根据权利要求16所述的方法，其中，提取一个或多个面部特征的步骤包括：使用训练的神经网络特征提取器，从包括面部区域的面部图像和从合成的面部图像提取面部特征，
所述方法还包括：使用训练的神经网络特征提取器，提取基于验证图像提取的一个或多个特征中的验证特征，
通过将验证特征与提取的面部特征进行比较，来执行验证操作。
22.根据权利要求21所述方法，其中，面部图像与参考图像之间的第一差分图像的图像信息被输入到神经网络特征提取器的第一输入层，合成的面部图像与参考图像之间的第二差分图像的图像信息被输入到神经网络特征提取器的第二输入层，神经网络特征提取器的输出层输出提取的面部特征。
23.一种计算设备，包括：
相机，被配置为获得面部图像；
处理器，被配置为：通过将被预测为包括遮挡区域的面部图像的区域替换为其他数据来生成合成的面部图像，使用训练的神经网络基于面部图像和合成的面部图像提取与面部图像对应的特征，通过将提取的特征与登记用户面部的特征进行比较来确定验证是否成功，
其中，所述其他数据是在获得面部图像之前生成的图像信息，
其中，提取特征的步骤包括：
从面部图像与参考图像之间的第一差分图像提取第一面部特征，从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征，基于第一面部特征和第二面部特征，确定与面部图像对应的第三面部特征；或者
组合面部图像和合成的面部图像以生成组合的结果，从组合的结果减去参考图像以生成零中心化数据，并从零中心化数据提取第三面部特征；或者
从面部图像提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，
其中，通过将第三面部特征与登记用户面部的特征进行比较来确定验证是否成功。
24.根据权利要求23所述的计算设备，其中，被预测为包括遮挡区域的面部图像的区域为被预测为包括眼镜、太阳镜、帽子和面具中的至少一个的面部图像的区域。
25.根据权利要求23所述的计算设备，其中，处理器被配置为：在没有确定面部图像中是否存在遮挡区域的情况下生成合成的面部图像。
26.根据权利要求23所述的计算设备，其中，遮挡区域被包括在面部图像中，并且登记的用户面部的特征基于不包括遮挡区域的面部图像被提取。
27.一种面部验证方法，包括：
从输入图像检测面部区域；
基于面部区域的图像信息和与确定的遮蔽区域对应的参考图像信息提取与输入图像对应一个或多个面部特征；
针对所述一个或多个面部特征和预定的登记信息，执行验证操作；和
基于执行的验证操作的结果，指示输入图像的验证是否成功，
其中，所述一个或多个面部特征的提取由基于训练数据训练的一个或多个训练的神经网络层来执行，
所述面部验证方法还包括：通过将面部区域的图像信息与参考图像信息进行组合来生成合成的面部图像，
其中，提取一个或多个面部特征的步骤包括：基于面部区域和生成的合成的面部图像提取所述一个或多个面部特征，
其中，参考图像信息是在获得输入图像之前生成的图像信息，
其中，提取一个或多个面部特征的步骤包括：
从面部区域与参考图像之间的第一差分图像提取第一面部特征，从合成的面部图像与参考图像之间的第二差分图像提取第二面部特征，基于第一面部特征和第二面部特征，确定与输入图像对应的第三面部特征；或者
组合面部区域和合成的面部图像以生成组合的结果，从组合的结果减去参考图像以生成零中心化数据，并从零中心化数据提取第三面部特征；或者
从面部区域提取第一面部特征并从合成的面部图像提取第二面部特征，并基于第一面部特征和第二面部特征生成第三面部特征，
其中，针对第三面部特征和预定的登记信息执行验证操作。
28.根据权利要求27所述的方法，
其中，从训练数据得到参考图像信息。
29.一种存储指令的非暂时性计算机可读介质，其中，所述指令在被处理器执行时使得处理器执行根据权利要求1所述的方法。
CN201711455941.4A 2017-03-28 2017-12-28 面部验证方法和设备 Active CN108664782B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0039202 2017-03-28
KR20170039202 2017-03-28
KR1020170071331A KR102359558B1 (ko) 2017-03-28 2017-06-08 얼굴 인증 방법 및 장치
KR10-2017-0071331 2017-06-08

Publications (2)

Publication Number Publication Date
CN108664782A CN108664782A (zh) 2018-10-16
CN108664782B true CN108664782B (zh) 2023-09-12

Family

ID=61971894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711455941.4A Active CN108664782B (zh) 2017-03-28 2017-12-28 面部验证方法和设备

Country Status (3)

Country Link
US (1) US10387714B2 (zh)
EP (1) EP3382601B1 (zh)
CN (1) CN108664782B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778453B (zh) * 2015-11-25 2020-05-12 腾讯科技（深圳）有限公司 人脸图像中检测眼镜佩戴的方法及装置
CN106407912B (zh) * 2016-08-31 2019-04-02 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
CN110689030A (zh) * 2018-07-04 2020-01-14 佳能株式会社 属性识别装置和方法及存储介质
US11151362B2 (en) * 2018-08-30 2021-10-19 FaceValue B.V. System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
TWI680440B (zh) * 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
TWI676136B (zh) 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
TWI702570B (zh) 2018-08-31 2020-08-21 雲云科技股份有限公司 選取使用者之代表性影像之影像偵測方法以及影像偵測裝置
CN109725946A (zh) * 2019-01-03 2019-05-07 阿里巴巴集团控股有限公司 一种基于人脸检测唤醒智能设备的方法、装置及设备
CN110263737A (zh) * 2019-06-25 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110929651B (zh) * 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2021115797A1 (en) 2019-12-11 2021-06-17 QuantiFace GmbH Generating videos, which include modified facial images
CN115209789A (zh) 2019-12-11 2022-10-18 定量面部股份有限公司 提供人的期望脸部的计算机修改的可视化的方法和系统
CN111080546A (zh) * 2019-12-11 2020-04-28 Oppo广东移动通信有限公司 一种图片处理方法及装置
CN111277912B (zh) * 2020-02-17 2021-12-31 百度在线网络技术（北京）有限公司 图像处理方法、装置和电子设备
CN111325767B (zh) * 2020-02-17 2023-06-02 杭州电子科技大学 基于真实场景的柑橘果树图像集合的合成方法
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备
CN111626213A (zh) * 2020-05-27 2020-09-04 北京嘀嘀无限科技发展有限公司 一种身份验证方法、装置、电子设备及可读存储介质
US11176362B1 (en) * 2020-06-24 2021-11-16 Bank Of America Corporation System for character recognition in a digital image processing environment
CN112115803B (zh) * 2020-08-26 2023-10-13 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
CN112435223B (zh) * 2020-11-11 2021-11-23 马鞍山市瀚海云星科技有限责任公司 目标检测方法、装置及存储介质
US11594335B2 (en) * 2020-12-02 2023-02-28 Optum, Inc. Augmented reality virus transmission risk detector
US11527104B2 (en) * 2021-02-09 2022-12-13 Danny Rittman Systems and methods of facial and body recognition, identification and analysis
KR102493322B1 (ko) * 2021-03-16 2023-01-31 한국과학기술연구원 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
WO2016050729A1 (en) * 2014-09-30 2016-04-07 Thomson Licensing Face inpainting using piece-wise affine warping and sparse coding
CN106415594A (zh) * 2014-06-16 2017-02-15 北京市商汤科技开发有限公司 用于面部验证的方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
KR20000023915A (ko) 1999-09-22 2000-05-06 이칠기 표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및인식방법.
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
KR100442835B1 (ko) * 2002-08-13 2004-08-02 삼성전자주식회사 인공 신경망을 이용한 얼굴 인식 방법 및 장치
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4957056B2 (ja) 2006-04-11 2012-06-20 パナソニック株式会社 顔認証システムおよび顔認証方法
JP5359266B2 (ja) 2008-12-26 2013-12-04 富士通株式会社 顔認識装置、顔認識方法及び顔認識プログラム
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
KR101066097B1 (ko) 2010-04-05 2011-09-20 주식회사 미래인식 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
JP5795979B2 (ja) 2012-03-15 2015-10-14 株式会社東芝 人物画像処理装置、及び人物画像処理方法
JP6150509B2 (ja) 2012-12-07 2017-06-21 セコム株式会社 顔認証装置
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN104751108B (zh) 2013-12-31 2019-05-17 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
JP6630999B2 (ja) 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
KR101956071B1 (ko) 2015-01-13 2019-03-08 삼성전자주식회사 사용자 인증 방법 및 장치
US9704025B2 (en) 2015-07-31 2017-07-11 King Abdulaziz City For Science And Technology Identifying non-occluded faces by learning from partially occluded faces
KR102477190B1 (ko) 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
CN105868689B (zh) 2016-02-16 2019-03-29 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN105825183B (zh) 2016-03-14 2019-02-12 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN106780662B (zh) * 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN106415594A (zh) * 2014-06-16 2017-02-15 北京市商汤科技开发有限公司 用于面部验证的方法和系统
WO2016050729A1 (en) * 2014-09-30 2016-04-07 Thomson Licensing Face inpainting using piece-wise affine warping and sparse coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸图像中眼镜检测与边框去除方法;陈文青等;《计算机工程与应用》;20160120(第15期);全文 *

Also Published As

Publication number Publication date
US20180285630A1 (en) 2018-10-04
US10387714B2 (en) 2019-08-20
EP3382601A1 (en) 2018-10-03
CN108664782A (zh) 2018-10-16
EP3382601B1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
CN108664782B (zh) 面部验证方法和设备
US11163982B2 (en) Face verifying method and apparatus
CN108629168B (zh) 脸部验证方法、设备以及计算设备
US10579865B2 (en) Facial verification method and apparatus
EP3382603B1 (en) Face verification method and apparatus
CN108664880B (zh) 活性测试方法和设备
CN108073889B (zh) 虹膜区域提取的方法和设备
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
CN117992939A (zh) 脸部验证方法、设备以及计算设备
KR20180108361A (ko) 얼굴 인증 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant