CN107025425B - 认证方法和设备以及用于训练识别器的方法和设备 - Google Patents

认证方法和设备以及用于训练识别器的方法和设备 Download PDF

Info

Publication number
CN107025425B
CN107025425B CN201610929947.XA CN201610929947A CN107025425B CN 107025425 B CN107025425 B CN 107025425B CN 201610929947 A CN201610929947 A CN 201610929947A CN 107025425 B CN107025425 B CN 107025425B
Authority
CN
China
Prior art keywords
authentication
input image
layer
layers
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610929947.XA
Other languages
English (en)
Other versions
CN107025425A (zh
Inventor
韩承周
俞炳仁
韩在濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107025425A publication Critical patent/CN107025425A/zh
Application granted granted Critical
Publication of CN107025425B publication Critical patent/CN107025425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供一种认证方法和设备以及用于训练识别器的方法和设备。所述认证方法可包括通过将与中间层关联的相似度与阈值进行比较来确定输入图像的认证是否成功。

Description

认证方法和设备以及用于训练识别器的方法和设备
本申请要求于2015年11月4日提交到韩国知识产权局的第10-2015-0154553号韩国专利申请和2016年7月5日提交到韩国知识产权局的第10-2016-0084878号韩国专利申请的优先权，所述韩国专利申请的全部内容通过引用完整地包含于此。
技术领域
至少一个示例实施例涉及一种认证方法和设备和/或用于训练识别器的方法和设备。
背景技术
近来，已使用各种方案(例如，面部识别或指纹识别)来执行用户认证。用于用户认证的识别器可具有与人的神经网络类似的结构。当识别器的内部结构的复杂度增加时，尽管识别性能提高，但是识别器的输出会被延迟。例如，当包括在识别器中的层的数量增加时，识别器的输出会被延迟。
发明内容
一些示例实施例涉及一种认证方法。
在一些示例实施例中，所述认证方法可包括：将输入图像应用于识别器，识别器包括多个层；基于输入图像的至少一个特征值和与识别器中的所述多个层中的至少一个中间层相应的注册图像的至少一个特征值来执行输入图像的认证，输入图像的所述至少一个特征值通过所述至少一个中间层输出。
执行输入图像的认证的步骤可包括：确定输入图像被接受还是被拒绝。所述多个层可以是深度学习(DL)网络的层。所述多个层可包括至少一个卷积层和至少一个池化层。中间层可包括所述多个层之中除了最终层之外的层中的至少一个。
所述至少一个中间层是多个中间层。执行输入图像的认证的步骤可包括：基于输入图像的特征值和注册图像的特征值来确定输入图像的认证是否成功，输入图像的特征值通过中间层分别输出，注册图像的特征值分别对应于所述多个中间层中的每个中间层。
所述认证方法还可包括：基于通过识别器中的最终层输出的输入图像的特征值和与最终层相应的注册图像的特征值，确定输入图像的认证是否成功。
执行输入图像的认证的步骤可包括：确定输入图像的所述至少一个特征值与注册图像的所述至少一个特征值之间的相似度；基于所述相似度与阈值的比较来执行认证。
执行输入图像的认证的步骤包括：当确定的相似度超出与中间层的错误接受率(FAR)相应的相似度时，确定接受输入图像。执行输入图像的认证的步骤包括：当确定的相似度小于与中间层的验证率(VR)相应的相似度时，确定拒绝输入图像。执行输入图像的认证的步骤包括：当确定的相似度超出与VR相应的相似度且小于与FAR相应的相似度时，进入识别器的下一层。
所述阈值可包括基于错误接受率(FAR)的第一阈值部分和基于验证率(VR)的第二阈值部分。第一阈值部分可大于第二阈值部分。
执行输入图像的认证的步骤可包括：确定输入图像的所述至少一个特征值与注册图像的所述至少一个特征值之间的距离；基于距离阈值执行认证。
执行输入图像的认证的步骤可包括：当确定的距离小于与中间层的错误接受率(FAR)相应的距离时，确定接受输入图像。执行输入图像的认证的步骤可包括：当确定的距离超出与中间层的验证率(VR)相应的距离时，确定拒绝输入图像。执行输入图像的认证的步骤还可包括：当确定的距离超出与FAR相应的距离且小于与VR相应的距离时，进入识别器的下一层。
所述阈值可包括基于错误接受率(FAR)的第一阈值部分和基于验证率(VR)的第二阈值部分。第一阈值部分可小于第二阈值部分。
所述认证方法还可包括：将注册图像应用于识别器；将通过所述至少一个中间层输出的至少一个特征值和通过最终层输出的最终层特征值存储为注册图像的特征值。所述认证方法还可包括：从相机接收注册图像。
其他示例实施例涉及一种训练方法。
在一些示例实施例中，所述训练方法可包括：训练识别器，识别器包括多个层；基于期望的性能指标，确定针对训练的识别器中的中间层的第一阈值；基于所述期望的性能指标，确定针对训练的识别器中的最终层的第二阈值。
所述训练方法还可包括：将校验数据应用于训练的识别器；确定中间特征值之间的第一相似度，中间特征值通过中间层输出；确定最终特征值之间的第二相似度，最终特征值通过最终层输出；基于第一相似度确定第一阈值；基于第二相似度确定第二阈值。
所述训练方法还可包括：将校验数据应用于训练的识别器；确定中间特征值之间的第一距离，中间特征值通过中间层输出；确定最终特征值之间的第二距离，最终特征值通过最终层输出；基于第一距离确定第一阈值；基于第二距离确定第二阈值。
第一阈值和第二阈值可用于确定输入图像将被接受还是被拒绝。
确定第一阈值的步骤可包括：基于中间特征值中的第一中间特征值与中间特征值中的第二中间特征值之间的相似度确定第一阈值。
确定第一阈值的步骤可包括：基于中间特征值中的第一中间特征值与中间特征值中的第二中间特征值之间的距离确定第一阈值。
训练识别器的步骤可包括：基于中间层的输出、最终层的输出和训练样本的标签来训练识别器，中间层的输出响应于训练样本的输入，最终层的输出响应于训练样本的输入。
训练识别器的步骤可包括：基于通过第一网络输出的中间特征值、最终特征值和训练样本的标签来训练识别器，第一网络接收中间层的输出，最终特征值通过接收最终层的输出的第二网络输出。
其他示例实施例涉及一种认证设备。
在一些示例实施例中，所述认证设备可包括：至少一个处理器，被配置为执行计算机可读指令以进行以下操作：使用包括在识别器中的多个层之中的至少一个中间层来输出输入图像的至少一个特征值；基于输入图像的所述至少一个特征值和与中间层相应的注册图像的特征值来执行输入图像的认证。
所述多个层可以是DL网络的层。所述至少一个中间层可包括所述多个层之中除了最终层之外的至少一个层。
所述至少一个中间层是多个中间层。所述至少一个处理器还被配置为执行计算机可读指令以基于输入图像的特征值和注册图像的特征值确定输入图像的认证是否成功，输入图像的特征值通过中间层分别输出，注册图像的特征值分别对应于中间层。
所述至少一个处理器还可被配置为确定输入图像将被接受还是被拒绝。
所述至少一个处理器还可被配置为执行计算机可读指令以进行以下操作：确定输入图像的至少一个特征值与注册图像的至少一个特征值之间的相似度；基于所述相似度与阈值的比较来执行认证。
所述至少一个处理器还可被配置为执行计算机可读指令以进行以下操作：确定输入图像的至少一个特征值与注册图像的至少一个特征值之间的距离；基于距离与阈值的比较来执行认证。
所述至少一个处理器还可被配置为执行计算机可读指令以将注册图像应用于识别器并将通过所述至少一个中间层输出的至少一个特征值和通过最终层输出的最终层特征值存储为注册图像的特征值。
示例实施例的另外的方面将会部分地在以下描述中阐述，并且部分从描述将是清楚的，或可通过本公开的实践而获知。
附图说明
这些和/或其他方面将通过以下结合附图进行的示例实施例的描述变得清楚和更容易理解，在附图中：
图1是示出根据至少一个示例实施例的认证设备的框图；
图2是示出根据至少一个示例实施例的认证处理器的框图；
图3是示出根据至少一个示例实施例的包括多个层的识别器的框图；
图4是示出根据至少一个示例实施例的产生注册图像的特征值的处理的框图；
图5是示出根据至少一个示例实施例的多个中间层的示图；
图6A和图6B是示出根据至少一个示例实施例的基于性能指标的阈值的示图；
图7是示出根据至少一个示例实施例的曲线图的形状与识别器的性能指标之间的关系的示图；
图8是示出根据至少一个示例实施例的认证处理器的操作的流程图；
图9是示出根据至少一个示例实施例的训练设备和识别器的框图；
图10是示出根据至少一个示例实施例的确定阈值的处理的框图；
图11是示出根据至少一个示例实施例的训练识别器的处理的示例的框图；
图12是示出根据至少一个示例实施例的训练识别器的处理的另一示例的框图；
图13是示出根据至少一个示例实施例的训练多个识别器的处理的示例的框图；
图14是示出根据至少一个示例实施例的训练识别器的处理的另一示例的框图；
图15是示出根据至少一个示例实施例的确定阈值的处理的流程图；
图16是示出根据至少一个示例实施例的认证处理的流程图；
图17是示出根据至少一个示例实施例的识别器的内部结构和认证处理器的框图；
图18是示出根据至少一个示例实施例的识别器的内部结构和训练识别器的处理的框图；
图19是示出根据至少一个示例实施例的电子设备的框图；
图20示出根据至少一个示例实施例的在用于设置视听内容的系统中的认证设备；
图21示出根据至少一个示例实施例的在用于实施停车的系统中的认证设备；
图22是根据至少一个示例实施例的包括认证设备的认证系统的示图。
具体实施方式
在下文中，将参照附图详细描述一些示例实施例。关于分配给附图中的元件的参考标号，应注意，无论何处，相同的元件即使在不同的附图中被示出，也将由相同的参考标号指定。此外，在实施例的描述中，当认为对公知的相关结构或功能的详细描述将造成本公开的解释不清楚时，这样的描述将会被省略。
然而，应该理解，并不意图将本公开限于所公开的特定的示例实施例。相反，示例实施例在于涵盖落入示例实施例的范围内的所有修改、等同物和替代物。贯穿附图的描述，相同的标号表示相同的元件。
此外，诸如第一、第二、A、B、(a)、(b)等的术语可在这里使用以描述组件。这些术语中的每个并不用于限定相应组件的本质、次序或顺序，而仅用于区分所述相应组件和其他组件。应注意，如果说明书中描述一个组件“连接”、“结合”或“接合”到另一组件，则第三组件可“连接”、“结合”或“接合”在第一组件和第二组件之间，但是第一组件可直接连接、结合或接合到第二组件。
在这里使用的术语仅是为了描述特定实施例的目的，而并不意在限制。除非上下文清楚地另有指示，否则在这里使用的单数形式还意在包括复数形式。还将理解的是，当在这里使用术语“包括”和/或“包含”时，所述术语指定所声明的特征、整体、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意，在一些替代实施例中，提及的功能/动作可不以附图中提及的顺序发生。例如，根据涉及的功能/作用，相继示出的两幅图实际上可被基本同时执行或有时可以以相反的顺序被执行。
现在将参照示出一些示例实施例的附图更加完整地描述各种示例实施例。在附图中，为了清楚，层和区域的厚度被夸大。
除非另有定义，否则这里使用的全部术语(包括技术术语和科学术语)具有如示例实施例所属领域的普通技术人员的通常理解的含义相同的含义。还将理解，除非在这里明确地定义，否则术语(诸如在通用字典中定义的术语)应该被解释为具有与它们在相关领域的环境中的含义一致的含义，而不应被解释为理想化或过于正式的意义。
根据计算机存储器内的按照数据比特的软件、算法和操作的符号表示来呈现示例实施例的部分和相应的详细描述。本领域普通技术人员通过这些描述和表示来将他们的工作的实质内容有效地传达给本领域的其他普通技术人员。如在这里使用的且被通常使用的术语一样，算法被视为导致期望的结果的自相一致的一系列步骤。这些步骤是需要物理量的物理操作的步骤。通常(但不必须)，这些物理量采取能够被存储、传输、组合、比较以及其他操作的光、电或磁信号的形式。
在以下描述中，将参照可被实施为执行特定任务或实施特定抽象数据类型并可使用现有硬件来实现的程序模块或功能过程(包括例程、程序、对象、组件、数据结构等)的操作的动作和符号表示(例如，以流程图的形式)来描述说明性实施例。
除非特别另外指出，否则如从讨论显而易见的，诸如“处理”或“计算”或“运算”或“确定”或“显示”等的术语表示计算机系统或类似的电子计算装置的动作和处理，所述动作和处理操作被表示为计算机系统的寄存器和存储器内的物理量、电子量的数据并将所述数据转换成被类似地表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示装置内的物理量的其他数据。
还要注意，软件实现的示例实施例的方面可被编码于一些形式的非暂时性计算机可读存储介质上。
在以下描述中，示例实施例可用于用户接口(例如，使用相机的用户认证)。
图1是示出根据至少一个示例实施例的认证设备100的框图。参照图1，认证设备100可包括识别器110、认证处理器120和存储器130。识别器110和认证处理器120中的每一个可被实施为至少一个硬件模块或硬件与软件的组合。
识别器110和认证处理器120中的每一个可以以硬件来实施，例如，被配置为执行软件、固件或它们的任何组合的处理器。当识别器110和认证处理器120中的至少一个为硬件时，这种现有硬件可包括一个或多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机或被配置为用于执行识别器110和认证处理器120中的至少一个的功能的专用机器等。CPU、DSP、ASIC和FPGA可被统称为处理装置。
如果识别器110和认证处理器120中的至少一个为执行软件的处理器，则所述处理器被配置为用于执行存储在存储介质(例如，存储器130)中的软件的专用机器，以执行识别器110和认证处理器120中的至少一个的功能。在这种实施例中，所述处理器可包括一个或多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机。
识别器110可接收输入图像(例如，用户的指纹图像或面部图像)并且可输出与输入图像相应的特征值。识别器110可包括用于从输入图像提取特征值的多个层。所述多个层可以是深度学习(DL)网络的层。可从例如相机、通信器或存储器接收输入图像。
认证处理器120可基于由识别器110输出的特征值输出认证结果。例如，认证处理器120可基于由识别器110输出的特征值确定输入图像的面部是否为注册用户的面部，并且可基于确定的结果输出认证结果。认证结果可以是指示输入图像是否与注册图像匹配的信息，并且可包括例如指示认证成功的接受或指示认证失败的拒绝。例如，认证结果可被传送到加密应用并且可用于在线支付或终端解锁。
认证设备100可执行输入图像的早期认证，这将在以下进一步描述。可基于由包括在识别器110中的多个层之中的第一层或中间层输出的特征值来执行早期认证。早期认证可包括早期接受或早期拒绝。例如，第一层和中间层可包括多个层之中除了最终层之外的层。为了简要的目的，“中间层”可指多个层之中除了最终层之外的层。因此，当最终中间层中的早期认证失败时，最终层可用于进行认证。
通过使用早期认证，认证速度可提高。例如，在包括多个层的识别器110中，中间层的输出值可被产生并被用于早期认证。通过使用中间层的输出值，与使用最终层的输出值相比可提高认证速度。在一些示例实施例中，中间层可用于早期认证，直至早期认证成功或到达最终层为止。在其他示例实施例中，指定数量的中间层可用于早期认证(例如，奇数层或偶数层)。指定的层可基于训练处理和/或网络的结构。
可基于训练样本提前训练识别器110。当训练识别器110时，可确定用于早期认证的阈值。以下将进一步描述训练处理和确定用于早期认证的阈值的处理。
图2是示出图1的认证处理器120的框图。参照图2，认证处理器120可基于输入图像和注册图像之间的距离确定输入图像的认证是否成功。注册图像可指用作认证的标准的图像。例如，认证处理器120可接收输入图像的特征值和注册图像的特征值，并且可计算输入图像的特征值和注册图像的特征值之间的距离。在这个示例中，当输入图像和注册图像之间的相似度增大时，所述距离可减小。当输入图像和注册图像之间的相似度减小时，所述距离可增大。
认证处理器120可通过将计算的距离与阈值(例如，阈值距离)进行比较来确定输入图像的认证是否成功，并且可输出认证结果。在示例中，当计算的距离小于阈值距离时，认证处理器120可确定输入图像和注册图像足够相似以认证用户并且可输出指示认证成功的接受。在另一示例中，当计算的距离大于阈值距离时，认证处理器120可输出指示认证失败的拒绝。
在描述早期认证操作之前，描述输入图像的特征值和注册图像的特征值。认证处理器120可从图1的识别器110接收输入图像的特征值并且可从存储器130接收注册图像的特征值。虽然存储器130被示出为分离的，但这仅是说明性的。存储器130可位于其他位置，诸如认证设备100的外部。注册图像的特征值可在注册操作期间被提前存储在存储器中。根据示例实施例，还可从识别器接收注册图像的特征值。在这个示例中，可使用识别器从注册图像实时提取注册图像的特征值。
可基于识别器110的层来相互区分输入图像的特征值和注册图像的特征值。例如，当识别器110接收到输入图像时，由识别器110中的中间层输出的特征值可被称为输入图像的中间特征值，由识别器110中的最终层输出的特征值可被称为输入图像的最终特征值。相似地，当识别器110接收到注册图像时，由中间层输出的特征值可被称为注册图像的中间特征值，由最终层输出的特征值可被称为注册图像的最终特征值。此外，与中间层相应的距离可被称为中间距离，与最终层相应的距离可被称为最终距离。例如，可基于输入图像的中间特征值和注册图像的中间特征值来确定中间距离，可基于输入图像的最终特征值和注册图像的最终特征值来确定最终距离。中间距离可用于不必输出由最终层输出的特征值的早期认证。
可基于期望的(或可选地，预定的)性能指标来确定用于输入图像的认证的阈值。性能指标可包括与错误接受率(FAR)关联的指标和与验证率(VR)关联的指标。FAR可以是即使输入图像的对象与注册图像的对象彼此不同也将输入图像的对象错误地识别成与注册图像的对象相同的对象的概率。VR可以是当输入图像的对象与注册图像的对象相同时将输入图像的对象正确地识别成与注册图像的对象相同的对象的概率。在示例中，当基于FAR确定阈值(例如，阈值距离)时，认证处理器120可确定输入图像与注册图像之间的距离是否小于阈值距离并且可接受输入图像。在另一示例中，当基于VR确定阈值时，认证处理器120可确定输入图像与注册图像之间的距离是否超出阈值距离并且可拒绝输入图像。
可针对识别器110中的多个层中的每个层来确定阈值。多个层中的每个层可具有用于确定输入图像的认证是否成功的阈值。例如，可确定针对中间层的中间阈值(例如，中间阈值距离)和针对最终层的最终阈值(例如，最终阈值距离)。认证处理器120可基于中间距离和中间阈值距离，确定输入图像的认证是否成功。例如，认证处理器120可将中间距离与中间阈值距离进行比较，以确定输入图像的认证是否成功。如上所述，中间距离可用于早期认证以确定输入图像的早期接受或早期拒绝。在下文中，中间层的性能指标可被称为“FAR1”和“VR1”，最终层的性能指标可被称为“FAR2”和“VR2”。FAR1和FAR2可被独立地确定。此外，VR1和VR2可被独立地确定。
在示例中，基于性能指标FAR1确定的阈值可被确定为与性能指标FAR1相应的距离并且可用于早期接受。例如，当中间距离小于与性能指标FAR1相应的距离时，认证处理器120可确定输入图像将被早期接受。此外，基于性能指标VR1确定的阈值可被确定为与性能指标VR1相应的距离并且可用于早期拒绝。例如，当中间距离超出与性能指标VR1相应的距离时，认证处理器120可确定输入图像将被早期拒绝。当输入图像满足用于早期认证的以上条件时，可不需要进一步处理输入图像，并且可终止认证处理。因此，可提高认证速度。
当早期认证失败时，认证处理器120可继续执行认证。例如，当中间距离超出与FAR1相应的距离并且小于与VR1相应的距离时，认证处理器120可在早期认证中失败。在这个示例中，如果中间层的早期认证失败，则认证处理器120可基于最终距离来执行输入图像的认证。认证处理器120可将最终距离与最终阈值距离进行比较，以确定输入图像的认证是否成功。在示例中，当最终距离小于与性能指标FAR2相应的距离时，认证处理器120可确定接受输入图像。在另一示例中，当最终距离超出与性能指标VR2相应的距离时，认证处理器120可确定拒绝输入图像。
当基于最终距离的认证失败时，可基于策略确定(political determination)(即，由实施认证的实体阐述的标准和/或程序)来执行认证。例如，由于认证的失败，可终止认证，可基于新的输入图像来执行认证，或者可基于输入图像重新执行认证。
图3是示出根据至少一个示例实施例的包括多个层的识别器110的框图。参照图3，识别器110可包括输入层111、中间层112和最终层113。输入层111、中间层112和最终层113可被实现为至少一个硬件模块或硬件与软件的组合(诸如执行存储在存储器130中的计算机可读指令的处理装置)。可基于训练样本提前训练输入层111、中间层112和最终层113。以下将进一步描述训练处理。
输入层111可接收输入图像，可从输入图像提取特征值，并且可将提取的特征值发送到中间层112。中间层112可基于从输入层111接收的特征值提取并输出输入图像的中间特征值。虽然中间层112在图3中被表示为单个块，但是中间层112可包括多个层。中间层112可将输入图像的中间特征值发送到最终层113。最终层113可基于从中间层112(即，在最终层前面的中间层)接收的中间特征值提取并输出输入图像的最终特征值。
虽然示出最终层113，但是应该理解，当早期认证在输入层111或中间层112中的一个中间层成功时，可实施或可不实施最终层113和在早期认证成功之后的任何中间层。
为便于描述，输入层111和中间层112在图3中被分开示出，然而，并不限于此。例如，中间层112可包括输入层111。在这个示例中，由输入层111输出的特征值可用于早期认证。
图4是示出根据至少一个示例实施例的产生注册图像的特征值的处理的框图。参照图4，识别器110可基于注册图像输出注册图像的特征值。注册图像可包括例如用于认证的用户的面部图像，并且可从例如相机、通信器或存储器被接收。例如，注册图像的特征值可在执行认证处理之前被提前存储在存储器130中。
如上所述，类似于输入图像的特征值，可关于多个层产生注册图像的特征值。例如，可通过中间层和最终层分别产生注册图像的中间特征值和最终特征值。存储器130可存储与中间层关联的注册图像的中间特征值，以及与最终层关联的注册图像的最终特征值。此外，存储器130可存储与中间层相应的中间阈值，以及与最终层相应的最终阈值。存储器130可针对中间层中的每一层存储阈值。在示例中，存储器130可存储注册图像的特征值，并且可响应于认证被执行，将注册图像的特征值发送到认证处理器120。在另一示例中，注册图像的特征值可被实时提取并由识别器110发送到认证处理器120，而不是被提前存储在存储器130中。在这个示例中，存储器130可存储注册图像而不是注册图像的特征值。
图5是示出根据至少一个示例实施例的多个中间层的示图。参照图5，识别器115可包括输入层116、中间层117和最终层118。中间层117可包括多个中间层，例如，第一中间层、第二中间层和第n中间层。虽然在图5中未示出，但是在其他示例实施例中，输入层116可输出特征值并可被考虑为中间层。
输入层116可从输入图像提取特征值并可将提取的特征值发送到中间层117。中间层117中的多个中间层中的每一个可提取并输出中间特征值。例如，第一中间层可基于从输入层116接收的特征值提取并输出输入图像的第一中间特征值。第二中间层可基于第一中间特征值提取并输出输入图像的第二中间特征值。第n中间层可基于输入图像的第(n-1)中间特征值提取并输出输入图像的第n中间特征值。最终层118可基于第n中间特征值提取并输出输入图像的最终特征值。
存储器130可提前存储与识别器115的多个层相应的注册图像的特征值。注册图像的特征值可被识别器115提前产生并可被存储在存储器130中。例如，存储器130可提前存储与第一中间层相应的注册图像的第一中间特征值、与第二中间层相应的注册图像的第二中间特征值、与第n中间层相应的注册图像的第n中间特征值以及与最终层118相应的注册图像的最终特征值。
可将从中间层117和最终层118输出的输入图像的特征值与注册图像的特征值顺序地比较，直至早期认证或最终认证成功为止。可基于输入图像的特征值与注册图像的特征值之间的距离来分别确定早期认证或最终认证是否成功。
为便于描述，在图5中分开示出输入层116和中间层117，然而，并不限于此。例如，中间层117可包括输入层116。在这个示例中，输入层116可作为第一中间层操作。
图6A和图6B是示出根据至少一个示例实施例的基于性能指标的阈值的示图。图6A示出相同对象的曲线和不同对象的曲线。可通过将相同对象的校验数据应用于提前训练的识别器来获取相同对象的曲线。此外，可通过将不同对象的校验数据应用于该识别器来获取不同对象的曲线。在图6A中，x轴表示特征值之间的距离，y轴表示样本对的数量。
在示例中，当计算从对象A的第一样本提取的特征值与从对象A的第二样本提取的特征值之间的距离时，在相同对象的曲线中，所计算的距离的样本对的数量可增大。在另一示例中，当计算从对象A的第一样本提取的特征值与从对象B的第一样本提取的特征值之间的距离时，在不同对象的曲线中，所计算的距离的样本对的数量可增大。
这两条曲线均可以是正态分布曲线。在示例中，当输入图像与注册图像之间的距离被包括在相同对象的分布中时，输入图像的认证可被接受。在另一示例中，当输入图像与注册图像之间的距离被包括在不同对象的分布中时，输入图像的认证可被拒绝。在另一示例中，当输入图像与注册图像之间的距离被示出于曲线之间的重叠区域中时，可需要适当的确定。
可基于图6A的曲线和期望的(或可选地，预定的)性能指标来确定阈值。性能指标可包括与FAR关联的指标和与VR关联的指标。例如，可将FAR设置为1％，并且可将VR设置为100％。在这个示例中，可使用与1％的FAR相应的距离α和与100％的VR相应的距离β作为阈值。当输入图像的特征值与注册图像的特征值之间的距离小于距离α时，输入图像可被接受。当输入图像的特征值与注册图像的特征值之间的距离超出距离β时，输入图像可被拒绝。
参照图6B，可使用相似度代替距离。特征值之间的距离可与特征值之间的相似度成反比。当使用相似度代替距离时，也可基于与FAR关联的指标和与VR关联的指标来确定阈值。在这个示例中，当输入图像的特征值与注册图像的特征值之间的相似度超出与FAR关联的阈值相似度时，输入图像可被接受。当输入图像的特征值与注册图像的特征值之间的相似度小于与VR关联的阈值相似度时，输入图像可被拒绝。例如，可将FAR设置为1％，并且可将VR设置为100％。
在以下描述中，为了描述的一致而使用距离，然而，这仅为示例。例如，示例实施例可被改变或扩展为使用相似度来代替距离作为性能指标。
图7是示出根据至少一个示例实施例的曲线图的形状与识别器的性能指标之间的关系的示图。参照图7，曲线图10对应于较低的层，曲线图20对应于较高的层。当层变高时，相同对象的曲线的中心与不同对象的曲线的中心之间的距离可增大。曲线之间的重叠区域可减小。重叠区域的减小可指示认证准确度的增加。
如上所述，可通过早期认证提高认证速度。即使与曲线图20相比，曲线图10示出低的认证准确度，也可基于较低的层的阈值来确定早期接受或早期拒绝。例如，当输入图像的特征值与注册图像的特征值之间的距离小于基于FAR的阈值α1时，可确定早期接受。当输入图像的特征值与注册图像的特征值之间的距离超出基于VR的阈值β1时，可确定早期拒绝。在这个示例中，可不需要执行较高的层的操作，因此可提高认证速度。当输入图像的特征值与注册图像的特征值之间的距离具有阈值α1和β1之间的值时，可执行较高的层的操作以执行认证。
图8是示出根据至少一个示例实施例的认证处理器的操作的流程图。参照图8，在操作510，认证处理器可接收中间特征值。中间特征值可包括输入图像的中间特征值和注册图像的中间特征值。在操作520，认证处理器可确定中间特征值之间的距离X1。距离X1可被计算为输入图像的中间特征值与注册图像的中间特征值之间的距离。
在操作530，认证处理器可将距离X1与阈值α1和β1进行比较。可基于性能指标FAR1来确定阈值α1并基于性能指标VR1来确定阈值β1。当距离X1超出阈值α1和β1之间的范围时，认证处理器可执行操作540。在操作540，认证处理器可确定认证是否成功，即，输入图像的认证被接受还是被拒绝。操作540的认证可表示上述早期认证。可在操作540确定认证是否成功并且可终止认证处理，因此可提高认证速度。
当距离X1在阈值α1和β1之间的范围内时，认证处理器可执行操作550。在操作550，认证处理器可接收最终特征值。最终特征值可包括输入图像的最终特征值和注册图像的最终特征值。
在另一示例实施例中，可实施多个中间层。认证处理器在505对层进行初始化。如果距离X1在阈值α1和β1之间的范围内，则在操作532，认证处理器可确定中间层是否为最后的中间层。如果中间层是最后的中间层，则可执行操作550。如果中间层不是最后的中间层，则在操作536，认证处理器使用下一个中间层，并可重复操作510至530。
在操作560，认证处理器可确定最终特征值之间的距离X2。距离X2可被计算为输入图像的最终特征值与注册图像的最终特征值之间的距离。
在操作570，认证处理器可将距离X2与阈值α2和β2进行比较。可基于性能指标FAR2来确定阈值α2并基于性能指标VR2来确定阈值β2。性能指标FAR2和VR2可与FAR1和VR1不同，然而，并不限于此。例如，可不考虑层而使用相同的FAR和VR来确定阈值α1、β1、α2和β2。此外，当层变高时，FAR和VR可增大或减小。当距离X2超出阈值α2和β2之间的范围时，在操作580，认证处理器可确定认证是否成功。认证处理器可确定输入图像将被接受还是被拒绝。当距离X2在阈值α2和β2之间的范围内时，在操作590，认证处理器可确定认证失败。当确定认证失败时，可在没有改变的情况下终止认证处理。此外，虽然在附图中未示出，但基于策略确定(即，由实施认证的实体阐述的标准和/或程序)，可针对输入图像重新执行操作510，或可针对新的输入图像执行操作510。
图9是示出根据至少一个示例实施例的训练设备300和识别器400的框图。参照图9，训练设备300可包括训练器310和阈值确定器320。训练器310、阈值确定器320和识别器400可被实现为至少一个硬件模块或硬件和软件的组合(诸如，执行存储在存储器130中的计算机可读指令的处理装置)。
训练器310可基于训练样本训练识别器400。训练器310可响应于训练样本的输入，基于识别器400的输出值来调整识别器400的参数。阈值确定器320可使用训练的识别器400来确定阈值。阈值确定器320可响应于校验数据的输入，基于识别器400的输出值来获取图7的曲线图10和曲线图20。阈值确定器320可针对每一层确定阈值。
图10是示出根据至少一个示例实施例的确定阈值的处理的框图。参照图10，阈值确定器325可基于从训练的第一识别器420和第二识别器430接收的特征值来确定阈值。为便于描述，在图10中独立地示出第一识别器420和第二识别器430，然而，并不限于此。例如，可使用单个识别器。
第一识别器420可包括输入层421、中间层422和最终层423。第二识别器430可包括输入层431、中间层432和最终层433。基于校验数据，中间层422可输出中间特征值，最终层423可输出最终特征值。基于校验数据，中间层432可输出中间特征值，最终层433可输出最终特征值。校验数据可包括相同对象的数据和不同对象的数据。
阈值确定器325可通过将中间特征值进行比较来获取第一分布的曲线图326。此外，阈值确定器325可通过将最终特征值进行比较来获取第二分布的曲线图327。图6A、图6B和图7的描述可适用于曲线图326和327。阈值确定器325可获取每一(例如，第一至最终)层的特征值的分布。
阈值确定器325可基于期望的(或可选地，预定的)性能指标来确定阈值。阈值确定器325可基于曲线图326来确定中间层422和432的中间阈值，并可基于曲线图327来确定最终层423和433的最终阈值。例如，中间阈值可包括分别基于FAR1和VR1确定的阈值α1和β1。最终阈值可包括分别基于FAR2和VR2确定的阈值α2和β2。
图11是示出根据至少一个示例实施例的训练识别器410的处理的示例的框图。参照图11，识别器410可包括输入层411、中间层412和最终层413。识别器410可响应于训练样本的输入而输出特征值。训练器可将训练样本应用于识别器410，并可基于从识别器410输出的特征值训练识别器410。训练样本可包括用于认证的图像。例如，训练样本可包括面部图像，并可包括用于识别面部的标签。训练器可重复地训练识别器410以使从识别器410的最终层413输出的特征值可与该标签对应。
图12是示出根据至少一个示例实施例的训练识别器440的处理的框图。参照图12，识别器440可包括输入层441、中间层442和最终层443。中间层442可输出中间特征值，最终层443可输出最终特征值。可基于中间特征值和最终特征值训练识别器440。例如，训练器可训练识别器440以使中间特征值和最终特征值二者均可与训练样本的标签匹配。当基于中间特征值训练识别器440时，可增大早期认证的概率或执行早期认证的次数。
图13是示出根据至少一个示例实施例的训练多个识别器的处理的框图。例如，训练器可训练多个识别器。例如，所述多个识别器可包括图10的第一识别器420和第二识别器430。第一识别器420可包括输入层421、中间层422和最终层423。第二识别器430可包括输入层431、中间层432和最终层433。训练器可基于相同对象的训练样本和不同对象的训练样本来训练第一识别器420和第二识别器430。训练器可基于相同对象的训练样本来训练第一识别器420和第二识别器430，以使从第一识别器420输出的第一特征值与从第二识别器430输出的第二特征值之间的距离可减小。此外，训练器可基于不同对象的训练样本来训练第一识别器420和第二识别器430，以使第一特征值与第二特征值之间的距离可增大。
图14是示出根据至少一个示例实施例的训练识别器450的处理的框图。参照图14，识别器450可包括输入层451、中间层452、最终层454、第一网络453和第二网络455。输入层451、中间层452、最终层454、第一网络453和第二网络455可被实现为至少一个硬件模块、执行软件的至少一个硬件模块或者它们的组合。
识别器450可基于训练样本输出中间特征值和最终特征值。中间层452的输出可被输入到第一网络453，第一网络453可输出中间特征值。此外，最终层454的输出可被输入到第二网络455，第二网络455可输出最终特征值。第一网络453和第二网络455可具有用于增大早期认证的概率的结构。例如，第一网络453和第二网络455中的每一个可包括卷积层、全连接网络等。
训练器可训练中间层452以使中间特征值可与训练样本的标签匹配。此外，训练器可训练最终层454以使最终特征值可与训练样本的标签匹配。另外，训练器可一起训练第一网络453和第二网络455。包括第一网络453和第二网络455并且基于中间特征值和最终特征值被训练的识别器450可增大早期认证的概率。
图15是示出根据至少一个示例实施例的确定阈值的处理的流程图。参照图15，在操作710，可训练包括多个层的识别器。可由上述训练器来执行操作710。在操作720，可将校验数据应用于识别器。在操作730，可确定由包括在识别器中的中间层输出的中间特征值之间的距离。在操作740，可确定由包括在识别器中的最终层输出的最终特征值之间的距离。在操作750，可基于期望的(或可选地，预定的)性能指标来确定中间层的中间阈值。在操作760，可基于性能指标来确定最终层的最终阈值。可基于中间层和最终层设置不同的性能指标，或者可不考虑层的类型而设置相同的性能指标。可由上述阈值确定器来执行操作720至760。
图16是示出根据至少一个示例实施例的认证处理的流程图。参照图16，在操作910，可将输入图像应用于包括多个层的识别器。可由上述识别器执行操作910。在操作920，可确定由包括在识别器中的中间层输出的输入图像的特征值与对应于中间层的注册图像的特征值之间的距离。在操作930，可通过将所述距离与中间层的阈值进行比较来确定输入图像的认证是否成功。可由上述认证处理器来执行操作920和930。
图17是示出根据至少一个示例实施例的识别器140的内部结构和认证处理的框图。参照图17，识别器140可包括多个层，例如，层141、142、143、144和145。层141至145中的每一层可包括卷积层和池化层。可为各种目的而重复层141至145中的每一层。例如，可将卷积层11的输出传送到卷积层12，并且可将卷积层12的输出传送到池化层1。层141至145的上述配置仅为示例并且可被各种各样地改变。可基于注册的池化特征1、2、3、4和5来执行注册图像的池化。可将注册的池化特征1至5应用于认证处理器150。认证处理器150可将注册的池化特征1至5与从层141至145接收的特征顺序地进行比较，并且可确定认证是否成功。例如，认证处理器150可将第一阈值与层141的输出和注册的池化特征1之间的距离进行比较，以确定早期认证是否成功。
图18是示出根据至少一个示例实施例的识别器470的内部结构和训练识别器470的处理的框图。参照图18，识别器470可包括多个层，例如，层471、473、475、477和479。层471、473、475、477和479中的每一层可包括卷积层和池化层。层471、473、475、477和479中的至少一部分可连接到另外的网络472、474、476和478。另外的网络472、474、476和478中的每一个可包括卷积层和全连接网络。另外的网络472、474、476和478可基于层471、473、475、477的输出分别输出第一特征值、第二特征值、第三特征值和第四特征值。可基于第一特征值至第五特征值以及训练数据的标签来训练识别器470。可为了各种目的而重复层471、473、475、477和479中的每一层。例如，可将池化层1的输出传送到卷积层1，并且可将卷积层1的输出传送到全连接网络1。层471、473、475、477和479的上述配置仅为示例并且可被各种各样地改变。
图19是示出根据至少一个示例实施例的电子设备1100的框图。参照图19，电子设备1100可包括相机1110、通信器1120、存储器1130、认证器1140和总线1150。相机1110、通信器1120、存储器1130和认证器1140可使用总线1150进行通信。电子设备1100可被包括在例如智能电话、智能TV、台式计算机、笔记本计算机或平板个人计算机(PC)中。
如上所述，认证器1140可基于图像输出认证结果。认证器1140可包括基于训练样本提前训练的识别器以及被配置为基于阈值输出认证结果的认证处理器。认证器1140可基于从相机1110、通信器1120和存储器1130接收的图像输出认证结果。图像可包括上面描述的输入图像和注册图像。例如，可从相机1110接收输入图像，并且可从存储器1130接收注册图像。注册图像可包括用户的面部图像。
认证器1140可包括硬件或被配置为执行软件的硬件。例如，认证器1140可包括一个或多个处理器并且可通过执行存储在存储器1130中的计算机可读指令来执行这里描述的功能。
相机1110可使用图像传感器获取输入图像。相机1110可将输入图像提供给认证器1140。通信器1120可使用各种通信技术与外部装置进行通信。通信器1120可向认证器1140提供从外部装置接收的图像。存储器1130可存储各种数据。例如，存储器1130可存储与多个层相应的阈值以及与多个层相应的注册图像的特征值。存储器1130可将存储的数据提供给认证器1140。
图20示出根据至少一个示例实施例的在用于设置视听内容的系统中的认证设备。
如图20所示，接收器2001接收视听内容2002。视听内容2002可被存储在经由网络2003(例如，互联网)链接到接收器的服务器上。接收器包括存储器2005。该存储器2005能够存储接收的视听内容2002。视听内容2002还可被存储在物理介质2004(例如，蓝光盘)上。接收器2001包括处理器2007，处理器2007被配置为：当接收到存储在存储器2005上的适当的指令集时，在渲染视听内容2002之前对其进行解码。可选地，接收器2001包括适于读取存储在物理介质2004(例如，蓝光盘)上的视听内容2002的介质读取器2006。存储器2005还存储用于处理器2007执行如图1至图19所述的认证设备的功能的计算机可读指令。系统包括用于渲染视听内容2002的装置(例如，显示装置2008)。显示装置2008包括图像传感器2010。图像传感器2010使用显示装置2008获取用户的图像。此外，处理器2007和图像传感器2010可形成认证设备。处理器2007通过执行存储在存储器2005中的计算机可读指令来执行认证设备的功能和参照图1至图19描述的功能。
视听内容2002包含与观看级别关联的帧。观看级别是指示视听内容2002的部分有多令人不适的标示(诸如暴力级别)。观看级别可基于视听内容2002的图像、音频部分、字幕的文本或者它们的任何组合。例如，观看级别一方面可采取不适内容的类别(例如，暴力、性、恐怖)的形式，另一方面可采取与这个类别关联的值(例如，这可以是包括1与10之间的值：该值越大，关联内容根据所选择的类别越令人不适)的形式。
视听内容2002可包含分别与观看级别关联的视听段和/或帧；帧和段均应代表视听内容2002的部分或全部的不适度。观看级别可以是视听内容2002的元数据的部分。观看级别还可在生产视听内容2002的过程中被提早手动注释。段或帧还可以自动方式与观看级别关联。例如，如果观看级别对应于暴力规模，则将根据暴力规模对关于暴力场景和/或帧的视听段和/或帧进行检测并分级。允许这种检测的方法和技术是已知的，并且可在例如Gong等人在第九届环太平洋多媒体会议上发表的“通过听觉和视觉线索检测电影中的暴力场景”(Detecting Violent Scenes in Movies by Auditory and Visual Cues) 台湾台南成功大学，2008年12月9日至13日，317-326页中找到，所述文章的全部内容通过引用包含于此。
一旦视听内容2002被接收器2001接收到，处理器2007就执行存储在存储器2005上的指令。一旦处理器2007已经分析视听内容2002，就允许在显示装置2008上显示至少两个帧，每个帧分别与观看级别关联。然后，处理器2007选择对应于使用显示装置2008的认证用户的帧来显示。如关于图1至图19所述，由认证设备使用早期认证来认证用户。
更具体地，存储器2005存储与认证用户关联的期望的观看级别。处理器2007选择帧以使得与所选择的帧关联的观看级别不超出与使用显示装置2008的认证用户关联的期望的观看级别。
图21示出根据至少一个示例实施例的在用于实施停车的系统中的认证设备。
如图21所示，用于停车位实施的系统2110使用认证设备(例如，处理器2128、相机2116和存储器2130)和接近传感器2120(例如，一个或多个超声传感器)来检测被指定用于残疾人的停车位或预留的停车位内车辆的进入并且认证该车辆的驾驶人或乘坐人。处理器2128通过执行存储器2130中的计算机可读指令来执行认证设备的功能和参照图1至图19描述的功能。
警报器2126还位于邻近停车位的位置，并且如果驾驶人和/或乘坐人未被认证，则警报器每隔预设的时间段(诸如，30秒)被驱动。警报器2126可以是任何适合类型的警报器，诸如音频警报器(诸如由扬声器产生警报)或视觉警报器(诸如由光源产生视觉警报)，或者它们的组合。相机2116还位于邻近停车位的位置，用于捕获驾驶人和/或乘坐人的照片图像。
应该理解，在这方面，例如，可利用各种合适类型的相机中的任何类型和/或还可利用各种类型的视觉传感器或图像传感器中的任何类型。警报器2126、相机2116、接近传感器2120和线传感器2122、2124(将在下面描述)均与控制器2118进行电通信。
由相机2116拍摄的照片可被处理器2128和存储器2130用于认证驾驶人和/或乘坐人(如以上参照图1至图19所述)。另外，提供线传感器2122、2124来检测车辆是否被恰当地停在停车位或停车场的指定边界内。如果车辆被停放得超过标线中的一条(即，部分地停在邻近位置中)，则例如警报器2126可被驱动。
应该理解，接近传感器2120和线传感器2122、2124可以是用于检测车辆的存在的各种合适类型的传感器中的任何类型。
图22是包括认证设备2200的认证系统2300的示图。认证设备2200可根据按照图1至图19描述的认证设备来操作。认证设备2200可被用作用于移动支付的装置、用于安全解决方案的装置或者用于认证方案的装置。认证设备2200可使用无线通信模块与汽车2330、门2350的电子门锁2355、支付终端2310以及IoT装置2370交流无线信号。
认证设备2200的处理器2220可执行存储在存储器(例如，存储器130)中的移动支付应用程序或软件。用于移动支付的用户支付信息可根据处理器2220的控制被安全地存储在存储器2230中的安全区域中。此时，用户支付信息可被编码并被存储在存储器的安全区域中。
移动支付应用程序可使用存储在存储器的安全区域中的用户支付信息来执行与支付终端2310关联的移动支付。用户支付信息可包括识别信息(例如，信用卡信息、密码和注册图像)，认证装置2200的认证用户通过识别信息被识别。可由认证装置2200的认证用户使用移动支付应用程序将识别信息注册在存储器的安全区域中。
可使用硬件组件、执行软件组件的硬件组件或它们的组合来实现这里描述的至少一个示例实施例。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用一个或多个被配置为通过执行算术、逻辑和输入/输出操作来运行和/或执行程序代码的硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置。处理装置可运行操作系统(OS)以及运行在OS上的一个或多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或可包括处理器和控制器。此外，不同的处理配置是可行的(诸如，并行处理器)。
软件可包括用于独立地或共同地指示和/或配置处理装置以如所期望的一样操作的计算机程序、代码段、指令或它们的组合，从而使处理装置转变为专用处理器。软件和数据可在任何类型的机器、组件、物理的或虚拟的设备、计算机存储介质或装置中被永久地或临时地实现，或者在能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中被永久地或临时地实现。软件还可被分布在联网的计算机系统上，以使得软件按照分布方式被存储并被执行。软件和数据可由一个或多个非暂时性计算机可读记录介质进行存储。
根据上述示例实施例的方法可被记录在包括程序指令以执行上述示例实施例的各种操作的非暂时性计算机可读介质中。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。在所述介质上记录的程序指令可以是针对示例实施例的目的而专门设计和构建的程序指令，或者它们可以是对于计算机软件领域的技术人员公知和可用的程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘、DVD和/或蓝光盘)、磁光介质(诸如光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和包含可由计算机使用解释器来执行的更高级代码的文件两者。上述装置可被配置为充当一个或多个软件模块以便执行上述示例实施例的操作，或者反之亦然。
以上已描述很多示例实施例。然而，应该理解，可对这些示例实施例做出各种修改。例如，如果按照不同顺序执行描述的技术，和/或如果按照不同方式组合在描述的系统、架构、装置或电路中的组件和/或由其他组件或它们的等同物来替代或补充在描述的系统、架构、装置或电路中的组件，则可实现适当的结果。因此，其他的实现方式在权利要求的范围内。

Claims (27)

1.一种认证方法，包括：
将输入图像应用于识别器，识别器包括多个层；
基于输入图像的至少一个特征值和与识别器中的所述多个层中的至少一个中间层相应的注册图像的至少一个特征值来执行输入图像的认证，输入图像的所述至少一个特征值通过所述至少一个中间层输出，
其中，执行输入图像的认证的步骤包括：
确定输入图像的所述至少一个特征值与注册图像的所述至少一个特征值之间的相似度或距离；
基于所述相似度与阈值的比较或者所述距离与阈值的比较来执行认证，
其中，当确定的相似度超出与中间层的错误接受率FAR相应的相似度时或者当确定的距离小于与中间层的错误接受率FAR相应的距离时，确定接受输入图像。
2.如权利要求1所述的认证方法，其中，执行输入图像的认证的步骤包括：确定输入图像被接受还是被拒绝。
3.如权利要求1所述的认证方法，其中，所述多个层是深度学习(DL)网络的层。
4.如权利要求1所述的认证方法，其中，所述至少一个中间层是多个中间层，并且执行输入图像的认证的步骤包括：
基于输入图像的特征值和注册图像的特征值来确定输入图像的认证是否成功，输入图像的特征值通过中间层分别输出，注册图像的特征值分别对应于中间层。
5.如权利要求1所述的认证方法，其中，执行输入图像的认证的步骤包括：
当确定的相似度小于与中间层的验证率VR相应的相似度时，确定拒绝输入图像。
6.如权利要求5所述的认证方法，其中，执行输入图像的认证的步骤包括：
当确定的相似度超出与VR相应的相似度且小于与FAR相应的相似度时，进入识别器的下一层。
7.如权利要求1所述的认证方法，其中，所述阈值包括基于错误接受率FAR的第一阈值部分和基于验证率VR的第二阈值部分。
8.如权利要求7所述的认证方法，其中，第一阈值部分大于第二阈值部分。
9.如权利要求1所述的认证方法，其中，执行输入图像的认证的步骤包括：
当所述距离超出与中间层的验证率VR相应的距离时，确定拒绝输入图像。
10.如权利要求9所述的认证方法，其中，执行输入图像的认证的步骤包括：
当确定的距离超出与FAR相应的距离且小于与VR相应的距离时，进入识别器的下一层。
11.如权利要求1所述的认证方法，其中，第一阈值部分小于第二阈值部分。
12.如权利要求1所述的认证方法，其中，执行输入图像的认证的步骤还包括：
基于输入图像的最终层特征值和注册图像的最终层特征值来执行输入图像的认证，输入图像的最终层特征值通过识别器中的最终层输出并且注册图像的最终层特征值对应于最终层。
13.如权利要求1所述的认证方法，还包括：
将注册图像应用于识别器；
将通过所述至少一个中间层输出的至少一个特征值和通过所述多个层中的最终层输出的最终层特征值存储为注册图像的特征值。
14.如权利要求13所述的认证方法，还包括：
从相机接收注册图像。
15.如权利要求1所述的认证方法，其中，所述至少一个中间层包括所述多个层之中的多个中间层。
16.如权利要求1所述的认证方法，其中，所述多个层包括至少一个卷积层和至少一个池化层。
17.一种用于执行图像的认证的训练方法，包括：
训练识别器，识别器包括多个层；
将包括相同对象的图像和不同对象的图像的校验数据应用于训练的识别器；
确定由包括在训练的识别器中的中间层输出的中间特征值之间的第一距离或第一相似度；
确定由包括在训练的识别器中的最终层输出的最终特征值之间的第二距离或第二相似度；
基于包括中间层的错误接受率FAR的期望的性能指标和第一距离或者基于包括中间层的错误接受率FAR的期望的性能指标和第一相似度，确定针对训练的识别器中的中间层的第一阈值；
基于包括最终层的错误接受率FAR的期望的性能指标和第二距离或者基于包括最终层的错误接受率FAR的期望的性能指标和第二相似度，确定针对训练的识别器中的最终层的第二阈值，
其中，第一阈值和第二阈值用于在执行图像的认证时确定输入图像被接受还是被拒绝。
18.如权利要求17所述的训练方法，其中，确定第一阈值的步骤包括：
基于中间特征值中的第一中间特征值与中间特征值中的第二中间特征值之间的相似度来确定第一阈值。
19.如权利要求17所述的训练方法，其中，确定第一阈值的步骤包括：
基于中间特征值中的第一中间特征值与中间特征值中的第二中间特征值之间的距离来确定第一阈值。
20.如权利要求17所述的训练方法，其中，训练识别器的步骤包括：
基于中间层的输出、最终层的输出和训练样本的标签来训练识别器，中间层的输出响应于训练样本的输入，最终层的输出响应于训练样本的输入。
21.如权利要求17所述的训练方法，其中，训练识别器的步骤包括：
基于通过第一网络输出的中间特征值、最终特征值和训练样本的标签来训练识别器，第一网络接收中间层的输出，最终特征值通过接收最终层的输出的第二网络输出。
22.一种认证设备，包括：
至少一个处理器，被配置为执行计算机可读指令以进行以下操作：
使用包括在识别器中的多个层之中的至少一个中间层来输出输入图像的至少一个特征值；
基于使用所述至少一个中间层输出的输入图像的所述至少一个特征值和与所述至少一个中间层相应的注册图像的特征值来执行输入图像的认证，
其中，执行输入图像的认证的步骤包括：
确定输入图像的所述至少一个特征值与注册图像的所述至少一个特征值之间的相似度或距离；
基于所述相似度与阈值的比较或者所述距离与阈值的比较来执行认证，其中，当确定的相似度超出与中间层的错误接受率FAR相应的相似度时或者当确定的距离小于与中间层的错误接受率FAR相应的距离时，确定接受输入图像。
23.如权利要求22所述的认证设备，其中，所述至少一个处理器还被配置为执行计算机可读指令以确定接受输入图像还是拒绝输入图像。
24.如权利要求22所述的认证设备，其中，所述多个层是深度学习(DL)网络的层。
25.如权利要求22所述的认证设备，其中，所述至少一个中间层包括所述多个层之中除了最终层之外的至少一个层。
26.如权利要求22所述的认证设备，其中，所述至少一个中间层是多个中间层，
所述至少一个处理器还被配置为执行计算机可读指令以基于输入图像的特征值和注册图像的特征值确定输入图像的认证是否成功，输入图像的特征值通过中间层分别输出，注册图像的特征值分别对应于中间层。
27.如权利要求22所述的认证设备，其中，所述至少一个处理器还被配置为执行计算机可读指令以将注册图像应用于识别器并将通过所述至少一个中间层输出的至少一个特征值和通过最终层输出的最终层特征值存储为注册图像的特征值。
CN201610929947.XA 2015-11-04 2016-10-31 认证方法和设备以及用于训练识别器的方法和设备 Active CN107025425B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0154553 2015-11-04
KR20150154553 2015-11-04
KR1020160084878A KR102261833B1 (ko) 2015-11-04 2016-07-05 인증 방법 및 장치, 및 인식기 학습 방법 및 장치
KR10-2016-0084878 2016-07-05

Publications (2)

Publication Number Publication Date
CN107025425A CN107025425A (zh) 2017-08-08
CN107025425B true CN107025425B (zh) 2023-05-30

Family

ID=58740055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610929947.XA Active CN107025425B (zh) 2015-11-04 2016-10-31 认证方法和设备以及用于训练识别器的方法和设备

Country Status (3)

Country Link
JP (1) JP6771361B2 (zh)
KR (1) KR102261833B1 (zh)
CN (1) CN107025425B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
KR102455633B1 (ko) * 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
KR102181261B1 (ko) * 2018-09-18 2020-11-20 인하대학교 산학협력단 소표본 의료 영상의 전이학습을 위한 중간 레벨 특징 추출 방법 및 장치
JP2020204826A (ja) * 2019-06-14 2020-12-24 株式会社日立ビルシステム 学習装置、ロボットシステムおよび学習方法
US20220156560A1 (en) * 2020-11-18 2022-05-19 Micron Technology, Inc. Artificial neural network bypass compiler

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160830A (ja) * 1993-12-03 1995-06-23 Hitachi Eng Co Ltd ニューロを用いた文字認識装置
JPH07302340A (ja) * 1994-05-02 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> オンラインサイン認証方法および認証学習方法
JP3884160B2 (ja) * 1997-11-17 2007-02-21 富士通株式会社 用語付きデータを扱うデータ処理方法，データ処理装置およびプログラム記憶媒体
JP4772379B2 (ja) * 2005-05-26 2011-09-14 株式会社東芝 人物検索装置、人物検索方法および入退場管理システム
JP5230501B2 (ja) * 2009-03-26 2013-07-10 富士フイルム株式会社 認証装置及び認証方法
EP2920743A4 (en) * 2012-11-19 2017-01-04 IMDS America Inc. Method and system for the spotting of arbitrary words in handwritten documents
JP6192010B2 (ja) * 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
CN103711523B (zh) * 2013-12-24 2015-12-02 华北科技学院 基于局域分解-进化神经网络的瓦斯浓度实时预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜金贵主编.BP神经网络算法.《管理建模与仿真》.哈尔滨工程大学出版社,2015,第84-86页. *

Also Published As

Publication number Publication date
JP6771361B2 (ja) 2020-10-21
KR102261833B1 (ko) 2021-06-08
JP2017091522A (ja) 2017-05-25
CN107025425A (zh) 2017-08-08
KR20170052448A (ko) 2017-05-12

Similar Documents

Publication Publication Date Title
US11537698B2 (en) Methods and apparatuses for adaptively updating enrollment database for user authentication
US10275684B2 (en) Authentication method and apparatus, and method and apparatus for training a recognizer
US11544497B2 (en) Method and apparatus for recognizing object, and method and apparatus for training recognition model
CN107025425B (zh) 认证方法和设备以及用于训练识别器的方法和设备
CN109948408B (zh) 活性测试方法和设备
CN106326829B (zh) 检测虚假指纹的方法和设备以及识别指纹的方法和设备
US20210287026A1 (en) Method and apparatus with liveness verification
US9807090B2 (en) Person authentication method
JP7098701B2 (ja) 登録データベースの適応的更新方法及び装置
CN113366487A (zh) 基于表情组别的操作确定方法、装置及电子设备
US11625473B2 (en) Method and apparatus with selective combined authentication
US10552596B2 (en) Biometric authentication
CN111931548B (zh) 人脸识别系统、建立人脸识别数据的方法及人脸识别方法
CN111382666A (zh) 具有用户验证的设备和方法
CN115147874A (zh) 用于生物特征信息伪造检测的方法和设备
CN110457877B (zh) 用户认证方法和装置、电子设备、计算机可读存储介质
KR102483648B1 (ko) 인증을 수행하는 방법 및 장치
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치
KR20230018305A (ko) 라이브니스 검사 및 화자 인식 장치 및 방법
KR20210050226A (ko) 모바일 기기의 컴파운드 인증 수행 방법
KR20210001270A (ko) 블러 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant