CN110059604B - 深度均匀人脸特征提取的网络训练方法及装置 - Google Patents

深度均匀人脸特征提取的网络训练方法及装置 Download PDF

Info

Publication number
CN110059604B
CN110059604B CN201910286518.9A CN201910286518A CN110059604B CN 110059604 B CN110059604 B CN 110059604B CN 201910286518 A CN201910286518 A CN 201910286518A CN 110059604 B CN110059604 B CN 110059604B
Authority
CN
China
Prior art keywords
face
preset
face image
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910286518.9A
Other languages
English (en)
Other versions
CN110059604A (zh
Inventor
鲁继文
周杰
段岳圻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910286518.9A priority Critical patent/CN110059604B/zh
Publication of CN110059604A publication Critical patent/CN110059604A/zh
Application granted granted Critical
Publication of CN110059604B publication Critical patent/CN110059604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本申请提出一种深度均匀人脸特征提取的网络训练方法及装置，其中，该方法包括：将人脸图像训练集合输入预设深度卷积神经网络；获取预设深度卷积神经网络输出的与人脸图像训练集合中的多个人脸图像子集合对应的多个人脸特征中心值；根据预设损失函数计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值；若均匀分布损失值不小于预设阈值，则根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过这种深度均匀人脸特征提取的网络训练方法，充分利用整个特征空间，提高了人脸识别的准确率。

Description

深度均匀人脸特征提取的网络训练方法及装置
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种深度均匀人脸特征提取的网络训练方法及装置。
背景技术
人脸识别在智能监控、无人系统、安全门禁等实际应用中发挥着重要的作用。传统的人脸识别系统分为以下四个步骤：人脸检测、人脸对齐、人脸特征提取、人脸分类。人脸识别作为一个典型的模式识别问题，由于人脸受到背景、姿态、表情、光照等影响，同类图片具有较大的类内差异，因此提取区分力强的特征在系统中扮演着关键性的角色。
随着大数据时代的到来，深度学习在例如视觉识别、检测、检索、分割等多项视觉分析任务中取得了突破性的进展。因此，大量研究者也开展了基于深度特征学习的人脸识别方法。球人脸特征模型认为特征应存在于一个高维超球面上，并采用角度距离来进行度量特征间的相似性，取得了领先的识别效果。
然而，由于球人脸特征模型未对特征间的距离进行约束，因此无法保证整体的特征分布充分利用整个球面，使得人脸特征在球面上的分布不均匀。对于特征密集的局部区域，不同人脸图像的特征间距较小，易将不同人脸识别为同一人；而在其他特征分布较为离散的区域中，大部分特征空间均用于区分较易人脸(即差异较大的不同人脸)，未能充分利用整个特征空间，从而影响了人脸识别的准确率。
发明内容
本申请提出的深度均匀人脸特征提取的网络训练方法及装置，用于解决相关技术中，球人脸特征模型中的人脸特征在球面上的分布不均匀，未能充分利用整个特征空间，从而影响了人脸识别的准确率的问题。
本申请一方面实施例提出的深度均匀人脸特征提取的网络训练方法，包括：将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像；获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值；根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值；若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
本申请另一方面实施例提出的深度均匀人脸特征提取的网络训练装置，包括：输入模块，用于将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像；获取模块，用于获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值；检测模块，用于根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值；更新模块，用于若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
本申请实施例提供的深度均匀人脸特征提取的网络训练方法及装置，将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据预设损失函数计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，提高了人脸识别的准确率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种深度均匀人脸特征提取的网络训练方法的流程示意图；
图2为本申请实施例所提供的另一种深度均匀人脸特征提取的网络训练方法的流程示意图；
图3-1为对分布在球面上的同种电荷进行电势能最小化的过程示意图；
图3-2为通过结合均匀分布损失函数与角度softmax损失函数对预设深度卷积神经网络的网络参数进行优化的示意图；
图4为本申请实施例所提供的一种深度均匀人脸特征提取的网络训练装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中，球人脸特征模型中的人脸特征在球面上的分布不均匀，未能充分利用整个特征空间，从而影响了人脸识别的准确率的问题，提出一种深度均匀人脸特征提取的网络训练方法。
本申请实施例提供的深度均匀人脸特征提取的网络训练方法，将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据预设损失函数计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，提高了人脸识别的准确率。
下面参考附图对本申请提供的深度均匀人脸特征提取的网络训练方法及装置进行详细描述。
图1为本申请实施例所提供的一种深度均匀人脸特征提取的网络训练方法的流程示意图。
如图1所示，该深度均匀人脸特征提取的网络训练方法，包括以下步骤：
步骤101，将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像。
在本申请实施例中，可以根据实际需要，选择合适的深度卷积神经网络，作为预设深度卷积神经网络，对人脸图像训练集合中的各人脸图像进行特征提取。
需要说明的是，人脸图像训练集合中需要包含大量人脸图像，并且包括多个不同人脸图像子集合，其中，每个图像子集合中包括的多张人脸图像，为同一个用户在不同的背景、姿态、表情、光照下的多张人脸图像，以使通过人脸图像训练集合训练出的网络模型的可靠性更高。
步骤102，获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值。
其中，人脸图像子集合对应人脸特征中心值，是指该人脸图像子集合中各人脸图像分别对应的人脸特征值的平均值。
在本申请实施例中，将人脸图像训练集合中的每张人脸图像依次输入预设深度卷积神经网络，并利用预设深度卷积神经网络对每张人脸图像分别进行特征提取，以确定每张人脸图像对应的人脸特征值，进而预设深度卷积神经网络根据每个人脸图像子集合中各人脸图像的序号，以及确定出的每张人脸图像对应的人脸特征值的序号，确定出每个人脸图像子集合中各人脸图像分别对应的人脸特征值，并根据每个人脸图像子集合中各人脸图像分别对应的人脸特征值，确定出每个人脸图像子集合分别对应的人脸特征中心值。
作为一种可能的实现方式，可以将每个人脸图像子集合中各人脸图像分别对应的人脸特征值的平均值，确定为每个人脸图像子集合分别对应的人脸特征中心值。
具体的，人脸图像对应的人脸特征值可以是一个n维的向量(n为大于1的正整数)，人脸图像子集合对应的人脸特征中心值也为一个n维的向量。因此，人脸图像子集合对应的人脸特征中心值的每一维的取值，可以是该人脸图像子集合中各人脸图像分别对应的人脸特征值对应维取值的平均值，即人脸图像子集合对应的人脸特征中心值，可以通过公式(1)确定。
Figure BDA0002023449110000041
其中，bm为一个人脸图像子集合对应的人脸特征中心值第m维的取值，x为该人脸图像子集合中包括的人脸图像的数量，ak,m为该人脸图像子集合中第k个人脸图像对应的人脸特征值第m维的取值，m为该人脸图像子集合对应的人脸特征中心值以及人脸图像对应的人脸特征值的维度序号，k为该人脸图像子集合中包括的人脸图像的序号。
作为一种可能的实现方式，在通过预设神经卷积神经网络确定出人脸图像训练集合中每个人脸图像子集合分别对应的人脸特征中心值之后，即可根据预设深度卷积神经网络的输出，获取人脸图像训练集合中多个人脸图像子集合对应的多个人脸特征中心值。
步骤103，根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值。
在本申请实施例中，可以通过预设损失函数以及获取的多个人脸图像子集合分别对应的多个人脸特征中心值，确定预设损失函数的取值，即多个人脸特征中心值之间的均匀分布损失值，进而根据均匀分布损失值确定预设深度卷积神经网络的性能优劣，并根据均匀分布损失值对预设深度卷积神经网络的网络参数进行调整，以优化预设深度卷积神经网络的性能。
需要说明的是，在对深度卷积神经网络进行训练的过程中，通过损失函数对深度卷积神经网络的网络参数进行优化时，损失函数的取值越小，则说明深度卷积神经网络当前的性能越好，即在本申请实施例中，通过预设损失函数计算的多个人脸特征中心值之间的均匀分布损失值越小，预设深度卷积神经网络的性能越好。
作为一种可能的实现方式，可以预设多个人脸特征中心值之间的均匀分布损失值的阈值，并根据多个人脸特征中心值之间的均匀分布损失值与预设的阈值的关系，判断预设深度卷积神经网络当前的性能是否符合要求，以及是否需要对预设深度卷积神经网络的网络参数进行更新。
需要说明的是，实际使用时，均匀分布损失值的阈值可以根据实际需要预设，本申请实施例对此不做限定。
具体的，若确定多个人脸特征中心值之间的均匀分布损失值小于预设阈值，则可以确定预设深度卷积神经网络当前的性能符合要求，即不需要对预设深度卷积神经网络的网络参数进行更新；若确定多个人脸特征中心值之间的均匀分布损失值不小于预设阈值，则可以确定预设深度卷积神经网络当前的性能不符合要求，即需要对预设深度卷积神经网络的网络参数进行更新，以优化预设神经卷积神经网络的性能。
步骤104，若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
在本申请实施例中，在确定多个人脸特征中心值之间的均匀分布损失值不小于预设阈值，则可以根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，并将人脸图像训练集合中的人脸图像依次输入更新后的深度卷积神经网络，进而根据更新后的深度卷积神经网络输出的多个人脸特征中心值以及预设损失函数，重新计算多个人脸特征中心值之间的均匀分布损失值，进而进一步检测新的均匀分布损失值是否小于阈值，若不小于，则需要根据均匀分布损失值，再一次对深度卷积神经网络的网络参数进行更新，直至深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值小于阈值，则可以完成对预设深度卷积神经网络的训练；若小于，则可以确定更新后的深度卷积神经网络的性能符合要求，即无需继续调整深度卷积神经网络的网络参数，从而完成对预设深度卷积神经网络的训练。
本申请实施例提供的深度均匀人脸特征提取的网络训练方法，将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据预设损失函数计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，提高了人脸识别的准确率。
在本申请一种可能的实现形式中，可以将每个人脸图像子集合对应的人脸特征中心值看作同种点电荷，并根据物理学中的库仑斥力公式，计算出每两个人脸特征中心值间的库仑斥力，进而将每两个人脸特征中心值间的库仑斥力之和的平均值公式，确定为均匀分布损失函数，并将确定出的均匀分布损失函数，确定为预设损失函数，以对预设深度卷积神经网络的性能进行优化。
下面结合图2，对本申请实施例提供的深度均匀人脸特征提取的网络训练方法进行进一步说明。
图2为本申请实施例所提供的另一种深度均匀人脸特征提取的网络训练方法的流程示意图。
如图2所示，该深度均匀人脸特征提取的网络训练方法，包括以下步骤：
步骤201，将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像。
步骤202，获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值。
上述步骤201-202的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤203，根据
Figure BDA0002023449110000061
计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值。
其中，Lu为均匀分布损失值，M为多个人脸图像子集合的数量，λ为超参数，cj1、cj2分别为第j1个人脸特征中心值与第j2个人脸特征中心值，d(cj1,cj2)为第j1个人脸特征中心值与第j2个人脸特征中心值的距离，j1、j2为人脸特征中心值的序号。
优选的，d(cj1,cj2)为cj1与cj2的欧式距离，λ＝1。
需要说明的是，在球人脸特征中，人脸特征值分布在一个超高维球面上，因此，为使得人脸特征值在超高维球面上均匀分布，可以对多个人脸图像子集合对应的多个人脸特征中心值间的距离进行约束。
作为一种可能的实现方式，可以根据物理学中，球面上随机分布同种电荷在斥力作用下电势能逐渐减小，并且电势能在电荷在球面上均匀分布时达到最低值的原理，获得均匀分布损失函数Lu。如图3-1所示，为对分布在球面上的同种电荷进行电势能最小化的过程示意图。从如3-1中可以容易看出，当电荷C1、C2、C3在球面上均匀分布时，它们两两之间的库仑斥力之和最小，即电势能最小。
在本申请实施例中，可以将过个人脸图像子集合对应的多个人脸特征中心值看作同种点电荷，并将两个人脸特征中心值间的欧式距离看作其对应的点电荷间的距离，将常数K换做常数1，从而可以获得多个人脸图像子集合对应的多个人脸特征中心值的库仑斥力的平均值为
Figure BDA0002023449110000062
进一步的，为提高确定的均匀分布损失函数的通用性，可以在多个人脸图像子集合对应的多个人脸特征中心值的库仑斥力的平均值公式中引入超参数λ，以便于最终获得的均匀分布损失函数与其他损失函数结合，共同对预设深度卷积神经网络的参数进行优化，以进一步提高对预设深度卷积神经网络的优化效果。从而可以得到均匀分布损失函数
Figure BDA0002023449110000063
在本申请实施例中，多个人脸特征中心值之间的均匀分布损失值越小，则可以确定多个人脸特征中心值间的分布越均匀，即说明深度卷积神经网络当前的性能越好；多个人脸特征中心值之间的均匀分布损失值越大，则可以确定多个人脸特征中心值间的分布越不均匀，即说明深度卷积神经网络当前的性能越差。
作为一种可能的实现方式，可以根据公式
Figure BDA0002023449110000071
计算多个人脸特征中心值之间的均匀分布损失值，并预设多个人脸特征中心值之间的均匀分布损失值的阈值，进而根据多个人脸特征中心值之间的均匀分布损失值与预设的阈值的关系，判断预设深度卷积神经网络当前的性能是否符合要求，以及是否需要对预设深度卷积神经网络的网络参数进行更新。
需要说明的是，实际使用时，均匀分布损失值的阈值可以根据实际需要预设，本申请实施例对此不做限定。
具体的，若确定多个人脸特征中心值之间的均匀分布损失值小于预设阈值，则可以确定多个人脸特征中心值分布的均匀程度符合要求，即预设深度卷积神经网络当前的性能符合要求，即不需要对预设深度卷积神经网络的网络参数进行更新；若确定多个人脸特征中心值之间的均匀分布损失值不小于预设阈值，则可以确定多个人脸特征中心值分布的均匀程度不符合要求，即预设深度卷积神经网络当前的性能不符合要求，即需要对预设深度卷积神经网络的网络参数进行更新，以优化预设神经卷积神经网络的性能。
进一步的，为进一步提高预设神经卷积神经网络的性能，还可以将其他损失函数与本申请提出的均匀分布损失函数Lu结合，作为预设损失函数，以共同对预设深度卷积神经网络的性能进行优化。即在本申请实施例一种可能的实现形式中，上述步骤203之前，还可以包括：
根据均匀分布损失函数和角度softmax损失函数，确定所述预设损失函数。
其中，所述角度softmax损失函数为：
Figure BDA0002023449110000072
其中，Lang为角度softmax损失函数值，N为所述人脸图像训练集合中的人脸图像的数量，xi为所述人脸图像训练集合中的第i个样本，yi为xi所属的人脸图像子集合，θyi,i为xi与其所属的人脸图像子集合yi间的角度，ψ(θyi,i)为xi与其所属的人脸图像子集合yi间的余弦距离，i为人脸图像子集合的序号，h为所述人脸图像训练集合中与yi不同的其他人脸图像子集合的序号，θh,i为xi与第h个其他人脸图像子集合间的角度。
具体的，在将均匀分布损失函数Lu与角度softmax函数进行结合，以共同对预设深度卷积神经网络的参数进行优化训练时，可以将均匀分布损失函数Lu与角度softmax函数之和，确定为预设损失函数。即在本申请实施例一种可能的实现形式中，上述根据均匀分布损失函数和角度softmax损失函数，确定所述预设损失函数，可以包括：
将所述均匀分布损失函数Lu与所述角度softmax损失函数Lang之和，确定为所述预设损失函数。
作为一种可能的实现方式，若将均匀分布损失函数Lu与角度softmax损失函数Lang之和，确定为预设损失函数，则可以根据人脸图像训练集合中人脸图像的数量、多个人脸图像子集合以及多个人脸图像子集合对应的多个人脸特征中心值，确定均匀分布损失函数Lu与角度softmax损失函数Lang之和的取值，即预设损失函数的取值，进而根据预设损失函数的取值与预设的阈值的关系，确定是否需要对预设深度卷积神经网络的网络参数进行更新。
具体的，若确定预设损失函数的取值小于预设阈值，则可以确定预设深度卷积神经网络当前的性能符合要求，即不需要对预设深度卷积神经网络的网络参数进行更新；若确定预设损失函数的取值不小于预设阈值，则可以确定预设深度卷积神经网络当前的性能不符合要求，即需要对预设深度卷积神经网络的网络参数进行更新，以优化预设神经卷积神经网络的性能。如图3—2所示，为通过结合均匀分布损失函数与角度softmax损失函数对预设深度卷积神经网络的网络参数进行优化的示意图。其中，C表示预设深度卷积神经网络的卷积层，P表示预设深度卷积神经网络的Max-pooling层，FC表示预设深度卷积神经网络的全连接层。
需要说明的是，通过结合均匀分布损失函数和角度softmax损失函数，共同对预设深度卷积神经网络的性能进行优化时，可以通过调整超参数λ的取值，对均匀分布损失函数及角度softmax损失函数在预设深度卷积神经网络的性能优化中所起的作用进行平衡。
在本申请实施例一种可能的实现形式中，均匀分布损失函数Lu与角度softmax损失函数Lang的取值范围可能存在较大差异，从而导致其中一个损失函数在优化预设深度卷积神经网络的网络参数时，几乎不起作用，从而导致最终获得的预设深度卷积神经网络的性能较差。比如，均匀分布损失函数Lu的取值范围(如[0，100])远大于角度softmax损失函数Lang的取值范围(如[0，1])，则会导致角度softmax损失函数Lang在优化预设深度卷积神经网络的网络参数时，几乎不起作用，从而可以通过调整超参数λ的取值，使得均匀分布损失函数Lu的取值范围与角度softmax损失函数Lang的取值范围相同或相近，从而使得两个损失函数可以在优化预设深度卷积神经网络的网络参数时，均起到良好的作用，从而进一步提高预设深度卷积神经网络的优化效果。
举例来说，若均匀分布损失函数Lu的取值范围为[0，100]，角度softmax损失函数Lang的取值范围为[0，1]，则可以将超参数λ的取值确定为0.01；若均匀分布损失函数Lu的取值范围为[0，1]，角度softmax损失函数Lang的取值范围也为[0，1]，则可以将超参数λ的取值确定为1。
步骤204，若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
上述步骤204的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
进一步的，在对预设深度卷积神经网络训练完成之后，即可以利用训练完成的深度卷积神经网络进行人脸识别或分类。即在本申请实施例一种可能的实现形式中，上述步骤204之后，还可以包括：
获取待处理人脸图像集合，并将所述待处理人脸图像集合输入训练完成的深度卷积神经网络，其中，所述待处理人脸图像集合中包含多个待处理人脸图像子集合，每个待处理人脸图像子集合中包含同一个用户的多张待处理人脸图像；
获取所述训练完成的深度卷积神经网络输出的与所述多个待处理人脸图像子集合对应的多个待处理人脸特征中心值，并根据所述多个待处理人脸特征中心值将所述待处理人脸图像集合对应的人脸特征投影至高维超球面。
其中，待处理人脸图像集合中包含多个待处理人脸图像子集合，每个待处理人脸图像子集合中包含同一个用户的多张待处理人脸图像，即待处理人脸图像集合的结构与人脸图像训练集合相同。
需要说明的是，待处理人脸图像集合可以是训练预设深度卷积神经网络时所使用的人脸图像训练集合，也可以是重新获取的与人脸图像训练集合结构相同的人脸图像集合。实际使用时，可以根据实际需要确定待处理人脸图像集合，本申请实施例对此不做限定。
在本申请实施例中，在将待处理人脸图像集合输入训练完成的深度卷积神经网络之后，训练完成的深度卷积深度神经网络即可输出与待处理人脸图像集合中包括的多个待处理人脸图像子集合对应的多个待处理人脸特征中心值，进而根据多个待处理人脸特征中心值将待处理人脸图像集合对应的各人脸特征投影值高维超球面。其中，每个待处理人脸图像子集合中的各人脸特征均以该待处理人脸图像子集合对应的待处理人脸特征中心值为中心，并且各人脸特征均匀的分布在高维超球面上。
进一步的，在利用训练完成的深度卷积神经网络对待处理人脸图像集合中的各人脸图像进行深度特征提取，并将各人脸特征投影值高维超球面之后，即可以根据获取到的待处理人脸图像集合的各人脸特征，训练分类器，以利用分类器对人脸图像测试集中的图像进行分类。即在本申请实施例一种可能的实现形式中，上述根据所述多个待处理人脸特征中心值将所述待处理人脸图像集合对应的人脸特征投影至高维超球面之后，还可以包括：
利用预设的分类器算法对所述待处理人脸图像集合对应的人脸特征进行识别处理，以生成分类模型；
利用所述分类模型对人脸图像测试集合进行识别处理，以对所述人脸图像测试集中的人脸图像进行分类。
在本申请实施例中，利用训练完成的深度卷积神经网络对待处理人脸图像集合中的各人脸图像进行深度特征提取，可以获得非常可靠的深度特征，从而提高人脸识别的准确性。因此，可以利用预设的分类器算法对待处理人脸图像集合对应的人脸特征进行识别处理，以生成可靠的分类模型，进而利用生成的分类模型对人脸图像测试集合中的各人脸图像进行识别处理，以对人脸图像测试集中的人脸图像进行分类。
本申请实施例提供的深度均匀人脸特征提取的网络训练方法，可以将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据
Figure BDA0002023449110000101
计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，进一步提高了人脸识别的准确率。
为了实现上述实施例，本申请还提出一种深度均匀人脸特征提取的网络训练装置。
图4为本申请实施例提供的一种深度均匀人脸特征提取的网络训练装置的结构示意图。
如图4所示，该深度均匀人脸特征提取的网络训练装置30，包括：
输入模块31，用于将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像；
第一获取模块32，用于获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值；
检测模块33，用于根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值；
更新模块34，用于若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
在实际使用时，本申请实施例提供的深度均匀人脸特征提取的网络训练装置，可以被配置在任意电子设备中，以执行前述深度均匀人脸特征提取的网络训练方法。
本申请实施例提供的深度均匀人脸特征提取的网络训练装置，可以将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据预设损失函数计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，提高了人脸识别的准确率。
在本申请一种可能的实现形式中，上述预设损失函数为：
Figure BDA0002023449110000111
其中，Lu为所述均匀分布损失值，M为所述多个人脸图像子集合的数量，λ为超参数，cj1、cj2分别为第j1个人脸特征中心值与第j2个人脸特征中心值，d(cj1，cj2)为第j1个人脸特征中心值与第j2个人脸特征中心值的距离，j1、j2为人脸特征中心值的序号。
进一步的，在本申请另一种可能的实现形式中，上述深度均匀人脸特征提取的网络训练装置30，还包括：
确定模块，用于根据均匀分布损失函数和角度softmax损失函数，确定所述预设损失函数。
进一步的，在本申请再一种可能的实现形式中，上述角度softmax损失函数为：
Figure BDA0002023449110000112
其中，Lang为角度softmax损失函数值，N为所述人脸图像训练集合中的人脸图像的数量，xi为所述人脸图像训练集合中的第i个样本，yi为xi所属的人脸图像子集合，θyi，i为xi与其所属的人脸图像子集合yi间的角度，ψ(θyi，i)为xi与其所属的人脸图像子集合yi间的余弦距离，i为人脸图像子集合的序号，h为所述人脸图像训练集合中与yi不同的其他人脸图像子集合的序号，θh，i为xi与第h个其他人脸图像子集合间的角度。
进一步的，在本申请又一种可能的实现形式中，上述确定模块，具体用于：
将所述均匀分布损失函数Lu与所述角度softmax损失函数Lang之和，确定为所述预设损失函数。
进一步的，在本申请又一种可能的实现形式中，上述d(cj1，cj2)为cj1与cj2的欧式距离，λ＝1。
进一步的，在本申请另一种可能的实现形式中，上述深度均匀人脸特征提取的网络训练装置30，还包括：
第二获取模块，用于获取待处理人脸图像集合，并将所述待处理人脸图像集合输入训练完成的深度卷积神经网络，其中，所述待处理人脸图像集合中包含多个待处理人脸图像子集合，每个待处理人脸图像子集合中包含同一个用户的多张待处理人脸图像；
第三获取模块，用于获取所述训练完成的深度卷积神经网络输出的与所述多个待处理人脸图像子集合对应的多个待处理人脸特征中心值，并根据所述多个待处理人脸特征中心值将所述待处理人脸图像集合对应的人脸特征投影至高维超球面。
进一步的，在本申请另再一种可能的实现形式中，上述深度均匀人脸特征提取的网络训练装置30，还包括：
生成模块，用于利用预设的分类器算法对所述待处理人脸图像集合对应的人脸特征进行识别处理，以生成分类模型；
分类模块，用于利用所述分类模型对人脸图像测试集合进行识别处理，以对所述人脸图像测试集中的人脸图像进行分类。
需要说明的是，前述对图1、图2所示的深度均匀人脸特征提取的网络训练方法实施例的解释说明也适用于该实施例的深度均匀人脸特征提取的网络训练装置30，此处不再赘述。
本申请实施例提供的深度均匀人脸特征提取的网络训练装置，可以将人脸图像训练集合输入预设深度卷积神经网络，并获取预设深度卷积神经网络输出的与人脸图像训练集合中包括的多个人脸图像子集合对应的多个人脸特征中心值，之后根据
Figure BDA0002023449110000121
计算多个人脸特征中心值之间的均匀分布损失值，并检测均匀分布损失值是否小于预设阈值，进而在均匀分布损失值不小于预设阈值时，根据均匀分布损失值对预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于预设阈值时，完成对预设深度卷积神经网络的训练。由此，通过根据预设深度卷积神经网络输出的多个人脸特征中心值之间的均匀分布损失值，对预设深度卷积神经网络的网络参数进行调整，以使得深度卷积神经网络输出的人脸特征在特征空间中均匀分布，从而实现了充分利用整个特征空间，进一步提高了人脸识别的准确率。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种深度均匀人脸特征提取的网络训练方法，其特征在于，包括：
将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像；
获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值；
根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值，其中，所述预设损失函数为：
Figure FDA0002903857070000011
其中，Lu为所述均匀分布损失值，M为所述多个人脸图像子集合的数量，λ为超参数，cj1、cj2分别为第j1个人脸特征中心值与第j2个人脸特征中心值，d(cj1,cj2)为第j1个人脸特征中心值与第j2个人脸特征中心值的距离，j1、j2为人脸特征中心值的序号；
若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
2.如权利要求1所述的方法，其特征在于，所述根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值之前，还包括：
根据均匀分布损失函数和角度softmax损失函数，确定所述预设损失函数。
3.如权利要求2所述的方法，其特征在于，
所述角度softmax损失函数为：
Figure FDA0002903857070000012
其中，Lang为角度softmax损失函数值，N为所述人脸图像训练集合中的人脸图像的数量，xi为所述人脸图像训练集合中的第i个样本，yi为xi所属的人脸图像子集合，θyi,i为xi与其所属的人脸图像子集合yi间的角度，ψ(θyi,i)为xi与其所属的人脸图像子集合yi间的余弦距离，i为人脸图像子集合的序号，h为所述人脸图像训练集合中与yi不同的其他人脸图像子集合的序号，θh,i为xi与第h个其他人脸图像子集合间的角度。
4.如权利要求3所述的方法，其特征在于，所述根据均匀分布损失函数与角度softmax损失函数，确定所述预设损失函数，包括：
将所述均匀分布损失函数Lu与所述角度softmax损失函数Lang之和，确定为所述预设损失函数。
5.如权利要求1所述的方法，其特征在于，d(cj1,cj2)为cj1与cj2的欧式距离，λ＝1。
6.如权利要求1-5任一所述的方法，其特征在于，还包括：
获取待处理人脸图像集合，并将所述待处理人脸图像集合输入训练完成的深度卷积神经网络，其中，所述待处理人脸图像集合中包含多个待处理人脸图像子集合，每个待处理人脸图像子集合中包含同一个用户的多张待处理人脸图像；
获取所述训练完成的深度卷积神经网络输出的与所述多个待处理人脸图像子集合对应的多个待处理人脸特征中心值，并根据所述多个待处理人脸特征中心值将所述待处理人脸图像集合对应的人脸特征投影至高维超球面。
7.如权利要求6所述的方法，其特征在于，所述根据所述多个待处理人脸特征中心值将所述待处理人脸图像集合对应的人脸特征投影至高维超球面之后，还包括：
利用预设的分类器算法对所述待处理人脸图像集合对应的人脸特征进行识别处理，以生成分类模型；
利用所述分类模型对人脸图像测试集合进行识别处理，以对所述人脸图像测试集中的人脸图像进行分类。
8.一种深度均匀人脸特征提取的网络训练装置，其特征在于，包括：
输入模块，用于将人脸图像训练集合输入预设深度卷积神经网络，其中，所述人脸图像训练集合中包含多个人脸图像子集合，每个人脸图像子集合中包含同一个用户的多张人脸图像；
获取模块，用于获取所述预设深度卷积神经网络输出的与所述多个人脸图像子集合对应的多个人脸特征中心值；
检测模块，用于根据预设损失函数计算所述多个人脸特征中心值之间的均匀分布损失值，并检测所述均匀分布损失值是否小于预设阈值，其中，所述预设损失函数为：
Figure FDA0002903857070000021
其中，Lu为所述均匀分布损失值，M为所述多个人脸图像子集合的数量，λ为超参数，cj1、cj2分别为第j1个人脸特征中心值与第j2个人脸特征中心值，d(cj1,cj2)为第j1个人脸特征中心值与第j2个人脸特征中心值的距离，j1、j2为人脸特征中心值的序号；
更新模块，用于若所述均匀分布损失值不小于所述预设阈值，则根据所述均匀分布损失值对所述预设深度卷积神经网络的网络参数进行更新，直到更新后的深度卷积神经网络对应的均匀分布损失值小于所述预设阈值时，完成对所述预设深度卷积神经网络的训练。
CN201910286518.9A 2019-04-10 2019-04-10 深度均匀人脸特征提取的网络训练方法及装置 Active CN110059604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910286518.9A CN110059604B (zh) 2019-04-10 2019-04-10 深度均匀人脸特征提取的网络训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910286518.9A CN110059604B (zh) 2019-04-10 2019-04-10 深度均匀人脸特征提取的网络训练方法及装置

Publications (2)

Publication Number Publication Date
CN110059604A CN110059604A (zh) 2019-07-26
CN110059604B true CN110059604B (zh) 2021-04-27

Family

ID=67317548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910286518.9A Active CN110059604B (zh) 2019-04-10 2019-04-10 深度均匀人脸特征提取的网络训练方法及装置

Country Status (1)

Country Link
CN (1) CN110059604B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782228A (zh) * 2019-10-25 2020-02-11 上海燕汐软件信息科技有限公司 一种工作时长获得方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107862275A (zh) * 2017-11-01 2018-03-30 电子科技大学 人体行为识别模型及其构建方法和人体行为识别方法
CN108182438A (zh) * 2018-01-17 2018-06-19 清华大学 基于深度强化学习的图二值特征学习方法及装置
CN108647583A (zh) * 2018-04-19 2018-10-12 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016708B (zh) * 2017-03-24 2020-06-05 杭州电子科技大学 一种基于深度学习的图像哈希编码方法
CN108122223A (zh) * 2017-12-18 2018-06-05 浙江工业大学 基于Fisher准则的铁氧体缺陷深度学习识别方法
CN109145129B (zh) * 2018-09-07 2020-03-31 深圳码隆科技有限公司 基于层次三元组损失函数的深度度量学习方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107862275A (zh) * 2017-11-01 2018-03-30 电子科技大学 人体行为识别模型及其构建方法和人体行为识别方法
CN108182438A (zh) * 2018-01-17 2018-06-19 清华大学 基于深度强化学习的图二值特征学习方法及装置
CN108647583A (zh) * 2018-04-19 2018-10-12 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN109492556A (zh) * 2018-10-28 2019-03-19 北京化工大学 面向小样本残差学习的合成孔径雷达目标识别方法

Also Published As

Publication number Publication date
CN110059604A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
Kowalski et al. Deep alignment network: A convolutional neural network for robust face alignment
Chen et al. Relevance metric learning for person re-identification by exploiting listwise similarities
Sun et al. Deep learning face representation by joint identification-verification
Kotropoulos et al. Frontal face authentication using morphological elastic graph matching
CN108647583B (zh) 一种基于多目标学习的人脸识别算法训练方法
Hu Enhanced gabor feature based classification using a regularized locally tensor discriminant model for multiview gait recognition
Chen et al. Region-based object recognition by color segmentation using a simplified PCNN
CN105718889B (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
CN107330383A (zh) 一种基于深度卷积神经网络的人脸识别方法
CN107403084B (zh) 一种基于步态数据的身份识别方法
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
Wang et al. Multiple manifolds metric learning with application to image set classification
Zhang et al. Pose-robust feature learning for facial expression recognition
Srisuk et al. Robust face recognition based on weighted deepface
An et al. Multi-level common space learning for person re-identification
CN110059604B (zh) 深度均匀人脸特征提取的网络训练方法及装置
Abdalla et al. Utilizing discrete wavelet transform and discrete cosine transform for iris recognition
Bindu et al. Kernel-based scale-invariant feature transform and spherical SVM classifier for face recognition
CN115481685A (zh) 一种基于原型网络的辐射源个体开集识别方法
Zhang et al. Person re-identification with multi-features based on evolutionary algorithm
Pang et al. One-pass incremental membership authentication by face classification
Vignolo et al. An evolutionary wrapper for feature selection in face recognition applications
Tan et al. Eigenspectrum regularization on Grassmann discriminant analysis with image set classification
Colmenarez et al. Pattern detection with information-based maximum discrimination and error bootstrapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant