CN108764031B - 识别人脸的方法、装置、计算机设备和存储介质 - Google Patents

识别人脸的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108764031B
CN108764031B CN201810344669.0A CN201810344669A CN108764031B CN 108764031 B CN108764031 B CN 108764031B CN 201810344669 A CN201810344669 A CN 201810344669A CN 108764031 B CN108764031 B CN 108764031B
Authority
CN
China
Prior art keywords
face
vector
feature vector
preset
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810344669.0A
Other languages
English (en)
Other versions
CN108764031A (zh
Inventor
王义文
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810344669.0A priority Critical patent/CN108764031B/zh
Priority to PCT/CN2018/095498 priority patent/WO2019200749A1/zh
Publication of CN108764031A publication Critical patent/CN108764031A/zh
Application granted granted Critical
Publication of CN108764031B publication Critical patent/CN108764031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请的识别人脸的方法，包括：根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值；若小于，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。本申请从任何一个能识别到人脸任何五官的角度，都可以通过进行人脸识别人脸识别更灵活高效且人性化。

Description

识别人脸的方法、装置、计算机设备和存储介质
技术领域
本申请涉及到卷积神经网络的应用领域，特别是涉及到识别人脸的方法、装置、计算机设备和存储介质。
背景技术
随着社会的不断进步以及快速有效的自动身份验证的迫切需求，生物特征识别技术在近几十年飞速发展，与其它生物特征识别相比，人脸识别由于具有直接、友好、方便的特点，而得到更广泛研究。人脸由眼睛、鼻子、嘴巴、下巴等部位构成，正因为这些部位的形状、大小和分布的各种差异，才使得世界上每张人脸千差万别，所以这些部位可作为人脸识别的重要特征。现有的人脸识别中无论是正脸识别还是侧脸识别，均需要正对摆拍才能准确识别，而且现有的人脸识别中只识别表征人脸的特定实体类型是否存在是否一致，而不考虑人脸的特定实体类型的空间位置关系之间的联络，使得人脸识别的精准性不高，而且只能通过比对指定姿态下摆拍的图像进行识别，现有人脸识别机械呆板，缺少贴合人类习惯的人性化设计。而且现有人脸识别对相似度极高的人脸，比如五官相似度极高的双胞胎识别精准度不高。
因此，现有技术还有待改进。
发明内容
本申请的主要目的为提供一种识别人脸的方法，旨在解决现有人脸识别机械呆板且精度不高的技术问题。
本申请提出一种识别人脸的方法，包括：
根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；
根据所述第一特征提取方式提取所述第一拍摄角度对应的第一特定实体类型的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；
判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值；
若小于，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
获取模块，用于根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；
第一转换模块，用于根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；
判断模块，用于判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值；
判定模块，用于若相似度小于预设阈值，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
本申请通过改变卷积结构，改变了输出的训练模型的结构，即将现有只识别特定实体类别的训练模型，改变为兼顾识别特定实体类别以及各特定实体类别的空间位置关系的训练模型，实现任何一个能识别到人脸任何五官的角度范围内，对人脸影像的准确表示与识别；本申请的训练模型中包含了各人脸五官的空间位置关系，不仅识别人脸五官特征，还识别五官的空间位置关系，提高人脸识别的精准度，进而精准识别；本申请的训练模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像，随意姿态下均可识别，无需刻意摆拍，人脸识别更灵活高效且人性化；本申请训练模型时需要的数据量大幅减少，使用较少的样本也可训练输出准确识别的训练模型。
附图说明
图1本申请一实施例识别人脸的方法流程示意图；
图2本申请一实施例识别人脸的装置结构示意图；
图3本申请一实施例的识别人脸的装置优化结构示意图；
图4本申请一实施例的训练模块的结构示意图；
图5本申请另一实施例识别人脸的装置结构示意图；
图6本申请一实施例的判断模块的结构示意图；
图7本申请再一实施例识别人脸的装置结构示意图；
图8本申请又一实施例识别人脸的装置结构示意图；
图9本申请又一实施例识别人脸的装置结构示意图；
图10本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例的识别人脸的方法，包括：
S1：根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式。
本实施例的拍摄角度包括以正面人脸的正前方视线为基准的能够拍摄到人脸任何五官的角度，比如侧向正90度为正右侧脸方向，侧向负90度为正左侧脸方向；再比如正上90度为俯视方向、正下90度为仰视方向等等，所有拍摄角度分布在以正面人脸的正前方视线为基准的类球面上。本实施例的拍摄角度通过装配上述人脸识别模型的摄像机获取。本实施例的第一拍摄角度为待验证人的某一指定拍摄角度，以区别于注册人进行注册时的各第二拍摄角度；第一特征提取方式相对于待验证人的某一指定拍摄角度，同样区别于注册人进行注册时的各第二拍摄角度对应的各第二特征提取方式，综上以上“第一”、“第二”仅为区别，不作限定。本实施例的CapsNet网络结构是基于胶囊单元(Capsule)的网络结构，胶囊单元就是一个向量，包含任意值，每个值代表了当前需要识别的物体的一个特征，比如人脸五官中的眼睛等。胶囊网络由胶囊单元构成，胶囊网络中的向量，不仅可表示物体的特征、也可以表示物体的方向、状态等。本实施例通过输入输出的向量的长度表征人脸存在的概率，向量的方向表示人脸的某些五官属性。同一层级的Capsule通过变换矩阵对更高级别的Capsule的实例化参数进行预测。当多个预测一致时(本实施例使用动态路由使预测一致)，更高级别的Capsule将变得活跃。本实施例通过Capsule中的神经元的激活情况表示了人脸影像中存在的人脸五官的各种性质，上述性质可以包含很多种不同的参数，例如姿势(位置，大小，方向)、变形、速度、反射率，色彩、纹理等。本实施例根据输入输出的向量长度表示了人脸出现的概率，概率值必须在0到1之间。为了实现概率压缩，并完成Capsule层级的激活功能，本实施例的胶囊网络中使用了Squashing(挤压)的非线性函数，该非线性函数确保短向量的长度能够缩短到几乎等于零，而长向量的长度压缩到接近但不超过1的情况。Squashing的非线性函数的表达式分为两部分：
Figure BDA0001631697780000041
和
Figure BDA0001631697780000042
非线性函数为：
Figure BDA0001631697780000043
前一部分是输入向量Sj的缩放尺度，第二部分是输入向量Sj的单位向量，该非线性函数既保留了输入向量的方向，又将输入向量的长度压缩到区间(0,1)内，以实现用向量模的大小衡量某个实体出现的概率，模值越大，概率越大。Sj向量为零向量时，Vj能取到0，而Sj无穷大时Vj无限逼近1，该非线性函数可以看作是对向量长度的一种压缩和重分配，也可以看作是一种输入向量激活后的输出向量的方式。Capsule的输入向量就相当于CNN的标量输入，而该向量的计算就相当于两层Capsule间的传播与连接方式。输入向量的计算分为两个阶段，即线性组合和Routing(路由过程，本实施例为动态路由)，表示为：
Figure BDA0001631697780000044
其中u是上一层胶囊网络的输出，W是每个输出要乘的权值，可以看作上一层每一个胶囊神经元以不同强弱的连接输出到后一层的某一个神经元。C根据下面公式计算：
Figure BDA0001631697780000045
C为耦合系数。本实施例的Capsnet胶囊网络结构与CNN网络结构相比，网络的输入即线性加权求和很类似，但是在线性求和阶段上多加了一个耦合系数C，为了求C必须先求b，b根据下面公式计算：
Figure BDA0001631697780000046
b初始值为0，故在前向传播求S的过程中，本实施例把W设计成随机值，b初始化为0可以得到C，U就是上一层胶囊网络的输出，Vj为Capsule j的输出向量，根据上述关系得到更高层的胶囊输入S。对于给定长度但方向不同的两个向量而言，乘积有下列几种情况：正值、零、负值，当两个向量的相乘结果为正时，代表两个向量指向的方向相似，则b更新结果变大，那么耦合系数就高，说明该两向量十分匹配。相反，若是两个向量相乘结果为负，则b更新结果变小，那么耦合系数就小，说明两个向量不匹配。通过迭代确定C，也就等于确定路线，该路线上胶囊神经元的模都特别大，路线的尽头就是正确预测的胶囊。
本实施例的人脸识别模型中包含了各角度人脸影像的坐标系，以向量表示一个特定人脸五官类型，比如向量中包含了人脸的眼睛、耳朵、鼻子等人脸五官类别，而且向量中包括了人脸五官的参数，比如大小、位置、方向、颜色等姿态属性参数，以表示五官之间的相对空间位置关系的联络转换关系。本实施例各角度识别到的人脸五官不同，对应的根据空间位置关系转换成正面人脸的人脸影像的方式不同。比如从俯视状态下获取的鼻子的向量表示不同于从左侧脸方向获取的鼻子的向量表示，而且根据俯视状态下的鼻子向量表示转换成正面鼻子向量的旋转方式，不同于根据从左侧脸方向获取的鼻子的向量表示转换成正面鼻子向量的旋转方式。
S2：根据第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量。
本实施例通过不同角度下人脸影像对应不同的特征提取方式，而且不同角度下识别到的第一人脸的特征不同，比如，以垂直于正面人脸的角度，可识别到五官中每个器官的正面状态特征以及五官之间的整体分布状态，而垂直于右侧脸方向，仅能识别到右眼、鼻子右半部分、右耳等器官的侧面状态。但本实施例中人脸识别模型为带有空间位置关系的三维立体模型，可以根据固有的空间位置关系，将第一拍摄角度下识别到的三维立体结构的某一部分，转换成另一角度下的三维立体结构的图像，比如将上述识别到右眼、鼻子右半部分、右耳等器官的侧面状态转换为垂直于正面人脸的拍摄状态，进而识别到五官中每个器官的正面状态特征以及五官之间的整体分布状态，输出正面人脸的特定实体类型对应的第一特征向量，上述特定实体类型对应人脸的五官。
S3：判断第一特征向量与预设特征向量的相似度是否小于预设阈值。
本实施例的预设特征向量，是通过将采集的预设角度的人脸影像输入对应角度的特征提取方式后输出的结果。本实施例的预设阈值为0.8及其以上。举例地，家用智能门锁中的预先注册了A的人脸影像的特征向量，当A要进入家里时，需要通过智能门锁中的人脸识别模型进行人脸识别验证，验证通过方可打开智能门锁。当A侧面站在智能门锁的摄像机下时，摄像机捕获了A的侧脸的五官特征，并输送到人脸识别模型中，人脸模型根据A的侧脸的五官特征，调用了A的识别数据库，启用A的人脸五官空间位置关系，并将A的侧脸转换为正面脸，并输出正面脸中五官对应的特征向量，计算该特征向量与A注册的预设特征向量进行比较计算，计算值在设定阈值内，则控制智能门锁呈打开状态。
S4：若小于，则判定获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
本实施例的相似度的值越小，相似程度越高。举例地，阈值设为0.8，当小于0.8时，则判定获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影。
进一步地，本实施例的步骤S1之前，包括：
S10：采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库。
本实施例通过采集各角度的人脸影像数据，包括多个人的各角度人脸影像数据，以便更精准地训练模型，提高模型的泛化能力，但由于Capsnet网络结构包括了空间位置关系的因素，相比于现有CNN网络结构在构建训练模型所需的样本数据明显减少，但却得到准确度更高的训练模型。CNN(Convolutional Neural Network，卷积神经网络)，从网络设计上来说，池化层不仅减少了参数，还避免了过拟合，但同时抛弃了一些信息，比如位置信息。CNN不关注组件的朝向和空间上的相对关系，只在乎有没有特定的特征。比如现有通过CNN进行人脸识别时，需要识别到人脸的两只眼睛、鼻子、嘴巴等，才能进行人脸识别，所以CNN人脸识别时必须正向摆拍后才能精准识别到需要的五官特征。而且在识别过程中两只眼睛、鼻子、嘴巴的位置发生变化，但满足识别到所有的五官特征后CNN的识别结果依然是人脸，导致识别误差较大，尤其对于识别人脸之外的物品时，错误率更高。本实施例的CapsNet(胶囊网络，Capsule Networks，简称CapsNet)网络结构充分利用空间位置关系，由矩阵乘法来建立训练模型，CapsNet中采用的神经活动会随着视角的变化而变化，而不消除神经活动中视角变化带来的影响，可以同时处理多个不同仿射变换或不同对象的不同部件，使得训练模型可以识别各角度人脸影像。本实施例的训练模型具有等变映射的同变性，各角度人脸影像在经过旋转、平移、缩放后，依然具有识别、表示的能力，使得本实施例的训练模型可以识别各观测到人脸五官的任一角度的人脸影像。举例地，本实施例的CapsNet网络结构输出各角度人脸影像对应的训练模型，能够在人脸俯视、仰视、侧视、正视等任何能识别到人脸任何五官的视角范围内，准确识别人脸，而无需端正摆拍，提高人脸识别的灵活性和高效性，避免了现有人脸识别中人脸必须机械的、端正的面对识别平面的弊端，扩展了人脸识别的灵活性，提升用户使用人脸识别装置的使用体验，且无需改变现有的人脸识别系统的硬件系统。
本实施例设A为m×p的人脸五官的特征数据矩阵，B为p×n的人脸五官的空间位置关系矩阵，那么称m×n的矩阵M为矩阵A与B的乘积，记作M＝AB，但只在矩阵A的列数等于矩阵B的行数时，A与B相乘才有意义，其中矩阵M中的第i行第j列元素可以表示为：
Figure BDA0001631697780000071
其中，a为矩阵A内的数据，b为矩阵B内的数据，P为矩阵A与B内相等的列数或行数。本实施例通过矩阵乘法把人脸五官的特征数据与人脸五官的空间位置关系的组合关系，通过矩阵M表现在模型中，通过矩阵乘法把人脸五官的许多数据紧凑的集中到了一起，可以简便地表示带有空间位置关系的人脸识别模型。
S11：将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型。
本实施例的训练模型可从识别到人脸五官的任意角度识别人脸特征，并根据训练模型中带有的空间位置关系转换出正面人脸的五官特征，进而进行人脸识别。
进一步地，本实施例的步骤S11，包括：
S111：将训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量。
本实施例的CapsNet网络结构包括两个卷积层和一个全连接层，第一卷积层为常规的卷积层，起到像素级局部特征的检测作用。本实施例的第一卷积层有256个9*9的第一指定卷积核，第一指定步幅取1，指定激活函数为ReLU。第一卷积层把像素亮度转化成局部特征检测器的激活，第一卷积层的输出张量作为第二卷积层的输入。
S112：将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule(胶囊)向量。
本实施例的第二卷积层为Primary Capsules层(主胶囊层)，为多维度实体类别的最底层，具有32个通道，每个通道均由一个8维卷积结构组成，每个通道输出一个8维向量，达到8*1Capsules的特征封装的效果。本实施例的Capsule是一组神经元，其输入输出向量表示特定实体类别的实例化参数。本实施例的特定实体类别为人脸五官。举例地，本实施例的第二指定卷积核为9*9卷积核以及第二指定步幅为2。本实施例的CapsNet架构中，将8个卷积单元封装在一起成为了一个新的Caosule单元。Primary Capsules层的卷积计算都没有使用ReLU(线性整流函数，Rectified Linear Unit)等激活函数，而以向量的方式预备输入到下一层Capsule(胶囊)单元中。
S113：通过CapsNet网络结构的DigitCaps层(数字胶囊层)对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
本实施例的CapsNet网络结构的DigitCaps层中，每个Capsule的激活向量模长给出了每个特定实体类别的实例是否存在，比如，DigitCaps层的输出范围在0到1之间，0表示不存在，1表示出现了。DigitCaps层的输入是PrimaryCapsules层中所有Capsule的输出向量，向量维度为[8,1]；DigitCaps层的输出向量的向量维度为[16,1]，本实施例的CapsNet的16维输出的训练模型是鲁棒的。
本申请另一实施例的步骤S3之前，包括：
S30：接收注册人脸的各第二拍摄角度人脸图像。
本实施例的第二拍摄角度为注册人的各拍摄角度，以区别于相对于待测人的第一拍摄角度，此处“第一”、“第二”只为区别，不作限定，本申请的其他段落处的与此相同，不赘述。本实施例的注册人脸包括一个人或多个人的人脸，以便在同一识别设备上识别多人个的人脸图像，扩大应用范围。
S31：根据各第二拍摄角度分别选择与第二拍摄角度对应的第二特征提取方式，一一对应提取各第二拍摄角度对应的注册人脸的各第二人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将各所述第二人脸的特征分别在所述人脸识别模型中转换成注册人的正面人脸的人脸影像的第二特征向量。
本实施例将注册人脸各第二拍摄角度对应的各第二人脸的特征转换为正面人脸的人脸影像的第二特征的转换方式与转换原理同步骤S2，此处不赘述。
S32：设置所述第二特征向量为所述预设特征向量。
通过将模型验证注册过的第二特征向量为基准的预设特征向量，以便准确识别待测人的人脸特征向量，当待测的人脸特征向量与预设特征向量相近时，判定为同一个人。
本申请实施例还包括注册人可为多人，预设特征向量对应为多个的情况，通过人脸识别模型进行人脸识别时，可通过不同注册人的人脸五官特征的不同，分别建立相对应的数据库，数据库中包含该注册人的五官特征以及五官的空间位置关系。获取多个预设特征向量中与第一特征向量匹配的特征向量，确定当期获取的人脸图像与该匹配的特征向量对应的人脸影像为同一人脸影像。通过人脸识别模型识别时先根据识别到的五官特征调取对应的数据库，然后根据对应的空间位置关系实现分别的转换，转换过程与原理同上所述，不赘述。
进一步地，本实施例的步骤S3，包括：
S300：计算上述第一特征向量与上述预设特征向量的距离值。
本步骤的距离值包括欧氏距离、余弦距离或马氏距离，本实施例优选用欧氏距离表示第一特征向量与预设特征向量的相似度。本实施例第一特征向量与预设特征向量的欧式距离表示为：
Figure BDA0001631697780000091
其中X为用注册时使用的人脸提取到的人脸特征向量，Y为验证时提取到的人脸特征向量，n表示自然数。
S301：判断所述距离值的大小是否小于预设阈值。
本实施例以人脸识别为例，本实施例的基于CapsNet的多角度识别方法，也推广至其他领域的目标物品的识别，不赘述。
本实施例通过CapsNet网络结构输出各角度人脸影像对应的训练模型，输出的各角度人脸影像对应的特征提取方式随着视角的变化而变化，而不消除神经活动中视角变化带来的影响，可以同时处理多个不同仿射变换或不同对象的不同部件，本实施例的训练模型具有等变映射的同变性，各角度人脸影像在经过旋转、平移、缩放后，依然具有识别、表示的能力，使得训练模型可以识别各角度人脸影像。本实施例通过CapsNet网络输出的训练模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像。利用本实施例的人脸识别方法，能够在人脸俯视、仰视、侧视、正视等任何视角范围内，准确识别人脸特征，避免了现有人脸识别中人脸必须机械的、端正的面对识别平面的弊端，扩展了人脸识别的灵活性，提升用户使用人脸识别装置的使用体验，且无需改变现有的人脸识别系统的硬件系统。
本申请再一实施例中，步骤S4之后，包括：
S5：向装配有所述人脸识别模型的安防系统发出控制指令，以打开安防系统，使受所述安防系统控制的应用实体处于可使用状态。
本实施例将人脸识别装置用于指定的安防系统，当通过人脸识别判定为同一人后，则向安防系统发送为同一个人时的预设控制指令，以便更好的发挥安防系统的功能。本实施例的安防系统包括但不限于智能门锁开关、身份验证门禁以及各种互联网安防平台，比如：税务登记平台、银行账户平台、考生身份验证平台等，提高验证的时效性以及准确性。本实施例的应用实体包括实体物体和虚拟平台，实体物体比如实体玩具、公共健身器材等，虚拟平台比如网络游戏平台、网络视频平台等。
本申请又一实施例中，步骤S5之后，还包括：
S6：统计指定同一个人在指定时间段的持续使用所述应用实体的累计时间长度是否超过阈值。
本步骤的阈值范围可根据不同的使用领域，进行具体设置。比如，本实施例用于游戏监控领域，用于防止同一个长时间处于游戏状态，影响身体健康。本实施例可设定阈值为连续12小时内的累计处于游戏状态的时间长度为2小时。
S7：若超过，则生成关闭所述应用实体的指令，以禁止继续使用该应用实体。
本实施例通过与时间监控进行组合使用，以进一步扩大人脸识别的应用场景领域，比如将时间监控与人脸识别实时监控联合后，用于游戏软件的管控，以防止过度沉迷于游戏，比如设定人脸识别系统实施监控游戏系统的使用状态以及使用用户是否为同一个人，当监控到同一个人处于游戏系统的游戏时间超过预设值，则控制游戏系统处于锁屏状态。
再比如用于公共资源的管控分配，通过人脸识别监控指定公共领域范围内的公共设施的使用状态，若判断同一个人的持续使用时间超过预设值，则关停该公共设施，当判定是其他人进入该公共领域范围内使用公共设施时，自动开启提供使用，有利于合理分配公共资源。
本申请又一实施例中，步骤S4之后，包括：
S8：汇总所述同一人脸的图像数据至同一指定文件中。
本实施例以对注册人的电子相片数据归类为例，通过对同一注册人脸图像的辨识，将同一注册人的图像汇总在同一文件夹中，实现对包含同一注册人的图像数据进行规整，以便更方便的查找注册人的相应的相片资料。
本实施例通过改变卷积结构，改变了输出的训练模型的结构，即将现有只识别特定实体类别的训练模型，改变为兼顾识别特定实体类型以及各特定实体类型的空间位置关系的训练模型，实现任何一个能识别到人脸任何五官的角度范围内，对人脸影像的准确表示与识别；通过CapsNet网络输出的训练模型中包含了各人脸五官的空间位置关系，不仅识别人脸五官特征，还识别五官的空间位置关系，提高人脸识别的精准度，进而精准识别；通过CapsNet网络输出的训练模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像，随意姿态下均可识别，无需刻意摆拍，人脸识别更灵活高效且人性化；通过CapsNet网络输出的训练模型时需要的数据量大幅减少，使用较少的样本也可训练输出准确识别的训练模型。
参照图2，本申请一实施例的基于CapsNet的多角度识别人脸的装置，包括：
获取模块1，用于根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式。
本实施例的拍摄角度包括以正面人脸的正前方视线为基准的能够拍摄到人脸任何五官的角度，比如侧向正90度为正右侧脸方向，侧向负90度为正左侧脸方向；再比如正上90度为俯视方向、正下90度为仰视方向等等，所有拍摄角度分布在以正面人脸的正前方视线为基准的类球面上。本实施例的拍摄角度通过装配上述人脸识别模型的摄像机获取。本实施例的第一拍摄角度为待验证人的某一指定拍摄角度，以区别于注册人进行注册时的各第二拍摄角度；第一特征提取方式相对于待验证人的某一指定拍摄角度，同样区别于注册人进行注册时的各第二拍摄角度对应的各第二特征提取方式，综上以上“第一”、“第二”仅为区别，不作限定。本实施例的CapsNet网络结构是基于胶囊单元(Capsule)的网络结构，胶囊单元就是一个向量，包含任意值，每个值代表了当前需要识别的物体的一个特征，比如人脸五官的眼睛等。胶囊网络由胶囊单元构成，胶囊网络的向量，不仅可表示物体的特征、也可以表示物体的方向、状态等。本实施例通过输入输出的向量的长度表征人脸存在的概率，向量的方向表示人脸的某些五官属性)。同一层级的Capsule通过变换矩阵对更高级别的Capsule的实例化参数进行预测。当多个预测一致时(本实施例使用动态路由使预测一致)，更高级别的Capsule将变得活跃。本实施例通过Capsule中的神经元的激活情况表示了人脸影像中存在的人脸五官的各种性质，上述性质可以包含很多种不同的参数，例如姿势(位置，大小，方向)、变形、速度、反射率，色彩、纹理等。而输入输出的向量的长度表示了某个人脸出现的概率，概率值必须在0到1之间。为了实现概率压缩，并完成Capsule层级的激活功能，本实施例的胶囊网络中使用了Squashing的非线性函数，该非线性函数确保短向量的长度能够缩短到几乎等于零，而长向量的长度压缩到接近但不超过1的情况。Squashing的非线性函数的表达式分为两部分：
Figure BDA0001631697780000121
和
Figure BDA0001631697780000122
非线性函数为：
Figure BDA0001631697780000123
前一部分是输入向量Sj的缩放尺度，第二部分是输入向量Sj的单位向量，该非线性函数既保留了输入向量的方向，又将输入向量的长度压缩到区间(0,1)内，以实现用向量模的大小衡量某个实体出现的概率，模值越大，概率越大。Sj向量为零向量时，Vj能取到0，而Sj无穷大时Vj无限逼近1，该非线性函数可以看作是对向量长度的一种压缩和重分配，也可以看作是一种输入向量激活后的输出向量的方式。Capsule的输入向量就相当于经典神经网络神经元的标量输入，而该向量的计算就相当于两层Capsule间的传播与连接方式。输入向量的计算分为两个阶段，即线性组合和Routing(路由过程，本实施例为动态路由)，表示为：
Figure BDA0001631697780000131
其中u是上一层胶囊网络的输出，W是每个输出要乘的权值，可以看作上一层每一个胶囊神经元以不同强弱的连接输出到后一层的某一个神经元。C根据下面公式计算：
Figure BDA0001631697780000132
C为耦合系数。本实施例的Capsnet网络结构与CNN网络结构相比，网络的输入即线性加权求和很类似，但是在线性求和阶段上多加了一个耦合系数C，为了求C必须先求b，b根据下面公式计算：
Figure BDA0001631697780000133
b初始值为0，故在前向传播求S的过程中，本实施例把W设计成随机值，b初始化为0可以得到C，U就是上一层胶囊网络的输出，Vj为Capsule j的输出向量，根据上述关系得到更高层的胶囊输入S。对于给定长度但方向不同的两个向量而言，乘积有下列几种情况：正值、零、负值，当两个向量的相乘结果为正时，代表两个向量指向的方向相似，则b更新结果变大，那么耦合系数就高，说明该两向量十分匹配。相反，若是两个向量相乘结果为负，则b更新结果变小，那么耦合系数就小，说明两个向量不匹配。通过迭代确定C，也就等于确定了路线，该路线上胶囊神经元的模都特别大，路线的尽头就是正确预测的胶囊。
本实施例的人脸识别模型中包含了各角度人脸影像的坐标系，以向量表示一个特定人脸五官类型，比如向量中包含了人脸的眼睛、耳朵、鼻子等人脸五官类别，而且向量中包括了人脸五官的参数，比如大小、位置、方向、颜色等姿态属性参数，以表示五官之间的相对空间位置关系的联络转换关系。本实施例各角度识别到的人脸五官不同，对应的根据空间位置关系转换成正面人脸的人脸影像的方式不同。比如从俯视状态下获取的鼻子的向量表示不同于从左侧脸方向获取的鼻子的向量表示，而且根据俯视状态下的鼻子向量表示转换成正面鼻子向量的旋转方式，不同于根据从左侧脸方向获取的鼻子的向量表示转换成正面鼻子向量的旋转方式。
第一转换模块2，用于根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量。
本实施例通过不同角度下人脸影像对应不同的特征提取方式，而且不同角度下识别到的第一人脸的特征不同，比如，以垂直于正面人脸的角度，可识别到五官中每个器官的正面状态特征以及五官之间的整体分布状态，而垂直于右侧脸方向，仅能识别到右眼、鼻子右半部分、右耳等器官的侧面状态。但本实施例中人脸识别模型为带有空间位置关系的三维立体模型，可以根据固有的空间位置关系，将第一拍摄角度下识别到的三维立体结构的某一部分，转换成另一角度下的三维立体结构的图像，比如将上述识别到右眼、鼻子右半部分、右耳等器官的侧面状态转换为垂直于正面人脸的拍摄状态，进而识别到五官中每个器官的正面状态特征以及五官之间的整体分布状态，输出正面人脸的特定实体类型对应的第一特征向量，上述特定实体类型对应人脸的五官。
判断模块3，用于判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值。
本实施例的预设特征向量，是通过将采集的预设角度的人脸影像输入对应角度的特征提取方式后输出的结果。本实施例的预设阈值为0.8及其以上。举例地，家用智能门锁中的预先注册了A的人脸影像的特征向量，当A要进入家里时，需要通过智能门锁中的人脸识别模型进行人脸识别验证，验证通过方可打开智能门锁。当A侧面站在智能门锁的摄像机下时，摄像机捕获了A的侧脸的五官特征，并输送到人脸识别模型中，人脸模型根据A的侧脸的五官特征，调用了A的识别数据库，启用A的人脸五官空间位置关系，并将A的侧脸转换为正面脸，并输出正面脸中五官对应的特征向量，计算该特征向量与A注册的预设特征向量进行比较计算，计算值在设定阈值内，则控制智能门锁呈打开状态。
判定模块4，用于若相似度小于预设阈值，则判定获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
本实施例的相似度的值越小，相似程度越高。举例地，阈值设为0.8，当小于0.8时，则判定获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影。
参照图3，本实施例的人脸识别装置，包括：
采集模块10，用于采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库。
本实施例通过采集各角度的人脸影像数据，包括多个人的各角度人脸影像数据，以便更精准地训练模型，提高模型的泛化能力，但由于Capsnet网络结构包括了空间位置关系的因素，相比于现有CNN网络结构在构建训练模型所需的样本数据明显减少，但却得到准确度更高的训练模型。现有的CNN(Convolutional Neural Network，卷积神经网络)，从网络设计上来说，池化层不仅减少了参数，还避免了过拟合，但同时抛弃了一些信息，比如位置信息。CNN不关注组件的朝向和空间上的相对关系，只在乎有没有特定的特征。比如现有通过CNN进行人脸识别时，需要识别到人脸的两只眼睛、鼻子、嘴巴等，才能进行人脸识别，所以CNN人脸识别时必须正向摆拍后才能精准识别到需要的五官特征。而且在识别过程中两只眼睛、鼻子、嘴巴的位置发生变化，但满足识别到所有的五官特征后CNN的识别结果依然是人脸，导致识别误差较大，尤其对于识别人脸之外的物品时，错误率更高。本实施例的CapsNet(胶囊网络，Capsule Networks，简称CapsNet)网络结构充分利用空间位置关系，由矩阵乘法来建立训练模型，CapsNet中采用的神经活动会随着视角的变化而变化，而不消除神经活动中视角变化带来的影响，可以同时处理多个不同仿射变换或不同对象的不同部件，使得训练模型可以识别各角度人脸影像。本实施例的训练模型具有等变映射的同变性，各角度人脸影像在经过旋转、平移、缩放后，依然具有识别、表示的能力，使得本实施例的训练模型可以识别各观测到人脸五官的任一角度的人脸影像。举例地，本实施例的CapsNet网络结构输出各角度人脸影像对应的训练模型，能够在人脸俯视、仰视、侧视、正视等任何能识别到人脸任何五官的视角范围内，准确识别人脸，而无需端正摆拍，提高人脸识别的灵活性和高效性，避免了现有人脸识别中人脸必须机械的、端正的面对识别平面的弊端，扩展了人脸识别的灵活性，提升用户使用人脸识别装置的使用体验，且无需改变现有的人脸识别系统的硬件系统。
本实施例设A为m×p的人脸五官的特征数据矩阵，B为p×n的人脸五官的空间位置关系矩阵，那么称m×n的矩阵M为矩阵A与B的乘积，记作M＝AB，但只在矩阵A的列数等于矩阵B的行数时，A与B相乘才有意义，其中矩阵M中的第i行第j列元素可以表示为：
Figure BDA0001631697780000161
其中，a为矩阵A内的数据，b为矩阵B内的数据，P为矩阵A与B内相等的列数或行数。本实施例通过矩阵乘法把人脸五官的特征数据与人脸五官的空间位置关系的组合关系，通过矩阵M表现在模型中，通过矩阵乘法把人脸五官的许多数据紧凑的集中到了一起，可以简便地表示带有空间位置关系的人脸识别模型。
训练模块11，用于将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型。
本实施例的训练模型可从识别到人脸五官的任意角度识别人脸特征，并根据训练模型中带有的空间位置关系转换出正面人脸的五官特征，进而进行人脸识别。
参照图4，本实施例的训练模块11，包括：
第一输入单元111，用于将所述训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量。
本实施例的CapsNet网络结构包括两个卷积层和一个全连接层，第一卷积层为常规的卷积层，起到像素级局部特征的检测作用。本实施例的第一卷积层有256个9*9的第一指定卷积核，第一指定步幅取1，指定激活函数为ReLU。第一卷积层把像素亮度转化成局部特征检测器的激活，第一卷积层的输出张量作为第二卷积层的输入。
第二输入单元112，用于将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核、以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule向量。
本实施例的第二卷积层为Primary Capsules层(主胶囊层)，为多维度实体类别的最底层，具有32个通道，每个通道均由一个8维卷积结构组成，每个通道输出一个8维向量，达到8*1Capsules的特征封装的效果。本实施例的Capsule是一组神经元，其输入输出向量表示特定实体类别的实例化参数。本实施例的特定实体类别为人脸五官。举例地，本实施例的第二指定卷积核为9*9卷积核以及第二指定步幅为2。本实施例的CapsNet架构中，将8个卷积单元封装在一起成为了一个新的Caosule单元。Primary Capsules层的卷积计算都没有使用ReLU等激活函数，而以向量的方式预备输入到下一层Capsule(胶囊)单元中。
更新单元113，用于通过CapsNet网络结构的DigitCaps层(数字胶囊层)对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
本实施例的CapsNet网络结构的DigitCaps层中，每个Capsule的激活向量模长给出了每个特定实体类别的实例是否存在，一个非常特殊的属性是图像中特定实体类别的实例存在，比如，DigitCaps层的输出范围在0到1之间，0表示不存在，1表示出现了。DigitCaps层的输入是Primary Capsules层中所有Capsule的输出向量ui，向量维度为[8,1]；DigitCaps层的输出向量vj,向量维度为[16,1]，本实施例的CapsNet的16维输出的训练模型是鲁棒的。
参照图5，本申请另一实施例的识别人脸的装置，包括：
接收模块30，用于接收注册人脸的各第二拍摄角度人脸图像。
本实施例的第二拍摄角度为注册人的各拍摄角度，以区别于相对于待测人的第一拍摄角度。本实施例的注册人脸包括一个人或多个人的人脸，以便在同一识别设备上识别多人个的人脸图像，扩大应用范围。
第二转换模块31，根据各第二拍摄角度的人脸图像分别选择与第二拍摄角度对应的第二特征提取方式，一一对应提取各第二拍摄角度对应的注册人脸的各第二人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将各所述第二人脸的特征分别在所述人脸识别模型中转换成注册人的正面人脸的人脸影像的第二特征向量。
本实施例将注册人脸各第二拍摄角度对应的各第二人脸的特征转换为正面人脸的人脸影像的第二特征的转换方式与转换原理同第一转换模块2，此处不赘述。
设置模块32，用于设置所述第二特征向量为所述预设特征向量。
通过将模型验证注册过的第二特征向量为基准的预设特征向量，以便准确识别待测人的人脸特征向量，当待测的人脸特征向量与预设特征向量相近时，判定为同一个人。
本发明其他实施例中注册人可为多人，预设特征向量对应为多个，通过人脸识别模型进行人脸识别时，可通过不同注册人的人脸五官特征的不同，分别建立相对应的数据库，数据库中包含该注册人的五官特征以及五官的空间位置关系。设置模块32包括获取单元，用于获取多个预设特征向量中与第一特征向量匹配的特征向量；以及确定单元，用于确定当期获取的人脸图像与该匹配的特征向量对应的人脸影像为同一人脸影像。通过人脸识别模型识别时先根据识别到的五官特征调取对应的数据库，然后根据对应的空间位置关系实现分别的转换，转换过程与原理同上所述，不赘述。
参照图6，本实施例的判断模块3，包括：
计算单元300，用于计算上述第一特征向量与上述预设向量的距离值。
本实施例的距离值包括欧氏距离、余弦距离或马氏距离，本实施例优选用欧氏距离表示第一特征向量与预设特征向量的相似度。本实施例第一特征向量与预设特征向量的欧式距离表示为：
Figure BDA0001631697780000181
其中X为用注册时使用的人脸提取到的人脸特征向量，Y为验证时提取到的人脸特征向量，n表示自然数。
判断单元301，用于判断所述距离值的大小是否小于预设阈值。
本实施例以人脸识别为例，本实施例的基于CapsNet的多角度识别方法，也推广至其他领域的目标物品的识别，不赘述。
本实施例通过CapsNet网络结构输出各角度人脸影像对应的训练模型，输出的各角度人脸影像对应的特征提取方式随着视角的变化而变化，而不消除神经活动中视角变化带来的影响，可以同时处理多个不同仿射变换或不同对象的不同部件，本实施例的训练模型具有等变映射的同变性，各角度人脸影像在经过旋转、平移、缩放后，依然具有识别、表示的能力，使得训练模型可以识别各角度人脸影像。本实施例的CapsNet模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像。利用本实施例的人脸识别方法，能够在人脸俯视、仰视、侧视、正视等任何视角范围内，准确识别人脸特征，避免了现有人脸识别中人脸必须机械的、端正的面对识别平面的弊端，扩展了人脸识别的灵活性，提升用户使用人脸识别装置的使用体验，且无需改变现有的人脸识别系统的硬件系统。
参照图7，本申请再一实施例的识别人脸的装置，包括：
发出模块5，用于向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态。
本实施例将人脸识别装置用于指定的安防系统，当通过人脸识别判定为同一人后，则向安防系统发送为同一个人时的预设控制指令，以便更好的发挥安防系统的功能。本实施例的安防系统包括但不限于智能门锁开关、身份验证门禁以及各种互联网安防平台，比如：税务登记平台、银行账户平台、考生身份验证平台等，提高验证的时效性以及准确性。本实施例的应用实体包括实体物体和虚拟平台，实体物体比如实体玩具、公共健身器材等，虚拟平台比如网络游戏平台、网络视频平台等。
参照图8，本申请又一实施例的识别人脸的装置，包括：
统计模块6，用于统计指定同一个人在指定时间段的持续使用所述应用实体的累计时间长度是否超过阈值。
本实施例的阈值范围可根据不同的使用领域，进行具体设置。比如，本实施例用于游戏监控领域，用于防止同一个长时间处于游戏状态，影响身体健康。本实施例可设定阈值为连续12小时内的累计处于游戏状态的时间长度为2小时。
生成模块7，用于若累计时间长度超过阈值，则生成关闭所述应用实体的指令，以禁止继续使用该应用实体。
本实施例通过与时间监控进行组合使用，以进一步扩大人脸识别的应用场景领域，比如将时间监控与人脸识别实时监控联合后，用于游戏软件的管控，以防止过度沉迷于游戏，比如设定人脸识别系统实施监控游戏系统的使用状态以及使用用户是否为同一个人，当监控到同一个人处于游戏系统的游戏时间超过预设值，则控制游戏系统处于锁屏状态。
再比如用于公共资源的管控分配，通过人脸识别监控指定公共领域范围内的公共设施的使用状态，若判断同一个人的持续使用时间超过预设值，则关停该公共设施，当判定是其他人进入该公共领域范围内使用公共设施时，自动开启提供使用，有利于合理分配公共资源。
参照图9，本申请又一实施例的识别人脸的装置，包括：
汇总模块8，用于汇总所述同一人脸的图像数据至同一指定文件中。
本实施例以对注册人的电子相片数据归类为例，通过对同一注册人脸图像的辨识，将同一注册人的图像汇总在同一文件夹中，实现对包含同一注册人的图像数据进行规整，以便更方便的查找注册人的相应的相片资料。
参照图10，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于CapsNet的多角度识别人脸的模型训练过程中需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现识别人脸的方法。
上述处理器执行上述识别人脸的方法的步骤：根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值；若小于，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
上述计算机设备，通过改变卷积结构，改变了输出的训练模型的结构，即将现有只识别特定实体类别的训练模型，改变为兼顾识别特定实体类型以及各特定实体类型的空间位置关系的训练模型，实现任何一个能识别到人脸任何五官的角度范围内，对人脸影像的准确表示与识别；本申请的训练模型中包含了各人脸五官的空间位置关系，不仅识别人脸五官特征，还识别五官的空间位置关系，提高人脸识别的精准度，进而精准识别；本申请的训练模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像，随意姿态下均可识别，无需刻意摆拍，人脸识别更灵活高效且人性化；本申请训练模型时需要的数据量大幅减少，使用较少的样本也可训练输出准确识别的训练模型。
在一个实施例中，上述处理器根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式的步骤之前，包括：采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库；将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型。
在一个实施例中，上述处理器将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型的步骤，包括：将所述训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量；将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核、以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule向量；通过CapsNet网络结构的DigitCaps层对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
在一个实施例中，处理器判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值的步骤之前，包括：接收注册人脸的各第二拍摄角度的人脸图像；根据各第二拍摄角度分别选择与第二拍摄角度对应的所述第二特征提取方式，一一对应提取各第二拍摄角度对应的注册人脸的各第二人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将各所述第二人脸的特征分别在所述人脸识别模型中转换成所述注册人的正面人脸的人脸影像的第二特征向量；设置所述第二特征向量为所述预设特征向量。
在一个实施例中，处理器所述判断所述特征向量与预设特征向量的相似度是否小于预设阈值的步骤，包括：计算所述第一特征向量与所述预设向量的距离值；判断所述距离值的大小是否小于预设阈值。
在一个实施例中，处理器判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像的步骤之后，包括：向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态。
在一个实施例中，处理器向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态的步骤之后，包括：统计指定同一个人在指定时间段的持续使用所述应用实体的累计时间长度是否超过阈值；若超过，则生成关闭所述应用实体的指令，以禁止继续使用该应用实体。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现识别人脸的方法，具体为：根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值；若小于，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像。
上述计算机可读存储介质，通过改变卷积结构，改变了输出的训练模型的结构，即将现有只识别特定实体类别的训练模型，改变为兼顾识别特定实体类型以及各特定实体类型的空间位置关系的训练模型，实现任何一个能识别到人脸任何五官的角度范围内，对人脸影像的准确表示与识别；本申请的训练模型中包含了各人脸五官的空间位置关系，不仅识别人脸五官特征，还识别五官的空间位置关系，提高人脸识别的精准度，进而精准识别；本发明的训练模型中包含了各人脸五官的空间位置关系，从任何一个能识别到人脸任何五官的角度，都可以通过空间位置关系转换出人脸的正面图像，随意姿态下均可识别，无需刻意摆拍，人脸识别更灵活高效且人性化；本发明训练模型时需要的数据量大幅减少，使用较少的样本也可训练输出准确识别的训练模型。
在一个实施例中，上述处理器根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式的步骤之前，包括：采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库；将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型。
在一个实施例中，上述处理器将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型的步骤，包括：将所述训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量；将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核、以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule向量；通过CapsNet网络结构的DigitCaps层对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
在一个实施例中，处理器判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值的步骤之前，包括：接收注册人脸的各第二拍摄角度的人脸图像；根据各第二拍摄角度分别选择与第二拍摄角度对应的所述第二特征提取方式，一一对应提取各第二拍摄角度对应的注册人脸的各第二人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将各所述第二人脸的特征分别在所述人脸识别模型中转换成所述注册人的正面人脸的人脸影像的第二特征向量；设置所述第二特征向量为所述预设特征向量。
在一个实施例中，处理器所述判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值的步骤，包括：计算所述第一特征向量与所述预设向量的距离值；判断所述距离值的大小是否小于预设阈值。
在一个实施例中，处理器
判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像的步骤之后，包括：向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态。
在一个实施例中，处理器向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态的步骤之后，包括：统计指定同一个人在指定时间段的持续使用所述应用实体的累计时间长度是否超过阈值；若超过，则生成关闭所述应用实体的指令，以禁止继续使用该应用实体。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种识别人脸的方法，其特征在于，包括：
根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；
根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；
判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值，其中，所述预设特征向量为通过将采集的预设角度的人脸影像输入对应角度的特征提取方式后输出的结果；
若小于，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像；
所述根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式的步骤之前，包括：
采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库；
将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型；
所述将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型的步骤，包括：
将所述训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量；
将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核、以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule向量；
通过CapsNet网络结构的DigitCaps层对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
2.根据权利要求1所述的识别人脸的方法，其特征在于，所述判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值的步骤之前，包括：
接收注册人脸的各第二拍摄角度的人脸图像；
根据各第二拍摄角度分别选择与第二拍摄角度对应的第二特征提取方式，一一对应提取各第二拍摄角度对应的注册人脸的各第二人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将各所述第二人脸的特征分别在所述人脸识别模型中转换成所述注册人的正面人脸的人脸影像的第二特征向量；
设置所述第二特征向量为所述预设特征向量。
3.根据权利要求2所述的识别人脸的方法，其特征在于，所述判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值的步骤，包括：
计算所述第一特征向量与所述预设特征向量的距离值；
判断所述距离值的大小是否小于预设阈值。
4.根据权利要求1所述的识别人脸的方法，其特征在于，所述判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像的步骤之后，包括：
向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态。
5.根据权利要求4所述的识别人脸的方法，其特征在于，所述向装配有所述人脸识别模型的安防系统发出控制指令，以打开所述安防系统，使受所述安防系统控制的应用实体处于可使用状态的步骤之后，包括：
统计指定同一个人在指定时间段的持续使用所述应用实体的累计时间长度是否超过阈值；
若超过，则生成关闭所述应用实体的指令，以禁止继续使用该应用实体。
6.一种识别人脸的装置，其特征在于，包括：
获取模块，用于根据获取到的人脸影像的第一拍摄角度，在基于CapsNet网络结构训练的人脸识别模型中选择对应的第一特征提取方式；
第一转换模块，用于根据所述第一特征提取方式提取所述第一拍摄角度对应的第一人脸的特征，并根据所述人脸识别模型中带有的空间位置关系，将所述第一人脸的特征在所述人脸识别模型中转换成正面人脸的人脸影像的第一特征向量；
判断模块，用于判断所述第一特征向量与预设特征向量的相似度是否小于预设阈值，其中，所述预设特征向量为通过将采集的预设角度的人脸影像输入对应角度的特征提取方式后输出的结果；
判定模块，用于若相似度小于预设阈值，则判定所述获取到的人脸影像与所述预设特征向量对应的人脸影像为同一个人的人脸影像；
采集模块，用于采集多个人的各拍摄角度的人脸影像数据，以构建训练模型样本库；
训练模块，用于将所述训练模型样本库的人脸影像数据输入CapsNet网络结构的卷积层神经网络中进行训练，得到所述人脸识别模型；
所述训练模块包括：
第一输入单元，用于将所述训练模型样本库的各角度人脸影像数据输入CapsNet网络结构的第一卷积层，并以第一指定卷积核以及第一指定步幅进行卷积，并通过指定激活函数输出张量；
第二输入单元，用于将所述张量输入CapsNet网络结构的第二卷积层，并以第二指定卷积核、以及第二指定步幅进行卷积，以构建张量结构，并输出所述张量结构的Capsule向量；
更新单元，用于通过CapsNet网络结构的DigitCaps层对所述Capsule向量进行传播与Routing更新，并输出人脸识别模型。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201810344669.0A 2018-04-17 2018-04-17 识别人脸的方法、装置、计算机设备和存储介质 Active CN108764031B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810344669.0A CN108764031B (zh) 2018-04-17 2018-04-17 识别人脸的方法、装置、计算机设备和存储介质
PCT/CN2018/095498 WO2019200749A1 (zh) 2018-04-17 2018-07-12 识别人脸的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810344669.0A CN108764031B (zh) 2018-04-17 2018-04-17 识别人脸的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108764031A CN108764031A (zh) 2018-11-06
CN108764031B true CN108764031B (zh) 2023-04-18

Family

ID=64010719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810344669.0A Active CN108764031B (zh) 2018-04-17 2018-04-17 识别人脸的方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN108764031B (zh)
WO (1) WO2019200749A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291773A (zh) * 2018-12-06 2020-06-16 西安光启未来技术研究院 特征识别的方法及装置
CN109784243B (zh) * 2018-12-29 2021-07-09 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN109948509A (zh) * 2019-03-11 2019-06-28 成都旷视金智科技有限公司 对象状态监测方法、装置及电子设备
CN110059560B (zh) * 2019-03-18 2023-02-24 创新先进技术有限公司 人脸识别的方法、装置及设备
CN110197125A (zh) * 2019-05-05 2019-09-03 上海资汇信息科技有限公司 无约束条件下的人脸识别方法
CN110263236B (zh) * 2019-06-06 2022-11-08 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN112434547B (zh) * 2019-08-26 2023-11-14 中国移动通信集团广东有限公司 一种用户身份稽核方法和设备
CN110909766B (zh) * 2019-10-29 2022-11-29 北京明略软件系统有限公司 相似度的确定方法及装置、存储介质、电子装置
CN110866962B (zh) * 2019-11-20 2023-06-16 成都威爱新经济技术研究院有限公司 一种基于卷积神经网络的虚拟人像与表情同步方法
CN111062260B (zh) * 2019-11-25 2024-03-05 杭州绿度信息技术有限公司 一种面部整容推荐方案自动生成方法
CN111062936B (zh) * 2019-12-27 2023-11-03 中国科学院上海营养与健康研究所 用于面部变形诊疗效果的量化指标评估方法
CN113111679A (zh) * 2020-01-09 2021-07-13 北京君正集成电路股份有限公司 一种人形上半身监测网络结构的设计方法
CN111860093B (zh) * 2020-03-13 2024-05-14 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111339990B (zh) * 2020-03-13 2023-03-24 乐鑫信息科技（上海）股份有限公司 一种基于人脸特征动态更新的人脸识别系统和方法
CN111582305B (zh) * 2020-03-26 2023-08-18 平安科技（深圳）有限公司 生物特征识别方法、装置、计算机设备及存储介质
CN111931882B (zh) * 2020-07-20 2023-07-21 五邑大学 货物自动结账方法、系统及存储介质
CN112036281B (zh) * 2020-07-29 2023-06-09 重庆工商大学 基于改进胶囊网络的人脸表情识别方法
CN112115998B (zh) * 2020-09-11 2022-11-25 昆明理工大学 一种基于对抗增量聚类动态路由网络克服灾难性遗忘的方法
CN112183394A (zh) * 2020-09-30 2021-01-05 江苏智库智能科技有限公司 一种人脸识别方法、装置和智能安防管理系统
CN112884049B (zh) * 2021-02-24 2024-09-17 浙江商汤科技开发有限公司 在输入图像中检测注册图像的方法及相关装置、设备
CN113219870B (zh) * 2021-05-07 2022-03-08 禹焱科技河北有限公司 一种用于工业仪表数据智能采集共享器
CN113283313B (zh) * 2021-05-10 2022-10-11 长沙海信智能系统研究院有限公司 信息处理方法、装置及设备
CN113537249A (zh) * 2021-08-17 2021-10-22 浙江大华技术股份有限公司 图像的确定方法、装置、存储介质及电子装置
CN113642540B (zh) * 2021-10-14 2022-01-28 中国科学院自动化研究所 一种基于胶囊网络的人脸表情识别方法及装置
CN115471946B (zh) * 2022-10-18 2024-07-12 深圳市盛思达通讯技术有限公司 非接触式检测闸机的快速通过系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及系统
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN107844744A (zh) * 2017-10-09 2018-03-27 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及系统
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN107844744A (zh) * 2017-10-09 2018-03-27 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN108764031A (zh) 2018-11-06
WO2019200749A1 (zh) 2019-10-24

Similar Documents

Publication Publication Date Title
CN108764031B (zh) 识别人脸的方法、装置、计算机设备和存储介质
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
WO2021114892A1 (zh) 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
CN110490076B (zh) 活体检测方法、装置、计算机设备和存储介质
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN114067358B (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
WO2019227479A1 (zh) 人脸旋转图像的生成方法及装置
KR101901591B1 (ko) 얼굴 인식 장치 및 그 제어방법
CN108154075A (zh) 经由单次学习的群体分析法
CN110222718B (zh) 图像处理的方法及装置
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
WO2021047587A1 (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN110633004A (zh) 基于人体姿态估计的交互方法、装置和系统
CN113298158B (zh) 数据检测方法、装置、设备及存储介质
Yan et al. Human-object interaction recognition using multitask neural network
CN112949468A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN117238026B (zh) 一种基于骨骼和图像特征的姿态重建交互行为理解方法
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN111178187A (zh) 一种基于卷积神经网络的人脸识别方法及装置
Han et al. Robust human action recognition using global spatial-temporal attention for human skeleton data
CN114140841A (zh) 点云数据的处理方法、神经网络的训练方法以及相关设备
Li et al. Dynamic long short-term memory network for skeleton-based gait recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant