CN111723691A - 一种三维人脸识别方法、装置、电子设备及存储介质 - Google Patents

一种三维人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111723691A
CN111723691A CN202010496025.0A CN202010496025A CN111723691A CN 111723691 A CN111723691 A CN 111723691A CN 202010496025 A CN202010496025 A CN 202010496025A CN 111723691 A CN111723691 A CN 111723691A
Authority
CN
China
Prior art keywords
point cloud
domain
face recognition
dimensional
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010496025.0A
Other languages
English (en)
Other versions
CN111723691B (zh
Inventor
户磊
连捷
朱海涛
付贤强
魏梦
浦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010496025.0A priority Critical patent/CN111723691B/zh
Publication of CN111723691A publication Critical patent/CN111723691A/zh
Application granted granted Critical
Publication of CN111723691B publication Critical patent/CN111723691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种三维人脸识别方法、装置、电子设备及存储介质，所述方法包括：确定深度图对应的点云图；将点云图输入至人脸识别模型，得到人脸识别模型输出的点云图的人脸特征，并基于所述人脸特征进行人脸识别；人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。本发明实施例提供的方法、装置、电子设备及存储介质，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力，同时利用二维的点云图存储三维的点云数据，降低了模型的复杂度，提升了模型的运算效率。

Description

一种三维人脸识别方法、装置、电子设备及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种三维人脸识别方法、装置、电子设备及存储介质。
背景技术
在计算机视觉和深度学习领域，人脸识别技术一直是重要的研究方向，相比于二维人脸图像，深度传感器获取的三维人脸图像包含了人脸的形状信息，对于人脸姿态和光照的变化造成的影响，三维人脸识别技术的鲁棒性更强。
随着消费级深度传感器的不断出现，可以通过采集的深度人脸图像和相机参数获取三维人脸点云。但是，由于深度相机基线距离和深度图恢复算法的影响，获取的点云数据质量在人脸距离较远时通常较差；此外，不同相机获取的点云数据风格和质量也存在较大差异。
现有的人脸识别模型是通过将质量好的点云和质量差的点云融合在一起进行训练得到的，利用上述人脸识别模型的三维人脸识别方法对远距离质量差的点云数据的识别效果提升不明显，同时也影响了近距离质量好的点云数据的识别效果，现有的三维人脸识别方法对不同质量和不同风格的点云数据的泛化能力较差。
发明内容
本发明实施例提供一种三维人脸识别方法、装置、电子设备及存储介质，用以解决现有的三维人脸识别方法对不同质量和不同风格的点云数据的泛化能力较差的问题。
第一方面，本发明实施例提供一种三维人脸识别方法，包括：
确定深度图对应的点云图；
将所述点云图输入至人脸识别模型，得到所述人脸识别模型输出的所述点云图的人脸特征，并基于所述人脸特征进行人脸识别；
所述人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
可选地，所述人脸识别模型包括识别主分支，所述识别主分支是通过与所述域分辨器分支进行对抗学习训练得到的；
所述域分辨器分支包括多个域分辨器，所述域分辨器和所述目标域类别一一对应，每一域分辨器包括一个梯度翻转层。
可选地，任一域分辨器中的梯度翻转层的前向传播公式是基于所述识别主分支输出的源域点云图对应的中间特征，以及所述源域点云图对应的源域类别的类别中心特征与所述任一域分辨器对应的目标域类别的类别中心特征之间的相似度确定的。
可选地，所述识别主分支和所述域分辨器分支联合对抗学习的损失函数是基于所述识别主分支的损失函数和所述域分辨器分支的损失函数之差确定的。
可选地，所述识别主分支的损失函数是基于所述源域点云图对应的特征及其距离权重确定的；
其中，任一距离权重是基于任一源域点云图对应的采集距离确定的。
可选地，所述确定深度图对应的点云图，具体包括：
获取所述深度图和所述深度图的二维人脸关键点；
基于所述深度图和所述二维人脸关键点，确定三维点云数据和三维人脸关键点；
基于所述三维点云数据和所述三维人脸关键点，以及标准人脸关键点，确定标准人脸三维点云数据；
基于所述标准人脸三维点云数据，确定所述点云图。
可选地，所述源域点云图和所述目标域点云图是基于源域深度图和目标域深度图确定的，所述源域深度图和所述目标域深度图是通过对原始源域深度图和原始目标域深度图进行畸变增强得到的；
所述畸变增强为基于深度相机参数，对所述原始源域深度图和所述原始目标域深度图添加径向畸变和切向畸变。
第二方面，本发明实施例提供一种三维人脸识别装置，包括：
数据确定模块，用于确定深度图对应的点云图；
人脸识别模块，用于将所述点云图输入至人脸识别模型，得到所述人脸识别模型输出的所述点云图的人脸特征，并基于所述人脸特征进行人脸识别；
所述人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的三维人脸识别方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的三维人脸识别方法。
本发明实施例提供的一种三维人脸识别方法、装置、电子设备及存储介质，通过基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到人脸识别模型，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。同时利用二维的点云图存储三维的点云数据，进而可以使用二维的人脸识别模型对点云数据进行处理，降低了模型的复杂度，提升了模型的运算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的三维人脸识别方法的流程示意图；
图2为本发明实施例提供的三维人脸识别装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的三维人脸识别方法的流程示意图，如图1所示，本发明实施例提供的三维人脸识别方法包括：
步骤110，确定深度图对应的点云图。
具体地，深度图是通过深度相机采集得到的，深度相机可以是结构光深度相机，也可以是TOF(Time of Flight)相机，还可以是双目相机，本发明实施例对深度相机的类型不作具体限定。利用深度相机参数，对采集得到的深度图进行坐标转换，可以得到深度图对应的三维点云数据。随后将三维点云数据投影到预设尺寸的二维空间，其中，预设尺寸为二维图像的图像大小，例如预设尺寸可以为112×96。通过二维图像的图像三通道RGB分别存储三维点云数据的XYZ坐标值，即可以按照二维图像结构存储三维点云数据，用于存储三维点云数据的二维图像即为深度图对应的点云图。
步骤120，将点云图输入至人脸识别模型，得到人脸识别模型输出的点云图的人脸特征，并基于所述人脸特征进行人脸识别；
人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
具体地，人脸识别模型用于基于点云图中的人脸三维形状信息对点云图进行人脸识别，输出点云图的人脸特征，其中，人脸特征为表征人脸信息的向量。计算输出的人脸特征与特征库中各特征向量的距离，将与人脸特征距离最近的特征向量对应的人脸识别结果作为点云图对应的人脸识别结果，人脸识别结果为待识别人脸对应的身份信息。人脸识别结果可以为事先为待识别人脸标记的编号，也可以为包含待识别人脸的姓名、身份证号码、性别、籍贯和出生日期等信息的身份卡片，本发明实施例对此不作具体限定。
在执行步骤120之前，还可以预先训练得到人脸识别模型，具体可通过如下方式训练得到人脸识别模型：首先，收集源域点云图和目标域点云图，其中，源域点云图和目标域点云图分别来源于不同类型的深度相机，通过源域到目标域的迁移学习，可以获取目标域点云图的人脸识别结果，以提升人脸识别模型对跨相机数据的泛化能力。
通过对所有源域点云图进行人工标注的方式，确定源域点云图对应的源域类别；通过对所有目标域点云图进行人工标注的方式，确定目标域点云图对应的目标域类别。其中，源域类别和目标域类别分别为所有源域点云图和所有目标域点云图对应的人脸识别结果，且所有目标域类别包含于所有源域类别，同时每一源域类别和每一目标域类别可以包括正脸、抬头、低头、左转头、右转头五幅点云图(其中抬头、低头、左右转头的角度均＜15°)。
随即，将源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别输入至初始模型，与域分辨器分支进行对抗学习训练，从而得到人脸识别模型。此处域分辨器分支用于分辨源域点云图和目标域点云图。人脸识别模型与域分辨器分支在训练过程中进行不断博弈，使得训练完成后，人脸识别模型的人脸分类误差最小化，同时域分辨器分支无法分辨出源域点云图和目标域点云图。
本发明实施例提供的三维人脸识别方法，通过基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到人脸识别模型，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。同时利用二维的点云图存储三维的点云数据，进而可以使用二维的人脸识别模型对点云数据进行处理，降低了模型的复杂度，提升了模型的运算效率。
基于上述实施例，该三维人脸识别方法中，人脸识别模型包括识别主分支，识别主分支是通过与域分辨器分支进行对抗学习训练得到的；域分辨器分支包括多个域分辨器，域分辨器和目标域类别一一对应，每一域分辨器包括一个梯度翻转层。
具体地，人脸识别模型包括识别主分支，识别主分支用于基于深度图对应的点云图进行人脸识别，识别主分支是通过与域分辨器分支进行对抗学习训练得到的，识别主分支可以为卷积神经网络模型，例如mobilenet_v2模型。
域分辨器分支包括多个域分辨器，域分辨器与目标域类别一一对应。每一域分辨器可以包括一个梯度翻转层(Gradient Reversal Layer,GRL)和依次连接的两个全连接层，每一域分辨器通过梯度翻转层与识别主分支的池化层连接。梯度翻转层用于混淆源域和目标域，以达到无法区分源域点云图和目标域点云图的目的。
识别主分支和域分辨器分支联合对抗学习模型的初始学习率可以设置为0.01，学习率将采用滑动平均的方式衰减，衰减因子可以为0.98，衰减步骤可以为1个训练周期。联合对抗学习模型的测试阶段，可以利用M个类别的入库数据，进行1:M的闭集测试，且源域测试集和目标域测试集均包含M个类别的入库数据，通过提取测试集主分支最后一层全连接层的特征，并计算测试集数据特征和入库数据特征的欧式距离，可以统计1:M的闭集测试的识别准确率等指标。
本发明实施例提供的三维人脸识别方法，通过与域分辨器分支进行对抗学习训练得到识别主分支，并对每一目标域类别构建一个域分辨器，且每一域分辨器包括一个用于混淆目标域和源域的梯度翻转层，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别方法中，任一域分辨器中的梯度翻转层的前向传播公式是基于识别主分支输出的源域点云图对应的中间特征，以及源域点云图对应的源域类别的类别中心特征与任一域分辨器对应的目标域类别的类别中心特征之间的相似度确定的。
具体地，由于源域点云图的标记空间通常远大于目标域点云图，如果直接迁移非目标域类别的源域类别，将出现负迁移的影响。为削弱负迁移的影响，实现源域风格的准确迁移，本发明实施例提供的三维人脸识别方法对不同域分辨器分别设置不同的前向传播函数。
源域点云图对应的中间特征为将源域点云图输入至识别主分支，识别主分支的池化层输出得到的特征。任一源域类别的类别中心特征为任一源域类别包含的所有源域点云图对应的样本特征的均值，作为优选，可以是任一源域类别包含的正脸、抬头、低头、左转头、右转头五幅源域点云图对应的样本特征的均值；任一目标域类别的类别中心特征为任一目标域类别包含的所有目标域点云图对应的样本特征的均值，作为优选，可以是任一目标域类别包含的正脸、抬头、低头、左转头、右转头五幅目标域点云图对应的样本特征的均值。源域点云图对应的样本特征和目标域点云图对应的样本特征是识别主分支的最后一层全连接层输出得到的特征。源域点云图对应的源域类别和目标域点云图对应的目标域类别是基于人工标记确定的。
假设源域点云图输入至识别主分支，识别主分支的池化层输出的源域点云图对应的中间特征为x，源域点云图对应的源域类别的类别中心特征为
Figure BDA0002522887530000071
即源域点云图对应的源域类别为第m类源域类别。第n类目标域类别的类别中心特征为
Figure BDA0002522887530000072
n＝1,…,Tc，其中Tc为目标域类别的数量，由于域分辨器与目标域类别一一对应，第n个域分辨器对应的目标域类别的类别中心特征即为
Figure BDA0002522887530000073
由于识别主分支的池化层与任一域分辨器的梯度翻转层连接，源域点云图对应的中间特征为x同样作为任一域分辨器的梯度翻转层的输入特征。将源域类别的类别中心特征
Figure BDA0002522887530000074
与第n个域分辨器对应的目标域类别的类别中心特征
Figure BDA0002522887530000075
的相似度作为权重，则可以得到第n个域分辨器的梯度翻转层的前向传播公式为：
Figure BDA0002522887530000076
式中，
Figure BDA0002522887530000077
为第n个域分辨器的梯度翻转层的输出特征，
Figure BDA0002522887530000078
为
Figure BDA0002522887530000079
与
Figure BDA00025228875300000710
之间的余弦相似度。余弦相似度
Figure BDA00025228875300000711
的计算公式如下：
Figure BDA00025228875300000712
本发明实施例提供的三维人脸识别方法，通过目标域类别的类别中心特征与源域类别的类别中心特征之间的相似度，对域分辨器的梯度翻转层的前向传播函数进行加权处理，以实现与目标域类别相似度高的源域类别得到更好的迁移，同时抑制了与目标域类别相似度低的源域类别的迁移，削弱了负迁移的影响，实现了源域风格的准确迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别方法中，识别主分支和域分辨器分支联合对抗学习的损失函数是基于识别主分支的损失函数和域分辨器分支的损失函数之差确定的。
具体地，由于识别主分支是通过与域分辨器分支进行对抗学习训练得到的，为达到对抗学习的目的，识别主分支和域分辨器分支联合对抗学习的损失函数是基于识别主分支的损失函数和域分辨器分支的损失函数之差确定的，使得识别主分支的损失最小化且域分辨器分支的损失最大化，识别主分支的损失最小化表征识别主分支输出的人脸识别结果尽可能接近标注的人脸识别结果，域分辨器分支最大化表征域分辨器无法分辨源域点云图和目标域点云图。其中，识别主分支的损失函数是基于所有源域点云图确定的，域分辨器分支的损失函数是基于所有源域点云图和所有目标域点云图确定的。
识别主分支和域分辨器分支联合对抗学习的损失函数Ltotal的具体计算公式如下：
Ltotal＝Lm-Ld
式中，Lm为识别主分支的损失函数，Ld为域分辨器分支的损失函数。
识别主分支的损失函数Lm可以为带margin的softmax损失函数，依据CosFace中将全连接层特征与权重的乘积形式转变为余弦表示，并在CosFace损失的基础上添加角度margin，得到带margin的识别损失，识别主分支的损失函数Lm的计算公式如下：
Figure BDA0002522887530000081
式中，N为一次批处理的样本数目，i为样本标记，j为标签标记，yi为样本i对应的标签标记，
Figure BDA0002522887530000091
和θj为对应全连接层特征与权重之间的夹角，m1为余弦margin，m2为角度margin，s为特征归一化的尺度,在训练中可以设置m1＝0.2，m2＝0.3，s＝64。
域分辨器分支Ld的损失函数的计算公式具体如下：
Figure BDA0002522887530000092
式中，Tc为目标域类别数量，
Figure BDA0002522887530000093
为第n个域分辨器的损失函数，域分辨器的损失函数
Figure BDA0002522887530000094
可以为softmax损失函数，
Figure BDA0002522887530000095
的计算公式如下：
Figure BDA0002522887530000096
式中，M为域类别数目，
Figure BDA0002522887530000097
为输入样本预测为第l类的得分，l为输入样本的真实标签，fk为输入样本预测为第k类的得分。需要说明的是，此处M可以为2，表示目标域和源域。
基于上述任一实施例，该三维人脸识别方法中，识别主分支的损失函数是基于源域点云图对应的特征及其距离权重确定的；其中，任一距离权重是基于任一源域点云图对应的采集距离确定的。
具体地，由于不同距离采集的点云数据质量不同，距离越远，质量通常越差，为降低质量差的点云数据在人脸识别模型训练过程的影响，本发明实施例提供的识别主分支的损失函数在带margin的softmax损失函数的基础上，利用距离权重进行加权处理，任一距离权重是基于任一源域点云图对应的采集距离确定的，源域点云图对应的采集距离越近，距离权重就越大。其中，源域点云图对应的采集距离为待识别人脸与深度相机之间的距离，可以通过计算源域点云图中存储的所有像素的Z坐标值的平均值得到。
距离权重可以为源域点云图对应的采集距离的倒数，在此基础上，本发明实施例提供的识别主分支的损失函数的计算公式如下：
Figure BDA0002522887530000101
式中，di为第i个样本对应的采集距离。
需要说明的是，识别主分支的损失函数是基于所有源域点云图确定的，因此确定识别主分支的损失函数的样本即为源域点云图。
本发明实施例提供的三维人脸识别方法，通过在识别主分支的损失函数中对不同质量的点云数据赋予不同的权重，降低了质量差的点云数据在人脸识别模型训练过程的影响，提升了三维人脸识别方法对不同质量点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别方法中，步骤110具体包括：
步骤111，获取深度图和深度图的二维人脸关键点；
步骤112，基于深度图和二维人脸关键点，确定三维点云数据和三维人脸关键点；
步骤113，基于三维点云数据和三维人脸关键点，以及标准人脸关键点，确定标准人脸三维点云数据；
步骤114，基于标准人脸三维点云数据，确定点云图。
具体地，首先获取深度相机采集的深度图，并检测得到深度图中的二维人脸关键点，其中，二维人脸关键点可以为人脸中鼻子、眼睛、嘴角等位置的像素点。利用深度相机参数，将深度图和二维人脸关键点进行坐标转换，得到三维点云数据和三维人脸关键点。
由于实际采集时待识别人脸往往不能完全正对深度相机，使得获取的三维点云数据存在一定的角度偏差，进而影响后续的人脸识别效果。为对三维点云数据进行角度校正，将正对深度相机的待识别人脸对应的三维关键点作为标准人脸关键点，标准人脸关键点可以通过百万级样本三维人脸关键点的平均点确定。根据三维人脸关键点和标准人脸关键点之间的相似变换矩阵，将三维点云数据转换为标准人脸点云数据。其中，相似变换矩阵包含x、y、z方向的缩放因子sx、sy、sz，绕x轴、y轴、z轴的旋转角度φ、θ、γ，及x、y、z方向的平移tx、ty、tz。
在得到标准人脸三维点云数据之后，将标准人脸三维点云数据投影到预设尺寸的二维空间，其中，预设尺寸为二维图像的图像大小，例如预设尺寸可以为112×96。通过二维图像的图像三通道RGB分别存储标准人脸三维点云数据的XYZ坐标值，即可以按照二维图像结构存储标准人脸三维点云数据，用于存储标准人脸三维点云数据的二维图像即为深度图对应的点云图。
本发明实施例提供的三维人脸识别方法，通过基于标准人脸关键点，对深度图对应的三维点云数据进行角度校正，有利于提升人脸识别效果，同时利用二维的点云图存储三维的点云数据，进而可以使用二维的人脸识别模型对点云数据进行处理，降低了模型的复杂度，提升了模型的运算效率。
基于上述任一实施例，该三维人脸识别方法中，源域点云图和目标域点云图是基于源域深度图和目标域深度图确定的，源域深度图和目标域深度图是通过对原始源域深度图和原始目标域深度图进行畸变增强得到的；畸变增强为基于深度相机参数，对原始源域深度图和原始目标域深度图添加径向畸变和/或切向畸变。
具体地，源域点云图和目标域点云图是基于源域深度图和目标域深度图确定的，源域深度图和目标域深度图来自不同类型的深度相机，目标域点云图对应的深度相机类型可以为人脸识别模型的应用场景对应的深度相机类型，根据不同的应用场景，调整目标域点云图对应的深度相机类型，不仅提升了三维人脸识别方法的识别效果，而且避免了对大量不同相机采集的数据进行标注，基于深度图确定点云图的方法参见上一实施例，本发明实施例在此不再赘述。
为增强人脸识别模型对不同深度相机数据的鲁棒性，模拟不同畸变类型的深度相机数据，在人脸识别模型的训练过程中，将对原始源域深度图和原始目标域深度图进行畸变增强，并将经过畸变增强处理之后，得到的源域深度图和目标域深度图作为训练数据。
畸变增强的具体过程是：首先，利用深度相机参数，将深度图的像素坐标转换为深度相机坐标，具体公式如下：
Figure BDA0002522887530000121
式中，u、v为深度图的像素坐标，x′、y′是转换后的相机坐标，
Figure BDA0002522887530000122
Figure BDA0002522887530000123
分别为深度图中像素坐标系u轴和v轴上的归一化焦距，f为深度相机的焦距，δx和δy分别为深度图中像素坐标系u轴和v轴上单位像素的尺寸大小，cx、cy为光学中心坐标，光学中心即深度相机光轴与深度相机图像平面的交点，通常位于图像中心处，cx、cy的数值可以分别取图像分辨率的一半，例如图像分辨率为36×24，则cx、cy的数值分别为18和12。
然后，对转换后的相机坐标添加径向畸变和/或切向畸变，当同时添加径向畸变和切向畸变时，具体公式如下：
Figure BDA0002522887530000124
式中，x″、y″分别添加畸变之后的深度相机坐标，k1、k2分别为径向畸变参数的前两项，p1、p2分别为切向畸变参数，r2＝x′2+y′2。
随后，将添加畸变后的深度相机坐标转换为畸变增强后的深度图的像素坐标，具体公式如下：
Figure BDA0002522887530000125
式中，u′、v′分别为畸变增强后的深度图的像素坐标。
根据径向畸变和切向畸变的特点，在模拟不同深度相机的畸变时，径向畸变参数k1、k2的取值范围可以设置为[－0.5，0.5]，切向畸变参数p1、p2的取值范围可以设置为[－0.1，0.1]。
本发明实施例提供的三维人脸识别方法，通过对原始源域深度图和原始目标域深度图进行畸变增强，模拟不同畸变类型的深度相机数据，提升了三维人脸识别方法对跨相机、不同畸变类型数据的泛化能力。
基于上述任一实施例，图2为本发明实施例提供的三维人脸识别装置的结构示意图，如图2所示，本发明实施例提供的三维人脸识别装置包括：
数据确定模块210，用于确定深度图对应的点云图；
人脸识别模块220，用于将点云图输入至人脸识别模型，得到人脸识别模型输出的点云图的人脸特征，并基于所述人脸特征进行人脸识别；
人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
本发明实施例提供的三维人脸识别装置，通过基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到人脸识别模型，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。同时利用二维的点云图存储三维的点云数据，进而可以使用二维的人脸识别模型对点云数据进行处理，降低了模型的复杂度，提升了模型的运算效率。
基于上述任一实施例，该三维人脸识别装置中，人脸识别模型包括识别主分支，识别主分支是通过与域分辨器分支进行对抗学习训练得到的；域分辨器分支包括多个域分辨器，域分辨器和目标域类别一一对应，每一域分辨器包括一个梯度翻转层。
本发明实施例提供的三维人脸识别装置，通过与域分辨器分支进行对抗学习训练得到识别主分支，并对每一目标域类别构建一个域分辨器，且每一域分辨器包括一个用于混淆目标域和源域的梯度翻转层，能够实现人脸识别模型从源域到目标域的风格迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别装置中，任一域分辨器中的梯度翻转层的前向传播公式是基于识别主分支输出的源域点云图的对应的中间特征，以及源域点云图对应的源域类别的类别中心特征与任一域分辨器对应的目标域类别的类别中心特征之间的相似度确定的。
本发明实施例提供的三维人脸识别装置，通过目标域类别的类别中心特征与源域类别的类别中心特征之间的相似度，对域分辨器的梯度翻转层的前向传播函数进行加权处理，以实现与目标域类别相似度高的源域类别得到更好的迁移，同时抑制了与目标域类别相似度低的源域类别的迁移，削弱了负迁移的影响，实现了源域风格的准确迁移，进而提升了三维人脸识别方法对不同质量、不同风格点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别装置中，识别主分支和域分辨器分支联合对抗学习的损失函数是基于识别主分支的损失函数和域分辨器分支的损失函数之差确定的。
基于上述任一实施例，该三维人脸识别装置中，识别主分支的损失函数是基于源域点云图对应的特征及其距离权重确定的；其中，任一距离权重是基于任一源域点云图对应的采集距离确定的。
本发明实施例提供的三维人脸识别装置，通过在识别主分支的损失函数中对不同质量的点云数据赋予不同的权重，降低了质量差的点云数据在人脸识别模型训练过程的影响，提升了三维人脸识别方法对不同质量点云数据的泛化能力。
基于上述任一实施例，该三维人脸识别装置中，数据确定模块210具体用于：
获取深度图和深度图的二维人脸关键点；
基于深度图和二维人脸关键点，确定三维点云数据和三维人脸关键点；
基于三维点云数据和三维人脸关键点，以及标准人脸关键点，确定标准人脸三维点云数据；
基于标准人脸三维点云数据，确定点云图。
本发明实施例提供的三维人脸识别装置，通过基于标准人脸关键点，对深度图对应的三维点云数据进行角度校正，有利于提升人脸识别效果，同时利用二维的点云图存储三维的点云数据，进而可以使用二维的人脸识别模型对点云数据进行处理，降低了模型的复杂度，提升了模型的运算效率。
基于上述任一实施例，该三维人脸识别装置中，源域点云图和目标域点云图是基于源域深度图和目标域深度图确定的，源域深度图和目标域深度图是通过对原始源域深度图和原始目标域深度图进行畸变增强得到的；畸变增强为基于深度相机参数，对原始源域深度图和原始目标域深度图添加径向畸变和切向畸变。
本发明实施例提供的三维人脸识别装置，通过对原始源域深度图和原始目标域深度图进行畸变增强，模拟不同畸变类型的深度相机数据，提升了三维人脸识别方法对跨相机、不同畸变类型数据的泛化能力。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：确定深度图对应的点云图；将点云图输入至人脸识别模型，得到人脸识别模型输出的点云图的人脸特征，并基于人脸特征进行人脸识别；人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定深度图对应的点云图；将点云图输入至人脸识别模型，得到人脸识别模型输出的点云图的人脸特征，并基于人脸特征进行人脸识别；人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维人脸识别方法，其特征在于，包括：
确定深度图对应的点云图；
将所述点云图输入至人脸识别模型，得到所述人脸识别模型输出的所述点云图的人脸特征，并基于所述人脸特征进行人脸识别；
所述人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述人脸识别模型包括识别主分支，所述识别主分支是通过与所述域分辨器分支进行对抗学习训练得到的；
所述域分辨器分支包括多个域分辨器，所述域分辨器和所述目标域类别一一对应，每一域分辨器包括一个梯度翻转层。
3.根据权利要求2所述的三维人脸识别方法，其特征在于，任一域分辨器中的梯度翻转层的前向传播公式是基于所述识别主分支输出的源域点云图对应的中间特征，以及所述源域点云图对应的源域类别的类别中心特征与所述任一域分辨器对应的目标域类别的类别中心特征之间的相似度确定的。
4.根据权利要求2所述的三维人脸识别方法，其特征在于，所述识别主分支和所述域分辨器分支联合对抗学习的损失函数是基于所述识别主分支的损失函数和所述域分辨器分支的损失函数之差确定的。
5.根据权利要求4所述的三维人脸识别方法，其特征在于，所述识别主分支的损失函数是基于所述源域点云图对应的特征及其距离权重确定的；
其中，任一距离权重是基于任一源域点云图对应的采集距离确定的。
6.根据权利要求1-5任一项所述的三维人脸识别方法，其特征在于，所述确定深度图对应的点云图，具体包括：
获取所述深度图和所述深度图的二维人脸关键点；
基于所述深度图和所述二维人脸关键点，确定三维点云数据和三维人脸关键点；
基于所述三维点云数据和所述三维人脸关键点，以及标准人脸关键点，确定标准人脸三维点云数据；
基于所述标准人脸三维点云数据，确定所述点云图。
7.根据权利要求1-5任一项所述的三维人脸识别方法，其特征在于，所述源域点云图和所述目标域点云图是基于源域深度图和目标域深度图确定的，所述源域深度图和所述目标域深度图是通过对原始源域深度图和原始目标域深度图进行畸变增强得到的；
所述畸变增强为基于深度相机参数，对所述原始源域深度图和所述原始目标域深度图添加径向畸变和切向畸变。
8.一种三维人脸识别装置，其特征在于，包括：
数据确定模块，用于确定深度图对应的点云图；
人脸识别模块，用于将所述点云图输入至人脸识别模型，得到所述人脸识别模型输出的所述点云图的人脸特征，并基于所述人脸特征进行人脸识别；
所述人脸识别模型是基于源域点云图及其对应的源域类别和目标域点云图及其对应的目标域类别，以及域分辨器分支进行对抗学习训练得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的三维人脸识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的三维人脸识别方法的步骤。
CN202010496025.0A 2020-06-03 2020-06-03 一种三维人脸识别方法、装置、电子设备及存储介质 Active CN111723691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496025.0A CN111723691B (zh) 2020-06-03 2020-06-03 一种三维人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496025.0A CN111723691B (zh) 2020-06-03 2020-06-03 一种三维人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111723691A true CN111723691A (zh) 2020-09-29
CN111723691B CN111723691B (zh) 2023-10-17

Family

ID=72565910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496025.0A Active CN111723691B (zh) 2020-06-03 2020-06-03 一种三维人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111723691B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115954A (zh) * 2020-09-30 2020-12-22 广州云从人工智能技术有限公司 一种特征提取方法、装置、机器可读介质及设备
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112601054A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 摄像画面的采集方法及装置、存储介质、电子设备
CN113239749A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多模态联合学习的跨域点云语义分割方法
CN113723294A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 数据处理方法、装置及对象识别方法、装置
CN114267068A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN114267067A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧图像的人脸识别方法、电子设备及存储介质
CN114882019A (zh) * 2022-07-01 2022-08-09 首都医科大学附属北京妇产医院 孕早期或孕中期超声图像标准化质量控制方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN109583342A (zh) * 2018-11-21 2019-04-05 重庆邮电大学 基于迁移学习的人脸活体检测方法
CN109858505A (zh) * 2017-11-30 2019-06-07 厦门大学 分类识别方法、装置及设备
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN110555340A (zh) * 2018-05-31 2019-12-10 北京深鉴智能科技有限公司 神经网络计算方法和系统及相应的双神经网络实现
CN111091075A (zh) * 2019-12-02 2020-05-01 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858505A (zh) * 2017-11-30 2019-06-07 厦门大学 分类识别方法、装置及设备
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN110555340A (zh) * 2018-05-31 2019-12-10 北京深鉴智能科技有限公司 神经网络计算方法和系统及相应的双神经网络实现
CN109583342A (zh) * 2018-11-21 2019-04-05 重庆邮电大学 基于迁移学习的人脸活体检测方法
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN111091075A (zh) * 2019-12-02 2020-05-01 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANKANG DENG, JIA GUO, NIANNAN XUE, STEFANOS ZAFEIRIOU: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
MEI WANG, WEIHONG DENG: "Deep visual domain adaptation: A survey", 《NEUROCOMPUTING》 *
SUNGEUN HONG,WOOBIN IM, JONGBIN RYU等: "SSPP-DAN: Deep domain adaptation network for face recognition with single sample per person", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
YAROSLAV GANIN, EVGENIYA USTINOVA, HANA AJAKAN等: "Domain-adversarial training of neural networks", 《THE JOURNAL OF MACHINE LEARNING RESEARCH》 *
ZEYAWANG AND BAOYU JING AND YANG NI AND NANQING DONG AND PENGTAO: "Adversarial Domain Adaptation Being Aware of Class Relationships", 《ARXIV》 *
ZHONGYI PEI, ZHANGJIE CAO, MINGSHENG LONG等: "Multi-Adversarial Domain Adaptation", 《THIRTY-SECOND AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115954A (zh) * 2020-09-30 2020-12-22 广州云从人工智能技术有限公司 一种特征提取方法、装置、机器可读介质及设备
CN112487916A (zh) * 2020-11-25 2021-03-12 上海电力大学 一种电力设备双目三维立体识别系统
CN112487916B (zh) * 2020-11-25 2022-08-23 上海电力大学 一种电力设备双目三维立体识别系统
CN112601054A (zh) * 2020-12-14 2021-04-02 珠海格力电器股份有限公司 摄像画面的采集方法及装置、存储介质、电子设备
CN113239749A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多模态联合学习的跨域点云语义分割方法
CN113723294A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 数据处理方法、装置及对象识别方法、装置
CN114267068A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN114267067A (zh) * 2021-12-24 2022-04-01 北京的卢深视科技有限公司 基于连续帧图像的人脸识别方法、电子设备及存储介质
CN114267068B (zh) * 2021-12-24 2022-11-01 合肥的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN114882019A (zh) * 2022-07-01 2022-08-09 首都医科大学附属北京妇产医院 孕早期或孕中期超声图像标准化质量控制方法、系统及设备
CN114882019B (zh) * 2022-07-01 2023-02-03 首都医科大学附属北京妇产医院 孕早期或孕中期超声图像标准化质量控制方法、系统及设备

Also Published As

Publication number Publication date
CN111723691B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
KR102266529B1 (ko) 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN109859305B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN110348387B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
US20230095182A1 (en) Method and apparatus for extracting biological features, device, medium, and program product
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN114897136A (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN112862840B (zh) 图像分割方法、装置、设备及介质
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备
CN112906629A (zh) 人脸表情分类器的训练、人脸表情的识别方法和装置
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN114005169B (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN116071625B (zh) 深度学习模型的训练方法、目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220706

Address after: 230094 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, No. 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant