CN110020620B - 一种大姿态下的人脸识别方法、装置及设备 - Google Patents
一种大姿态下的人脸识别方法、装置及设备 Download PDFInfo
- Publication number
- CN110020620B CN110020620B CN201910251871.3A CN201910251871A CN110020620B CN 110020620 B CN110020620 B CN 110020620B CN 201910251871 A CN201910251871 A CN 201910251871A CN 110020620 B CN110020620 B CN 110020620B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- dimensional
- learning
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种大姿态下的人脸识别方法包括:通过纹理学习网络学习人脸训练图像的第一图像特征;根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;通过形状学习网络学习所述二维纹理图像的第二图像特征;联合所述第一图像特征和所述第二图像特征,对人脸进行识别。使二维平面特征和三维特征能够联合表达,有效的提升了大姿态下的人脸识别准确度,并且训练过程相对较为简单,能够减少存储空间的占用。
Description
技术领域
本申请属于人脸识别领域,尤其涉及一种大姿态下的人脸识别方法、装置及设备。
背景技术
在非配合、非受控制环境下,对用户进行人脸识别时,所采集的人脸图像经常存在多种姿态变化的干扰,即所采集的是大姿态的人脸图像,为了提高这种环境下的人脸识别准确度,需要对大姿态的人脸进行识别。
目前的大姿态人脸识别方法,包括使用姿态觉醒网络和利用深度网络学习到姿态鲁棒的人脸特征。其中,姿态觉醒网络中每一个子网络负责一种姿态,整个网络覆盖所有人脸姿态,但是,由于需要训练多个子网络,并且训练数据需要进行分姿态进行处理,训练过程和测试过程比较复杂,需要更多的存储空间。利用深度网络学习姿态鲁棒的人脸特征时,由于现有的训练数据没有大量的大姿态的人脸图片,因而不能有效的解决大姿态情况下的人脸识别问题。
发明内容
有鉴于此,本申请实施例提供了一种大姿态下的人脸识别方法、装置及设备,以解决现有技术中人脸识别准确度不高,或者训练测试过程复杂,需要占用较大的存储空间的问题。
本申请实施例的第一方面提供了一种大姿态下的人脸识别方法,所述大姿态的人脸识别方法包括:
通过纹理学习网络学习人脸训练图像的第一图像特征;
根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;
通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
结合第一方面,在第一方面的第一种可能实现方式中,在通过纹理学习网络学习人脸训练图像的第一图像特征的步骤之前,所述方法还包括:
对人脸训练图像进行检测对齐操作,标注人脸训练图像中的人脸关键点。
结合第一方面,在第一方面的第二种可能实现方式中,所述通过纹理学习网络学习人脸训练图像的第一图像特征的步骤包括:
使用多层残差网络结构,通过随机梯度下降法逐层权重优化,由网络前向传播得到网络对人脸训练图像的预测标签;
将预测标签与人脸训练图像的真实标签对比,通过交叉损失函数监督,学习所述人脸训练图像的第一图像特征。
结合第一方面的第二种可能实现方式,在第一方面的第三种可能实现方式中,所述交叉损失函数为:
结合第一方面,在第一方面的第四种可能实现方式中,根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像的步骤包括:
通过关键点回归损失函数和先验损失函数,重建所述人脸训练图像对应的三维人脸;
将重建后的三维人脸的项点坐标投影到纹理空间,得到二维纹理图像。
结合第一方面的第四种可能实现方式,在第一方面的第五种可能实现方式中,所述关键点回归损失函数和先验损失函数为:
其中,Lrecon为计算的损失值,右边第一项表示关键点回归损失函数,N表示关键点的个数,Li gt表示第i个关键点的标签,Li pr表示第i个关键点的预测结果,右边第二项表示先验损失函数,α表示三维形变模型的形状参数,λ表示设置的损失函数权重。
结合第一方面,在第一方面的第六种可能实现方式中,所述联合所述第一图像特征和所述第二图像特征,对人脸进行识别的步骤包括:
拼接所述第一维度的所述第一图像特征和第二维度的第二图像特征,得到融合后的第三维度的第三图像特征,根据第三维度的第三图像特征进行人脸识别,所述第三维度=第一维度+第二维度。
本申请实施例的第二方面提供了一种大姿态下的人脸识别装置,所述大姿态的人脸识别装置包括:
第一学习单元,用于通过纹理学习网络学习人脸训练图像的第一图像特征;
重建单元,用于根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;
第二学习单元,用于通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合识别单元,用于联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
本申请实施例的第三方面提供了一种人脸识别设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面任一项所述大姿态下的人脸识别方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述大姿态下的人脸识别方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:通过纹理学习网络学习人脸训练图像的第一图像特征,然后重建三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像,通过形状学习网络学习所述二维纹理图像的第二图像特征,然后联合第一图像特征和第二图像特征对人脸进行识别,使二维平面特征和三维特征能够联合表达,有效的提升了大姿态下的人脸识别准确度,并且训练过程相对较为简单,能够减少存储空间的占用。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种大姿态下的人脸识别方法的实现流程示意图;
图2是本申请实施例提供的一种人脸识别结构示意图;
图3是本申请实施例提供的一种大姿态下的人脸识别装置的示意图;
图4是本申请实施例提供的人脸识别设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种大姿态下的人脸识别方法的实现流程示意图,详述如下:
在步骤S101中,通过纹理学习网络学习人脸训练图像的第一图像特征;
具体的,本申请所述大姿态,是指用户姿态由于处于不可控的状态,用户的姿态多种多样,为描述用户所存在的多种姿态的情景,本申请将其表述为大姿态。
在学习第一图像特征之前,本申请还可以包括对人脸训练图像进行检测对齐的步骤,对人脸训练图像中的人脸图像对齐,并检测人脸图像中的关键点。在本申请中,所述人脸关键点可以为21个。
在纹理学习网络中,可以使用残差N(N可以为18)层的网络结构,可以不使用预训练模型。输入图像长宽均可以为预定大小(比如224)的像素点,对图像中的人脸进行人脸检测,人脸对齐的操作。
在训练过程中使用的批量尺寸可以为128,可以使用随机梯度下降法进行逐层权重优化。送入相应的人脸训练图像,通过网络的前向传播得到纹理学习网络对该图像的预测标签,将预测标签与图像自带的真实标签对比,通过交叉损失函数计算分类的损失函数。
其中x代表该图像,表示该图像是否属于第i类类别,表示该图像属于第i类的概率,C是类别个数,Lce为计算的损失值。在该模块中,通过交叉熵损失函数的监督,可以促使深度卷积网络学到较好的图像特征,为后期与文本特征的结合提供了基础。
在步骤S102中,根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;
通过步骤S101的纹理学习网络学习到具有语义表达的第一图像特征,可以用于本申请的人脸识别,还可以用于进行具有身份鉴别的三维人脸重建。三维人脸重建网络紧跟所述纹理学习网络,向三维人脸重建网络中输入二维人脸,与纹理学习网络不同的是,三维人脸重建网络可以不进行人脸检测的对齐操作。可以通过对人脸训练图像中的人脸中的关键点信息进行标注,通过三维人脸重建网络预测三维形变模型的形状和表情参数,进而重建基于三维形变模型的三维人脸。通过监督操作函数对所述三维人脸重建网络进行监测。具体可以如图2所示,包括:
在步骤S201中,通过关键点回归损失函数和先验损失函数,重建所述人脸训练图像对应的三维人脸;
将二维的人脸训练图像输入到三维人脸重建网络中,通过网络预测出三维形变模型的形状和表情参数,可以使用两个监督函数监测三维人脸模型的重建,包括关键点回归损失函数和先验损失函数,如下公式所示:
其中,Lrecon为计算的损失值,右边第一项表示关键点回归损失函数,N表示关键点的个数,Li gt表示第i个关键点的标签,Li pr表示第i个关键点的预测结果,右边第二项表示先验损失函数,α表示三维形变模型的形状参数,λ表示设置的损失函数权重。
在关键点回归过程中,需要预测相机参数,可以包括旋转参数,位置偏移参数,缩放系数。旋转参数为一个3维的输出,同时对X、Y、Z三个坐标系做出偏移预测,最后对所有位置坐标进行缩放操作。得到最终的三维关键点预测。
在步骤S202中,将重建后的三维人脸的项点坐标投影到纹理空间,得到二维纹理图像。
对重建后的三维人脸利用三维形变模型中自带的纹理坐标和世界坐标的映射关系,把重建后的三维人脸的顶点坐标,投射到纹理空间中。这样纹理空间可以用二维的图谱完整表达三维人脸的形状信息,这个图谱的通道数量为3,表示三维人脸的X,Y,Z坐标值。
在步骤S103中,通过形状学习网络学习所述二维纹理图像的第二图像特征;
根据步骤S102得到的二维纹理图像,表达了重建的三维坐标。可以提取通过残差网络提取这个二维纹理图像中姿态鲁棒的特征,监督信息可以与步骤S101相同。
对三维人脸从世界坐标转换到纹理空间坐标,把无序的三维点云转换为适合深度神经网络处理的有序纹理图谱。使用形状学习网络的深度神经网络,把三维重建形状信息进行特征提取获得对姿态鲁棒的特征。
在步骤S104中,联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
在测试阶段,我们可以进行联合表达。从步骤S101-S103中,我们的框架用纹理学习网络提取了人脸的二维信息,这个二维信息是通用人脸识别的普遍信息。同时我们获取了对姿态鲁棒的三维身份信息,在测试阶段我们通过对相应的网络全连接输出特征进行拼接,得到了联合表达,可以最大程度挖掘人脸的身份鉴别信息,联合表达能明显提升人脸在大姿态场景中的表现。
通过纹理学习网络学习人脸训练图像的第一图像特征,然后重建三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像,通过形状学习网络学习所述二维纹理图像的第二图像特征,然后联合第一图像特征和第二图像特征对人脸进行识别,从而二维平面特征和三维特征能够联合表达,比如第一图像特征为第一维度,第二图像特征为第二维度,那么联合后的第三图像特征可以为第三维度,且第三维度为第一维度和第二维度之和。
有效的提升了大姿态下的人脸识别准确度,并且训练过程相对较为简单,能够减少存储空间的占用。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图3为本申请实施例提供的一种大姿态下的人脸识别装置的结构示意图,详述如下:
所述大姿态下的人脸识别装置包括:
第一学习单元,用于通过纹理学习网络学习人脸训练图像的第一图像特征;
重建单元,用于根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;
第二学习单元,用于通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合识别单元,用于联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
图3所述大姿态下的人脸识别装置,与图1所述的大姿态下的人脸识别方法对应。
图4是本申请一实施例提供的人脸识别设备的示意图。如图4所示,该实施例的人脸识别设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如大姿态下的人脸识别程序。所述处理器40执行所述计算机程序42时实现上述各个大姿态下的人脸识别方法实施例中的步骤。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述人脸识别设备4中的执行过程。例如,所述计算机程序42可以被分割成:
第一学习单元,用于通过纹理学习网络学习人脸训练图像的第一图像特征;
重建单元,用于根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像;
第二学习单元,用于通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合识别单元,用于联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
所述人脸识别设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人脸识别设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是人脸识别设备4的示例,并不构成对人脸识别设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述人脸识别设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述人脸识别设备4的内部存储单元,例如人脸识别设备4的硬盘或内存。所述存储器41也可以是所述人脸识别设备4的外部存储设备,例如所述人脸识别设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述人脸识别设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述人脸识别设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种大姿态下的人脸识别方法,其特征在于,所述大姿态的人脸识别方法包括:
通过纹理学习网络学习人脸训练图像的第一图像特征;
根据所述人脸训练图像重建对应的三维人脸,利用三维形变模型中自带的纹理坐标和世界坐标的映射关系,把重建后的三维人脸的顶点坐标,投射到纹理空间,将重建后的三维人脸的形状信息转换为二维纹理图像,根据所述人脸训练图像重建对应的三维人脸,包括:对人脸训练图像中的关键点信息进行标注,通过三维人脸重建网络预测三维形变模型的形状和表情参数,重建基于三维形变模型的三维人脸;
通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
2.根据权利要求1所述的大姿态下的人脸识别方法,其特征在于,在通过纹理学习网络学习人脸训练图像的第一图像特征的步骤之前,所述方法还包括:
对人脸训练图像进行检测对齐操作,标注人脸训练图像中的人脸关键点。
3.根据权利要求1所述的大姿态下的人脸识别方法,其特征在于,所述通过纹理学习网络学习人脸训练图像的第一图像特征的步骤包括:
使用多层残差网络结构,通过随机梯度下降法逐层权重优化,由网络前向传播得到网络对人脸训练图像的预测标签;
将预测标签与人脸训练图像的真实标签对比,通过交叉熵损失函数监督,学习所述人脸训练图像的第一图像特征。
5.根据权利要求1所述的大姿态下的人脸识别方法,其特征在于,根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像的步骤包括:
通过关键点回归损失函数和先验损失函数,重建所述人脸训练图像对应的三维人脸;
将重建后的三维人脸的项点坐标投影到纹理空间,得到二维纹理图像。
7.根据权利要求1所述的大姿态下的人脸识别方法,其特征在于,所述联合所述第一图像特征和所述第二图像特征,对人脸进行识别的步骤包括:
拼接第一维度的所述第一图像特征和第二维度的第二图像特征,得到融合后的第三维度的第三图像特征,根据第三维度的第三图像特征进行人脸识别,所述第三维度=第一维度+第二维度。
8.一种大姿态下的人脸识别装置,其特征在于,所述大姿态的人脸识别装置包括:
第一学习单元,用于通过纹理学习网络学习人脸训练图像的第一图像特征;
重建单元,用于根据所述人脸训练图像重建对应的三维人脸,将重建后的三维人脸的形状信息转换为二维纹理图像,根据所述人脸训练图像重建对应的三维人脸,包括:对人脸训练图像中的关键点信息进行标注,通过三维人脸重建网络预测三维形变模型的形状和表情参数,重建基于三维形变模型的三维人脸;
第二学习单元,用于通过形状学习网络学习所述二维纹理图像的第二图像特征;
联合识别单元,用于联合所述第一图像特征和所述第二图像特征,对人脸进行识别。
9.一种人脸识别设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述大姿态下的人脸识别方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述大姿态下的人脸识别方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251871.3A CN110020620B (zh) | 2019-03-29 | 2019-03-29 | 一种大姿态下的人脸识别方法、装置及设备 |
PCT/CN2019/130871 WO2020199693A1 (zh) | 2019-03-29 | 2019-12-31 | 一种大姿态下的人脸识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251871.3A CN110020620B (zh) | 2019-03-29 | 2019-03-29 | 一种大姿态下的人脸识别方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110020620A CN110020620A (zh) | 2019-07-16 |
CN110020620B true CN110020620B (zh) | 2021-07-30 |
Family
ID=67190312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910251871.3A Active CN110020620B (zh) | 2019-03-29 | 2019-03-29 | 一种大姿态下的人脸识别方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110020620B (zh) |
WO (1) | WO2020199693A1 (zh) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020620B (zh) * | 2019-03-29 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
CN110532907B (zh) * | 2019-08-14 | 2022-01-21 | 中国科学院自动化研究所 | 基于面象和舌象双模态特征提取的中医人体体质分类方法 |
CN110263774B (zh) * | 2019-08-19 | 2019-11-22 | 珠海亿智电子科技有限公司 | 一种人脸检测方法 |
CN110991281B (zh) * | 2019-11-21 | 2022-11-04 | 电子科技大学 | 一种动态人脸识别方法 |
US11695758B2 (en) | 2020-02-24 | 2023-07-04 | International Business Machines Corporation | Second factor authentication of electronic devices |
CN111488810A (zh) * | 2020-03-31 | 2020-08-04 | 长沙千视通智能科技有限公司 | 人脸识别方法、装置、终端设备及计算机可读介质 |
CN111783609A (zh) * | 2020-06-28 | 2020-10-16 | 北京百度网讯科技有限公司 | 行人再识别的方法、装置、设备和计算机可读存储介质 |
CN112270711B (zh) * | 2020-11-17 | 2023-08-04 | 北京百度网讯科技有限公司 | 模型训练以及姿态预测方法、装置、设备以及存储介质 |
CN112488178B (zh) * | 2020-11-26 | 2022-07-26 | 推想医疗科技股份有限公司 | 网络模型的训练方法及装置、图像处理方法及装置、设备 |
CN112562027A (zh) * | 2020-12-02 | 2021-03-26 | 北京百度网讯科技有限公司 | 人脸模型的生成方法、装置、电子设备及存储介质 |
CN114625456B (zh) * | 2020-12-11 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 目标图像显示方法、装置及设备 |
CN112464895B (zh) * | 2020-12-14 | 2023-09-01 | 深圳市优必选科技股份有限公司 | 姿态识别模型训练方法、装置、姿态识别方法和终端设备 |
CN112528902B (zh) * | 2020-12-17 | 2022-05-24 | 四川大学 | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 |
CN112613376B (zh) * | 2020-12-17 | 2024-04-02 | 深圳集智数字科技有限公司 | 重识别方法及装置,电子设备 |
CN112733901B (zh) * | 2020-12-30 | 2024-01-12 | 杭州趣链科技有限公司 | 基于联邦学习和区块链的结构化动作分类方法与装置 |
CN112686202B (zh) * | 2021-01-12 | 2023-04-25 | 武汉大学 | 一种基于3d重建的人头识别方法及系统 |
CN112712053B (zh) * | 2021-01-14 | 2024-05-28 | 深圳数联天下智能科技有限公司 | 一种坐姿信息的生成方法、装置、终端设备及存储介质 |
CN112818772A (zh) * | 2021-01-19 | 2021-05-18 | 网易(杭州)网络有限公司 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
CN112766215B (zh) * | 2021-01-29 | 2024-08-09 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
CN112819947A (zh) * | 2021-02-03 | 2021-05-18 | Oppo广东移动通信有限公司 | 三维人脸的重建方法、装置、电子设备以及存储介质 |
CN112966607A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 模型训练方法、人脸视频生成方法、装置、设备和介质 |
CN112949592B (zh) * | 2021-03-31 | 2022-07-22 | 云南大学 | 高光谱图像的分类方法、装置和电子设备 |
CN112949761A (zh) * | 2021-03-31 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像神经网络模型的训练方法、装置和计算机设备 |
CN112926543A (zh) * | 2021-04-09 | 2021-06-08 | 商汤集团有限公司 | 图像生成、三维模型生成方法、装置、电子设备及介质 |
CN112950775A (zh) * | 2021-04-27 | 2021-06-11 | 南京大学 | 一种基于自监督学习的三维人脸模型重建方法及系统 |
CN113963183B (zh) * | 2021-12-22 | 2022-05-31 | 合肥的卢深视科技有限公司 | 模型训练、人脸识别方法、电子设备及存储介质 |
CN114266860B (zh) * | 2021-12-22 | 2024-08-13 | 西交利物浦大学 | 三维人脸模型建立方法、装置、电子设备及存储介质 |
CN114463815A (zh) * | 2022-01-27 | 2022-05-10 | 南京甄视智能科技有限公司 | 一种基于人脸关键点的面部表情捕捉方法 |
CN114821737B (zh) * | 2022-05-13 | 2024-06-04 | 浙江工商大学 | 一种基于三维人脸对齐的移动端实时假发试戴方法 |
CN114842543B (zh) * | 2022-06-01 | 2024-05-28 | 华南师范大学 | 三维人脸识别方法、装置、电子设备及存储介质 |
CN115171149B (zh) * | 2022-06-09 | 2023-12-05 | 广州紫为云科技有限公司 | 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法 |
CN114944002B (zh) * | 2022-06-16 | 2024-04-16 | 中国科学技术大学 | 文本描述辅助的姿势感知的人脸表情识别方法 |
CN115147508B (zh) * | 2022-06-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 服饰生成模型的训练、生成服饰图像的方法和装置 |
CN115082640B (zh) * | 2022-08-01 | 2024-09-20 | 聚好看科技股份有限公司 | 基于单张图像的3d人脸模型纹理重建方法及设备 |
CN116503524B (zh) * | 2023-04-11 | 2024-04-12 | 广州赛灵力科技有限公司 | 一种虚拟形象的生成方法、系统、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
CN103745209A (zh) * | 2014-01-27 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 一种人脸识别方法及系统 |
CN104778441A (zh) * | 2015-01-07 | 2015-07-15 | 深圳市唯特视科技有限公司 | 融合灰度信息和深度信息的多模态人脸识别装置及方法 |
CN106778506A (zh) * | 2016-11-24 | 2017-05-31 | 重庆邮电大学 | 一种融合深度图像和多通道特征的表情识别方法 |
CN107844760A (zh) * | 2017-10-24 | 2018-03-27 | 西安交通大学 | 基于曲面法向分量图神经网络表示的三维人脸识别方法 |
CN109191507A (zh) * | 2018-08-24 | 2019-01-11 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
CN101159015B (zh) * | 2007-11-08 | 2010-12-08 | 清华大学 | 一种二维人脸图像的识别方法 |
TWI382354B (zh) * | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
CN102495999A (zh) * | 2011-11-14 | 2012-06-13 | 深圳市奔凯安全技术有限公司 | 一种人脸识别的方法 |
CN104484669A (zh) * | 2014-11-24 | 2015-04-01 | 苏州福丰科技有限公司 | 基于三维人脸识别的手机支付方法 |
CN108960001B (zh) * | 2017-05-17 | 2021-12-24 | 富士通株式会社 | 训练用于人脸识别的图像处理装置的方法和装置 |
CN107423678A (zh) * | 2017-05-27 | 2017-12-01 | 电子科技大学 | 一种提取特征的卷积神经网络的训练方法及人脸识别方法 |
CN108520204A (zh) * | 2018-03-16 | 2018-09-11 | 西北大学 | 一种人脸识别方法 |
CN109522812A (zh) * | 2018-10-23 | 2019-03-26 | 青岛小鸟看看科技有限公司 | 人脸识别方法及装置、电子设备 |
CN110020620B (zh) * | 2019-03-29 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
-
2019
- 2019-03-29 CN CN201910251871.3A patent/CN110020620B/zh active Active
- 2019-12-31 WO PCT/CN2019/130871 patent/WO2020199693A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
CN103745209A (zh) * | 2014-01-27 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 一种人脸识别方法及系统 |
CN104778441A (zh) * | 2015-01-07 | 2015-07-15 | 深圳市唯特视科技有限公司 | 融合灰度信息和深度信息的多模态人脸识别装置及方法 |
CN106778506A (zh) * | 2016-11-24 | 2017-05-31 | 重庆邮电大学 | 一种融合深度图像和多通道特征的表情识别方法 |
CN107844760A (zh) * | 2017-10-24 | 2018-03-27 | 西安交通大学 | 基于曲面法向分量图神经网络表示的三维人脸识别方法 |
CN109191507A (zh) * | 2018-08-24 | 2019-01-11 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
"Disentangling Feature in 3D Face Shapes for Joint Face Reconsturction and Recognition";Feng Liu et al.;《IEEE》;20181217;全文 * |
"二维Gabort特征与三维NP-3DHOG特征融合的人脸识别算法";王雪峤 等;《计算机科学》;20180630;第45卷(第6A期);第247-249页页 * |
"基于深度学习开源框架的并行人脸识别方法研究";刘弘一;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181015(第10期);第6-67页 * |
"基于特征学习的人脸识别身份验证";甘君;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181030(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020199693A1 (zh) | 2020-10-08 |
CN110020620A (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110020620B (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
CN112016543B (zh) | 一种文本识别网络、神经网络训练的方法以及相关设备 | |
CN110163080B (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
CN113657390B (zh) | 文本检测模型的训练方法和检测文本方法、装置和设备 | |
CN111832468A (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
US20230334893A1 (en) | Method for optimizing human body posture recognition model, device and computer-readable storage medium | |
CN114677565B (zh) | 特征提取网络的训练方法和图像处理方法、装置 | |
CN113591566A (zh) | 图像识别模型的训练方法、装置、电子设备和存储介质 | |
CN111985414B (zh) | 一种关节点位置确定方法及装置 | |
EP4401007A1 (en) | Neural network acquisition method, data processing method and related device | |
CN111738403A (zh) | 一种神经网络的优化方法及相关设备 | |
CN111950700A (zh) | 一种神经网络的优化方法及相关设备 | |
CN113298152A (zh) | 模型训练方法、装置、终端设备及计算机可读存储介质 | |
CN113015022A (zh) | 行为识别方法、装置、终端设备及计算机可读存储介质 | |
JP2023526899A (ja) | 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品 | |
CN114170484B (zh) | 图片属性预测方法、装置、电子设备和存储介质 | |
US20220189208A1 (en) | Gesture recognition method, device and computer-readable storage medium | |
CN110610131B (zh) | 人脸运动单元的检测方法、装置、电子设备及存储介质 | |
CN116229066A (zh) | 人像分割模型的训练方法及相关装置 | |
CN110163095B (zh) | 回环检测方法、回环检测装置及终端设备 | |
CN111126250A (zh) | 一种基于ptgan的行人重识别方法及装置 | |
CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
CN113159053A (zh) | 图像识别方法、装置及计算设备 | |
CN117315758A (zh) | 面部表情的检测方法、装置、电子设备及存储介质 | |
CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |