CN110163087B - 一种人脸姿态识别方法及系统 - Google Patents

一种人脸姿态识别方法及系统 Download PDF

Info

Publication number
CN110163087B
CN110163087B CN201910281352.1A CN201910281352A CN110163087B CN 110163087 B CN110163087 B CN 110163087B CN 201910281352 A CN201910281352 A CN 201910281352A CN 110163087 B CN110163087 B CN 110163087B
Authority
CN
China
Prior art keywords
face
key point
coordinates
coordinate
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910281352.1A
Other languages
English (en)
Other versions
CN110163087A (zh
Inventor
肖刚
周捷
王逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Gosun Guard Security Service Technology Co ltd
Original Assignee
Jiangxi Gosun Guard Security Service Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Gosun Guard Security Service Technology Co ltd filed Critical Jiangxi Gosun Guard Security Service Technology Co ltd
Priority to CN201910281352.1A priority Critical patent/CN110163087B/zh
Publication of CN110163087A publication Critical patent/CN110163087A/zh
Application granted granted Critical
Publication of CN110163087B publication Critical patent/CN110163087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸姿态识别方法及系统，首先获取人脸框坐标和人脸关键点坐标，在根据人脸框坐标和人脸关键点坐标获取关键点数据矩阵与角度标签矩阵后，采用传统的最小二乘法不能求出最优解，利用预设损失函数对利用最小二乘法获取关键点数据矩阵与角度标签矩阵的权重矩阵进行优化得到权重矩阵，可以很好拟合曲线，将优化后的权重矩阵作为人脸识别模型的关键参数，将待测的人脸框坐标和人脸关键点坐标信息输入到人脸识别模型中，得到的人脸姿态数据，识别过程速度快、消耗资源少且精确率高。

Description

一种人脸姿态识别方法及系统
技术领域
本发明涉及模式识别领域，具体涉及一种人脸姿态识别方法及系统。
背景技术
人脸姿态估计是对人脸照片估计出抬头、摇头、摆头角度的技术。随着人脸检测技术的日益成熟，许多有关人脸的应用被用在移动端上，获取人脸姿态也有着很大应用价值,比如在多张人脸中挑选一张比较正的脸，提取脸的特征，用来做人脸属性或是人脸比对。目前人脸姿态估计算法的数据集，角度标注不够准确，且少有角度大的数据，训练出来的模型不能够预测大角度人脸，标注上的误差也会直接导致人脸姿态估计结果上的误差。
发明内容
有鉴于此，本发明实施例提供了一种人脸姿态识别方法及系统，以解决现有技术中人脸姿态估计存在较大误差的问题。
第一方面，本发明实施例提供了一种人脸姿态识别方法，包括如下步骤：获取人脸框坐标和人脸关键点坐标；根据人脸框坐标和人脸关键点坐标，计算关键点数据矩阵与角度标签矩阵；利用最小二乘法获取关键点数据矩阵与角度标签矩阵的第一权重矩阵；利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵；将所述第二权重矩阵作为人脸姿态识别模型的关键参数；将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据。
在一实施例中，获取人脸框坐标和人脸关键点坐标的步骤，包括：获取预设数量的人脸图像；对所述人脸图像构建人脸3D模型；获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标；将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标。
在一实施例中，所述将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标的步骤，包括：以预设角度步长在预设方向上的预设范围内旋转所述人脸3D模型，将所述第一人脸框坐标和第一人脸关键点坐标映射在二维平面上，得到二维坐标系下的第二人脸框坐标和第二人脸关键点坐标。
在一实施例中，以预设抽样系数对关键点数据矩阵和角度标签矩阵进行抽样；根据所述关键点数据矩阵和所述第一权重矩阵得到抽样样本的预测人脸姿态数据；利用所述抽样样本的预测人脸姿态数据以及抽样样本的真实人脸姿态数据计算所述损失函数的最优解，作为所述第二权重矩阵。
在一实施例中，所述损失函数为：
Figure BDA0002021761980000021
其中，Pki为抽样样本的预测人脸姿态数据，LKk,i为抽样样本的真实人脸姿态数据。
在一实施例中，所述人脸框坐标包括多个可以表征人脸框架的特征点坐标，所述人脸关键点坐标包括左眼、右眼、鼻子、左嘴角及右嘴角的坐标。
第二方面，本发明提供一种人脸姿态识别系统，包括：人脸坐标获取模块，用于获取人脸框坐标和人脸关键点坐标；数据矩阵获取模块，用于根据人脸框坐标和人脸关键点坐标，计算关键点数据矩阵与角度标签矩阵；第二权重模块，用于利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵，将所述第二权重矩阵作为人脸姿态识别模型的关键参数；人脸姿态识别模块，用于将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据。
第三方面，本发明提供一种计算机终端，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明第一方面提供的人脸姿态识别的方法。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面提供的。
本发明技术方案，具有如下优点：
1、本发明提供的人脸姿态识别方法及系统，首先获取人脸框坐标和人脸关键点坐标，在根据人脸框坐标和人脸关键点坐标获取关键点数据矩阵与角度标签矩阵后，采用传统的最小二乘法不能求出最优解，利用预设损失函数对利用最小二乘法获取关键点数据矩阵与角度标签矩阵的权重矩阵进行优化得到权重矩阵，可以很好拟合曲线，将优化后的权重矩阵作为人脸识别模型的关键参数，将待测的人脸框坐标和人脸关键点坐标信息输入到人脸识别模型中，得到的人脸姿态数据，识别过程速度快、消耗资源少且精确率高。
2、通过3D模型生成数人脸坐标的据集，使得得到的角度更准确，且不会因训练图片中没有大角度人脸而影响到结果。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图表示示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例中人脸姿态识别方法一个具体示例的流程图；
图2为本发明实施例中获取人脸框坐标和人脸关键点的一个具体示例的流程图；
图3为本发明实施例中利用损失函数对权重矩阵进行优化的一个具体示例的流程图；
图4为本发明实施例中提供的人脸姿态识别系统一个具体示例的组成图；
图5为本发明实施例中计算机终端的一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种人脸姿态识别方法，用于识别人脸在抬头、摇头、摆头三个方向的角度数据作为人脸姿势数据，如图1所示，包括如下步骤：
步骤S1:获取人脸框坐标和人脸关键点坐标。
本发明实施例中，人脸框坐标为8个(仅以此举例，不以此为限)可以表征人脸框架的特征点坐标，人脸关键点坐标包括左眼、右眼、鼻子、左嘴角及右嘴角的坐标。
步骤S2:根据人脸框坐标和人脸关键点坐标，获取关键点数据矩阵与角度标签矩阵。
本发明实施例中，根据人脸框坐标和人脸关键点坐标计算对应的人脸姿态数据，包括人脸在抬头、摆头及摇头三个方向上的角度数据，进而得到关键点数据矩阵及与其对应的角度标签矩阵。
步骤S3:利用最小二乘法获取关键点数据矩阵与角度标签矩阵的第一权重矩阵。
步骤S4:利用预设损失函数对第一权重矩阵进行优化，得到第二权重矩阵，将第二权重矩阵作为人脸姿态识别模型的关键参数。
本发明实施例，首先利用最小二乘法求解关键点数据矩阵与角度标签矩阵的权重矩阵，经试验发现用该方法不能很好拟合曲线，采用正则化的方法进行改进后，比较之前方法效果有很大改善，但仍不能拟合好曲线，因此采用损失函数对最小二乘法求解的权重矩阵进行进一步优化，根据损失函数的最优解获取优化好的权重矩阵。
步骤S5:将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据。
本发明实施例中，将待测人脸的人脸框和关键点数据按照预设格式进行归一化后，输入到人脸姿态识别模型中，得到人脸姿态数据，即在抬头、摇头、摆头三个方向上的角度数据。
本发明实施例提供的人脸姿态识别方法，在根据人脸框坐标和人脸关键点坐标获取关键点数据矩阵与角度标签矩阵后，利用预设损失函数对利用最小二乘法获取关键点数据矩阵与角度标签矩阵的权重矩阵进行优化，得到误差极小的权重矩阵，作为人脸识别模型的关键参数，使得其识别得到的人脸姿态数据、速度快、消耗资源少且准确率高。
在一具体实施例中，获取人脸框坐标和人脸关键点坐标的步骤，如图2所示，包括：
步骤S11:获取预设数量的人脸图像。
步骤S12:获取预设数量的人脸3D模型。
本发明实施例利用3D结构光技术，采集高精度人脸3D模型M张，仅以此举例，不以此为限。
步骤S13:获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标。
本发明实施例，对3D模型求外接圆，并以外接圆心作为原点，以旋转中心至鼻尖作为x轴，以旋转中心至头顶作为z轴，建立世界坐标系。在世界坐标系中确定人脸框立方体8个顶点坐标F＝(xi,yi,zi),1≤i≤8，和五个关键点(左眼、右眼、鼻子、左嘴角、右嘴角)的世界坐标L＝(xi,yi,zi),1≤i≤5，本发明实施例通过3D模型生成数人脸坐标的据集，具有高精确度的优点，而且克服了现有人脸姿态估计对于大角度人脸估计不准的缺点。
步骤S14:将第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标。
本发明实施例以预设角度为一个单位在预设方向上的预设角度范围内旋转所述人脸3D模型，将第一人脸框坐标和第一人脸关键点坐标映射在二维平面上，得到二维坐标系下的第二人脸框坐标和第二人脸关键点坐标。具体地，可以以2°为一个单位在三个方向(抬头，摇头，摆头)旋转模型N次，旋转模型控制在脸能分辨清楚的范围内，抬头θp(-60°～60°)，摇头θy(-90°～90°)，摆头θr(-90°～90°)。并且映射五个关键点与人脸框位置至2D平面(z轴平面)。通过平面方程、三角函数求得五个关键点平面直角坐标l＝h1(L)，求得人脸框平面直角坐标f＝h2(F)。
本发明实施例对五个关键点平面直角坐标I中5个点做归一化处理得到1*11的关键点数据和与之对应的1*3角度标签(θp,θy,θr),最终得到M*N*11的关键点数据矩阵D，和M*N*3的角度标签矩阵L。
本发明实施例在获取到关键点数据矩阵D和角度标签矩阵L后，首先用最小二乘法求解权重矩阵W，公式如下：
Figure BDA0002021761980000071
经试验发现用该方法不能很好拟合曲线，采用正则化的方法进行改进，公式如下：
Figure BDA0002021761980000081
经试验发现用该方法比较最小二乘法方法效果有很大改善，但仍不能拟合好曲线，因此采用利用损失函数对最小二乘法求解的权重矩阵进行优化。
在一具体实施例中，利用损失函数对权重矩阵进行优化的过程，如图3所示，包括以下步骤：
步骤S31:设置预设抽样系数对关键点数据矩阵和角度标签矩阵进行抽样。
本发明实施例中，以K为抽样系数对D和L进行抽样0.7≤K≤1(仅以此为例，不以此为限)。
步骤S32:利用损失函数对第一权重矩阵得到预测人脸姿态数据进行优化，将损失函数值最小的权重矩阵作为第二权重矩阵。
在一具体实施例中，损失函数为：
Figure BDA0002021761980000082
其中，Pki为抽样样本的预测人脸姿态数据，LKk,i为抽样样本的真实人脸姿态数据。
本发明实施例中，将根据最小二乘法得到的权重矩阵的预测结果与抽样标签LK求损失函数，将损失函数的最优解即损失函数值最小的权重矩阵作优化后得到一个3*11的权重矩阵W，将此权重矩阵作为人脸识别模型的关键参数，通过将待测人脸的人脸框数据及关键点数据输入到人脸识别模型中后，得到精确度高的人脸的三个角度数据。
实施例2
本发明实施例提供一种人脸姿态识别系统，如图4所示，该系统包括：
人脸坐标获取模块1，用于获取人脸框坐标和人脸关键点坐标；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
数据矩阵获取模块2，用于根据人脸框坐标和人脸关键点坐标，获取关键点数据矩阵与角度标签矩阵；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
第一权重矩阵获取模块3，用于利用最小二乘法获取关键点数据矩阵与角度标签矩阵的第一权重矩阵；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
第二权重获取模块4，用于利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵，将所述第二权重矩阵作为人脸姿态识别模型的关键参数；此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
人脸姿态识别模块5，用于将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据。此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
本发明实施例提供的人脸姿态识别系统，首先获取人脸框坐标和人脸关键点坐标，在根据人脸框坐标和人脸关键点坐标获取关键点数据矩阵与角度标签矩阵后，采用传统的最小二乘法不能求出最优解，利用预设损失函数对利用最小二乘法获取关键点数据矩阵与角度标签矩阵的权重矩阵进行优化得到权重矩阵，可以很好拟合曲线，将优化后的权重矩阵作为人脸识别模型的关键参数，将待测的人脸框坐标和人脸关键点坐标信息输入到人脸识别模型中，得到的人脸姿态数据，将待测的的人脸框坐标和人脸关键点坐标信息输入到人脸识别模型中，得到的人脸姿态数据，识别过程速度快、消耗资源少且精确率高。
实施例3
本发明实施例提供一种计算机终端，如图5所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1的人脸姿态识别的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行人脸姿态识别的方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请的人脸姿态识别的方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实执行实施例1中的人脸姿态识别的方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种人脸姿态识别方法，其特征在于，包括如下步骤：
获取人脸框坐标和人脸关键点坐标；
根据人脸框坐标和人脸关键点坐标计算关键点数据矩阵与角度标签矩阵；
利用最小二乘法获取关键点数据矩阵与角度标签矩阵的第一权重矩阵；
利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵；
将所述第二权重矩阵作为人脸姿态识别模型的关键参数；
将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据；
获取人脸框坐标和人脸关键点坐标的步骤，包括：
获取预设数量的人脸图像；
对所述人脸图像构建人脸3D模型；
获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标；
获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标，包括：对3D模型求外接圆，并以外接圆心作为原点，以旋转中心至鼻尖作为x轴，以旋转中心至头顶作为z轴，建立世界坐标系，在世界坐标系中确定人脸框立方体8个顶点坐标F＝(xi,yi,zi)，1≤i≤8，和五个关键点的世界坐标L＝(xi,yi,zi)，1≤i≤5，所述五个关键点为：左眼、右眼、鼻子、左嘴角、右嘴角；
将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标；
所述将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标的步骤，包括：
以预设角度步长在预设方向上的预设范围内旋转所述人脸3D模型，将所述第一人脸框坐标和第一人脸关键点坐标映射在二维平面上，得到二维坐标系下的第二人脸框坐标和第二人脸关键点坐标。
2.根据权利要求1所述的人脸姿态识别方法，其特征在于，所述利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵的步骤，包括：
以预设抽样系数对关键点数据矩阵和角度标签矩阵进行抽样；
根据所述关键点数据矩阵和所述第一权重矩阵得到抽样样本的预测人脸姿态数据；
利用所述抽样样本的预测人脸姿态数据以及抽样样本的真实人脸姿态数据计算所述损失函数的最优解，作为所述第二权重矩阵。
3.根据权利要求2所述的人脸姿态识别方法，其特征在于，所述损失函数为：
Figure FDA0003512390480000021
其中，Pki为抽样样本的预测人脸姿态数据，LKk,i为抽样样本的真实人脸姿态数据。
4.根据权利要求1-3任一所述的人脸姿态识别方法，其特征在于，
所述人脸框坐标包括多个可以表征人脸框架的特征点坐标，所述人脸关键点坐标包括左眼、右眼、鼻子、左嘴角及右嘴角的坐标。
5.一种人脸姿态识别系统，其特征在于，包括：
人脸坐标获取模块，用于获取人脸框坐标和人脸关键点坐标；获取人脸框坐标和人脸关键点坐标的步骤，包括：获取预设数量的人脸图像；对所述人脸图像构建人脸3D模型；获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标；获取三维坐标系下的第一人脸框坐标和第一人脸关键点坐标，包括：对3D模型求外接圆，并以外接圆心作为原点，以旋转中心至鼻尖作为x轴，以旋转中心至头顶作为z轴，建立世界坐标系，在世界坐标系中确定人脸框立方体8个顶点坐标F＝(xi,yi,zi)，1≤i≤8，和五个关键点的世界坐标L＝(xi,yi,zi)，1≤i≤5，所述五个关键点为：左眼、右眼、鼻子、左嘴角、右嘴角；将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标；所述将所述第一人脸框坐标和第一人脸关键点坐标转换为二维坐标系下的第二人脸框坐标和第二人脸关键点坐标的步骤，包括：以预设角度步长在预设方向上的预设范围内旋转所述人脸3D模型，将所述第一人脸框坐标和第一人脸关键点坐标映射在二维平面上，得到二维坐标系下的第二人脸框坐标和第二人脸关键点坐标；
数据矩阵获取模块，用于根据人脸框坐标和人脸关键点坐标，计算关键点数据矩阵与角度标签矩阵；
第一权重矩阵获取模块，用于利用最小二乘法获取关键点数据矩阵与角度标签矩阵的第一权重矩阵；
第二权重模块，用于利用预设损失函数对所述第一权重矩阵进行优化，得到第二权重矩阵，将所述第二权重矩阵作为人脸姿态识别模型的关键参数；
人脸姿态识别模块，用于将待测人脸的人脸框和关键点信息作为参数输入到人脸姿态识别模型中，得到人脸姿态数据。
6.一种计算机终端，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-4任一所述人脸姿态识别的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-4任一所述人脸姿态识别的方法。
CN201910281352.1A 2019-04-09 2019-04-09 一种人脸姿态识别方法及系统 Active CN110163087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910281352.1A CN110163087B (zh) 2019-04-09 2019-04-09 一种人脸姿态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910281352.1A CN110163087B (zh) 2019-04-09 2019-04-09 一种人脸姿态识别方法及系统

Publications (2)

Publication Number Publication Date
CN110163087A CN110163087A (zh) 2019-08-23
CN110163087B true CN110163087B (zh) 2022-03-25

Family

ID=67639221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910281352.1A Active CN110163087B (zh) 2019-04-09 2019-04-09 一种人脸姿态识别方法及系统

Country Status (1)

Country Link
CN (1) CN110163087B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781728B (zh) * 2019-09-16 2020-11-10 北京嘀嘀无限科技发展有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
CN111611917A (zh) * 2020-05-20 2020-09-01 北京华捷艾米科技有限公司 模型训练方法、特征点检测方法、装置、设备及存储介质
CN111898552B (zh) * 2020-07-31 2022-12-27 成都新潮传媒集团有限公司 一种判别人员关注目标物的方法、装置及计算机设备
CN112183421B (zh) * 2020-10-09 2024-07-26 江苏提米智能科技有限公司 一种人脸图像评估方法、装置、电子设备及存储介质
CN114429653A (zh) * 2020-10-29 2022-05-03 中车株洲电力机车研究所有限公司 一种人脸识别优化方法及其装置
CN112699784A (zh) * 2020-12-29 2021-04-23 深圳市普渡科技有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
CN112949576B (zh) * 2021-03-29 2024-04-23 北京京东方技术开发有限公司 姿态估计方法、装置、设备及存储介质
CN115862074B (zh) * 2023-02-28 2023-05-30 科大讯飞股份有限公司 人体指向确定、屏幕控制方法、装置及相关设备
CN117238291A (zh) * 2023-11-14 2023-12-15 暗物智能科技(广州)有限公司 一种多模态语音拒识识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413329A (zh) * 2013-08-30 2013-11-27 深圳市普乐方文化科技有限公司 一种运动平台与3d视频数据匹配互动方法及系统
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN109567816A (zh) * 2018-11-08 2019-04-05 山东大学 一种基于单目视觉的颈椎活动度测量系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
CN105447462B (zh) * 2015-11-20 2018-11-20 小米科技有限责任公司 人脸姿态估计方法及装置
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106909888B (zh) * 2017-01-22 2021-02-05 南京开为网络科技有限公司 应用于移动设备端的人脸关键点跟踪系统及方法
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN109271923A (zh) * 2018-09-14 2019-01-25 曜科智能科技（上海）有限公司 人脸姿态检测方法、系统、电子终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413329A (zh) * 2013-08-30 2013-11-27 深圳市普乐方文化科技有限公司 一种运动平台与3d视频数据匹配互动方法及系统
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN109567816A (zh) * 2018-11-08 2019-04-05 山东大学 一种基于单目视觉的颈椎活动度测量系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust 3D Face Landmark Localization Based on Local Coordinate Coding;Mingli Song等;《IEEE Transactions on Image Processing》;20141002;第23卷(第12期);5108-5122 *

Also Published As

Publication number Publication date
CN110163087A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110163087B (zh) 一种人脸姿态识别方法及系统
EP3910543A2 (en) Method for training object detection model, object detection method and related apparatus
CN111178250B (zh) 物体识别定位方法、装置及终端设备
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN109961064B (zh) 身份证文本定位方法、装置、计算机设备及存储介质
US11551388B2 (en) Image modification using detected symmetry
US10318102B2 (en) 3D model generation from 2D images
CN110956131B (zh) 单目标追踪方法、装置及系统
CN115578433B (zh) 图像处理方法、装置、电子设备及存储介质
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
EP3869404A2 (en) Vehicle loss assessment method executed by mobile terminal, device, mobile terminal and medium
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
CN114359932B (zh) 文本检测方法、文本识别方法及装置
US20220335635A1 (en) Method and system for location detection of photographs using topographic techniques
CN111583381A (zh) 游戏资源图的渲染方法、装置及电子设备
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN115937546A (zh) 图像匹配、三维图像重建方法、装置、电子设备以及介质
WO2016187752A1 (zh) 一种测量天线姿态的方法和装置
JP7177280B2 (ja) 画像認識装置、画像認識方法、及び、画像認識プログラム
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN112906092A (zh) 一种映射方法和映射系统
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant