CN110765852B - 一种获取图像中人脸方向的方法及装置 - Google Patents

一种获取图像中人脸方向的方法及装置 Download PDF

Info

Publication number
CN110765852B
CN110765852B CN201910849197.9A CN201910849197A CN110765852B CN 110765852 B CN110765852 B CN 110765852B CN 201910849197 A CN201910849197 A CN 201910849197A CN 110765852 B CN110765852 B CN 110765852B
Authority
CN
China
Prior art keywords
face
obtaining
image
points
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910849197.9A
Other languages
English (en)
Other versions
CN110765852A (zh
Inventor
郭旭峰
邝英兰
周慧子
万成涛
谭泽汉
陈彦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910849197.9A priority Critical patent/CN110765852B/zh
Publication of CN110765852A publication Critical patent/CN110765852A/zh
Application granted granted Critical
Publication of CN110765852B publication Critical patent/CN110765852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种获取图像中人脸方向的方法及装置，其中方法包括：获取图像中的N个人脸关键点；其中，N为大于等于3的整数；根据所述人脸关键点的坐标得到样本协方差矩阵A；确定所述样本协方差矩阵A的最大特征值的特征向量方向；根据所述特征向量方向得到所述图像中人脸的方向。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请通过获取至少3个人脸关键点，相对于通过由两个关键点确定人脸方向，能够在部分关键点预测失误的情况下仍然保持质量较高的方向判定，进而可以有效提高图像校正的稳定性。

Description

一种获取图像中人脸方向的方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种获取图像中人脸方 向的方法及装置。
背景技术
随着互联网的发展，以及各种移动终端的拍照功能的提升，越来 越多的用户会随时进行拍照；但是，拍照过程中往往会因为相机未能 水平取景或者姿势不正确，导致人脸不正的情况，影响了照片的美观 性。
传统调整图像显示方向的方法有两个大类：其中第一类基于深度 学习方法，需要检测模型在大量的训练样本上做有监督的训练，然后 得到一个预测图像方向的模型，其输入为一张图像，输出为一个预测 的方向角度值，该角度计算方法基于深度学习模型，故而速度较慢； 第二类基于关键点检测，检测出两个关键点以后，用这两个点的连线 来确定方向。但是，该方法对关键点检测精度依赖较高，若关键点未 能检测准确，将直接导致方向检测的准确性。
针对相关技术中存在的诸多技术问题，目前尚未提供有效的解决 方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申 请提供了一种获取图像中人脸方向的方法及装置。
第一方面，本申请提供了一种获取图像中人脸方向的方法，包括：
获取图像中的N个人脸关键点；其中，N为大于等于3的整数；
根据所述人脸关键点的坐标得到样本协方差矩阵A；
确定所述样本协方差矩阵A的最大特征值的特征向量方向；
根据所述特征向量方向得到所述图像中人脸的方向。
进一步地，如前述的获取图像中人脸方向的方法，所述根据所述 人脸关键点得到样本协方差矩阵A，包括：
确定每个所述人脸关键点的坐标对应的去中心化后的向量；
根据N个所述向量得到2行N列的矩阵M；
将所述矩阵M与该矩阵的转置矩阵Mt相乘得到所述样本协方差 矩阵A。
进一步地，如前述的获取图像中人脸方向的方法，所述确定所述 样本协方差矩阵A的最大特征值的特征向量方向，包括：
选取一个非零二维列向量V；
通过所述样本协方差矩阵A，并根据迭代公式V＝AV更新列向量 V，在进行n次迭代后得到列向量V’＝(v0，v1)，其中，v0为所述特 征向量的横坐标，v1为所述特征向量的纵坐标，n为大于等于1的整数；
根据公式angle＝atan2(v0，v1)得到所述特征向量方向的角度，其中， angle为以水平向右为0度，按逆时针旋转的角度，atan2为二元反正切 函数。
进一步地，如前述的获取图像中人脸方向的方法，所述获取图像 中的至少三个人脸关键点，包括：
获取图像中的人脸特征点；其中，所述人脸特征点包括：在人脸 左右半脸两两对称的第一特征点，以及不存在对称点的第二特征点；
根据两两相互对称的所述第一特征点得到中点；其中，所述中点 在相互对称的两个所述第一特征点的中心；
根据所述中点和第二特征点得到所述人脸关键点。
进一步地，如前述的获取图像中人脸方向的方法，所述获取图像 中的人脸特征点包括：
获取图像中的左眼瞳孔、右眼瞳孔、鼻尖、左边嘴角和右边嘴角 对应的特征点；
所述根据两两相互对称的所述第一特征点得到中点，包括：
根据所述左眼瞳孔和右眼瞳孔对应的特征点得到第一中点；以及
根据所述左边嘴角和右边嘴角对应的特征点得到第二中点；
所述根据所述中点和第二特征点得到所述人脸关键点，包括：
将所述第一中点、第二中点和鼻尖对应的特征点作为所述关键点。
进一步地，如前述的获取图像中人脸方向的方法，根据分别根据 每个所述人脸关键点的坐标得到一个对应的去中心化后的向量，包括：
对各个所述人脸关键点的坐标进行平均值计算得到平均坐标；
根据各个所述人脸关键点的坐标以及平均坐标得到所述去中心化 后的向量。
进一步地，如前述的获取图像中人脸方向的方法，在得到所述图 像中人脸的方向之后，还包括：
根据人脸特征点的坐标进行平均值计算得到人脸重心点；
将图像绕着所述人脸重心点，并根据人脸的方向，对图像的方向 进行校正。
第二方面，本申请提供了一种获取图像中人脸方向的装置，包括：
关键点获取模块，用于获取图像中的N个人脸关键点；其中，N 为大于等于3的整数；
矩阵模块，用于根据所述人脸关键点的坐标得到样本协方差矩阵 A；
特征向量模块，用于确定所述样本协方差矩阵A的最大特征值的 特征向量方向；
人脸方向模块，用于根据所述特征向量方向得到所述图像中人脸 的方向。
第三方面，本申请提供了一种电子设备，包括：处理器、通信接 口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过 通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现第一方面中任一 项所述的获取图像中人脸方向的方法。
第四方面，本申请提供了一种非暂态计算机可读存储介质，其特 征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算 机指令使所述计算机执行第一方面中任一项所述的获取图像中人脸方 向的方法。
本申请实施例提供了一种获取图像中人脸方向的方法及装置，其 中方法包括：获取图像中的N个人脸关键点；其中，N为大于等于3 的整数；根据所述人脸关键点的坐标得到样本协方差矩阵A；确定所 述样本协方差矩阵A的最大特征值的特征向量方向；根据所述特征向 量方向得到所述图像中人脸的方向。本申请实施例提供的上述技术方 案与现有技术相比具有如下优点：本申请通过获取至少3个人脸关键 点，相对于通过由两个关键点确定人脸方向，能够在部分关键点预测 失误的情况下仍然保持质量较高的方向判定，进而可以有效提高图像 校正的稳定性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符 合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种获取图像中人脸方向的方法流程 示意图；
图2为图1所示步骤S2的一种实施例的方法流程示意图；
图3为图1所示步骤S3的一种实施例的方法流程示意图；
图4为本申请一种实施例中计算人脸正方向的示意图；
图5为现有技术中计算人脸正方向的示意图；
图6为本申请实施例提供的一种获取图像中人脸方向的装置模块 结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结 合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不 是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没 有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请 保护的范围。
图1为本申请实施例提供的一种获取图像中人脸方向的方法，包 括如下所述步骤S1至S4：
S1.获取图像中的N个人脸关键点；其中，N为大于等于3的整 数；
具体的，本实施例中以获取图像中的一个人脸为例，当一个图像 中存在多个人脸，或者不同图像中存在不同人脸，均可按照本实施例 中的方法逐一进行分析判断；由于现有技术中在检测出两个关键点以 后，用这两个点的连线来确定方向，存在对关键点检测精度依赖较高 的问题，因此本方法中采用3个及以上的关键点获取人脸的方向；
S2.根据人脸关键点的坐标得到样本协方差矩阵A；
具体的，可以通过确定各个人脸关键点的(横坐标与纵坐标)进 行组合可以得到上述的样本协方差矩阵A；一般的，样本协方差矩阵A 中的坐标依次排列设置，且各个横坐标均在所述样本协方差矩阵A中 的同一行或同一列，且纵坐标也采用对应设置；
S3.确定样本协方差矩阵A的最大特征值的特征向量方向；
具体的，如图4所示，以人脸关键点9、12、13为例，由于人脸 关键点存在多个，因此不能通过现有技术中(如图5所示)的两点(6 和3为例)连线得到的向量得到人脸方向；因此需要得到一个向量， 使该向量的连线最能够表征各个关键点的分布，进而使该向量的方向能够与人脸的方向最为接近；而通过样本协方差矩阵A的最大特征值 的特征向量则可以实现上述目的；并且，优选的，在此处，在计算过 程中不需获得所述协方差矩阵A的最大特征值，直接获其最大特征值 的特征向量方向即可；
S4.根据特征向量方向得到图像中人脸的方向；
具体的，根据特征向量方向的角度，以及人脸的正方向，得到所 述人脸的方向；
也就是说，当特征向量方向的角度为30°时，且以水平向右为正 方向，则
如图2所示，在一些实施例中，如前述的获取图像中人脸方向的 方法，所述步骤S2.根据人脸关键点得到对应的样本协方差矩阵A，包 括如下所述步骤S21至S23：
S21.确定每个人脸关键点的坐标对应的去中心化后的向量；
S22.根据N个向量得到2行N列的矩阵M；
S23.将矩阵M与该矩阵的转置矩阵Mt相乘得到样本协方差矩阵 A。
具体的，通过得到所述样本协方差矩阵A，可以得到各个所述人 脸关键点之间的相关性关系，举例的，在存在3个人脸关键点的坐标 对应的去中心化后的向量：X0，Y0，Z0时，将上述3个向量写为列向 量，并且记2行3列的矩阵M＝(X0Y0Z0)，即M的第一列为列向量X0，M的第二列为列向量Y0，M的第三列为列向量Z0。计算M与M 的转置的矩阵乘法的乘积A＝M*Mt，则得到的样本写方差矩阵A则为 2行2列的矩阵。
如图3所示，在一些实施例中，如前述的获取图像中人脸方向的 方法，所述步骤S3.确定所述样本协方差矩阵A的最大特征值的特征 向量方向，包括如下所述步骤S31至S33：
S31.选取一个非零二维列向量V；
优选的，向量V可以选取二维列向量V＝(1,0)t，且这里的V可 以为任意其他的非零二维列向量(V的选择不影响最后的算得的方向)。
S32.通过所述样本协方差矩阵A，并根据迭代公式V＝AV更新列 向量V，在进行n次迭代后得到列向量V’＝(v0，v1)，其中，v0为特 征向量的横坐标，v1为特征向量的纵坐标，n为大于等于1的整数；
具体的，由迭代法求多个人脸关键点决定的方向比之直接求解特 征值与特征方向提高了计算速度，同时，迭代时能使得近似的方向与 真实的最大特征值对应的单位方向相差将以指数阶衰减，经验地，取5 次迭代就能使近似的方向与真的方向差别小于0.0001。
S33.根据公式angle＝atan2(v0，v1)得到特征向量方向的角度，其中， angle为以水平向右为0度，按逆时针旋转的角度，atan2为二元反正切 函数。
一般的，若angle＝0即人脸正方向是水平向右；若angle＝90度则 说明人脸的正方向是竖直向上；对于一般的角度angle，则说明人脸的 正方向是沿水平向右方向逆时针旋转angle。具体的，本方法在PCA 主成分分析法的基础上改进得到，具体PCA分析步骤在此不再进行赘 述。
在一些实施例中，如前述的获取图像中人脸方向的方法，获取图 像中的至少三个人脸关键点，包括：
获取图像中的人脸特征点；其中，人脸特征点包括：在人脸左右 半脸两两对称的第一特征点，以及不存在对称点的第二特征点；
根据两两相互对称的第一特征点得到中点；其中，中点在相互对 称的两个第一特征点的中心；
根据中点和第二特征点得到人脸关键点。
在一些实施例中，如前述的获取图像中人脸方向的方法，
获取图像中的人脸特征点包括：
获取图像中的左眼瞳孔、右眼瞳孔、鼻尖、左边嘴角和右边嘴角 对应的特征点；
具体的，在人脸特征点的选取时，左眼瞳孔与右眼瞳孔，左边嘴 角和右边嘴角在人脸上都是近似对称的，而鼻尖则一般是位于人脸的 中垂线上或附近区域，此外，诸如眉尾，耳朵等也都是满足人脸特征 点的选取要求的；
根据两两相互对称的第一特征点得到中点，包括：
根据左眼瞳孔和右眼瞳孔对应的特征点得到第一中点；以及
根据左边嘴角和右边嘴角对应的特征点得到第二中点；
具体的，可以根据左眼瞳孔的坐标和右眼瞳孔的坐标进行平均值 计算得到第一中点；以及
根据左边嘴角的坐标和右边嘴角的坐标进行平均值计算得到第二 中点；
根据中点和第二特征点得到人脸关键点，包括：
将第一中点、第二中点和鼻尖对应的特征点作为关键点；
也就是说，度于大多数人而言，第一中点、第二中点和鼻尖都是 较为接近于人脸中垂线上的特征点，因此将其作为关键点。
举例的，对上述方法的一种应用如下所述：
当人脸特征点位于：左眼，右眼，鼻子，左边嘴角，右边嘴角时； 如下所述的矩阵中：第一列为左眼，第二列为右眼睛，第三列为鼻子， 第四列为左边嘴角，第五列为右边嘴角的横纵坐标；
Figure BDA0002196329880000091
则两眼中点，鼻子，两嘴角中点，这三个点的去中心化以后的坐 标为：
Figure BDA0002196329880000092
因此得到的样本协方差矩阵A为：
Figure BDA0002196329880000093
在进行N次迭代后(N＝0,1,2,3,4)的特征向量方向的角度分别为：
0、74.6285864、76.42225288、76.43591304、76.43601704；
具体的，该图像中人脸的实际方向为：76.436，因此，在五次迭代 之后，得到的方向与真的方向差别小于0.0001。
在一些实施例中，如前述的获取图像中人脸方向的方法，根据分 别根据每个人脸关键点的坐标得到一个对应的去中心化后的向量，包 括：
对各个人脸关键点的坐标进行平均值计算得到平均坐标；
具体的，在人脸关键点存在P个时，则会存在P个坐标，且将各 个坐标分别记为Q1、Q2……Qp；因此计算平均值后的坐标O则为：O＝(Q1+Q2+……+Qp)/p；易于知道的，进行平均值计算时，对其中的各 个坐标轴中的坐标分别进行平均计算；最后根据点O的坐标即可得到上述的去中心化后的向量；
根据各个人脸关键点的坐标以及平均坐标得到去中心化后的向量；
具体的，所述去中心化，即计算各个人脸关键点对应的向量与平 均坐标对应的向量之差；在上一步骤的基础上，Q1对应的去中心化后 的向量Q1O＝Q1-O；Q2对应的去中心化后的向量则为Q2O＝Q1-O。
在一些实施例中，如前述的获取图像中人脸方向的方法，在所述 步骤S4中得到图像中人脸的方向之后，还包括如下所述步骤S5和S6：
S5.根据人脸特征点的坐标进行平均值计算得到人脸重心点；
S6.将图像绕着人脸重心点，并根据人脸的方向，对图像的方向进 行校正。
具体的，之所以需要通过人脸特征点的坐标得到人脸重心点，主 要是为了在照片中的主要对象为人脸时，能够尽可能绕着图片的中心 进行旋转，进而得到一个良好的旋转效果；此外，由于人脸识别相关 处理方法在人脸特征点在选取时，一般都选择位于五官上(例如：眼 睛、鼻子、嘴巴、耳朵等)的特征点，因此，以人脸重心点作为旋转 的中心，可以得到一个良好的旋转效果。进一步的，在前述实施例的 上，将图像绕着人脸重心点逆时针旋转T＝90-angle，则可将图片中的 人脸校正为竖直方向。
如图6所示，根据本申请的另一个实施例，还提供一种获取图像 中人脸方向的装置，包括：
关键点获取模块1，用于获取图像中的N个人脸关键点；其中，N 为大于等于3的整数；
矩阵模块2，用于根据所述人脸关键点的坐标得到样本协方差矩阵 A；
特征向量模块3，用于确定所述样本协方差矩阵A的最大特征值 的特征向量方向；
人脸方向模块4，用于根据所述特征向量方向得到所述图像中人脸 的方向。
具体的，本发明实施例的装置中各模块实现其功能的具体过程可 参见方法实施例中的相关描述，此处不再赘述。
根据本申请的另一个实施例，还提供一种电子设备，如图7所示， 电子设备可以包括：处理器1501、通信接口1502、存储器1503和通 信总线1504，其中，处理器1501，通信接口1502，存储器1503通过 通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的程序时，实现上述 方法实施例的步骤。
上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、 数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并 不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)， 也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一 个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理 器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可 以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种非暂态计算机可读存储介质，非暂态计 算机可读存储介质存储计算机指令，计算机指令使计算机执行上述方 法实施例的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关 系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系 或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或 者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或 者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有 更多限制的情况下，由语句“包括一个……”限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要 素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理 解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说 将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精 神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限 制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖 特点相一致的最宽的范围。

Claims (9)

1.一种获取图像中人脸方向的方法，其特征在于，包括：
获取图像中的N个人脸关键点；其中，N为大于等于3的整数；
根据所述人脸关键点的坐标得到样本协方差矩阵A；
确定所述样本协方差矩阵A的最大特征值的特征向量方向；
根据所述特征向量方向得到所述图像中人脸的方向；
所述获取图像中的至少三个人脸关键点，包括：
获取图像中的人脸特征点；其中，所述人脸特征点包括：在人脸左右半脸两两对称的第一特征点，以及不存在对称点的第二特征点；
根据两两相互对称的所述第一特征点得到中点；其中，所述中点在相互对称的两个所述第一特征点的中心；
根据所述中点和第二特征点得到所述人脸关键点。
2.根据权利要求1所述的获取图像中人脸方向的方法，其特征在于，所述根据所述人脸关键点得到样本协方差矩阵A，包括：
确定每个所述人脸关键点的坐标对应的去中心化后的向量；
根据N个所述向量得到2行N列的矩阵M；
将所述矩阵M与该矩阵的转置矩阵Mt相乘得到所述样本协方差矩阵A。
3.根据权利要求2所述的获取图像中人脸方向的方法，其特征在于，所述确定所述样本协方差矩阵A的最大特征值的特征向量方向，包括：
选取一个非零二维列向量V；
通过所述样本协方差矩阵A，并根据迭代公式V＝AV更新列向量V，在进行n次迭代后得到列向量V’＝(v0，v1)，其中，v0为所述列向量V’的横坐标，v1为所述列向量V’的纵坐标，n为大于等于1的整数；
根据公式angle＝atan2(v0，v1)得到所述特征向量方向的角度，其中，angle为以水平向右为0度，按逆时针旋转的角度，atan2为二元反正切函数。
4.根据权利要求1所述的获取图像中人脸方向的方法，其特征在于，所述获取图像中的人脸特征点包括：
获取图像中的左眼瞳孔、右眼瞳孔、鼻尖、左边嘴角和右边嘴角对应的特征点；
所述根据两两相互对称的所述第一特征点得到中点，包括：
根据所述左眼瞳孔和右眼瞳孔对应的特征点得到第一中点；以及
根据所述左边嘴角和右边嘴角对应的特征点得到第二中点；
所述根据所述中点和第二特征点得到所述人脸关键点，包括：
将所述第一中点、第二中点和鼻尖对应的特征点作为所述关键点。
5.根据权利要求2所述的获取图像中人脸方向的方法，其特征在于，根据分别根据每个所述人脸关键点的坐标得到一个对应的去中心化后的向量，包括：
对各个所述人脸关键点的坐标进行平均值计算得到平均坐标；
根据各个所述人脸关键点的坐标以及平均坐标得到所述去中心化后的向量。
6.根据权利要求1所述的获取图像中人脸方向的方法，其特征在于，在得到所述图像中人脸的方向之后，还包括：
根据人脸特征点的坐标进行平均值计算得到人脸重心点；
将图像绕着所述人脸重心点，并根据人脸的方向，对图像的方向进行校正。
7.一种获取图像中人脸方向的装置，其特征在于，包括：
关键点获取模块，用于获取图像中的N个人脸关键点；其中，N为大于等于3的整数；
矩阵模块，用于根据所述人脸关键点的坐标得到样本协方差矩阵A；
特征向量模块，用于确定所述样本协方差矩阵A的最大特征值的特征向量方向；
人脸方向模块，用于根据所述特征向量方向得到所述图像中人脸的方向；
所述关键点获取模块，包括：
获取图像中的人脸特征点；其中，所述人脸特征点包括：在人脸左右半脸两两对称的第一特征点，以及不存在对称点的第二特征点；
根据两两相互对称的所述第一特征点得到中点；其中，所述中点在相互对称的两个所述第一特征点的中心；
根据所述中点和第二特征点得到所述人脸关键点。
8.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-6任一项所述的获取图像中人脸方向的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-6任一项所述的获取图像中人脸方向的方法。
CN201910849197.9A 2019-09-09 2019-09-09 一种获取图像中人脸方向的方法及装置 Active CN110765852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849197.9A CN110765852B (zh) 2019-09-09 2019-09-09 一种获取图像中人脸方向的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849197.9A CN110765852B (zh) 2019-09-09 2019-09-09 一种获取图像中人脸方向的方法及装置

Publications (2)

Publication Number Publication Date
CN110765852A CN110765852A (zh) 2020-02-07
CN110765852B true CN110765852B (zh) 2022-06-14

Family

ID=69329605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849197.9A Active CN110765852B (zh) 2019-09-09 2019-09-09 一种获取图像中人脸方向的方法及装置

Country Status (1)

Country Link
CN (1) CN110765852B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232274A (zh) * 2020-11-03 2021-01-15 支付宝(杭州)信息技术有限公司 深度图像模型训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447468A (zh) * 2015-12-01 2016-03-30 无锡职业技术学院 彩色图像过完整分块特征抽取方法
CN105930788A (zh) * 2016-04-18 2016-09-07 太原理工大学 非下采样轮廓波和主成分分析相结合的人脸识别方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109048918A (zh) * 2018-09-25 2018-12-21 华南理工大学 一种轮椅机械臂机器人的视觉引导方法
CN110097021A (zh) * 2019-05-10 2019-08-06 电子科技大学 基于mtcnn的人脸姿态估计方法
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447468A (zh) * 2015-12-01 2016-03-30 无锡职业技术学院 彩色图像过完整分块特征抽取方法
CN105930788A (zh) * 2016-04-18 2016-09-07 太原理工大学 非下采样轮廓波和主成分分析相结合的人脸识别方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109048918A (zh) * 2018-09-25 2018-12-21 华南理工大学 一种轮椅机械臂机器人的视觉引导方法
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
CN110097021A (zh) * 2019-05-10 2019-08-06 电子科技大学 基于mtcnn的人脸姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸朝向检测中PCA子空间构造方法研究;武松林、崔荣一;《延边大学学报（自然科学版）》;20100331;第71-74页 *

Also Published As

Publication number Publication date
CN110765852A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN109829437B (zh) 图像处理方法、文本识别方法、装置和电子系统
WO2020038254A1 (zh) 一种用于目标识别的图像处理方法及装置
WO2018086607A1 (zh) 一种目标跟踪方法及电子设备、存储介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
CN111639744A (zh) 学生模型的训练方法、装置及电子设备
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN109815770A (zh) 二维码检测方法、装置及系统
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
WO2018210318A1 (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
WO2019205729A1 (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
WO2022206729A1 (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN111985458A (zh) 一种检测多目标的方法、电子设备及存储介质
CN112232506A (zh) 网络模型训练方法、图像目标识别方法、装置和电子设备
WO2018076172A1 (zh) 一种图像显示方法及终端
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
CN110765852B (zh) 一种获取图像中人脸方向的方法及装置
JP7177280B2 (ja) 画像認識装置、画像認識方法、及び、画像認識プログラム
CN110619624B (zh) 一种图像分解方法及装置
CN111353597B (zh) 一种目标检测神经网络训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant