CN109063584B - 基于级联回归的面部特征点定位方法、装置、设备及介质 - Google Patents

基于级联回归的面部特征点定位方法、装置、设备及介质 Download PDF

Info

Publication number
CN109063584B
CN109063584B CN201810755420.9A CN201810755420A CN109063584B CN 109063584 B CN109063584 B CN 109063584B CN 201810755420 A CN201810755420 A CN 201810755420A CN 109063584 B CN109063584 B CN 109063584B
Authority
CN
China
Prior art keywords
feature point
feature
face image
regression model
position set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810755420.9A
Other languages
English (en)
Other versions
CN109063584A (zh
Inventor
朱美芦
石大明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810755420.9A priority Critical patent/CN109063584B/zh
Publication of CN109063584A publication Critical patent/CN109063584A/zh
Application granted granted Critical
Publication of CN109063584B publication Critical patent/CN109063584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用计算机技术领域，提供了一种基于级联回归的面部特征点定位方法、装置、设备及介质，该方法包括：通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对待定位人脸图像的特征点位置集合进行修正，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，每个精化层包括局部特征提取器、特征融合器和回归器，从而在面部特征点定位过程中提高了图像纹理信息的利用效果和模型训练效果，进而提高了面部特征点定位的精度和准确度。

Description

基于级联回归的面部特征点定位方法、装置、设备及介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于级联回归的面部特征点定位方法、装置、设备及介质。
背景技术
面部特征点定位是基于人脸图像进行人脸动画生成的重要一环，通常先由一种可靠快速的人脸检测算法给出人脸区域作为输入，再对该人脸区域内的一组预定义的面部特征点进行定位，如眉毛、眼瞳、鼻尖、嘴角等。目前，面部特征点定位方法主要分为两类模型：以经典算法主动表观模型为代表的生成模型，以及近几年兴起的以级联回归方法(例如监督下降法)为代表的判别模型。生成模型在对无控制条件下获取的人脸进行特征点定位时往往失效，而判别模型无论是定位速度还是鲁棒性上展现出明显的优势，相关理论技术也有发展。
然而，目前用于面部特征点定位的级联回归方法还存在以下问题：(1)在级联结构中人脸图像全局和局部的纹理信息并没有得到很好的利用；(2)用于面部特征点定位的级联回归模型无法进行端对端的学习；(3)级联回归中每个回归器的优化是相互独立的；(4)对人脸特征点进行定位的精度还有待提高。
发明内容
本发明的目的在于提供一种基于级联回归的面部特征点定位方法、装置、设备及存储介质，旨在解决由于现有技术中基于级联回归的面部特征点定位方法无法较好地利用人脸图像的纹理信息、且模型训练效果不佳，导致面部特征点定位精度不高且效果不佳的问题。
一方面，本发明提供了一种基于级联回归的面部特征点定位方法，所述方法包括下述步骤：
当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；
通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；
根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；
根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。
另一方面，本发明提供了一种基于级联回归的面部特征点定位装置，所述装置包括：
待定位图像获取单元，用于当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；
特征点信息提取单元，用于通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；
特征点位置修正单元，用于根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；以及
特征位置确定单元，用于根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。
另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于级联回归的面部特征点定位方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于级联回归的面部特征点定位方法所述的步骤。
本发明通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，每个精化层包括局部特征点提取器、特征融合器和回归器，从而通过全局特征和精化层中的局部的特征提取器、特征融合期提高了图像纹理信息的利用效果，通过基于雅克比矩阵的深度优化策略提高了级联回归模型的训练效果，进而有效地提高了面部特征点定位的精度和准确度。
附图说明
图1是本发明实施例一提供的基于级联回归的面部特征点定位方法的实现流程图；
图2是本发明实施例一提供的基于级联回归的面部特征点定位方法中多尺度卷积神经网络的结构示例图；
图3是本发明实施例二提供的基于级联回归的面部特征点定位装置的结构示意图；
图4是本发明实施例二提供的基于级联回归的面部特征点定位装置的优选结构示意图；以及
图5是本发明实施例三提供的图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的基于级联回归的面部特征点定位方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到面部特征点定位请求时，获取面部特征点定位请求中的待定位人脸图像。
本发明实施例适用于面部特征点定位平台或系统。获取面部特征点定位请求的待定位人脸图像，后续对该待定位人脸图像进行面部特征点定位。
在步骤S102中，通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取待定位人脸图像的全局特征，级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的。
在本发明实施例中，预先通过基于雅克比矩阵的深度优化策略对级联回归模型进行训练，获得训练好的级联回归模型。在获得待定位人脸图像后，可通过级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合，同时提取待定位人脸图像的全局特征。其中，特征点位置集合由每个预设特征点的位置信息(特征点在待定位人脸图像上的横纵坐标)构成。
优选地，多尺度卷积神经网络由多个网络分支组成，每个网络分支的第一层卷积层采用不同大小的卷积核，通过每个网络分支提取待定位人脸图像上不同尺度的面部特征，将所有尺度的面部特征连接成一个特征向量，再将该特征向量输入多尺度卷积神经网络的全连接层中，将第一个全连接层的输出设置为待定位人脸图像的特征点位置集合，将最后一个全连接层的输出设置为待定位人脸图像的全局特征，从而有效地提高了待定位人脸图像上纹理信息的利用效果，进而提高了特征点位置集合的预测效果和全局特征的提取效果。
优选地，在将待定位人脸图像输入到多尺度卷积神经网络之前，检测出待定位人脸图像对应的人脸框，按照人脸框对待定位人脸图像进行裁剪，将裁剪得到的人脸框内的图像输入多尺度卷积神经网络中，从而通过对待定位人脸图像进行处理，有效地提高特征点位置集合的预测效果和全局特征的提取效果。
作为示例地，图2为多尺度卷积神经网络的结构示例图，在图2中，多尺度卷积神经网络一共有3个网络分支、3个卷积层和3个全连接层，每个网络分支的第一个卷积层分别采用了3×3、5×5和7×7大小的卷积核，人脸图像上的方框为人脸框，将人脸框内的图像输入到多尺度卷积神经网络中。
在步骤S103中，根据待定位人脸图像的全局特征，通过级联回归模型中的每个精化层对待定位人脸图像的特征点位置集合进行修正，每个精化层包括局部特征提取器、特征融合器以及回归器。
在本发明实施例中，在获得待定位人脸图像的特征点位置集合和全局特征后，通过级联回归模型中的每个精化层依次对待定位人脸图像的特征点位置集合进行修正，获得经过最后一个精化层修正的特征点位置集合。
优选地，通过每个精化层依次对特征点位置集合进行修正的过程，通过下述步骤实现：
(1)根据待定位人脸图像的特征点位置集合，通过级联回归模型中当前精化层内的局部特征提取器提取待定位人脸图像的局部特征。
进一步优选地，在通过局部特征提取器提取待定位人脸图像的局部特征时，对以特征点坐标集合中特征点位置为中心的局部图像块，进行方向梯度直方图特征(HOG，Histogram ofOriented Gradient)提取，将每个局部图像块的HOG特征连接成一个特征向量，得到待定位人脸图像对应的局部特征，从而提高了待定位人脸图像上局部特征的提取效果。
(2)通过当前精化层内的特征融合器将待定位人脸图像的局部特征和待定位人脸图像的全局特征进行融合。
在本发明实施例中，将待定位人脸图像的局部特征和全局特征一起输入到特征融合器中，由特征融合器将这两个特征融合为一个特征，使得融合后的特征不仅具有待定位人脸图像的局部纹理特征，还具有全局纹理特征，从而有效地提高待定位人脸图像上纹理信息的利用效果。
进一步优选地，特征融合器为前馈神经网络，对特征融合器的参数进行L1正则化约束，使得特征融合器的参数具有稀疏性，实现特征融合器对全局特征和局部特征进行特征选择的作用，从而有效地提高特征融合器的特征融合效果。
(3)将融合后的特征输入当前精化层内的回归器中，生成待定位人脸图像对应的特征点位置偏移量。
在本发明实施例中，将融合后的特征输入回归器中，由回归器预测得到待定位人脸图像对应的特征点位置偏移量，其中，特征点位置偏移量包括每个特征点位置对应的偏移量。
进一步优选地，回归器为前馈神经网络，对回归器的参数进行L2正则化约束，从而有效地提高回归器对特征点位置偏移量进行预测的准确度。
(4)根据特征点位置偏移量对待定位人脸图像的特征点位置集合进行修正，获得经过当前精化层修正的特征点位置集合。
在本发明实施例中，由待定位人脸图像的特征点位置集合加上特征点位置偏移量，即可得到的修正后的特征点位置集合。
(5)当当前精化层不是级联回归模型中最后一个精化层时，将级联回归模型中的下一精化层设置为当前精化层，并跳转至通过级联回归模型中当前精化层内的局部特征提取器提取待定位人脸图像的局部特征的步骤。
在本发明实施例中，当当前精化层不是最后一个精化层时，还需要通过下一精化层对特征点位置集合进行修正，直至级联回归模型中的最后一个精化层完成对特征点位置集合的修正。
进一步优选地，通过级联回归模型中的局部特征提取器、特征融合器和回归器，对待定位人脸图像的特征点位置集合进行修正的过程，表示为下述公式：
Figure BDA0001726612630000071
其中，I表示待定位人脸图像，sk-1、sk分别表示经过第k-1、k个精化层修正后的特征点位置集合，Γ(·)表示局部特征提取器，
Figure BDA0001726612630000072
为通过第k个精化层中的局部特征提取器提取得到的、待定位人脸图像的局部特征，Φglobal为待定位人脸图像的全局特征，
Figure BDA0001726612630000073
分别表示第k个精化层中的特征融合器和回归器，
Figure BDA0001726612630000074
分别表示
Figure BDA0001726612630000075
的参数矩阵。
在步骤S104中，根据修正后的、待定位人脸图像的特征点位置集合，确定待定位人脸图像上所有特征点的最终位置。
在本发明实施例中，获取经过级联回归模型中所有精化层修正后的、待定位人脸图像的特征点位置集合，该特征点位置集合中每个特征点的位置，即待定位人脸图像上所有特征点的最终位置，从而完成对待定位人脸图像的面部特征点定位。
在本发明实施例中，接收到面部特征点定位请求之前，通过基于雅克比矩阵的深度优化策略对级联回归模型进行训练，从而实现级联回归模型端对端的训练，解决级联回归中每个回归器的训练相互独立的问题。优选地，对级联回归模型进行训练的过程，通过下述步骤实现：
(1)获取预先采集的训练图像集，训练图像集包括人脸训练图像和每幅人脸训练图像对应的特征点最佳位置集合。
在本发明实施例中，人脸训练图像上预先标记出了每个特征点的准确位置，人脸训练图像上所有特征点的准确位置构成该人脸训练图像对应的特征点最佳位置，以用于后续对级联回归模型进行有监督训练。
(2)通过级联回归模型中的多尺度卷积神经网络，预测人脸训练图像的特征点位置集合并提取人脸训练图像的全局特征。
在本发明实施例中，通过多尺度卷积神经网络对人脸训练图像进行处理的过程，可参照步骤S102，在此不再赘述。
(3)根据人脸训练图像的全局特征，通过级联回归模型中的每个精化层对人脸训练图像的特征点位置集合进行修正。
在本发明实施例中，通过每个精化层对人脸训练图像的特征点位置集合进行修正的过程，可参照步骤S103，在此不再赘述。
(4)根据人脸训练图像的特征点最佳位置集合、修正后的特征点位置集合和基于雅克比矩阵的深度优化策略，对级联回归模型进行训练，获得训练好的级联回归模型。
在本发明实施例中，在获得经过级联回归模型中所有精化层修正的、人脸训练图像的特征点位置集合后，根据该特征点位置集合和人脸训练图像的特征点最佳位置集合，计算级联回归模型的定位误差，其中，定位误差可为修正后的特征点位置集合与特征点最佳位置集合之间的均方误差。
在本发明实施例中，通过将定位误差从级联回归模型的最后一个精化层传递至第一个精化层，实现级联回归模型端到端的训练。要使不同回归器之间能够进行误差传递，需要求出每个精化层中的特征融合器
Figure BDA0001726612630000081
关于经上一个精化层修正后的特征点位置集合sk-1的一阶导数，该一阶导数求解的关键问题在于求出每个精化层中局部特征提取器Γ(·)关于经上一个精化层修正后的特征点位置集合sk-1的一阶导数，即雅克比矩阵，由于Γ(·)是不可导的，可通过数值近似的方式求解Γ(·)关于sk-1的雅克比矩阵。在得到雅克比矩阵后，通过雅克比矩阵将定位误差从级联回归模型的最后一个精化层传递至第一个精化层，实现级联回归模型有监督的、端对端的训练过程。
优选地，由于sk-1中各个特征点的位置是关于横纵坐标x、y的，所以Γ(·)关于sk-1的雅克比矩阵表示为：
Figure BDA0001726612630000082
L为特征点的总数目。
其中，Γ(·)关于x、y的一阶导数可通过数值近似得到：
Figure BDA0001726612630000091
其中，I在这里表示人脸训练图像，
Figure BDA0001726612630000092
w为人脸训练图像上人脸框的宽度。
在本发明实施例中，通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，每个精化层包括局部特征点提取器、特征融合器和回归器，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，从而提高了图像纹理信息的利用效果和级联回归模型的训练效果，进而提高了面部特征点定位的精度和准确度。
实施例二：
图3示出了本发明实施例二提供的基于级联回归的面部特征点定位装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
待定位图像获取单元31，用于当接收到面部特征点定位请求时，获取面部特征点定位请求中的待定位人脸图像。
特征点信息提取单元32，用于通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取待定位人脸图像的全局特征，级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的。
在本发明实施例中，预先通过基于雅克比矩阵的深度优化策略对级联回归模型进行训练，获得训练好的级联回归模型。在获得待定位人脸图像后，可通过级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合，同时提取待定位人脸图像的全局特征。其中，特征点位置集合由每个预设特征点的位置信息(特征点在待定位人脸图像上的横纵坐标)构成。
优选地，在将待定位人脸图像输入到多尺度卷积神经网络之前，检测出待定位人脸图像对应的人脸框，按照人脸框对待定位人脸图像进行裁剪，将裁剪得到的人脸框内的图像输入多尺度卷积神经网络中，从而通过对待定位人脸图像进行处理，有效地提高特征点位置集合的预测效果和全局特征的提取效果。
特征点位置修正单元33，用于根据待定位人脸图像的全局特征，通过级联回归模型中的每个精化层对待定位人脸图像的特征点位置集合进行修正，每个精化层包括局部特征提取器、特征融合器以及回归器。
在本发明实施例中，在获得待定位人脸图像的特征点位置集合和全局特征后，通过级联回归模型中的每个精化层依次对待定位人脸图像的特征点位置集合进行修正，获得经过最后一个精化层修正的特征点位置集合。
特征位置确定单元34，用于根据修正后的、待定位人脸图像的特征点位置集合，确定待定位人脸图像上所有特征点的最终位置。
在本发明实施例中，获取经过级联回归模型中所有精化层修正后的、待定位人脸图像的特征点位置集合，该特征点位置集合中每个特征点的位置，即待定位人脸图像上所有特征点的最终位置，从而完成对待定位人脸图像的面部特征点定位。
优选地，如图4所示，特征点信息提取单元32包括：
多尺度特征提取单元421，用于通过多尺度卷积神经网络提取待定位人脸图像上不同尺度的面部特征，多尺度卷积神经网络中不同网络分支的第一层卷积层采用不同大小的卷积核；
面部特征处理单元422，用于将所有面部特征连接成对应的特征向量，将特征向量输入多尺度卷积神经网络中的全连接层中，获取多尺度卷积神经网络中第一个全连接层的输出和最后一个全连接层的输出；以及
全连接层输出设置单元423，用于将第一个全连接层的输出设置为待定位人脸图像的全局特征，将最后一个全连接层的输出设置为待定位人脸图像的特征点位置集合。
在本发明实施例中，多尺度卷积神经网络由多个网络分支组成，每个网络分支的第一层卷积层采用不同大小的卷积核，通过每个网络分支提取待定位人脸图像上不同尺度的面部特征，将所有尺度的面部特征连接成一个特征向量，再将该特征向量输入多尺度卷积神经网络的全连接层中，将第一个全连接层的输出设置为待定位人脸图像的特征点位置集合，将最后一个全连接层的输出设置为待定位人脸图像的全局特征，从而有效地提高了待定位人脸图像上纹理信息的利用效果，进而提高了特征点位置集合的预测效果和全局特征的提取效果。
优选地，特征点位置修正单元33包括：
局部特征提取单元431，用于根据待定位人脸图像的特征点位置集合，通过级联回归模型中当前精化层内的局部特征提取器提取待定位人脸图像的局部特征。
进一步优选地，在通过局部特征提取器提取待定位人脸图像的局部特征时，对以特征点坐标集合中特征点位置为中心的局部图像块，进行HOG特征提取，将每个局部图像块的HOG特征连接成一个特征向量，得到待定位人脸图像对应的局部特征，从而提高了待定位人脸图像上局部特征的提取效果。
特征融合单元432，用于通过当前精化层内的特征融合器将待定位人脸图像的局部特征和待定位人脸图像的全局特征进行融合。
在本发明实施例中，将待定位人脸图像的局部特征和全局特征一起输入到特征融合器中，由特征融合器将这两个特征融合为一个特征，使得融合后的特征不仅具有待定位人脸图像的局部纹理特征，还具有全局纹理特征，从而有效地提高待定位人脸图像上纹理信息的利用效果。
进一步优选地，特征融合器为前馈神经网络，对特征融合器的参数进行L1正则化约束，使得特征融合器的参数具有稀疏性，实现特征融合器对全局特征和局部特征进行特征选择的作用，从而有效地提高特征融合器的特征融合效果。
位置偏移确定单元433，用于将融合后的特征输入当前精化层内的回归器中，生成待定位人脸图像对应的特征点位置偏移量。
在本发明实施例中，将融合后的特征输入回归器中，由回归器预测得到待定位人脸图像对应的特征点位置偏移量，其中，特征点位置偏移量包括每个特征点位置对应的偏移量。
进一步优选地，回归器为前馈神经网络，对回归器的参数进行L2正则化约束，从而有效地提高回归器对特征点位置偏移量进行预测的准确度。
位置修正单元434，用于根据特征点位置偏移量对待定位人脸图像的特征点位置集合进行修正，获得经过当前精化层修正的特征点位置集合。
在本发明实施例中，由待定位人脸图像的特征点位置集合加上特征点位置偏移量，即可得到的修正后的特征点位置集合。
精化层设置单元435，用于当当前精化层不是级联回归模型中最后一个精化层时，将级联回归模型中的下一精化层设置为当前精化层，并触发局部特征提取单元431执行通过级联回归模型中当前精化层内的局部特征提取器提取待定位人脸图像的局部特征的步骤。
在本发明实施例中，当当前精化层不是最后一个精化层时，还需要通过下一精化层对特征点位置集合进行修正，直至级联回归模型中的最后一个精化层完成对特征点位置集合的修正。
进一步优选地，通过级联回归模型中的局部特征提取器、特征融合器和回归器，对待定位人脸图像的特征点位置集合进行修正的过程，表示为下述公式：
Figure BDA0001726612630000121
其中，I表示待定位人脸图像，sk-1、sk分别表示经过第k-1、k个精化层修正后的特征点位置集合，Γ(·)表示局部特征提取器，
Figure BDA0001726612630000122
为通过第k个精化层中的局部特征提取器提取得到的、待定位人脸图像的局部特征，Φglobal为待定位人脸图像的全局特征，
Figure BDA0001726612630000123
分别表示第k个精化层中的特征融合器和回归器，
Figure BDA0001726612630000124
分别表示
Figure BDA0001726612630000125
的参数矩阵。
在本发明实施例中，接收到面部特征点定位请求之前，通过基于雅克比矩阵的深度优化策略对级联回归模型进行训练，从而实现级联回归模型端对端的训练，解决级联回归中每个回归器的训练相互独立的问题。优选地，对级联回归模型进行训练的过程，通过下述步骤实现：
(1)获取预先采集的训练图像集，训练图像集包括人脸训练图像和每幅人脸训练图像对应的特征点最佳位置集合。
在本发明实施例中，人脸训练图像上预先标记出了每个特征点的准确位置，人脸训练图像上所有特征点的准确位置构成该人脸训练图像对应的特征点最佳位置，以用于后续对级联回归模型进行有监督训练。
(2)通过级联回归模型中的多尺度卷积神经网络，预测人脸训练图像的特征点位置集合并提取人脸训练图像的全局特征。
(3)根据人脸训练图像的全局特征，通过级联回归模型中的每个精化层对人脸训练图像的特征点位置集合进行修正。
(4)根据人脸训练图像的特征点最佳位置集合、修正后的特征点位置集合和基于雅克比矩阵的深度优化策略，对级联回归模型进行训练，获得训练好的级联回归模型。
在本发明实施例中，在获得经过级联回归模型中所有精化层修正的、人脸训练图像的特征点位置集合后，根据该特征点位置集合和人脸训练图像的特征点最佳位置集合，计算级联回归模型的定位误差，其中，定位误差可为修正后的特征点位置集合与特征点最佳位置集合之间的均方误差。
在本发明实施例中，通过将定位误差从级联回归模型的最后一个精化层传递至第一个精化层，实现级联回归模型端到端的训练。要使不同回归器之间能够进行误差传递，需要求出每个精化层中的特征融合器
Figure BDA0001726612630000131
关于经上一个精化层修正后的特征点位置集合sk-1的一阶导数，该一阶导数求解的关键问题在于求出每个精化层中局部特征提取器Γ(·)关于经上一个精化层修正后的特征点位置集合sk-1的一阶导数，即雅克比矩阵，由于Γ(·)是不可导的，可通过数值近似的方式求解Γ(·)关于sk-1的雅克比矩阵。在得到雅克比矩阵后，通过雅克比矩阵将定位误差从级联回归模型的最后一个精化层传递至第一个精化层，实现级联回归模型有监督的、端对端的训练过程。
优选地，由于sk-1中各个特征点的位置是关于横纵坐标x、y的，所以Γ(·)关于sk-1的雅克比矩阵表示为：
Figure BDA0001726612630000141
L为特征点的总数目。
其中，Γ(·)关于x、y的一阶导数可通过数值近似得到：
Figure BDA0001726612630000142
其中，I在这里表示人脸训练图像，
Figure BDA0001726612630000143
w为人脸训练图像上人脸框的宽度。
在本发明实施例中，通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，每个精化层包括局部特征点提取器、特征融合器和回归器，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，从而提高了图像纹理信息的利用效果和级联回归模型的训练效果，进而提高了面部特征点定位的精度和准确度。
在本发明实施例中，基于级联回归的面部特征点定位装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图5示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的图像处理设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器50执行计算机程序52时实现上述装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，每个精化层包括局部特征点提取器、特征融合器和回归器，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，从而提高了图像纹理信息的利用效果和级联回归模型的训练效果，进而提高了面部特征点定位的精度和准确度。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图3所示单元31至34的功能。
在本发明实施例中，通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，每个精化层包括局部特征点提取器、特征融合器和回归器，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，从而提高了图像纹理信息的利用效果和级联回归模型的训练效果，进而提高了面部特征点定位的精度和准确度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于级联回归的面部特征点定位方法，其特征在于，所述方法包括下述步骤：
当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；
通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；
根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；
根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置；
通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正的步骤，包括：
根据所述待定位人脸图像的特征点位置集合，通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征；
通过所述当前精化层内的特征融合器将所述待定位人脸图像的局部特征和所述待定位人脸图像的全局特征进行融合；
将所述融合后的特征输入所述当前精化层内的回归器中，生成所述待定位人脸图像对应的特征点位置偏移量；
根据所述特征点位置偏移量对所述待定位人脸图像的特征点位置集合进行修正，获得经过所述当前精化层修正的特征点位置集合；
当所述当前精化层不是所述级联回归模型中最后一个精化层时，将所述级联回归模型中的下一精化层设置为所述当前精化层，并跳转至通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征的步骤。
2.如权利要求1所述的方法，其特征在于，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征的步骤，包括：
通过所述多尺度卷积神经网络提取所述待定位人脸图像上不同尺度的面部特征，所述多尺度卷积神经网络中不同网络分支的第一层卷积层采用不同大小的卷积核；
将所述所有面部特征连接成对应的特征向量，将所述特征向量输入所述多尺度卷积神经网络中的全连接层中，获取所述多尺度卷积神经网络中第一个全连接层的输出和最后一个全连接层的输出；
将所述第一个全连接层的输出设置为所述待定位人脸图像的全局特征，将所述最后一个全连接层的输出设置为所述待定位人脸图像的特征点位置集合。
3.如权利要求1所述的方法，其特征在于，获取所述面部特征点定位请求中的待定位人脸图像的步骤之前，所述方法还包括：
获取预先采集的训练图像集，所述训练图像集包括人脸训练图像和每幅人脸训练图像对应的特征点最佳位置集合；
通过所述级联回归模型中的多尺度卷积神经网络，预测所述人脸训练图像的特征点位置集合并提取所述人脸训练图像的全局特征；
根据所述人脸训练图像的全局特征，通过所述级联回归模型中的每个精化层对所述人脸训练图像的特征点位置集合进行修正；
根据所述人脸训练图像的特征点最佳位置集合、修正后的特征点位置集合和所述基于雅克比矩阵的深度优化策略，对所述级联回归模型进行训练，获得训练好的所述级联回归模型。
4.如权利要求3所述的方法，其特征在于，对所述级联回归模型进行训练的步骤，包括：
根据所述人脸训练图像的特征点最佳位置集合和修正后的所述人脸训练图像的特征点位置集合，计算所述级联回归模型的定位误差；
计算所述每个精化层的局部特征提取器与经过上一个精化层修正的、所述人脸训练图像的特征点位置集合之间的雅可比矩阵；
根据所述雅可比矩阵和所述定位误差在所述级联回归模型的每个精化层之间进行误差传导，对所述级联回归模型进行训练。
5.一种基于级联回归的面部特征点定位装置，其特征在于，所述装置包括：
待定位图像获取单元，用于当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；
特征点信息提取单元，用于通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；
特征点位置修正单元，用于根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；以及
特征位置确定单元，用于根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置；
所述特征点位置修正单元包括：
局部特征提取单元，用于根据所述待定位人脸图像的特征点位置集合，通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征；
特征融合单元，用于通过所述当前精化层内的特征融合器将所述待定位人脸图像的局部特征和所述待定位人脸图像的全局特征进行融合；
位置偏移确定单元，用于将所述融合后的特征输入所述当前精化层内的回归器中，生成所述待定位人脸图像对应的特征点位置偏移量；
位置修正单元，用于根据所述特征点位置偏移量对所述待定位人脸图像的特征点位置集合进行修正，获得经过所述当前精化层修正的特征点位置集合；以及
精化层设置单元，用于当所述当前精化层不是所述级联回归模型中最后一个精化层时，将所述级联回归模型中的下一精化层设置为所述当前精化层，并触发所述局部特征提取单元执行通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征的步骤。
6.如权利要求5所述的装置，其特征在于，所述特征点信息提取单元包括：
多尺度特征提取单元，用于通过所述多尺度卷积神经网络提取所述待定位人脸图像上不同尺度的面部特征，所述多尺度卷积神经网络中不同网络分支的第一层卷积层采用不同大小的卷积核；
面部特征处理单元，用于将所述所有面部特征连接成对应的特征向量，将所述特征向量输入所述多尺度卷积神经网络中的全连接层中，获取所述多尺度卷积神经网络中第一个全连接层的输出和最后一个全连接层的输出；以及
全连接层输出设置单元，用于将所述第一个全连接层的输出设置为所述待定位人脸图像的全局特征，将所述最后一个全连接层的输出设置为所述待定位人脸图像的特征点位置集合。
7.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201810755420.9A 2018-07-11 2018-07-11 基于级联回归的面部特征点定位方法、装置、设备及介质 Active CN109063584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810755420.9A CN109063584B (zh) 2018-07-11 2018-07-11 基于级联回归的面部特征点定位方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810755420.9A CN109063584B (zh) 2018-07-11 2018-07-11 基于级联回归的面部特征点定位方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109063584A CN109063584A (zh) 2018-12-21
CN109063584B true CN109063584B (zh) 2022-02-22

Family

ID=64815903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810755420.9A Active CN109063584B (zh) 2018-07-11 2018-07-11 基于级联回归的面部特征点定位方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109063584B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753910B (zh) * 2018-12-27 2020-02-21 北京字节跳动网络技术有限公司 关键点提取方法、模型的训练方法、装置、介质及设备
CN109872288B (zh) * 2019-01-31 2023-05-23 深圳大学 用于图像去噪的网络训练方法、装置、终端及存储介质
CN109934129B (zh) * 2019-02-27 2023-05-30 嘉兴学院 一种人脸特征点定位方法、装置、计算机设备及存储介质
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN113924603A (zh) * 2019-06-11 2022-01-11 Oppo广东移动通信有限公司 使用面部组分特定局部细化于面部界标检测的方法及系统
CN110543845B (zh) * 2019-08-29 2022-08-12 四川大学 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN110660074B (zh) * 2019-10-10 2021-04-16 北京同创信通科技有限公司 一种建立废钢等级划分神经网络模型方法
CN113673303B (zh) * 2021-06-28 2024-02-02 中国科学院大学 一种人脸面部动作单元强度回归方法、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202037B2 (ja) * 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
CN105718913B (zh) * 2016-01-26 2018-11-02 浙江捷尚视觉科技股份有限公司 一种鲁棒的人脸特征点定位方法
CN106599830B (zh) * 2016-12-09 2020-03-17 中国科学院自动化研究所 人脸关键点定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377814A (zh) * 2007-08-27 2009-03-04 索尼株式会社 人脸图像处理设备、人脸图像处理方法以及计算机程序
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于单个卷积神经网络的面部多特征点定位";朱虹 等;《计算机科学》;20180430;第45卷(第4期);第273-277页 *

Also Published As

Publication number Publication date
CN109063584A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
US11961227B2 (en) Method and device for detecting and locating lesion in medical image, equipment and storage medium
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
CN108764048B (zh) 人脸关键点检测方法及装置
CN110705448B (zh) 一种人体检测方法及装置
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
WO2020103647A1 (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
US11557391B2 (en) Systems and methods for human pose and shape recovery
CN104978764A (zh) 三维人脸网格模型处理方法和设备
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
WO2021051868A1 (zh) 目标的定位方法及装置、计算机设备、计算机存储介质
CN110675475B (zh) 一种人脸模型生成方法、装置、设备及存储介质
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN110648289B (zh) 图像的加噪处理方法及装置
JP6392478B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN112446302A (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
JP2009157767A (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
CN112488067B (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN112001859A (zh) 一种人脸图像的修复方法及系统
US20220139061A1 (en) Model training method and apparatus, keypoint positioning method and apparatus, device and medium
JP2017091377A (ja) 姿勢推定装置、姿勢推定方法、及び姿勢推定プログラム
CN112419419A (zh) 用于人体姿势和形状估计的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant