CN109886226B - 确定图像的特征数据的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种确定图像的特征数据的方法、装置、电子设备及存储介质，属于机器学习技术领域。所述方法包括获取目标图像；将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。采用本公开在进行多任务回归时，得到的单个任务的特征数据更加准确。

Description

确定图像的特征数据的方法、装置、电子设备及存储介质

技术领域

本公开涉及机器学习技术领域，尤其涉及一种确定图像的特征数据的方法、装置、电子设备及存储介质。

背景技术

随着机器学习的发展，类似于人脸关键点检测、人体关键点检测和人脸姿态估计等任务，使用基于深度学习的回归模型均可完成。基于机器学习的回归模型的基本结构多为机器学习模型后接回归器，其中，机器学习模型用于获取输入图像的特征图像，回归器则基于特征图像得出相应特征数据，如人脸关键点位置数据、人体关键点位置数据、人脸姿态数据等。

相关技术中，基于机器学习的回归模型基本为机器学习模型后接单项式回归器，此类模型结构简单，训练学习速度快，调参方便。对于简单的回归任务可以很好的完成。

在实现本公开的过程中，发明人发现相关技术至少存在以下问题：

在使用回归模型进行多任务回归时，多任务间可能有较强的耦合关系，并非简单的线性关系，例如，人脸关键点检测，要同时得到多个人脸关键点坐标，而人脸为非刚体，各人脸关键点间的耦合较强。此类情况使用单项式回归器，得到单个任务的特征数据并不准确。

发明内容

本公开提供一种确定图像的特征数据的方法，能够克服在多任务回归时，得到的单个任务的特征数据并不准确的问题。

根据本公开实施例的第一方面，提供一种确定图像的特征数据的方法，包括：

获取目标图像；

将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；

将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。

可选的，所述方法还包括：

获取样本图像和对应的样本特征数据；

将所述样本图像作为样本输入数据，所述样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到所述图像特征提取模型和所述多个分别执行多任务的多项式回归器。

可选的，所述特征图像提取模型为视觉几何组VGG模型。

可选的，所述多项式回归器为：

y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中，A₁…A_n为向量化参数，A₀为常量参数，f(x)为所述特征图像，n为所述多项式回归器的阶数，y为所述特征数据。

可选的，所述多个多项式回归器的阶数相同。

可选的，所述特征数据为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据。

根据本公开实施例的第二方面，提供一种确定图像的特征数据的装置，包括：

获取单元，被配置为获取目标图像；

提取单元，被配置为将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；

回归单元，被配置为将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。

可选的，所述装置还包括：

训练单元，被配置为获取样本图像和对应的样本特征数据；将所述样本图像作为样本输入数据，所述样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到所述图像特征提取模型和所述多个分别执行多任务的多项式回归器。

可选的，所述特征图像提取模型为视觉几何组VGG模型。

可选的，所述多项式回归器为：

y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中A₁…A_n为向量化参数，A₀为常量参数，f(x)为所述特征图像，n为所述多项式回归器的阶数，y为所述特征数据。

可选的，所述多个多项式回归器的阶数相同。

可选的，所述特征数据为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述第一方面所述的确定图像的特征数据的方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面所述的确定图像的特征数据的方法。

根据本公开实施例的第五方面，提供一种应用程序，当应用程序在电子设备上运行时，使得电子设备执行如上述第一方面所述的确定图像的特征数据的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：在对图像进行多任务回归时，首先获取目标图像，将目标图像输入预先训练的特征图像提取模型，得到目标图像对应的特征图像。然后，将特征图像，分别输入预先训练的多个多项式回归器，得到所述目标图像的多个特征数据，其中，所述多项式回归器的阶数均大于1。这样，使用多项式回归器完成回归任务，可以更好的解耦不同任务之间的相关性，使得回归得到的每个特征数据更加准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种确定图像的特征数据的方法的流程图。

图2是根据一示例性实施例示出的一种确定图像的特征数据的回归模型的示意图。

图3是根据一示例性实施例示出的一种确定图像的特征数据的装置的框图。

图4是根据一示例性实施例示出的一种电子设备的结构框图。

图5是根据一示例性实施例示出的另一种电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开的示例性实施例提供了一种确定图像的特征数据的方法，该方法可以由电子设备实现，电子设备可以是手机、计算机等终端，也可以是服务器。电子设备为终端时，可以通过拍摄的方式获取图像，如，用户可以使用终端拍摄人脸图像，终端对人脸图像进行特征提取，再将特征图像输入到多个多项式回归器，这样便可以得到该人脸图像较为准确的人脸关键点位置数据。电子设备为服务器时，可以通过数据传输的方式获取图像，如，技术人员将需要做人脸关键点检测的人脸图像上传到服务器上，服务器对人脸图像进行特征提取，再将特征图像输入到多个多项式回归器，便可得到该人脸图像较为准确的人脸关键点位置数据。以下示例性实施例以服务器实现该方法为例进行说明，使用终端实现该方法的流程与之类似在此不做赘述。

图1是根据一示例性实施例示出的一种确定图像的特征数据的方法的流程图，如图1所示，确定图像的特征数据的方法用于服务器中，包括以下步骤。

在步骤S101中，获取目标图像。

技术人员首先得到需要获取特征数据的目标图像，该目标图像可以是通过拍摄、互联网等多种途获得的。然后将该目标图像输入到服务器中，服务器获取该目标图像。除此之外，服务器还可以直接从数据库或互联网中直接获取目标图像。回归模型要执行的回归任务不同，目标图像也可以不同，例如，对于人脸关键点检测，目标图像可以为人脸图像；对于人体关键点检测，目标图像可以为人体图像；对于人脸姿态估计，目标图像可以为人脸图像。

在步骤S102中，将目标图像，输入预先训练的特征图像提取模型，得到目标图像对应的特征图像。

其中，特征图像提取模型可以为深度学习模型，特征图像可以为向量的形式。

在实施中，将获取到的面部图像输入到预训练的特征图像提取模型，经过特征图像提取模型的特征提取，可以得到该目标图像对应的特征图像。

可选的，上述的特征图像提取模型可以为VGG(Visual Geometry Group，视觉几何组)模型。

对于VGG模型可以采用目前应用较为广泛的VGG16模型，该模型中包含有16个conv层(convlution layer，卷积层)。在使用VGG16模型对目标图像进行特征提取时，可以使用conv5层的输出，作为所要提取的特征图像，其中，conv5层的输出即为目标图像经过5次卷积之后，所得到的特征图像。

在步骤S103中，将特征图像，分别输入预先训练的多个分别执行不同任务的多项式回归器，解耦所述不同任务之间的相关性，得到目标图像的多个特征数据。

其中，多项式回归器的阶数均大于1，多个多项式回归器的阶数可以相同，特征数据可以为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据。

在实施中，由上述的特征数据提取模型和多个多项式回归器组成一个用于执行回归任务的模型，以下可以将该模型称为回归模型。根据要完成的任务不同，所得出的特征数据数量也就不同，而每个多项式回归器只能得出一个实数来表示特征数据，所以特征数据的数量和多项式回归器的数量要相匹配。对于特征数据数量与多项式回归器数量的关系，具体的说明可以如下：

对于人脸关键点检测来说，要识别人脸关键点个数可以有多种选择，如5个、10个、68个和72个等，要识别的人脸关键点的个数不同，回归模型内的参数、多项式回归器的数量也不相同。以识别72个人脸关键点的回归模型为例进行说明，人脸关键点检测是所得到的特征数据为人脸关键点位置数据即个人脸关键点的二维坐标，一个多项式回归器得出一个实数，可以用来表示一个人脸关键点的二维坐标中的一个值，那么要得到72个人脸关键点的坐标，多项式回归器就要有144个，如图2所示，将特征图像分别输入到144个多项式回归器中，多项式回归器1可以得出人脸关键点1的坐标中的x₁，多项式回归器2可以得出人脸关键点1的坐标中的y₁，以此类推，使用这144个多项式回归器可以得出72个人脸关键点的坐标。对于人体关键点检测与人脸关键点检测类似，在此不做赘述。对于人脸姿态估计，是要得到人脸轴线与三维坐标中x轴、y轴和z轴的夹角，每个多项式回归器可以得出一个方向的夹角，那么要得到三个方向的夹角，多项式回归器就要有3个。

可选的，上述多项式回归器可以为如下形式：y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中，A₁…A_n为向量化参数，A₀为常量参数，f(x)为特征图像，n为多项式回归器的阶数，y为特征数据。

在实施中，由特征图像提取模型输出的特征图像f(x)可以为向量的形式，f(x)ⁿ表对特征图像f(x)内的每个元素做n次方处理，A₁…A_n为向量化参数，A₀为常量参数，这样，A₁…A_n与f(x)到f(x)ⁿ对应相乘即可得到n个实数，再将这n个实数与A₀相加，即可得到一个实数来表示一个特征数据。

另外，回归模型中多个多项式回归器所要执行的多任务间的相关性越强，所使用的多项式回归器阶数也可以相应较高，多任务间的相关性越弱，所使用的多项式回归器阶数也可以相应较低，其中，多任务间的耦合关系越强，则表明多任务间的相关性越强，多任务间的耦合关系越弱，则表明多任务间的相关性越弱。例如，如果要得到精确的72个人脸关键点坐标时，这72个关键点的分布较为密集，回归得到各关键点的坐标的任务间存在较强耦合关系，则可以使用四阶多项式回归器，如果只需得到5个人脸关键点的大概位置时，虽然同为对于非刚体的脸部的进行人脸关键点坐标的获取，但是5个人脸关键点的分别较为分散，回归得到各关键点的坐标的任务间存在的耦合关系相较于72个人脸关键点的回归任务来说较弱，则可以只使用二阶多项式回归器。需要说明的是，在一个回归模型中，根据每个多项式回归器所要执行的任务不同，多项式回归器的阶次也可以不同，例如，在用于人脸关键点检测的回归模型中，对于要得到眼角点坐标的多项式回归器可以为三阶，而要得到脸部轮廓上关键点坐标的多项式回归器则可以为二阶。

可选的，对于上述包括有特征图像提取模型和多个多项式回归器的回归模型，在使用之前可以先对其进行训练，相应的，处理可以如下：获取样本图像和对应的样本特征数据，将样本图像作为样本输入数据，样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到图像特征提取模型和多个多项式回归器。

在实施中，技术人员可以从互联网上的图库中下载大量的样本图像作为样本输入数据来训练初始特征图像提取模型和多个初始多项式回归器，也可以从已有的图像数据库中获取样本图像，本申请实施例对样本图像的获取方式不做限定。根据回归模型需要完成的回归任务不同，所获取的样本图像也可以不同。例如，对于人脸关键点检测，获取的样本图像可以为人脸图像；对于人体关键点检测，获取的样本图像可以为人体图像；对于人脸姿态估计，获取的样本图像可以为人脸图像，为了更好的训练回归模型，此处的人脸图像中可以尽可能的包含各种朝向的人脸图像。本公开实施例中以训练人脸关键点检测的回归模型为例进行说明，用于完成其他回归任务的回归模型训练过程与之类似，在此不做赘述。为了能使训练后的模型有较好的使用效果，可以获取上万张人脸图像，本公开实施例中获取一万张人脸图像为例。

在获取到人脸图像作为样本输入数据后，技术人员可以对这些人脸图像进行人脸关键点标点，对于标定的人脸关键点数量可以有多种，如5个、10个、68个和72个，为了很好的验证回归模型的效果，本公开实施例以标定72个人脸关键点为例进行说明。技术人员对于获取到的每张人脸图像进行72个人脸关键点的坐标标定作为样本输出数据，每张人脸图像和其对应的人脸关键点的坐标作为一组训练样本对回归模型进行训练。

获取到训练样本后，技术人员可以进行回归模型构建。由于每个多项式回归器可以得到一个实数来表示一个人脸关键点的二维坐标中的一个值，这样要得到一个人脸关键点的坐标，则需要两个多项式回归器。那么，要得到72个人脸关键点的坐标则需要构建144个初始多项式回归器。

然后，对于初始特征图像提取模型和每个初始多项式回归器，设计一个损失函数，如：

其中，L_n为第n个初始多项式回归器和初始特征图像提取模型的损失率，n的取值为1到144间的任一整数，h(xⁱ)为第i组样本输入数据输入到初始特征图像提取模型和第n个初始多项式回归器后得到的预测坐标值，hⁱ为第i组样本的标定的真实坐标值，i的取值为1到10000间的任一整数。

接着，采用梯度下降法对损失函数进行优化。首先，计算出损失函数的反向传播梯度，可以采用如下函数：

得到反向传播梯度后，再对初始特征图像提取模型的参数和第n个初始多项式回归器的参数一一进行更新，具体更新函数可以如下:

其中，b为更新后的参数，b0为更新之前的参数，η为学习率，η的值可以从0.01到0.00001变化，如，每迭代更新100次η值减小0.00001。然后，使用更新后的参数对原参数进行更新。然后，再输入下一组样本，得到损失率，判断损失率是否小于预设阈值，如0.05，如果小于，则结束训练，如果不小于，则继续进行上述流程。

图3是根据一示例性实施例示出的一种确定图像的特征数据的装置框图。参照图3，该装置包括获取单元310，提取单元320和回归单元330。

该获取单元310被配置为获取目标图像；

该提取单元320被配置为将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；

该回归单元330被配置为将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。

可选的，所述装置还包括：

训练单元，被配置为获取样本图像和对应的样本特征数据；将所述样本图像作为样本输入数据，所述样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到所述图像特征提取模型和所述多个多项式回归器。

可选的，所述特征图像提取模型为视觉几何组VGG模型。

可选的，所述多项式回归器为：

y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中A₁…A_n为向量化参数，A₀为常量参数，f(x)为所述特征图像，n为所述多项式回归器的阶数，y为特征数据。

可选的，所述多个多项式回归器的阶数相同。

可选的，所述特征数据为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备的结构框图，该电子设备可以是服务器400，服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述确定图像的特征数据的方法，方法包括：获取目标图像；将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。

图5是根据一示例性实施例示出的另一种电子设备的结构框图，该电子设备可以是终端500，比如：智能手机、平板电脑。终端500还可能被称为用户设备、便携式终端等其他名称。

通常，终端500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中提供的人脸结构网格模型建立方法。

在一些实施例中，终端500还可选包括有：外围设备接口503和至少一个外围设备。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

触摸显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏505还具有采集在触摸显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。触摸显示屏505用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，触摸显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，触摸显示屏505还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏505可以采用LCD(LiquidCrystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507用于提供用户和终端500之间的音频接口。音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，可以根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在终端500的正面。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由上述电子设备的处理器执行以完成上述确定图像的特征数据的方法，方法包括：获取目标图像；将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种应用程序，包括一条或多条指令，该一条或多条指令可以由上述电子设备的处理器执行，以完成上述确定图像的特征数据的方法，该方法包括：获取目标图像；将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像；将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1。可选地，上述指令还可以由上述电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种确定图像的特征数据的方法，其特征在于，包括：

获取目标图像；

将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像，所述特征图像为向量的形式；

将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1，多个多项式回归器所要执行的任务不同，所述多个多项式回归器的阶数不同，所述特征数据为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据，所述特征数据的数量和多项式回归器的数量相匹配。

2.根据权利要求1所述的确定图像的特征数据的方法，其特征在于，所述将所述目标图像，输入预先训练的特征图像提取模型之前，还包括：

获取样本图像和对应的样本特征数据；

将所述样本图像作为样本输入数据，所述样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到所述特征图像提取模型和所述多个分别执行多任务的多项式回归器。

3.根据权利要求1所述的确定图像的特征数据的方法，其特征在于，所述特征图像提取模型为视觉几何组VGG模型。

4.根据权利要求1所述的确定图像的特征数据的方法，其特征在于，所述多项式回归器为：

y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中A₁…A_n为向量化参数，A₀为常量参数，f(x)为所述特征图像，n为所述多项式回归器的阶数，y为所述特征数据。

5.根据权利要求4所述的确定图像的特征数据的方法，其特征在于，所述多个多项式回归器的阶数相同。

6.一种确定图像的特征数据的装置，其特征在于，包括：

获取单元，被配置为获取目标图像；

提取单元，被配置为将所述目标图像，输入预先训练的特征图像提取模型，得到所述目标图像对应的特征图像，所述特征图像为向量的形式；

回归单元，被配置为将所述特征图像，分别输入预先训练的多个分别执行多任务的多项式回归器，得到所述目标图像的多个特征数据，其中，所述多任务为非线性回归任务，所述多项式回归器通过解除所述多任务的耦合来执行所述多任务，所述多项式回归器的阶数均大于1，多个多项式回归器所要执行的任务不同，所述多个多项式回归器的阶数不同，所述特征数据为人脸关键点位置数据、人体关键点位置数据或人脸姿态数据，所述特征数据的数量和多项式回归器的数量相匹配。

7.根据权利要求6所述的确定图像的特征数据的装置，其特征在于，所述装置还包括：

训练单元，被配置为获取样本图像和对应的样本特征数据；将所述样本图像作为样本输入数据，所述样本特征数据作为样本输出数据，对初始特征图像提取模型和多个初始多项式回归器进行训练，得到所述特征图像提取模型和所述多个分别执行多任务的多项式回归器。

8.根据权利要求6所述的确定图像的特征数据的装置，其特征在于，所述特征图像提取模型为视觉几何组VGG模型。

9.根据权利要求6所述的确定图像的特征数据的装置，其特征在于，所述多项式回归器为：

y＝A_nf(x)ⁿ+A_n-1f(x)^n-1+…A₁f(x)+A₀，其中A₁…A_n为向量化参数，A₀为常量参数，f(x)为所述特征图像，n为所述多项式回归器的阶数，y为所述特征数据。

10.根据权利要求9所述的确定图像的特征数据的装置，其特征在于，所述多个多项式回归器的阶数相同。

11.一种确定图像的特征数据的电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-5中任一项所述的确定图像的特征数据的方法。

12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-5中任一项所述的确定图像的特征数据的方法。

Images