CN112367468B - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开一种图像处理方法、装置及电子设备，包括：在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距；根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距；获取第一人脸图像中人脸的关键点的第一位置坐标和第二位置坐标，第一位置坐标为在第一拍照焦距下的位置坐标，第二位置坐标为在第二拍照焦距下的位置坐标；基于第一和第二位置坐标对第一人脸图像进行人脸矫正，得到第二人脸图像。实施该方法，针对电子设备数码变焦不同变焦倍率人像，可以模拟不同焦段切换过程人像透视效果的平滑变换，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，满足了用户的多样化需求。

Description

图像处理方法、装置及电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。

背景技术

不同焦段的相机在拍摄人像时，拍摄出的人像面部透视效果不同，视觉上对人脸的胖瘦会有不同的感知，例如，短焦镜头能够产生空间的拉伸感，面部观感偏瘦，而长焦镜头则会压缩空间，面部观感偏胖。

目前，电子设备上的相机通常是定焦相机，当用户在拍照预览界面上对视场zoom变焦时，始终是数码变焦，即只是对图像进行简单地放大缩小显示。由于数码变焦过程中相机的光学拍照焦段一直没有变化，因此拍摄出的人像面部轮廓观感也一直没有发生改变。可见，现有技术在数码变焦拍照场景下拍照功能比较单一，无法满足用户的多样化需求。

发明内容

本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决现有技术在数码变焦拍照场景下拍照功能比较单一，无法满足用户的多样化需求的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；

根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；

获取所述第一人脸图像中人脸的关键点的第一位置坐标，和获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；

基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

可选地，作为一个实施例，所述获取所述人脸的关键点的第二位置坐标，包括：

获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；

其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

可选地，作为一个实施例，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；

所述根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标之前，还包括：

获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

可选地，作为一个实施例，所述电子设备包括T个不同拍照焦距的摄像头，T为大于1的整数；

所述获取所述人脸的关键点的第二位置坐标之前，还包括：

通过所述T个摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；

获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

所述获取所述人脸的关键点的第二位置坐标，包括：

根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

可选地，作为一个实施例，所述T个拍照焦距包括：P1,P2,…,PT；

所述根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标，包括：

在所述第二拍照焦距处于(P1,PT)内的情况下，确定所述第二拍照焦距在(P1,PT)内的上下界焦距，基于所述上下界焦距的人脸图像中人脸的关键点位置坐标和所述第二拍照焦距进行插值运算，得到第二位置坐标；

在所述第二拍照焦距处于(P1,PT)之外的情况下，则基于所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

第一获取模块，用于在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；

确定模块，用于根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；

第二获取模块，用于获取所述第一人脸图像中人脸的关键点的第一位置坐标；

第三获取模块，用于获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；

矫正模块，用于基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

可选地，作为一个实施例，所述第三获取模块包括：

获取子模块，用于获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

第一确定子模块，用于根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；

其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

可选地，作为一个实施例，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；所述装置还包括：

第四获取模块，用于获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

第五获取模块，用于获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

构建模块，用于基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

可选地，作为一个实施例，所述电子设备包括T个不同拍照焦距的摄像头，T为大于1的整数；所述装置还包括：

拍摄模块，用于通过所述T个摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；

第六获取模块，用于获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

所述第三获取模块包括：

第二确定子模块，用于根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

可选地，作为一个实施例，所述T个拍照焦距包括：P1,P2,…,PT；

所述第二确定子模块包括：

第一确定单元，用于在所述第二拍照焦距处于(P1,PT)内的情况下，确定所述第二拍照焦距在(P1,PT)内的上下界焦距，基于所述上下界焦距的人脸图像中人脸的关键点位置坐标和所述第二拍照焦距进行插值运算，得到第二位置坐标；

第二确定单元，用于在所述第二拍照焦距处于(P1,PT)之外的情况下，则基于所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像处理方法。

本申请实施例中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距；根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距；获取第一人脸图像中人脸的关键点的第一位置坐标和第二位置坐标，其中，第一位置坐标为在第一拍照焦距下的位置坐标，第二位置坐标为在第二拍照焦距下的位置坐标；基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。与现有技术相比，本申请实施例中，可以针对电子设备数码变焦不同变焦倍率人像，实现不同程度的实时矫正，在数码变焦倍率切换过程中，人像的矫正程度会发生改变，使得人像观感会呈现平滑过渡的差异，可以模拟不同焦段切换过程人像透视效果的平滑变换，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求，同时还可以提升用户在电子设备上预览、拍摄人像的观感与体验。

附图说明

图1是本申请实施例提供的一种图像处理方法之一的流程图；

图2是本申请实施例提供的一种图像处理方法之二的流程图；

图3是本申请实施例提供的一种样本集的示例图；

图4是本申请实施例提供的一种图像处理方法之三的流程图；

图5是本申请实施例提供的一种图像处理装置的结构框图；

图6是本申请实施例提供的一种电子设备的结构示意图；

图7是实现本申请各个实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

需要说明的是，本申请实施例提供的图像处理方法适用于电子设备，在实际应用中，该电子设备可以包括：智能手机、平板电脑、个人数字助理等移动终端，本申请实施例对此不作限定。

图1是本申请实施例提供的一种图像处理方法之一的流程图，如图1所示，该方法可以包括以下步骤：步骤101、步骤102、步骤103和步骤104，其中，

在步骤101中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距。

本申请实施例中，对第一人脸图像进行数码变焦的请求，可以为用户在电子上输入的，也可以为电子设备自动生成的。

本申请实施例中，在上述请求为用户输入的情况下，用户可以在电子设备的拍照预览界面上输入上述请求，其中，在实际应用中，用户的输入包括但不限于：点击输入、长按输入、指纹输入操作和滑动输入等；拍照预览界面可以为电子设备前置摄像头采集的预览界面，也可以为电子设备后置摄像头采集的预览界面。

在一个例子中，例如，第一拍摄焦距为F1，第一人脸图像为在电子设备在第一拍摄焦距F1下拍摄到的人脸图像。

在步骤102中，根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距。

例如，相机初始焦距为F，变焦倍率为Ratio，对于光学变焦设备(一般为单反设备)可进行光学变焦，变焦后新的等效焦距为F*Ratio；对于数码变焦设备(一般为手机中相机)，只能进行数码变焦，变焦后等效焦距实际上没有改变，仍然保持为F。

针对上述情况，本申请实施例中，针对人像，将电子设备上数码变焦后的等效焦距F矫正成F*Ratio的效果，因此这里认为电子设备数码变焦后的等效焦距为Fnew＝F*Ratio，根据F*Ratio上的人像特性，对F人像进行校正。

在一个例子中，例如，第一拍照焦距为F1，数码变焦倍率为R，第二拍照焦距为F1*R。

在步骤103中，获取第一人脸图像中人脸的关键点的第一位置坐标，和获取该人脸的关键点的第二位置坐标，其中，第一位置坐标为在第一拍照焦距下的位置坐标，第二位置坐标为在第二拍照焦距下的位置坐标。

本申请实施例中，人脸的关键点可以包括：眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。

本申请实施例中，可以采用相关技术中的任一种人脸关键点检测算法，来从第一人脸图像中获取第一位置坐标，例如，采用基于ASM(Active Shape Model)和AAM(ActiveAppearnce Model)的传统方法，或者采用基于级联形状回归的方法，或者采用基于深度学习的方法。

本申请实施例中，第二位置坐标反映了人脸的关键点在第二拍照焦距下的人像特性。

在步骤104中，基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。

本申请实施例中，第二人脸图像的人脸视觉效果，与相机在第二拍照焦距下拍摄到的人像视觉效果接近。

本申请实施例中，可以采用相关技术中的任一种人脸矫正算法，来基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像，本申请实施例对此不作限定。

由上述实施例可见，该实施例中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距；根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距；获取第一人脸图像中人脸的关键点的第一位置坐标和第二位置坐标，其中，第一位置坐标为在第一拍照焦距下的位置坐标，第二位置坐标为在第二拍照焦距下的位置坐标；基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。与现有技术相比，本申请实施例中，可以针对电子设备数码变焦不同变焦倍率人像，实现不同程度的实时矫正，在数码变焦倍率切换过程中，人像的矫正程度会发生改变，使得人像观感会呈现平滑过渡的差异，可以模拟不同焦段切换过程人像透视效果的平滑变换，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求，同时还可以提升用户在电子设备上预览、拍摄人像的观感与体验。

图2是本申请实施例提供的一种图像处理方法之二的流程图，本申请实施例中，可以预先构建不同拍照焦距、不同人脸类别、不同人脸拍照角度与人脸关键点位置坐标的映射关系，在进行数码变焦时，根据该映射关系，确定变焦后的人脸关键点的位置坐标，此时，如图2所示，该方法可以包括以下步骤：步骤201、步骤202、步骤203、步骤204和步骤205，其中，

在步骤201中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距。

在步骤202中，根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距。

在步骤203中，获取第一人脸图像中人脸的关键点的第一位置坐标。

本申请实施例中的步骤201、步骤202和步骤203的内容，与图1所示实施例中的步骤101、步骤102和步骤103的内容类似，在此不再赘述，详细内容请见图1所述实施例中步骤101～103的内容。

在步骤204中，获取第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定上述人脸的关键点的第二位置坐标，其中，人脸类别是基于人脸五官、表情中的至少一者划分的，第二位置坐标为与第一人脸类别、第一人脸拍照角度和第二拍照焦距对应的人脸关键点位置坐标。

在本申请提供的一个实施方式中，映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；

在这种情况下，本申请实施例提供的图像处理方法，在步骤204之前，还可以增加以下步骤：

获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

获取M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，并基于该M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建函数Landmark＝f(F,c,p)。

本申请实施例中，样本集中包括不同人脸在不同焦段下的样本人脸图像，样本人脸图像可以为采用不同焦段的相机拍摄得到的，也可以通过统一相机改变焦距拍摄得到的。

本申请实施例中，样本集中尽量覆盖不同人脸，在五官面部轮廓存在差异，同时也要覆盖不同表情、姿态以及遮挡的情况。

在一个例子中，如图3所示，获取M个样本集分别为：第一样本集30、第二样本集31，…，第M样本集3M。以第一样本集30为例，第一样本集30中包括：第一样本子集301、第二样本子集302，…，第N样本子集30N。以第一样本子集301为例，第一样本子集301中包括：人脸拍照角度1对应的样本人脸图像3011、人脸拍照角度2对应的样本人脸图像3012，…，人脸拍照角度S对应的样本人脸图像301S。也就是，样本集包括M个拍照焦段，每个焦段同时包含N类人脸，每一类人脸在五官、表情上会存在一些差异，每一类人脸包含S种人脸拍照角度。

本申请实施例中，在获取M*N*S个样本人脸图像中人脸的关键点位置坐标时，可以采取与步骤103相同的人脸关键点检测算法，来获取各样本人脸图像的人脸关键点位置坐标。

本申请实施例中，可以基于各样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，通过拟合的方式，拟合出用于表征拍照焦距F、人脸类别c、人脸拍照角度p与人脸关键点位置坐标Landmark之间关系的函数Landmark＝f(F,c,p)；或者，也可以通过其他算法，来构建函数Landmark＝f(F,c,p)，本申请实施例对此不作限定。

可见，本申请实施例中，基于大量样本人脸图像构建预设映射关系，构建出的映射关系可以准确地反映出拍照焦距、人脸类别、人脸拍照角度与人脸关键点位置坐标的对应关系，可靠度较高。

在步骤205中，基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。

由上述实施例可见，该实施例中，可以根据采集到的样本人脸图像的人脸关键点数据集，离线构建出不同拍照焦距、不同人脸类别、不同人脸拍照角度与人脸关键点位置坐标的函数。在进行数码变焦时，可以根据变焦前的拍照焦距、人脸类别、人脸拍照姿态和数码变焦倍率，计算出变焦后的人脸关键点位置坐标，综合这些数据对数码变焦下人脸进行矫正，实现不同的透视效果，进而实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求。

图4是本申请实施例提供的一种图像处理方法之三的流程图，本申请实施例中，可以根据不同焦段摄像头拍摄到的人脸图像中人脸关键点的位置坐标，插值拟合出对应数码变焦倍率下的人脸关键点位置坐标，此时，如图4所示，该方法可以包括以下步骤：步骤401、步骤402、步骤403、步骤404、步骤405和步骤406，其中，

在步骤401中，通过电子设备的T个摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像，并获取该T个拍照焦距的人脸图像中人脸的关键点位置坐标。

在一个例子中，电子设备包含0.6x、1x、2x、5x共四个不同焦段的摄像头，通过4个摄像头分别进行人脸图像采集，得到4个拍摄焦距的人脸图像，分别为：拍摄焦距为0.6x的人脸图像、拍摄焦距为1x的人脸图像、拍摄焦距为2x的人脸图像和拍摄焦距为5x的人脸图像，之后提取其人脸关键点位置坐标。

在步骤402中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距。

在步骤403中，根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距。

在步骤404中，获取第一人脸图像中人脸的关键点的第一位置坐标。

本申请实施例中的步骤402、步骤403和步骤404的内容，与图1所示实施例中的步骤101、步骤102和步骤103的内容类似，在此不再赘述，详细内容请见图1所述实施例中步骤101～103的内容。

在步骤405中，根据第二拍照焦距、上述T个拍照焦距和T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

在本申请提供的一个实施方式中，上述步骤405，具体可以包括以下步骤：

在第二拍照焦距处于(P1,PT)内的情况下，确定第二拍照焦距在(P1,PT)内的上下界焦距，基于该上下界焦距的人脸图像中人脸的关键点位置坐标和第二拍照焦距进行插值运算，得到第二位置坐标；

在第二拍照焦距处于(P1,PT)之外的情况下，则基于T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

在一个例子中，电子设备包含0.6x、1x、2x、5x共四个不同焦段的摄像头，如果第二拍照焦距介于(0.6x，5x)范围区间，则可以找到与第二拍照焦距对应的上下界焦段。例如，第二拍照焦距为1.5，则其上下界焦段分别为2x、1x。之后，根据1x、2x拍照焦距下拍摄到的人脸图像中人脸的关键点位置坐标和第二拍照焦距，插值得到与第二拍照焦距对应的人脸关键点位置坐标，即第二位置坐标。

如果第二拍照焦距处于(0.6x，5x)区间之外，则根据0.6x、1x、2x、5x拍照焦距下拍摄到的人脸图像中人脸的关键点位置坐标，拟合出第二拍照焦距对应的对应的人脸关键点位置坐标。

在步骤406中，基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。

由上述实施例可见，该实施例中，可以基于不同焦段摄像头拍摄到的人脸图像中人脸的关键点位置坐标，插值拟合出对应数码变焦倍率下的人脸关键点位置坐标，综合已知信息实现人像矫正，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求。此外，无需采集大量的标准人脸关键点信息，具有工作量小的优点。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例，说明本申请实施例提供的图像处理装置。

图5是本申请实施例提供的一种图像处理装置的结构框图，如图5所示，图像处理装置500，可以包括：第一获取模块501、确定模块502、第二获取模块503、第三获取模块504和矫正模块505，其中，

第一获取模块501，用于在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；

确定模块502，用于根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；

第二获取模块503，用于获取所述第一人脸图像中人脸的关键点的第一位置坐标；

第三获取模块504，用于获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；

矫正模块505，用于基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

由上述实施例可见，该实施例中，在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和第一人脸图像在数码变焦前的第一拍照焦距；根据第一拍照焦距和数码变焦倍率，确定等效的第二拍照焦距；获取第一人脸图像中人脸的关键点的第一位置坐标和第二位置坐标，其中，第一位置坐标为在第一拍照焦距下的位置坐标，第二位置坐标为在第二拍照焦距下的位置坐标；基于第一位置坐标和第二位置坐标，对第一人脸图像进行人脸矫正，得到第二人脸图像。与现有技术相比，本申请实施例中，可以针对电子设备数码变焦不同变焦倍率人像，实现不同程度的实时矫正，在数码变焦倍率切换过程中，人像的矫正程度会发生改变，使得人像观感会呈现平滑过渡的差异，可以模拟不同焦段切换过程人像透视效果的平滑变换，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求，同时还可以提升用户在电子设备上预览、拍摄人像的观感与体验。

可选地，作为一个实施例，所述第三获取模块504，可以包括：

获取子模块，用于获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

第一确定子模块，用于根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；

其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

可选地，作为一个实施例，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；所述图像处理装置500，还可以包括：

第四获取模块，用于获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

第五获取模块，用于获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

构建模块，用于基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

可选地，作为一个实施例，所述电子设备包括T个不同拍照焦距的摄像头，T为大于1的整数；所述图像处理装置500，还可以包括：

拍摄模块，用于通过所述T个摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；

第六获取模块，用于获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

所述第三获取模块504，可以包括：

第二确定子模块，用于根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

可选地，作为一个实施例，所述T个拍照焦距包括：P1,P2,…,PT；

所述第二确定子模块，可以包括：

第一确定单元，用于在所述第二拍照焦距处于(P1,PT)内的情况下，确定所述第二拍照焦距在(P1,PT)内的上下界焦距，基于所述上下界焦距的人脸图像中人脸的关键点位置坐标和所述第二拍照焦距进行插值运算，得到第二位置坐标；

第二确定单元，用于在所述第二拍照焦距处于(P1,PT)之外的情况下，则基于所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710，用于：在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；获取所述第一人脸图像中人脸的关键点的第一位置坐标，和获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

可见，本申请实施例中，可以针对电子设备数码变焦不同变焦倍率人像，实现不同程度的实时矫正，在数码变焦倍率切换过程中，人像的矫正程度会发生改变，使得人像观感会呈现平滑过渡的差异，可以模拟不同焦段切换过程人像透视效果的平滑变换，实现类似于可变焦相机变焦的拍摄效果，丰富了拍照功能，可以满足用户的多样化需求，同时还可以提升用户在电子设备上预览、拍摄人像的观感与体验。

可选地，作为一个实施例，处理器710，还用于：获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

可选地，作为一个实施例，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；

处理器710，还用于：获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

可选地，作为一个实施例，所述电子设备包括T个不同拍照焦距的摄像头，T为大于1的整数；

处理器710，还用于：通过所述T个摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；

获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

可选地，作为一个实施例，所述T个拍照焦距包括：P1,P2,…,PT；

处理器710，还用于：在所述第二拍照焦距处于(P1,PT)内的情况下，确定所述第二拍照焦距在(P1,PT)内的上下界焦距，基于所述上下界焦距的人脸图像中人脸的关键点位置坐标和所述第二拍照焦距进行插值运算，得到第二位置坐标；

在所述第二拍照焦距处于(P1,PT)之外的情况下，则基于所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；

根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；

获取所述第一人脸图像中人脸的关键点的第一位置坐标，和获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；

基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的关键点的第二位置坐标，包括：

获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；

其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

3.根据权利要求2所述的方法，其特征在于，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；

所述根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标之前，还包括：

获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

4.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的关键点的第二位置坐标之前，还包括：

通过T个不同拍照焦距的摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；T为大于1的整数；

获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

所述获取所述人脸的关键点的第二位置坐标，包括：

根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

5.根据权利要求4所述的方法，其特征在于，所述T个拍照焦距包括：P1,P2,…,PT；

所述根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标，包括：

在所述第二拍照焦距处于(P1,PT)内的情况下，确定所述第二拍照焦距在(P1,PT)内的上下界焦距，基于所述上下界焦距的人脸图像中人脸的关键点位置坐标和所述第二拍照焦距进行插值运算，得到第二位置坐标；

在所述第二拍照焦距处于(P1,PT)之外的情况下，则基于所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，拟合出第二位置坐标。

6.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于在接收到对第一人脸图像进行数码变焦的请求的情况下，获取数码变焦倍率和所述第一人脸图像在数码变焦前的第一拍照焦距；

确定模块，用于根据所述第一拍照焦距和所述数码变焦倍率，确定等效的第二拍照焦距；

第二获取模块，用于获取所述第一人脸图像中人脸的关键点的第一位置坐标；

第三获取模块，用于获取所述人脸的关键点的第二位置坐标，其中，所述第一位置坐标为在所述第一拍照焦距下的位置坐标，所述第二位置坐标为在所述第二拍照焦距下的位置坐标；

矫正模块，用于基于所述第一位置坐标和所述第二位置坐标，对所述第一人脸图像进行人脸矫正，得到第二人脸图像。

7.根据权利要求6所述的装置，其特征在于，所述第三获取模块包括：

获取子模块，用于获取所述第一人脸图像中人脸的第一人脸类别和第一人脸拍照角度，其中，所述人脸类别是基于人脸五官、表情中的至少一者划分的；

第一确定子模块，用于根据预设的人脸类别、人脸拍照角度、拍照焦距和人脸关键点位置坐标的映射关系，确定第二位置坐标；

其中，所述第二位置坐标为与所述第一人脸类别、所述第一人脸拍照角度和所述第二拍照焦距对应的人脸关键点位置坐标。

8.根据权利要求7所述的装置，其特征在于，所述映射关系为函数Landmark＝f(F,c,p)，其中，Landmark为人脸关键点位置坐标，F为焦距，c为人脸类别，p为人脸拍照角度；所述装置还包括：

第四获取模块，用于获取M个样本集，其中，每个样本集中包括N个样本子集，每个样本子集中包括S个人脸拍照角度不同的样本人脸图像，同一样本集中样本人脸图像的拍照焦距相同，不同样本集中样本人脸图像的拍照焦距不同，同一样本子集中样本人脸图像的人脸类别相同，不同样本子集中样本人脸图像的人脸类别不同，M、N和S均为正整数；

第五获取模块，用于获取所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度；

构建模块，用于基于所述M*N*S个样本人脸图像中人脸的关键点位置坐标、拍照焦距、人脸类别和人脸拍照角度，构建所述函数Landmark＝f(F,c,p)。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

拍摄模块，用于通过T个不同拍照焦距的摄像头进行人脸图像拍摄，得到T个拍照焦距的人脸图像；T为大于1的整数；

第六获取模块，用于获取所述T个拍照焦距的人脸图像中人脸的关键点位置坐标；

所述第三获取模块包括：

第二确定子模块，用于根据所述第二拍照焦距、所述T个拍照焦距和所述T个拍照焦距的人脸图像中人脸的关键点位置坐标，确定第二位置坐标。

10.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。

Images