CN118116058A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，属于图像处理技术领域。其中，图像处理方法包括：对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点；根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联；对目标对象进行边缘检测，得到目标对象的第一轮廓曲线；基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

Description

图像处理方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。

背景技术

在相关技术中，在拍照时，通过算法对拍摄的原始图像进行矫正处理，能够使拍摄结果更加美观。尤其对于人像拍摄，对拍摄的人像进行缺陷矫正，能够显著提高人像拍摄体验。

人像拍摄中的缺陷矫正算法多为人工智能(Artificial Intelligence，AI)算法，对算力的要求高，手机、相机等小型设备的硬件算力难以满足算法需求，导致通过手机等电子设备进行拍照时难以进行有效的缺陷矫正。

发明内容

本申请实施例的目的是提供一种图像处理方法及其装置，能够解决通过电子设备进行拍照时难以进行有效的缺陷矫正的问题。

第一方面，本申请实施例提供了一种图像处理方法，方法包括：

对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点；

根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联；

对目标对象进行边缘检测，得到目标对象的第一轮廓曲线；

基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；

基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

第二方面，本申请实施例提供了一种图像处理装置，图像处理装置包括：

提取模块，用于对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点；

确定模块，用于根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联；

检测模块，用于对目标对象进行边缘检测，得到目标对象的第一轮廓曲线；

处理模块，用于基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法。

在本申请实施例中，提供了一种不依赖AI算法的图像矫正处理方法，通过特征提取、关键点检测等常规算法，实现对拍摄得到的图像中的目标对象的可靠轮廓的检测，并基于检测得到的轮廓曲线，对目标对象的轮廓缺陷进行矫正，在将上述处理方法应用于人像拍摄时，能够实现简单、高效且低功耗的人脸缺陷矫正。

附图说明

图1示出了本申请的一些实施例的图像处理方法的流程图；

图2示出了本申请的一些实施例的Sobel算子的示意图；

图3示出了本申请的一些实施例的Sobel边缘检测算法的结果示意图；

图4示出了本申请的一些实施例的Canny边缘检测算法的结果示意图；

图5示出了本申请的一些实施例的第一轮廓曲线的示意图；

图6示出了本申请的一些实施例的图像处理装置的结构框图；

图7示出了根据本申请实施例的电子设备的结构框图；

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法及其装置进行详细地说明。

在本申请的一些实施例中，提供了一种图像处理方法，图1示出了本申请的一些实施例的图像处理方法的流程图，如图1所示，方法包括：

步骤102，对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点。

在本申请实施例中，第一图像具体为拍摄得到的人像图像，第一图像中包括目标对象，目标对象即拍摄得到的人像部分。

通过关键点检测算法，如ASM(Active Shape Model，动态形状模型)算法、AAM(Active Appearance Models，动态表现模型)算法等，对人脸关键点，包括五官关键点、边缘关键点等进行检测，得到二维人像图像的关键点。

步骤104，根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联。

在本申请实施例中，角度信息用于描述人脸的具体朝向，示例性地，角度信息包括航向角(yaw)、俯仰角(pitch)和橫滚角(roll)，通过角度信息能够确定出拍摄的图像中人像的朝向，如人像是侧脸或正脸。

步骤106，对目标对象进行边缘检测，得到目标对象的第一轮廓曲线。

在本申请实施例中，目标对象的第一轮廓曲线，即未经矫正处理的人脸轮廓，通过边缘检测算法对人脸进行边缘检测，示例性地，边缘检测算法包括Sobel边缘检测算法、Canny边缘检测算法等。

步骤108，基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；

步骤110，基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

在本申请实施例中，在人像矫正领域，对人像进行缺陷矫正时，脸部对称性和脸部流畅性是重要的组成部分，其中，脸部对称性指的是人脸左右两侧的对称性，而脸部流畅性指的是人脸表面的连贯性和流畅性，人脸凹陷则是指面部区域的凸起和凹陷程度不合适等问题，一般审美认为，一个对称、轮廓流畅且饱满的人脸属于比较好的人脸标准。

而在人像拍摄时，随着拍摄角度变化，人像的角度信息也不同，能够分为正脸人像和侧脸人像。对于正脸人像，需要考虑人脸轮廓的对称性和流畅性，而对于侧脸人像，则不需要考虑其对称性。

因此，根据检测出的人像角度信息与角度阈值的比较结果，确定人脸朝向，然后在对人脸轮廓进行矫正处理，能够有效减小处理的计算量。

通过对识别出来的第一轮廓曲线，也即人脸轮廓进行矫正处理，从而得到对称性更好、流畅性更好的第二轮廓曲线，从而提高人像质量。

本申请实施例提供了一种不依赖AI算法的图像矫正处理方法，通过特征提取、关键点检测等常规算法，实现对拍摄得到的图像中的目标对象的可靠轮廓的检测，并基于检测得到的轮廓曲线，对目标对象的轮廓缺陷进行矫正，在将上述处理方法应用于人像拍摄时，能够实现简单、高效且低功耗的人脸缺陷矫正。

在本申请的一些实施例中，根据关键点确定目标对象对应的角度信息，包括：

基于关键点和参数化模型，生成目标对象对应的三维对象；

基于三维对象和关键点模型确定角度信息。

在本申请实施例中，根据目标对象的关键点拟合三维对象，以处理人像为例，根据二维人脸图像的关键点拟合形成三维人脸，并采用三维人脸求解出人脸的三个旋转角度，即航向角(yaw)、俯仰角(pitch)和橫滚角(roll)，得到角度信息。

具体地，采用参数化模型(3D Morphable Model，3DMM)的信息，将2D图片重建到3D控件，再通过关键点模型(Basel Face Model，BFM)进行转换优化，利用误差反向传播的方法，精确计算出目标对象，也即人脸的角度信息。

本申请实施例通过将二维的图像拟合形成三维空间中的对象，从而得到能够指示目标对象朝向角度的角度信息，简化了图像处理的运算过程，降低了图像处理计算时的算力要求。

在本申请的一些实施例中，基于三维对象和关键点模型确定角度信息，包括：

根据关键点模型确定三维对象对应的三维关键点。

在本申请实施例中，关键点模型也即BFM模型，通过关键点模型基于二维对象的特征点，形成三位对象对应的三位关键点，从而将人脸关键点由二维空间投射到三维人脸空间中。

确定三维关键点对应的投影点坐标。

在本申请实施例中，将通过BFM模型得到的人脸三维关键点进行重新投影，将这些三维关键点投影到一个投影平面中，得到每一个三维关键点对应的投影点，并确定这些投影点的投影坐标。

根据投影点坐标确定目标对象相对于基准对象的旋转矩阵；根据旋转矩阵确定角度信息。

在本申请实施例中，目标对象也即需要进行处理的人脸，基准对象为基准人脸，示例性地，基准人脸为正向的人脸。具体地，由于在拍照时，人脸姿势不是固定的，而针对不同朝向的人脸图像，所要进行的处理方式也不同。基于确定出的人脸的投影点坐标，来确定人脸图像相对于基准人脸图像的旋转矩阵，该旋转矩阵能够反映出人脸朝向信息，也即上述角度信息。

下面以一张人脸图像的缺陷矫正处理为例对本申请实施例提供的图像处理方法进行说明，具体如下：

首先利用人脸对齐算法得到目标二维人脸的68个特征点坐标X，在BFM模型中有对应的68个特征点X3d，根据这些信息便可求出α和β系数，将平均人脸模型与输入图像中的脸部进行拟合。

具体地，3DMM模型的表示公式为公式(1)：

其中，为平均人脸模型，而S_i，E_i分别是当前的人脸和表情模型减去各自平均值后的协方差矩阵的特征向量，α_i和β_i分别是两个向量对应的权重系数。从上述的公式中可以看出人脸重建问题就转化为了α和β系数的拟合问题。

假设一张人脸照片，首先利用人脸对齐算法得到目标二维人脸的68个特征点坐标X，在BFM模型中有对应的68个特征点X3d，根据这些信息便可求出α和β系数，将平均人脸模型与输入图像中的脸部进行拟合。投影后忽略第三维，其人脸关键点之间的坐标投影关系如公式(2)：

X_proj＝s×P_orth×R×X_3d+t_2d； (2)

将上述公式(1)带入公式(2)中，得到公式(3)：

其中，X_proj为三维重投影到二维平面的点，s为尺度因子，P_ort为正交投影矩阵，且P_orth＝[[1,0,0],[0,1,0]]，t_2d为平移矩阵，为平均人脸模型，而S_i，E_i分别是当前的人脸和表情模型减去各自平均值后的协方差矩阵的特征向量，α_i和β_i分别是两个向量对应的权重系数，X_3d为特征点。

得到重投影的2D坐标X_proj之后，求解最小能量方程，通过优化算法拟合出三个部分的参数s，R，t2d，α和β，具体的计算步骤如下：

首先上述参数的求解可以转化为满足以下能量方程(4)的系数求解：

其中，X_proj为三维重投影到二维平面的点，X为关键点，是正则项系数，γ_i是人脸基模型的主成分分析(PCA)系数，包括形状系数α和表情系数β，σ_i为应的主成分偏差。

求解上述方程(4)使得三维模型中的68个关键点投影到二维平面上的值与二维平面原68个特征点距离相差最小，具体的方程求解步骤如下：

步骤1，将α和β初始化为0；

步骤2，求解得到s、R和t_2d；

步骤3，将步骤2中得到的s、R和t_2d代入方程(4)，求出α；

步骤4，将步骤2和步骤3中得到的s、R、t_2d和α代入方程(4)，求出β；

步骤5，利用求得的α以及β，重复步骤2至步骤4的步骤，进行迭代。

在上述步骤中求的人脸的形状系数α和表情系数β的同时也求解出了当前人脸相对于标准人脸的旋转矩阵R，通过旋转矩阵与欧拉角的转换关系可以求解出人脸的三个旋转角，即yaw、pitch和roll，示例性地，取旋转矩阵R：

其中，r₁₁至r₃₃为矩阵中的各个元素，示例性地，通过旋转矩阵R确定角度信息的一种求解方法为：

通过公式(5)、公式(6)和公式(7)即可计算得到航向角yaw、俯仰角pitch和橫滚角roll，得到目标对象对应的角度信息。

在实际应用中，用于判断人脸朝向的重要角度为左右转头的角度yaw和上下俯仰的角度pitch，因此可以忽略橫滚角roll。示例性地，将左右转头的角度yaw记为theta1，将上下俯仰的角度pitch记为theta2。

本申请实施例通过BFM模型和3DMM模型确定人像图像中人脸朝向，对算力要求小，易于部署。

在本申请的一些实施例中，对目标对象进行边缘检测，得到目标对象的第一轮廓曲线，包括：

通过关键点模型对关键点进行划分处理，得到目标对象的轮廓关键点。

在本申请实施例中，关键点具体为人脸关键点，人脸关键点具体包括用于表征五官位置，包括眼睛、耳朵、鼻子、嘴巴、舌头等五官的位置，还包括用于表征其他人脸特征，包括人脸轮廓、眉毛、头发等特征区域的关键点。

通过关键点模型，在全部的人脸关键点中，划分得到人脸轮廓关键点，这些轮廓关键点能够在一定程度上表征人脸外轮廓的大致位置。

根据轮廓关键点和预设像素距离确定边缘检测区域。

在本申请实施例中，通过边缘检测算法，能够实现对物体边缘的有效识别，如识别出人脸的轮廓曲线。在相关技术中，边缘检测算法一般需要对整张图像的全部图像区域进行检测，因此计算量较大。

为了解决算力需求大的问题，本申请实施例通过关键点模型划分人脸轮廓关键点，通过人脸轮廓关键点来确定边缘检测区域，由于人脸轮廓关键点能够大致指示人脸轮廓的位置，因此以轮廓关键点为中心，预设像素距离为半径划分边缘检测区域，真实的人脸轮廓就在这个边缘检测区域内。

在边缘检测区域内对目标对象进行边缘检测，得到第一轮廓曲线。

在本申请实施例中，通过对轮廓关键点进行划分，得到相较于整张图像像素缩小了的边缘检测区域，在边缘检测区域内对人脸轮廓进行边缘检测，需要处理的图像面积和像素数量大大减少，因此能够有效节省算力，在保证不损失检测准确度的情况下，提高检测效率。

具体地，在对目标对象，如人脸进行边缘检测时，首先根据BFM人脸关键点模型的划分，检测得到二维脸部关键点中分别对应脸部左轮廓和脸部右轮廓的关键点，也即上述轮廓关键点。

由于人脸轮廓的2D关键点算法不能精确完美地贴合人脸边缘，只能做一个粗糙的范围预估，针对这个问题，设置预设像素距离，假设预设像素距离为delta个像素值，将delta个像素值的距离作为边缘检测的距离。示例性地，以人脸轮廓的2D关键点向左右两个方向分别偏移delta个像素值，得到的区域即上述边缘检测区域。

示例性地，预设像素距离可以根据人脸关键点检测算法的精度来确定，精度高则可以采用较小的预设像素距离，精度差则增加预设像素距离。算法处理范围为2×delta×l，其中，l为轮廓的长度，相对于全图处理，该处理方案简化的像素值比例为：radio＝H×W/2×delta×l，其中H，W分别代表第一图像的宽高，假设第一图像的宽高大小为4080×3060，delta取值40，l取值800，则radio的值为7000，相当于简化了7000倍的计算量。

本申请实施例通过设置预设像素距离来确定边缘检测区域，在边缘检测区域中对目标对象的边缘进行识别，能够减少边缘监测的计算量。

在本申请的一些实施例中，在边缘检测区域内对目标对象进行边缘检测，得到第一轮廓曲线，包括：

在边缘检测区域内，通过Sobel边缘检测算法对目标对象进行边缘检测，得到第三轮廓曲线。

在本申请实施例中，Sobel边缘检测算法是一种横向检测方法，即在x轴方向上进行人脸检测，通过Sobel检测得到的检测结果即为上述第一轮廓曲线。

在边缘检测区域内，通过Canny边缘检测算法对目标对象进行边缘检测，得到第四轮廓曲线。

在本申请实施例中，Canny边缘检测算法引入了非极大值抑制和边缘上下阈值限制，因此能够检测出强边缘，通过Canny边缘检测算法得到的检测结果即为上述第二轮廓曲线。

根据第三轮廓曲线和第四轮廓曲线的交集，得到第一轮廓曲线。

在本申请实施例中，由于Sobel边缘检测算法或Canny边缘检测算法均不是完美的边缘检测算法，其中Sobel边缘检测得到的结果一般会出现零碎边缘，而Canny边缘检测得到的结果容易受到头发等因素的影响。因此，通过利用两种不同的边缘检测算法，将两种不同边缘检测的结果进行合并取交集，能够得到更加准确的边缘检测结果。

具体地，在划分出边缘检测区域后，再边缘检测区域内，分别通过两种边缘检测算法对目标对象，即人脸部分进行边缘检测。

具体地，首先采用横向的Sobel边缘检测算法，Sobel边缘检测算法能够检测x方向的边缘，从而比较容易地检测出人脸脸颊的轮廓。

示例性地，图2示出了本申请的一些实施例的Sobel算子的示意图，如图2所示，将sobel算法与输入图像灰度值进行平面卷积计算，整理完对应的边缘检测的计算公式可表示为公式(8)：

Gx＝f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)-f(x-1,y-1)-2×f(x-1,y)-f(x-1,y+1)；(8)

其中，Gx为x轴方向上的梯度，f(x，y)代表(x，y)坐标位置上图像的灰度值，图3示出了本申请的一些实施例的Sobel边缘检测算法的结果示意图，如图3所示，这种检测的零碎边缘比较多。

然后，采用Canny边缘检测算法进行边缘检测，其中，Canny边缘检测在Sobel边缘检测的基础上加入了非极大值抑制和边缘上下阈值限制，使其可以能够检测出强边缘。其中Canny边缘检测中用来的过滤非极大值的原则为如果这个像素点属于边缘，那么这个像素点在梯度方向上的梯度值是最大的，否则不是边缘，将灰度值设为0。

示例性地，Canny边缘检测的计算公式可表示为公式(9)：

其中，M(m,n)和M_T(m,n)分别表示非极大值过滤前后的图像灰度值。

另外，Canny设置两个阀值(threshold)，分别记为maxVal和minVal。其中大于maxVal的都被检测为边缘，而低于minval的都被检测为非边缘。对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘。图4示出了本申请的一些实施例的Canny边缘检测算法的结果示意图，如图4所示，Canny边缘检测算法可以过滤掉零碎边缘，但是在人脸边缘轮廓检测中容易有头发等强的干扰。

图5示出了本申请的一些实施例的第一轮廓曲线的示意图，如图5所示，结合Sobel边缘检测算法和Canny边缘检测算法，对两者采用图像与的操作，得到相对完美的边缘检测结果，即第一轮廓曲线。

示例性地，可以采用top-down的RANSAC(Random Sample Consensus，随机样本一致)算法进行真实边缘提取。具体地，以检测人脸边缘为例，人脸的左右轮廓可以近似于一段平滑曲线，首先以二次曲线公式拟合左右两边的总轮廓，采用RANSAC算法对超出阈值的线段进行剔除。RANSAC的算法过程如下：

(1)，从所有的轮廓曲线中随机选取一个进行二次曲线拟合；

(2)，应用得到二次曲线方程与其他所有轮廓进行比较，将不满足阈值的轮廓剔除，反之进行保留，并将保留下的轮廓加入备选库中；

(3)，重复上述步骤(1)和步骤(2)，选出保留轮廓数最大的二次曲线。

在轮廓曲线拟合完毕后，对曲线进行N分段，N根据实际像素大小选取5-8段不等，对每一段以上述RANSAC的算法过程中的二次曲线初始值为起点对轮廓继续进行采用RANSAC算法拟合段内的精细曲线，然后在段内的每一行坐标y处选取离曲线最近的边缘像素x坐标作为真实轮廓坐标。

对对N分段的每一段都进行上述操作，得到的完整的所有真实轮廓点的(x,y)坐标的集合，即上述第一轮廓曲线。

本申请实施例通过结合Sobel边缘检测算法和Canny边缘检测算法，能够实现低能耗且准确高效的边缘检测。

在本申请的一些实施例中，第一轮廓曲线包括第三轮廓曲线和第四轮廓曲线，第三轮廓曲线为目标对象的第一侧的轮廓曲线，第四轮廓曲线为目标对象的第二侧的轮廓曲线；

基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线，包括：

在角度信息大于或等于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线中的一个进行平滑处理，得到第二轮廓曲线；或者在角度信息小于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线均进行平滑处理，得到第二轮廓曲线。

在本申请实施例中，目标对象为人脸图像，人脸图像可以分为左脸和右脸，其中，根据检测出的人像角度信息与角度阈值的比较结果，确定人脸朝向，然后在对人脸轮廓进行矫正处理，能够有效减小处理的计算量。

其中，角度信息包括左右转头的角度theta1和上下俯仰的角度theta2。当theta1的绝对值小于30°且鼻子关键点没有超过两边轮廓区域，theta2的绝对值小于20°时，人脸处于轮廓整体可见的范围，可以进行轮廓矫正，反之，认为不需要进行矫正。

在需要进行较正的情况下，当theta1≤10°时，认为人物处于相对正脸情况，对两侧轮廓同时进行流畅性矫正，即对第三轮廓曲线和第四轮廓曲线均进行平滑处理。

当theta1>10°时，认为人物处于侧脸情况，只矫正背向照片方向的一侧轮廓，即只校正第三轮廓曲线和第四轮廓曲线中的一者。

示例性地，在进行平滑处理时，采用滚球曲率优化算法，假设一个小球从原始轮廓曲线的顶部滑下，修改突兀的曲率部分为平滑，该算法的可调参数为滚球的半径和滚落的速度，具体算法步骤如下：

首先根据所求得的曲线方程初始化滚球半径和滚落速度，每次迭代中，计算当前曲率下滚球与曲线的重合程度，根据曲线的重合程度调整曲线的曲率大小和方向。如果调整完之后的指标优于之前的值，则接受新的曲率。否则，拒绝调整，并在下一次迭代中保持当前曲率不变。这样滚球曲率优化算法通过迭代优化，不断曲线部分的曲率以达到最佳效果，从而得到该图对应的流畅脸部的表示，也即第二轮廓曲线。

本申请实施例基于识别出的角度信息与角度阈值的比较结果，对目标对象的一侧或两侧轮廓曲线进行校正，能够有效减少计算量。

在本申请的一些实施例中，第二轮廓曲线包括第五轮廓曲线和第六轮廓曲线，第五轮廓曲线与第三轮廓曲线相对应，第六轮廓曲线与第四轮廓曲线相对应。

在本申请实施例中，第三轮廓曲线和第四轮库曲线分别为对左脸轮廓和右脸轮廓进行平滑处理后的曲线。

对第三轮廓曲线和第四轮廓曲线均进行平滑处理之后，方法还包括：

在角度信息小于第二角度阈值的情况下，对第五轮廓曲线进行镜像处理，得到第一镜像曲线。

在本申请实施例中，当角度信息小于第二角度阈值时，则可以判断出当前目标对象，也即待处理的人脸图像为“正向”人脸图像，对于正脸图像，一般需要使左右两侧的人脸更对称，才能提高人像观感，此时可以通过将一侧轮廓曲线进行镜像处理的方式，来识别出两侧人脸轮廓是否足够对称。

确定第一镜像曲线与第六轮廓曲线之间的差异度。

在本申请实施例中，第一镜曲线与第四轮廓曲线之间的差异度，可以反映出人脸图像的左脸与右脸是否对称，能够理解的是，差异度越大，则说明左右两侧的人脸轮廓越不对称。

在差异度大于差异度阈值的情况下，对第一镜像曲线进行矫正处理，得到第二镜像曲线，第二镜像曲线能够与第六轮廓曲线相重合；

对第六轮廓曲线进行镜像处理，得到矫正后的第五轮廓曲线。

在本申请实施例中，如果差异度大于预设的差异度阈值，则说明此时人脸左右两侧轮廓的对称度不满足需求，需要对左右两侧的人脸轮廓进行对称化处理。此时，以一侧人脸轮廓曲线为基准调整镜像曲线，从而使第一镜像曲线与另一侧人脸轮廓曲线重合，然后再将调整后的第二镜像曲线进行反镜像处理，得到最终的处理后的第三轮廓曲线，此时校正后的第三轮廓曲线与第四轮廓曲线的差异度小于阈值，人像的左脸与右脸更对称。

具体地，第五轮廓曲线即对第三轮廓曲线进行平滑处理后得到的轮廓曲线，第四轮廓区间则是对第四轮廓曲线进行平滑处理后得到的轮廓曲线。

对于需要对第三轮廓曲线和第四轮廓曲线均进行平滑处理的情况，则说明此时人像为正脸人像，而当角度信息小于第二角度阈值，具体为theta1<5度时，左右旋转角度比较小，也就是人脸完全正面时，可以进行人脸的对称性判断和矫正，算法步骤为：

以调整后的两条轮廓线，也即第三轮廓线和第四轮廓线的中心为基础，对、第三轮廓线做一个向右的镜像轮廓线，记为第一镜像曲线ln’,对两条曲线，也即第一镜像曲线和第四轮廓线的x坐标取差值并减去差的平均值得到sigma，sigma可以表示两条曲线在横向上的差异，当sigma大于10时，可以进行对称性矫正，对镜像前后的两根线条进行像素位移，使两者能够重合，得到此时的第二镜像曲线，然后将第二镜像曲线反镜像回去，得校正后的第五轮廓曲线与第六轮廓曲线对称，即保证了脸部对称性。

将此时第二轮廓曲线记为l3。采用Delaunay(德劳内)剖分算法，将人脸的第一轮廓曲线l1调整为第二轮廓曲线l3，其他人脸关键点保持不变，从而对原始的二维人脸图像进行扭转(warp)处理，得到缺陷矫正后的人像，只进行一次warp操作能够节约计算量。

示例性地，一次warp变换的实现流程为：

1)Delaunay三角剖分

根据2Dwarp点阵构建平面点集合P＝{P₁…P_n}，P对应于投影下来的2D点，使用Bowyer-Watson算法，得到三角形集合T＝{t₁…t_n}。所有三角形的端点恰好构成集合P，任意两个三角形的边不相交，三角形的合集构成P的凸包。即把人脸分解成很多小三角形平面计算每一块三角形的变换矩阵H(Homography)。

2)根据H矩阵进行两张图的仿射变换，矫正坐标和原坐标的映射关系如下公式(10)所示：

其中，x和y是原图像的坐标点，H为变换矩阵，x'和y'是仿射变换后的坐标点，h₁₁至h₃₃是仿射变换中的各个元素，也即变换矩阵H中的项。

推理得到仿射变换后图像中每个像素点的位置与原图中的位置之间的关系如以下公式(11)和公式(12)所示：

其中，x'和y'是仿射变换后的坐标点，h₁₁至h₃₃是仿射变换中的各个元素。

根据上述映射关系，将原始图像中的像素点进行空间warp处理，得到第二图像。

本申请实施例能够处理得到对称性更好、流畅性更好的第二轮廓曲线，从而提高人像质量。

在本申请的一些实施例中，在根据关键点确定目标对象对应的角度信息之前，方法还包括：

基于关键点和仿射变换矩阵对目标对象进行扭转处理。

在本申请实施例中，由于在拍摄人像图像时，拍摄得到的人脸区域并不总是正向的，如歪头、低头或者仰头等。因此，再进行处理签，可以通过二维人脸关键点，将人脸旋转至相对于标准人脸平齐的方向，再通过FDcrop出待处理的区域。

示例性地，首先根据人脸的五官关键点可以求取眼睛，嘴巴和鼻子的五点关键点，通过对五点关键点和标准五官的五点求取一个3×3的仿射变换矩阵M，对人脸进行warp，将人脸旋转到标准位置：眼睛基本在水平线上，正脸处于中心状态。

示例性地，取仿射变换矩阵为M：

其中，m11至m23均为warp仿射变换的参数。

取二维放射公式为：

其中，X0，Y0为变换前的图像坐标，Xw，Yw为变换后的图像坐标，变换后即可得到接近标准位置的人脸图片。

本申请实施例在对人脸进行处理前，首先对人脸方向进行调整，从而将图像旋转到接近标准位置，能够有效减少图像处理时的运算量，提高图像处理效率。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理的方法为例，说明本申请实施例提供的图像处理的装置。

在本申请的一些实施例中，提供了一种图像处理装置，图6示出了本申请的一些实施例的图像处理装置的结构框图，如图6所示，图像处理装置600包括：

提取模块602，用于对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点；

确定模块604，用于根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联；

检测模块606，用于对目标对象进行边缘检测，得到目标对象的第一轮廓曲线；

处理模块608，用于基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

本申请实施例提供了一种不依赖AI算法的图像矫正处理方法，通过特征提取、关键点检测等常规算法，实现对拍摄得到的图像中的目标对象的可靠轮廓的检测，并基于检测得到的轮廓曲线，对目标对象的轮廓缺陷进行矫正，在将上述处理方法应用于人像拍摄时，能够实现简单、高效且低功耗的人脸缺陷矫正。

在本申请的一些实施例中，图像处理装置还包括：

生成模块，用于基于关键点和参数化模型，生成目标对象对应的三维对象；

确定模块，还用于基于三维对象和关键点模型确定角度信息。

本申请实施例通过将二维的图像拟合形成三维空间中的对象，从而得到能够指示目标对象朝向角度的角度信息，简化了图像处理的运算过程，降低了图像处理计算时的算力要求。

在本申请的一些实施例中，确定模块，还用于：

根据关键点模型确定三维对象对应的三维关键点；

确定三维关键点对应的投影点坐标；

根据投影点坐标确定目标对象相对于基准对象的旋转矩阵；

根据旋转矩阵确定角度信息。

本申请实施例通过BFM模型和3DMM模型确定人像图像中人脸朝向，对算力要求小，易于部署。

在本申请的一些实施例中，处理模块，还用于通过关键点模型对关键点进行划分处理，得到目标对象的轮廓关键点；

确定模块，还用于根据轮廓关键点和预设像素距离确定边缘检测区域；

检测模块，还用于在边缘检测区域内对目标对象进行边缘检测，得到第一轮廓曲线。

本申请实施例通过设置预设像素距离来确定边缘检测区域，在边缘检测区域中对目标对象的边缘进行识别，能够减少边缘监测的计算量。

在本申请的一些实施例中，检测模块，还用于：

在边缘检测区域内，通过Sobel边缘检测算法对目标对象进行边缘检测，得到第三轮廓曲线；

在边缘检测区域内，通过Canny边缘检测算法对目标对象进行边缘检测，得到第四轮廓曲线；

根据第三轮廓曲线和第四轮廓曲线的交集，得到第一轮廓曲线。

本申请实施例通过结合Sobel边缘检测算法和Canny边缘检测算法，能够实现低能耗且准确高效的边缘检测。

在本申请的一些实施例中，第一轮廓曲线包括第三轮廓曲线和第四轮廓曲线，第三轮廓曲线为目标对象的第一侧的轮廓曲线，第四轮廓曲线为目标对象的第二侧的轮廓曲线；

处理模块，还用于在角度信息大于或等于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线中的一个进行平滑处理，得到第二轮廓曲线；或者在角度信息小于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线均进行平滑处理，得到第二轮廓曲线。

本申请实施例基于识别出的角度信息与角度阈值的比较结果，对目标对象的一侧或两侧轮廓曲线进行校正，能够有效减少计算量。

在本申请的一些实施例中，第二轮廓曲线包括第五轮廓曲线和第六轮廓曲线，第五轮廓曲线与第三轮廓曲线相对应，第六轮廓曲线与第四轮廓曲线相对应；

处理模块，还用于在角度信息小于第二角度阈值的情况下，对第五轮廓曲线进行镜像处理，得到第一镜像曲线；

确定模块，还用于确定第一镜像曲线与第六轮廓曲线之间的差异度；

处理模块，还用于在差异度大于差异度阈值的情况下，对第一镜像曲线进行矫正处理，得到第二镜像曲线，第二镜像曲线能够与第六轮廓曲线相重合；对第六轮廓曲线进行镜像处理，得到矫正后的第五轮廓曲线。

本申请实施例能够处理得到对称性更好、流畅性更好的第二轮廓曲线，从而提高人像质量。

在本申请的一些实施例中，处理模块，还用于基于关键点和仿射变换矩阵对目标对象进行扭转处理。

本申请实施例在对人脸进行处理前，首先对人脸方向进行调整，从而将图像旋转到接近标准位置，能够有效减少图像处理时的运算量，提高图像处理效率。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种电子设备，图7示出了根据本申请实施例的电子设备的结构框图，如图7所示，电子设备700包括处理器702，存储器704，存储在存储器704上并可在处理器702上运行的程序或指令，该程序或指令被处理器702执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器810，用于对第一图像进行特征提取，得到第一图像中的目标对象对应的关键点；根据关键点确定目标对象对应的角度信息，角度信息与目标对象的朝向相关联；对目标对象进行边缘检测，得到目标对象的第一轮廓曲线；基于角度信息与角度阈值的比较结果对第一轮廓曲线进行矫正处理，得到第二轮廓曲线；基于第二轮廓曲线对第一轮廓曲线进行处理，得到第二图像。

本申请实施例提供了一种不依赖AI算法的图像矫正处理方法，通过特征提取、关键点检测等常规算法，实现对拍摄得到的图像中的目标对象的可靠轮廓的检测，并基于检测得到的轮廓曲线，对目标对象的轮廓缺陷进行矫正，在将上述处理方法应用于人像拍摄时，能够实现简单、高效且低功耗的人脸缺陷矫正。

可选地，处理器810，还用于基于关键点和参数化模型，生成目标对象对应的三维对象；基于三维对象和关键点模型确定角度信息。

本申请实施例通过将二维的图像拟合形成三维空间中的对象，从而得到能够指示目标对象朝向角度的角度信息，简化了图像处理的运算过程，降低了图像处理计算时的算力要求。

可选地，处理器810，还用于根据关键点模型确定三维对象对应的三维关键点；确定三维关键点对应的投影点坐标；根据投影点坐标确定目标对象相对于基准对象的旋转矩阵；根据旋转矩阵确定角度信息。

本申请实施例通过BFM模型和3DMM模型确定人像图像中人脸朝向，对算力要求小，易于部署。

可选地，处理器810，还用于通过关键点模型对关键点进行划分处理，得到目标对象的轮廓关键点；根据轮廓关键点和预设像素距离确定边缘检测区域；在边缘检测区域内对目标对象进行边缘检测，得到第一轮廓曲线。

本申请实施例通过设置预设像素距离来确定边缘检测区域，在边缘检测区域中对目标对象的边缘进行识别，能够减少边缘监测的计算量。

可选地，处理器810，还用于在边缘检测区域内，通过Sobel边缘检测算法对目标对象进行边缘检测，得到第三轮廓曲线；在边缘检测区域内，通过Canny边缘检测算法对目标对象进行边缘检测，得到第四轮廓曲线；根据第三轮廓曲线和第四轮廓曲线的交集，得到第一轮廓曲线。

本申请实施例通过结合Sobel边缘检测算法和Canny边缘检测算法，能够实现低能耗且准确高效的边缘检测。

可选地，第一轮廓曲线包括第三轮廓曲线和第四轮廓曲线，第三轮廓曲线为目标对象的第一侧的轮廓曲线，第四轮廓曲线为目标对象的第二侧的轮廓曲线；

处理器810，还用于在角度信息大于或等于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线中的一个进行平滑处理，得到第二轮廓曲线；或者在角度信息小于第一角度阈值的情况下，对第三轮廓曲线和第四轮廓曲线均进行平滑处理，得到第二轮廓曲线。

本申请实施例基于识别出的角度信息与角度阈值的比较结果，对目标对象的一侧或两侧轮廓曲线进行校正，能够有效减少计算量。

可选地，第二轮廓曲线包括第五轮廓曲线和第六轮廓曲线，第五轮廓曲线与第三轮廓曲线相对应，第六轮廓曲线与第四轮廓曲线相对应；

处理器810，还用于在角度信息小于第二角度阈值的情况下，对第五轮廓曲线进行镜像处理，得到第一镜像曲线；确定第一镜像曲线与第六轮廓曲线之间的差异度；在差异度大于差异度阈值的情况下，对第一镜像曲线进行矫正处理，得到第二镜像曲线，第二镜像曲线能够与第六轮廓曲线相重合；对第六轮廓曲线进行镜像处理，得到矫正后的第五轮廓曲线。

本申请实施例能够处理得到对称性更好、流畅性更好的第二轮廓曲线，从而提高人像质量。

可选地，处理器810，还用于基于关键点和仿射变换矩阵对目标对象进行扭转处理。

本申请实施例在对人脸进行处理前，首先对人脸方向进行调整，从而将图像旋转到接近标准位置，能够有效减少图像处理时的运算量，提高图像处理效率。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

对第一图像进行特征提取，得到所述第一图像中的目标对象对应的关键点；

根据所述关键点确定所述目标对象的角度信息，所述角度信息与所述目标对象的朝向相关联；

对所述目标对象进行边缘检测，得到所述目标对象的第一轮廓曲线；

基于所述角度信息与角度阈值的比较结果对所述第一轮廓曲线进行矫正处理，得到第二轮廓曲线；

基于所述第二轮廓曲线对所述第一轮廓曲线进行处理，得到第二图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述关键点确定所述目标对象的角度信息，包括：

基于所述关键点和参数化模型，生成与所述目标对象对应的三维对象；

基于所述三维对象和关键点模型确定所述角度信息。

3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述三维对象和关键点模型确定所述角度信息，包括：

根据所述关键点模型确定所述三维对象对应的三维关键点；

确定所述三维关键点对应的投影点坐标；

根据所述投影点坐标确定所述目标对象相对于基准对象的旋转矩阵；

根据所述旋转矩阵确定所述角度信息。

4.根据权利要求1所述的图像处理方法，其特征在于，所述对所述目标对象进行边缘检测，得到所述目标对象的第一轮廓曲线，包括：

通过关键点模型对所述关键点进行划分处理，得到所述目标对象的轮廓关键点；

根据所述轮廓关键点和预设像素距离确定边缘检测区域；

在所述边缘检测区域内对所述目标对象进行边缘检测，得到所述第一轮廓曲线。

5.根据权利要求1所述的图像处理方法，其特征在于，所述第一轮廓曲线包括第三轮廓曲线和第四轮廓曲线，所述第三轮廓曲线为所述目标对象的第一侧的轮廓曲线，所述第四轮廓曲线为所述目标对象的第二侧的轮廓曲线；

所述基于所述角度信息与角度阈值的比较结果对所述第一轮廓曲线进行矫正处理，得到第二轮廓曲线，包括：

在所述角度信息大于或等于第一角度阈值的情况下，对所述第三轮廓曲线和所述第四轮廓曲线中的一个进行平滑处理，得到所述第二轮廓曲线；或者

在所述角度信息小于所述第一角度阈值的情况下，对所述第三轮廓曲线和所述第四轮廓曲线均进行平滑处理，得到所述第二轮廓曲线。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：

提取模块，用于对第一图像进行特征提取，得到所述第一图像中的目标对象对应的关键点；

确定模块，用于根据所述关键点确定所述目标对象的角度信息，所述角度信息与所述目标对象的朝向相关联；

检测模块，用于对所述目标对象进行边缘检测，得到所述目标对象的第一轮廓曲线；

处理模块，用于基于所述角度信息与角度阈值的比较结果对所述第一轮廓曲线进行矫正处理，得到第二轮廓曲线；以及

基于所述第二轮廓曲线对所述第一轮廓曲线进行处理，得到第二图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：

生成模块，用于基于所述关键点和参数化模型，生成与所述目标对象对应的三维对象；

所述确定模块，还用于基于所述三维对象和关键点模型确定所述角度信息。

8.根据权利要求7所述的图像处理装置，其特征在于，所述确定模块，还用于：

根据所述关键点模型确定所述三维对象对应的三维关键点；

确定所述三维关键点对应的投影点坐标；

根据所述投影点坐标确定所述目标对象相对于基准对象的旋转矩阵；

根据所述旋转矩阵确定所述角度信息。

9.根据权利要求6所述的图像处理装置，其特征在于，

所述处理模块，还用于通过关键点模型对所述关键点进行划分处理，得到所述目标对象的轮廓关键点；

所述确定模块，还用于根据所述轮廓关键点和预设像素距离确定边缘检测区域；

所述检测模块，还用于在所述边缘检测区域内对所述目标对象进行边缘检测，得到所述第一轮廓曲线。

10.根据权利要求6所述的图像处理装置，其特征在于，所述第一轮廓曲线包括第三轮廓曲线和第四轮廓曲线，所述第三轮廓曲线为所述目标对象的第一侧的轮廓曲线，所述第四轮廓曲线为所述目标对象的第二侧的轮廓曲线；

所述处理模块，还用于在所述角度信息大于或等于第一角度阈值的情况下，对所述第三轮廓曲线和所述第四轮廓曲线中的一个进行平滑处理，得到所述第二轮廓曲线；或者

在所述角度信息小于所述第一角度阈值的情况下，对所述第三轮廓曲线和所述第四轮廓曲线均进行平滑处理，得到所述第二轮廓曲线。