CN107368806A - 图像矫正方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本发明涉及一种图像矫正方法、装置、计算机可读存储介质和计算机设备。所述方法包括：检测图像中包含脸部的形变轮廓；判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子；识别所述图像中所述脸部的脸部轮廓；根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线；根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子；采用所述更新后的形变算子对所述形变轮廓进行形变处理。本发明的图像矫正方法、装置、计算机可读存储介质和计算机设备，提高了面部的成像效果。

Description

图像矫正方法、装置、计算机可读存储介质和计算机设备

技术领域

本发明涉及图像处理领域，特别是涉及一种图像矫正方法、装置、计算机可读存储介质和计算机设备。

背景技术

拍照已逐步成为人们生活中的一部分，人们可随时随地利用带摄像头的移动设备拍摄风景或人像等。而视力缺陷的人群数量十分庞大，拍照时由于镜片导致的变形降低了拍摄的面部成像效果。

发明内容

本发明实施例提供一种图像矫正方法、装置、计算机可读存储介质和计算机设备，可以提高面部的成像效果。

一种图像矫正方法，包括：

检测图像中包含脸部的形变轮廓；

判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子；

识别所述图像中所述脸部的脸部轮廓；

根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线；

根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子；

采用所述更新后的形变算子对所述形变轮廓进行形变处理。

一种图像矫正装置，包括：

检测模块，检测图像中包含脸部的形变轮廓；

选取模块，用于判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子；

识别模块，用于识别所述图像中所述脸部的脸部轮廓；

拟合模块，用于根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线；

调整模块，用于根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子；

矫正模块，用于采用所述更新后的形变算子对所述形变轮廓进行形变处理。

一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现所述的图像矫正方法。

一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图像矫正方法。

本发明实施例中的图像矫正方法、装置、计算机可读存储介质和计算机设备，提高了面部的成像效果。

附图说明

图1为一个实施例中计算机设备的内部结构示意图；

图2为一个实施例中图像矫正方法的流程图；

图3为另一个实施例中图像矫正方法的流程图；

图4为一个实施例中戴眼镜用户拍照发生形变的示意图；

图5为一个实施例中对图4中的脸部轮廓中形变区域进行拟合得到拟合曲线的示意图；

图6为一个实施例中图像矫正装置的内部框图；

图7为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中计算机设备的内部结构示意图。如图1所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏和输入装置。其中，计算机设备的非易失性存储介质存储有操作系统和计算机可读指令。该计算机可读指令被处理器执行时以实现一种图像矫正方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。计算机设备中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器或其他设备进行网络通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图2为一个实施例中图像矫正方法的流程图。如图2所示，一种图像矫正方法，运行于计算机设备，包括步骤202至步骤214。

步骤202，检测图像中包含脸部的形变轮廓。

具体地，图像可为通过带摄像头的电子设备拍摄。该图像中包含有人脸。该图像可为存储在相册中或网络上的图像。形变轮廓是指脸部因屈光等而导致的脸部轮廓发生变形所形成的脸部轮廓。屈光是指因近视镜或远视镜导致眼镜区域有屈光。

对图像可采用机器学习模型进行检测得到图像中包含脸部的形变轮廓。为了通过机器学习模型识别，预先需要收集正常的脸部轮廓样本和包含形变轮廓的脸部轮廓样本作为机器学习的训练样本，通过训练样本对机器学习模型进行训练得到脸部轮廓的机器学习模型。

在一个实施例中，也可通过人脸的关键特征点提取算法识别出图像中的人脸特征。人脸特征可包括眼、口、鼻、眉等几个特征。人脸关键特征点可包括2个眼球中心点、4个眼角点、2个鼻孔的中点和2个嘴角点。可采用susan算子提取局部区域的边缘和角点特征。Susan算子的原理为：以半径为像素的圆形区域为掩模，考察图像中的每个点在该区域范围内的所有点的像素值与当前点的值的一致程度。在其他实施例中，也可采用sobel、canny等边缘检测算子检测人脸的脸部轮廓及形变轮廓。

步骤204，判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子。

具体地，检测到包含脸部的形变轮廓后，可得到形变轮廓的形状。将形变轮廓的形状与参考脸部轮廓的形状进行比较，可得到形变轮廓的形变趋势是缩小还是膨胀。参考脸部轮廓是指预先设置的作为标准的脸部轮廓。

在一个实施例中，步骤204包括：若判断所述形变轮廓的形变趋势为缩小，则选取第一形变算子；若判断所述形变轮廓的形变趋势为膨胀，则选取第二形变算子。

具体地，可预先建立形变趋势与形变算子的对应关系，检测到形变趋势后，根据形变趋势从形变趋势与形变算子的对应关系获取对应的形变算子。形变算子是指对图像进行形变运算的参数。

步骤206，识别所述图像中所述脸部的脸部轮廓。

具体地，可采用机器学习模型识别该图像中的脸部轮廓。该机器学习模型是预先通过训练样本训练得到的。或者通过人脸关键特征点提取得到。

步骤208，根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线。

具体地，按照脸部轮廓中除了形变轮廓后剩余的其余轮廓可拟合得到对应的参考脸部轮廓。根据参考脸部轮廓与检测到图像中的脸部轮廓比较可得到形变轮廓进行曲线拟合后的脸部轮廓，即拟合曲线。

曲线拟合可采用脸部轮廓中除形变轮廓外的散点，选择合适的曲线类型，进行变量变换，使变换后的两个变量呈直线关系，再按最小二乘法求线性方程和方差，将直线化方程转换为关于原变量的函数表达式。

步骤210，根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子。

具体地，根据拟合曲线与形变轮廓两者之间的差别调整形变算子得到更新后的形变算子。该形变算子可为仿射变换矩阵。每个仿射变换对应一个矩形和一个向量的乘法。仿射变换可以通过一系列的原子变换的符合来实现，包括平移、缩放、翻转、旋转和错切。

例如，仿真变换采用3×3的矩阵来表示，其最后一行为(0，0，1)。该变换矩阵将原坐标(x₁，y₁)变换为新坐标(x₂，y₂)，原坐标和新坐标均视最后一行为(1)的三维列相邻，原列向量左乘变换矩阵得到新的列向量，如公式(1)。

为了将形变轮廓变为拟合曲线可将形变轮廓通过平移变换得到。平移变换的变换矩阵可为

其中，tx＝x₂-x₁，ty＝y₂-y₁。(x₂，y₂)为拟合曲线上某点的坐标，(x₁，y₁)为形变轮廓上对应点的坐标。

步骤212，采用所述更新后的形变算子对所述形变轮廓进行形变处理。

具体地，通过更新后的形变算子对形变轮廓进行形变处理可得到矫正后的轮廓。

本发明实施例中的图像矫正方法，通过检测到图像中包含脸部的形变轮廓，根据形变轮廓的形变趋势选取对应的形变算子，检测到脸部轮廓，根据脸部轮廓对形变轮廓进行拟合得到拟合曲线，根据拟合曲线及形变轮廓比较对形变算子进行调整得到更新后的形变算子，根据更新后的形变算子对形变轮廓进行矫正可得到矫正后的脸部轮廓，提高了面部的成像效果。

需要说明的是，识别图像中的脸部轮廓可在步骤202之前。

在一个实施例中，所述检测图像中包含脸部的形变轮廓包括：根据皮肤的颜色获取所述包含脸部的形变轮廓。

具体地，基于皮肤的颜色的人脸检测可包括预处理，基于肤色模型的肤色分割；连通域分析，人脸区域定位。预处理可采用高斯滤波和直方图均衡。肤色模型可采用YCbCr空间的色彩模型，其中，Y指亮度信息，Cb和Cr为色度信息。根据肤色的均值和方差建立肤色的高斯模型。通过肤色的高斯模型得到人脸概率图后，使用二值化得到人脸肤色二值图像。对输入的图像进行连通域分析获取二值图像最小外接矩形，即为人脸区域。具体可为：首先对二值图像中符合预设连通规则的像素用相同的标号表示出来，得到二值图像的连通区域轮廓，求取连通区域的最小外接矩形。连通域标记的方法有像素标记法、线标记法、区域增长法等。以八领域像素标记法为例，1)判断此点八领域中的最左、左上、最上、上右点的情况，如果都没有点，则表示一个新的区域的开始；2)如果此点八领域中的最左有点，上右都有点，则标记此点为这两个中的最小的标记点，并修改大标记为小标记；3)如果此点八领域的左上有点，上右都有点，则标记此点为这两个中的最小标记点，并修改大标记为小标记；4)否则按照最左、左上、最上、上右的顺序，标记此点为四个中的一个。

在一个实施例中，所述检测图像中包含脸部的形变轮廓包括：判断图像中是否存在眼镜，若是，则检测所述眼镜所在区域是否包含脸部，若是，则获取所述眼镜所在区域的面部轮廓，将所述眼镜所在区域的面部轮廓作为所述包含脸部的形变轮廓。

图3为另一个实施例中图像矫正方法的流程图。如图3所示，一种图像矫正方法，包括：

步骤302，判断图像中是否存在眼镜，若是，执行步骤304，否则结束。

步骤304，检测所述眼镜所在区域是否包含脸部轮廓，若是，则执行步骤306，否则结束。

步骤306，判断眼镜所在区域的脸部轮廓的形变趋势是否为缩小，若是，则步骤308，若否，执行步骤310。

步骤308，选取第一形变算子，执行步骤312。

第一形变算子为近视镜形变算子。

步骤310，选取第二形变算子，执行步骤312。

第二形变算子为远视镜形变算子。

步骤312，识别所述图像中所述脸部的脸部轮廓。

步骤314，根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线。

步骤316，根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子。

步骤318，采用所述更新后的形变算子对所述形变轮廓进行形变处理。

本发明实施例中的图像矫正方法，通过检测到图像中眼部所在区域包含脸部轮廓，根据眼镜所在区域中脸部轮廓的形变趋势选取对应的形变算子，检测到脸部轮廓，根据脸部轮廓对形变轮廓进行拟合得到拟合曲线，根据拟合曲线及形变轮廓比较对形变算子进行调整得到更新后的形变算子，根据更新后的形变算子对形变轮廓进行矫正可得到矫正后的脸部轮廓，提高了面部的成像效果，让戴眼镜的用户拍摄时得到较好的人像照片。眼部所在区域不包含脸部区域时，结束，可减少数据处理。

图4为一个实施例中戴眼镜用户拍照发生形变的示意图。如图4所示，因眼镜的屈光导致眼镜所在区域的脸部轮廓向内凹，如脸部轮廓42和脸部轮廓44两者存在断层，则脸部轮廓44表示形变轮廓。

图5为一个实施例中对图4中的脸部轮廓中形变区域进行拟合得到拟合曲线的示意图。如图5所示，对脸部轮廓42和脸部轮廓44之间的断层区域进行拟合得到拟合曲线46。根据拟合曲线46和脸部轮廓44可对选取的形变算子进行调整得到更新后的形变算子。根据更新后的形变算子对脸部轮廓44进行形变处理得到矫正的脸部轮廓。

此外，上述图像矫正方法可应用于照片编辑器中。在照片编辑器中采用该图像矫正方法对照片进行矫正。

图6为一个实施例中图像矫正装置的内部框图。如图6所示，一种图像矫正装置600，包括检测模块602、选取模块604、识别模块606、拟合模块608、调整模块610和矫正模块612。其中：

检测模块602检测图像中包含脸部的形变轮廓。

选取模块604用于判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子。

识别模块606用于识别所述图像中所述脸部的脸部轮廓。

拟合模块608用于根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线。

调整模块610用于根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子。

矫正模块612用于采用所述更新后的形变算子对所述形变轮廓进行形变处理。

本发明实施例中的图像矫正装置，通过检测到图像中包含脸部的形变轮廓，根据形变轮廓的形变趋势选取对应的形变算子，检测到脸部轮廓，根据脸部轮廓对形变轮廓进行拟合得到拟合曲线，根据拟合曲线及形变轮廓比较对形变算子进行调整得到更新后的形变算子，根据更新后的形变算子对形变轮廓进行矫正可得到矫正后的脸部轮廓，提高了面部的成像效果。

在一个实施例中，检测模块602还用于根据皮肤的颜色获取所述包含脸部的形变轮廓。

在一个实施例中，检测模块602还用于判断图像中是否存在眼镜，若是，则检测所述眼镜所在区域是否包含脸部，若是，则获取所述眼镜所在区域的面部轮廓，将所述眼镜所在区域的面部轮廓作为所述包含脸部的形变轮廓。

在一个实施例中，选取模块604还用于若判断所述形变轮廓的形变趋势为缩小，则选取第一形变算子；若判断所述形变轮廓的形变趋势为膨胀，则选取第二形变算子。

在一个实施例中，检测模块602还用于采用机器学习模型识别图像中包含脸部的形变轮廓。

上述图像矫正装置中各个模块的划分仅用于举例说明，在其他实施例中，可将推荐信息生成装置按照需要划分为不同的模块，以完成上述推荐信息生成装置的全部或部分功能。

本发明实施例还提供了一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的图像矫正方法。

本发明实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图7所示，图像处理电路包括ISP处理器740和控制逻辑器750。成像设备710捕捉的图像数据首先由ISP处理器740处理，ISP处理器740对图像数据进行分析以捕捉可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。成像设备710可包括具有一个或多个透镜712和图像传感器714的照相机。图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器740处理的一组原始图像数据。传感器720可基于传感器720接口类型把原始图像数据提供给ISP处理器740。传感器720接口可以利用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

ISP处理器740按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器740还可从图像存储器730接收像素数据。例如，从传感器720接口将原始像素数据发送给图像存储器730，图像存储器730中的原始像素数据再提供给ISP处理器740以供处理。图像存储器730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器720接口或来自图像存储器730的原始图像数据时，ISP处理器740可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器730，以便在被显示之前进行另外的处理。还可直接从ISP处理器740接收“前端”处理数据，或从图像存储器730接收“前端”处理数据，并对“前端”处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器770，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器740的输出还可发送给图像存储器730，且显示器770可从图像存储器730读取图像数据。在一个实施例中，图像存储器730可被配置为实现一个或多个帧缓冲器。此外，ISP处理器740的输出可发送给编码器/解码器760，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器770设备上之前解压缩。

ISP处理器740处理图像数据的步骤包括：对图像数据进行VFE(Video Front End，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器740处理后的图像数据可发送给美颜模块760，以便在被显示之前对图像进行美颜处理。美颜模块760对图像数据美颜处理可包括：美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中，美颜模块760可为移动终端中CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)等。美颜模块760处理后的数据可发送给编码器/解码器770，以便编码/解码图像数据。编码的图像数据可被保存，并在显示与显示器780设备上之前解压缩。

ISP处理器740确定的统计数据可发送给控制逻辑器750单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜712阴影校正等图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备710的控制参数以及的控制参数。例如，控制参数可包括传感器720控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜712阴影校正参数。

通过图7中图像处理技术中处理器实现上述图像矫正方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像矫正方法，其特征在于，包括：

检测图像中包含脸部的形变轮廓；

判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子；

识别所述图像中所述脸部的脸部轮廓；

根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线；

根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子；

采用所述更新后的形变算子对所述形变轮廓进行形变处理。

2.根据权利要求1所述的方法，其特征在于，所述检测图像中包含脸部的形变轮廓包括：

根据皮肤的颜色获取所述包含脸部的形变轮廓。

3.根据权利要求1所述的方法，其特征在于，所述检测图像中包含脸部的形变轮廓包括：

判断图像中是否存在眼镜，若是，则检测所述眼镜所在区域是否包含脸部，若是，则获取所述眼镜所在区域的面部轮廓，将所述眼镜所在区域的面部轮廓作为所述包含脸部的形变轮廓。

4.根据权利要求1所述的方法，其特征在于，所述判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子包括：

若判断所述形变轮廓的形变趋势为缩小，则选取第一形变算子；若判断所述形变轮廓的形变趋势为膨胀，则选取第二形变算子。

5.根据权利要求1所述的方法，其特征在于，所述检测图像中包含脸部的形变轮廓包括：

采用机器学习模型识别图像中包含脸部的形变轮廓。

6.一种图像矫正装置，其特征在于，包括：

检测模块，检测图像中包含脸部的形变轮廓；

选取模块，用于判断所述形变轮廓的形变趋势，根据所述形变趋势选取对应的形变算子；

识别模块，用于识别所述图像中所述脸部的脸部轮廓；

拟合模块，用于根据所述脸部轮廓对所述脸部的形变轮廓进行曲线拟合得到拟合曲线；

调整模块，用于根据所述拟合曲线及所述形变轮廓对所述形变算子进行调整得到更新后的形变算子；

矫正模块，用于采用所述更新后的形变算子对所述形变轮廓进行形变处理。

7.根据权利要求6所述的装置，其特征在于，所述检测模块还用于根据皮肤的颜色获取所述包含脸部的形变轮廓。

8.根据权利要求6所述的装置，其特征在于，所述检测模块还用于判断图像中是否存在眼镜，若是，则检测所述眼镜所在区域是否包含脸部，若是，则获取所述眼镜所在区域的面部轮廓，将所述眼镜所在区域的面部轮廓作为所述包含脸部的形变轮廓。

9.根据权利要求6所述的装置，其特征在于，所述选取模块还用于若判断所述形变轮廓的形变趋势为缩小，则选取第一形变算子；若判断所述形变轮廓的形变趋势为膨胀，则选取第二形变算子。

10.根据权利要求6所述的方法，其特征在于，所述检测模块还用于采用机器学习模型识别图像中包含脸部的形变轮廓。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的图像矫正方法。

12.一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的图像矫正方法。