CN109712080A - 图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

一种图像处理方法、图像处理装置及存储介质，该图像处理方法包括：将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。该图像处理方法可以调整图像中的人脸的脸型、五官形状和分布，可适应多个拍摄角度，解决了二维空间中人脸的对齐问题，并且无需手动调节参数，可有效提升图像中的人脸颜值。

Description

图像处理方法、图像处理装置及存储介质

技术领域

本公开的实施例涉及一种图像处理方法、图像处理装置及存储介质。

背景技术

人脸美颜是许多手机拍照软件的一个常用功能，美颜算法通常可以实现大眼瘦脸、调节肤色、磨皮美白、祛斑祛痘、淡化黑眼圈、瘦鼻等功能。例如，通过美颜算法将包括人脸的图片进行处理，处理之后的图片即可实现美颜的效果。这些图片可以是通过手机摄像头采集的图片或通过其他方式获得的图片。

发明内容

本公开至少一个实施例提供一种图像处理方法，包括：将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。

例如，在本公开一实施例提供的图像处理方法中，将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数，包括：获取并根据所述待处理人脸的混合系数和所述参考人脸的混合系数，得到所述目标人脸的混合系数，其中，所述混合系数包括形状系数、表情系数和投影系数。

例如，在本公开一实施例提供的图像处理方法中，获取并根据所述待处理人脸的混合系数和所述参考人脸的混合系数，得到所述目标人脸的混合系数，包括：对所述待处理图像中的所述待处理人脸执行三维拟合，得到所述待处理人脸的混合系数；获取所述参考人脸的混合系数；将所述待处理人脸的混合系数与所述参考人脸的混合系数融合，得到所述目标人脸的混合系数。

例如，在本公开一实施例提供的图像处理方法中，对所述待处理图像中的所述待处理人脸执行三维拟合，得到所述待处理人脸的混合系数，包括：对所述待处理图像执行人脸检测，得到所述待处理人脸的二维关键点；基于所述待处理人脸的二维关键点和所述待处理图像，执行所述三维拟合，得到所述待处理人脸的混合系数。

例如，在本公开一实施例提供的图像处理方法中，所述三维拟合包括三维人脸模型拟合或基于深度学习的三维拟合。

例如，在本公开一实施例提供的图像处理方法中，基于所述待处理人脸的二维关键点和所述待处理图像，执行所述三维拟合，得到所述待处理人脸的混合系数，包括：根据所述待处理人脸的二维关键点、所述待处理图像和三维人脸模型数据库，执行三维人脸模型拟合，得到所述待处理人脸的混合系数，其中，所述三维人脸模型数据库包括多个形状基和多个表情基，以及还包括每个基的三维点的坐标和每个基的三维关键点。

例如，在本公开一实施例提供的图像处理方法中，所述待处理人脸的混合系数包括第一形状系数、第一表情系数和第一投影系数，所述参考人脸的混合系数包括第二形状系数、第二表情系数和第二投影系数，所述目标人脸的混合系数包括第三形状系数、第三表情系数和第三投影系数，将所述待处理人脸的混合系数与所述参考人脸的混合系数融合，得到所述目标人脸的混合系数，包括：将所述第二形状系数作为所述第三形状系数，将所述第一表情系数作为所述第三表情系数，将所述第一投影系数作为所述第三投影系数。

例如，在本公开一实施例提供的图像处理方法中，获取所述参考人脸的混合系数，包括：对包含所述参考人脸的图像执行人脸检测，得到所述参考人脸的二维关键点；基于所述参考人脸的二维关键点和包含所述参考人脸的图像，执行所述三维拟合，得到所述参考人脸的混合系数。

例如，在本公开一实施例提供的图像处理方法中，获取所述参考人脸的混合系数，包括：从参考人脸数据库中获取所述参考人脸的混合系数，其中，所述参考人脸数据库包括至少一个参考人脸以及每个所述参考人脸的混合系数。

例如，在本公开一实施例提供的图像处理方法中，根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像，包括：根据所述目标人脸的混合系数得到所述目标人脸的三维关键点，其中，所述混合系数包括形状系数、表情系数和投影系数；根据所述目标人脸的三维关键点，利用所述目标人脸的混合系数的投影系数，得到所述目标人脸的二维关键点；根据所述目标人脸的二维关键点，对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像。

例如，在本公开一实施例提供的图像处理方法中，根据所述目标人脸的混合系数得到所述目标人脸的三维关键点，包括：采用下述公式，利用三维人脸模型数据库，得到所述目标人脸的三维点的坐标，并从所述目标人脸的三维点中选取所述目标人脸的三维关键点：

其中，所述三维人脸模型数据库包括多个形状基和多个表情基，以及还包括每个基的三维点的坐标和每个基的三维关键点，X_i表示所述目标人脸的三维点的坐标，表示所述目标人脸的混合系数中与第s个形状基对应的形状系数，N_s表示所述三维人脸模型数据库中的形状基的数量，表示所述三维人脸模型数据库中的第s个形状基的三维点的坐标，表示所述目标人脸的混合系数中与第k个表情基对应的表情系数，N_k表示所述三维人脸模型数据库中的表情基的数量，表示所述三维人脸模型数据库中的第k个表情基的三维点的坐标，i表示三维点的序号。

例如，在本公开一实施例提供的图像处理方法中，根据所述目标人脸的三维关键点，利用所述目标人脸的混合系数的投影系数，得到所述目标人脸的二维关键点，包括：采用下述公式，得到所述目标人脸的二维关键点：

其中，z_c表示所述目标人脸的三维关键点到图像平面的深度，u和v表示所述目标人脸的二维关键点的坐标，R和T表示相机外部参数，所述相机外部参数包括三维空间旋转变换矩阵，x、y和z表示所述目标人脸的三维关键点的坐标，K表示相机内部参数，且α_x和α_y表示镜头焦距，γ表示斜向形变参数。

例如，在本公开一实施例提供的图像处理方法中，根据所述目标人脸的二维关键点，对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像，包括：将所述目标人脸的二维关键点作为控制点，利用网格变形算法和图像形变算法对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像。

例如，在本公开一实施例提供的图像处理方法中，所述投影系数包括相机参数，所述相机参数包括相机内部参数和相机外部参数。

本公开至少一个实施例还提供一种图像处理装置，包括：人脸融合单元，配置为将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；图像变形单元，配置为根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。

本公开至少一个实施例还提供一种图像处理装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于实现本公开任一实施例所述的图像处理方法的指令。

本公开至少一个实施例还提供一种存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行实现本公开任一实施例所述的图像处理方法的指令。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开一实施例提供的一种图像处理方法的示意性流程图；

图2为本公开一实施例提供的另一种图像处理方法的示意性流程图；

图3为本公开一实施例提供的一种图像处理方法中步骤S11的流程图；

图4为本公开一实施例提供的一种图像处理方法中步骤S111的流程图；

图5为人脸的二维关键点的示意图；

图6为人脸三维模型的示意图；

图7为本公开一实施例提供的一种图像处理方法中步骤S20的流程图；

图8为本公开一实施例提供的一种图像处理方法的具体流程图；

图9为图8所示的图像处理方法中各个人脸及各个混合系数的示意图；

图10为生成的形变网格的示意图；

图11为利用本公开一实施例提供的图像处理方法对图像进行处理的效果图；

图12为本公开一实施例提供的一种图像处理装置的示意框图；

图13为本公开一实施例提供的另一种图像处理装置的示意框图；以及

图14为本公开一实施例提供的一种存储介质的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

通常的美颜算法，例如可实现大眼瘦脸、调节肤色、磨皮美白、祛斑祛痘、淡化黑眼圈、瘦鼻等功能的算法，可以在一定程度上实现美颜效果，但是也存在一些局限。例如，通常的美颜算法是通过改变图像平面(二维空间)的人脸关键点并进行形变，当图像中的人脸为侧视、俯视、仰视等拍摄角度时，通常的美颜算法难以适用，不能适应多个拍摄角度。又例如，在通常的美颜算法中，需要用户手动调节许多参数，并且不同的脸型的调节程度均不相同，因此操作复杂，影响了用户体验。再例如，通常的美颜算法难以调节所有的五官间距。上述问题均对美颜效果造成影响，使得对人脸的美化效果有限。

本公开至少一实施例提供一种图像处理方法、图像处理装置及存储介质，该图像处理方法将人脸在三维空间中对齐，可以调整图像中的人脸的脸型、五官形状和分布，可适应多个拍摄角度，因此解决了二维空间中人脸的对齐问题，并且无需手动调节参数，可有效提升图像中的人脸颜值。

下面，将参考附图详细地说明本公开的实施例。应当注意的是，不同的附图中相同的附图标记将用于指代已描述的相同的元件。

本公开至少一实施例提供一种图像处理方法，该图像处理方法包括：将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。

图1为本公开一实施例提供的一种图像处理方法的示意性流程图。如图1所示，该图像处理方法包括以下步骤：

步骤S10：将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据待处理人脸的信息得到目标人脸的混合系数；

步骤S20：根据目标人脸的混合系数，对待处理图像中的待处理人脸执行人脸变形处理以得到包括目标人脸的输出图像。

例如，在步骤S10中，待处理图像可以为包含人脸的各种图像，例如人物图像等。待处理图像例如可以为灰度图像，也可以为彩色图像。例如，待处理图像可以通过适当的图像采集装置获取。该图像采集装置可以为数码相机、智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、网络摄像头、监控摄像头或其他适用的部件，本公开的实施例对此不作限定。

例如，待处理图像可以是图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。例如，在步骤S10之前，本公开的实施例提供的图像处理方法还可以包括对待处理图像进行预处理的操作，以便于检测待处理图像中的待处理人脸的脸部区域。预处理可以消除待处理图像中的无关信息或噪声信息，以便于更好地对待处理图像进行后续的人脸检测。例如，在待处理图像是图片的情况下，上述预处理可以包括对图片进行图像缩放、压缩或格式转换、色域转换、伽玛(Gamma)校正、图像增强或降噪滤波等处理；在待处理图像是视频的情况下，上述预处理可以包括提取视频的关键帧等处理。

例如，待处理人脸为需要进行处理的人脸，即需要进行美颜处理的人脸。例如，待处理图像中可以包括一个或多个待处理人脸，该图像处理方法可以对待处理图像中的一个或多个待处理人脸进行美颜。

例如，在一个示例中，参考人脸可以为预先采集的人脸图像，并被存储在参考人脸数据库中，以在执行该图像处理方法时供用户查询和获取。例如，在执行该图像处理方法之前，预先建立上述参考人脸数据库，在每次执行该图像处理方法时，可以通过参考人脸数据库进行查询，以获取需要的参考人脸。该参考人脸数据库可以采用适当的数据库形式，例如关系型数据库或非关系性数据库，例如可以与实现本公开实施例的图像处理方法的程序运行在同一计算机中，或单独运行在局域网中的数据库服务器上，或运行在互联网中的数据库服务器(例如云服务器)上等。例如，该参考人脸数据库在构建完成后可以随时进行补充和完善，以使本公开实施例提供的图像处理方法的美颜效果更好。例如，在另一个示例中，参考人脸也可以为用户在使用该图像处理方法时输入的图像，这样可以使参考人脸更符合目标用户的审美。例如，参考人脸通常包含了较佳的五官信息，例如，较佳的五官大小、形状、间距等。例如，参考人脸具有较高的颜值，即更符合目标观众(群体)的审美观，该目标观众可以是某个地区内的观众、某种文化背景的观众、某种职业的观众等。例如，参考人脸可以包括男性人脸和女性人脸。

例如，待处理人脸的信息是指待处理图像中待处理人脸的脸型、五官形状和分布、表情、拍摄角度等信息，参考人脸的信息是指在包含参考人脸的图像中参考人脸的脸型、五官形状和分布、表情、拍摄角度等信息。将待处理人脸的信息和参考人脸的信息在例如选定的三维空间中融合，也即，将待处理人脸和参考人脸在该三维空间中对齐，并借助参考人脸的信息对待处理人脸的信息进行优化和调整，以提升待处理人脸的颜值。该三维空间可以通过选择原点以及x、y、z轴的方向来确定，本公开的实施例对三维空间的具体设定方式不作限制。

例如，目标人脸为对待处理人脸进行美化后的人脸，也即，用户希望得到并呈现的人脸。目标人脸既具有待处理人脸的特征(例如表情、拍摄角度等)，又具有参考人脸的特征(例如脸型、五官形状和分布等)。目标人脸的混合系数是一组对应于选定的三维空间的参数，关于该混合系数，将在后文中进行详细说明。

例如，在步骤S20中，根据目标人脸的混合系数，将待处理图像进行变形处理，以美化待处理人脸，从而得到包含目标人脸的输出图像。在输出图像中，目标人脸的脸型、五官形状和分布等特征已根据参考人脸的信息而得到优化，并且保留了待处理人脸的表情、拍摄角度等信息，因此实现了对待处理人脸的美颜效果。例如，可以采用通常的网格变形算法和图像形变算法来对待处理图像进行变形处理，从而得到输出图像。

由于该图像处理方法将待处理人脸和参考人脸在三维空间中对齐并进行融合，从而解决了二维空间中人脸的对齐问题，可以适应多个拍摄角度，不受待处理人脸的表情、拍摄角度和姿态的影响。该图像处理方法可以对全脸进行整体形变优化，并保持局部形状。该图像处理方法可以调整图像中的人脸的脸型、五官形状和分布，并且无需手动调节参数，可有效提升图像中的人脸颜值。

例如，该图像处理方法可应用于各种电子设备中，例如手机、平板电脑、笔记本电脑、桌面电脑、数码相机等任何设备，也可以应用于任意的电子设备及硬件的组合中。该图像处理方法可以通过硬件、软件或硬件与软件的组合来实现，本公开的实施例对此不作限制。该图像处理方法可以对电子设备采集的图像或接收的图像进行处理，以实现美颜效果。例如，该图像处理方法还可以以分布式的方式部署在服务器端(或云端)和个人终端处。例如，可以由个人终端获取待处理图像并将待处理图像通过通信网络传送给服务器端(或云端)，由服务器端(或云端)执行三维空间中的人脸融合以及图像变形处理，并将包含目标人脸的图像传送给个人终端，由个人终端输出(例如显示或存储)。

图2为本公开一实施例提供的另一种图像处理方法的示意性流程图。如图2所示，图1中的步骤S10可以包括以下步骤：

步骤S11：获取并根据待处理人脸的混合系数和参考人脸的混合系数，得到目标人脸的混合系数。

例如，在步骤S11中，混合系数是一组对应于选定的三维空间的参数，包括形状系数、表情系数和投影系数。形状系数、表情系数和投影系数各自分别为一组系数。同样地，该实施例对于三维空间的具体设定形式不作限制。混合系数包含了相应的人脸信息，利用混合系数可以在三维空间中构建出相应的人脸。将待处理人脸的混合系数和参考人脸的混合系数进行处理以得到目标人脸的混合系数，相当于在三维空间中将待处理人脸和参考人脸进行融合，两者可以在三维空间中对齐，从而避免融合效果受待处理人脸和参考人脸的拍摄角度的影响。目标人脸的混合系数包含了目标人脸的脸型、五官形状和分布、表情、拍摄角度等信息，相比于待处理人脸，利用目标人脸的混合系数在三维空间中构建出的目标人脸的颜值得到提升。

例如，图2中的步骤S20与图1中的步骤S20相同，此处不再赘述。

图3为本公开一实施例提供的一种图像处理方法中步骤S11的流程图。如图3所示，图2中的步骤S11可以包括以下步骤：

步骤S111：对待处理图像中的待处理人脸执行三维拟合，得到待处理人脸的混合系数；

步骤S112：获取参考人脸的混合系数；

步骤S113：将待处理人脸的混合系数与参考人脸的混合系数融合，得到目标人脸的混合系数。

例如，在步骤S111中，三维拟合可以包括通常的三维人脸模型拟合或基于深度学习的三维拟合，也即是，可以采用上述三维拟合的方法对待处理人脸进行处理，以提取待处理人脸的信息并对待处理人脸进行三维构建，得到待处理人脸的混合系数。例如，在一个示例中，如图4所示，步骤S111可以包括以下步骤：

步骤S1111：对待处理图像执行人脸检测，得到待处理人脸的二维关键点；

步骤S1112：基于待处理人脸的二维关键点和待处理图像，执行三维拟合，得到待处理人脸的混合系数。

例如，在步骤S1111中，人脸检测可以采用基于模板的方法、基于模型的方法或人工神经网络方法等实现。基于模板的方法例如可以包括特征脸方法、线性判别分析方法、奇异值分解方法、动态连接匹配方法等。基于模型的方法例如可以包括隐马尔科夫模型、主动形状模型和主动外观模型等方法。人工神经网络方法例如可以包括卷积神经网络(Convolutional Neural Network,CNN)等。例如，人脸检测还可以采用本领域现有的或将来出现的其他人脸检测方法。

例如，可以采用通常的关键点检测算法来得到二维关键点，也可以采用机器学习算法进行训练而获得关键点检测算法以得到二维关键点。例如，可预先收集大量的人脸图像(例如10,000张或更多人脸图像)，再以人工方式标注出每张人脸图像中的二维关键点。然后，采用机器学习算法(例如深度学习算法或基于局部特征的回归算法等)对人工神经网络进行训练，从而得到关键点检测算法。

例如，二维关键点是指人脸在二维空间中的关键点(即在图像平面中的关键点)。例如，二维关键点可以为脸部的一些表征能力强的关键点，例如，眼睛、眼角、眉毛、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等关键点。

例如，图5所示的示例中以女性人脸为待处理人脸，通过人脸检测可以得到多个二维关键点，这些二维关键点包括眼睛外轮廓、眉毛外轮廓、鼻尖、鼻孔、嘴巴外轮廓、人脸外轮廓等。需要说明的是，本公开的至少一个实施例中，二维关键点所代表的人脸部位不受限制，可以提取表示眼睛、眉毛、鼻子、嘴巴等五官的任意一个或多个关键点，还可以提取表示颧骨位置、人脸外轮廓的关键点，这可以根据需要实现的美颜效果而定，本公开的实施例对此不作限制。二维关键点的数量也不受限制，可以为63、81、83、109等任意个数，二维关键点的数量例如可以根据运算能力、检测精度而定。

在步骤S1112中，执行三维拟合时，可以采用通常的三维人脸模型拟合算法。例如，在一个示例中，根据待处理人脸的二维关键点、待处理图像和三维人脸模型数据库，采用三维人脸模型拟合算法，从而可以得到待处理人脸的混合系数。例如，将待处理人脸的二维关键点和待处理图像作为该算法的输入，该算法的输出则为待处理人脸的混合系数。

例如，三维人脸模型数据库可以采用开源的数据库，也可以特别地为实施该图像处理方法而建立，本公开的实施例对此不作限制。例如，三维人脸模型数据库包括多个三维人脸模型，三维人脸模型如图6所示，多个三维人脸模型对应不同的人物、脸型以及表情等。将每个三维人脸模型称为一个“基”，每个基包括多个三维点的坐标。三维人脸模型数据库包括两类基，例如包括多个形状基和多个表情基。形状基和表情基的数量不受限制，可以为任意个数。三维人脸模型数据库还包括每个基的三维点的坐标和每个基的三维关键点。

例如，三维关键点是指人脸在三维空间中的关键点(即在三维人脸模型中的关键点)。例如，三维关键点可以为脸部的一些表征能力强的关键点，例如，眼睛、眼角、眉毛、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等关键点。需要说明的是，三维关键点和前述的二维关键点可以表示相同的人脸部位，且多个三维关键点可以与多个二维关键点一一对应。这里，“三维”和“二维”表示关键点所处的空间维度不同，并不构成对“关键点”本身的含义的限制。同样地，该三维空间的x、y轴也可以与该二维空间的x、y轴对齐，或不对齐；如果不对齐，例如可以通过相应的转换矩阵进行计算得到。在本公开的实施例中，为了简化起见，以该三维空间的x、y轴也可以与该二维空间的x、y轴对齐为例进行说明。

在利用三维人脸模型拟合算法进行计算时，在输出待处理人脸的混合系数的同时，还可以输出待处理人脸的三维模型。该三维模型通常是一组固定数量的三维点，求解范围通常是三维人脸模型数据库中的多个三维人脸模型的线性混合。该三维模型中的第i个三维点可以表示为：

其中，P_i表示待处理人脸的三维点的坐标，i表示三维点的序号，表示待处理人脸的混合系数中与第s个形状基对应的形状系数，N_s表示三维人脸模型数据库中的形状基的数量，表示三维人脸模型数据库中的第s个形状基的三维点的坐标，表示待处理人脸的混合系数中与第k个表情基对应的表情系数，N_k表示三维人脸模型数据库中的表情基的数量，表示三维人脸模型数据库中的第k个表情基的三维点的坐标。该三维模型还原了待处理人脸的脸部深度。

根据上述公式可知，待处理人脸的三维模型由N_s个形状基和N_k个表情基混合而成。结合三维人脸模型数据库，利用混合系数中的形状系数和表情系数，即可以完整地恢复出三维模型中三维点的坐标。待处理人脸的三维模型与三维人脸模型数据库中的各个基的坐标都在模型空间中，即都对齐x、y、z坐标轴，以便于在后续处理时不会受待处理人脸的拍摄角度的影响。

例如，执行三维人脸模型拟合算法时，还可以输出投影系数。投影系数例如包括相机参数，相机参数包括相机内部参数和相机外部参数。例如，相机参数是三维重建领域中的概念，可以为用相机成像模型把三维点投影到二维平面的投影过程中的矩阵，例如视角变换矩阵。例如，根据投影系数，可以将人脸的三维模型投影到二维平面上，从而还原图像中的拍摄角度。

在本公开的实施例中，混合系数包括形状系数、表情系数和投影系数。形状系数为对应于三维人脸模型数据库中的每个形状基的每个三维点的一组数，包含人脸的脸型、五官形状和分布等信息。表情系数为对应于三维人脸模型数据库中的每个表情基的每个三维点的一组数，包含人脸的表情等信息。投影系数为三维重建领域中的多个参数和多个矩阵，包含人脸的拍摄角度等信息。因此，混合系数包含了人脸的脸型、五官形状和分布、表情、拍摄角度等信息。对待处理人脸的混合系数和参考人脸的混合系数进行处理，可以实现待处理人脸和参考人脸的脸型、五官形状和分布、表情、拍摄角度等信息的融合。

需要说明的是，本公开的实施例中，在步骤S1112中，只需要得到待处理人脸的混合系数，以便于后续步骤的计算，而待处理人脸的三维模型及各个三维点的坐标可以不进行输出或存储。上文中描述的待处理人脸的三维模型及各个三维点的坐标仅是为了更好地说明混合系数的意义和作用，而不代表该图像处理方法必须使用待处理人脸的三维模型及各个三维点的坐标。

需要说明的是，本公开的实施例中，关于三维人脸模型拟合算法的详细内容可以参考常规设计，此处不再详述。执行三维拟合的算法不限于三维人脸模型拟合算法，也可以为基于深度学习的三维拟合算法或其他适用的算法，本公开的实施例对此不作限制。三维人脸模型数据库可以采用开源的数据库，也可以特别地为实施该图像处理方法而建立，本公开的实施例对此不作限制。

例如，如图3所示，在步骤S112中，获取参考人脸的混合系数的方式不受限制。例如，在一个示例中，可以采用上述三维拟合的方法对参考人脸进行处理，以得到参考人脸的混合系数。例如，获取参考人脸的混合系数的具体步骤为：对包含参考人脸的图像执行人脸检测，得到参考人脸的二维关键点；基于参考人脸的二维关键点和包含参考人脸的图像，执行三维拟合，得到参考人脸的混合系数。上述步骤与图4所示的步骤S1111和S1112类似，可以参考相关描述，此处不再赘述。例如，在另一个示例中，可以在实施该图像处理方法之前，采用上述三维拟合的方法对参考人脸进行处理，并将得到的参考人脸的混合系数存储于参考人脸数据库中，在实施该图像处理方法时，可以直接从参考人脸数据库中查询和获取，以提高运算效率。例如，参考人脸数据库包括至少一个参考人脸以及每个参考人脸的混合系数。例如，参考人脸数据库可以由用户在至少一个参考人脸中选择希望使用的参考人脸。需要注意的是，需要采用同一种三维拟合的方法来对参考人脸和待处理人脸进行处理，以使得到的参考人脸的混合系数和待处理人脸的混合系数具有对应性，从而便于两者的融合。

例如，在步骤S113中，将待处理人脸的混合系数与参考人脸的混合系数融合，以得到目标人脸的混合系数。例如，待处理人脸的混合系数包括第一形状系数、第一表情系数和第一投影系数，参考人脸的混合系数包括第二形状系数、第二表情系数和第二投影系数，目标人脸的混合系数包括第三形状系数、第三表情系数和第三投影系数。示例性的具体的融合操作包括：将第二形状系数作为第三形状系数，将第一表情系数作为第三表情系数，将第一投影系数作为第三投影系数。由此，可以得到目标人脸的混合系数。目标人脸的混合系数包含目标人脸的信息，目标人脸的信息包含了待处理人脸的表情、拍摄角度等信息，同时包含了参考人脸的脸型、五官形状和分布等信息，从而相比于待处理人脸具有更高的颜值。

待处理人脸的混合系数对应于待处理人脸的三维模型，参考人脸的混合系数对应于参考人脸的三维模型，待处理人脸的三维模型和参考人脸的三维模型都对齐x、y、z坐标轴。由此，将待处理人脸的混合系数和参考人脸的混合系数融合时，相当于将待处理人脸和参考人脸在三维空间中对齐，从而解决了二维空间中人脸的对齐问题，使得该图像处理算法不受图像的拍摄角度的影响，适用范围广，且美颜效果好。

图7为本公开一实施例提供的一种图像处理方法中步骤S20的流程图。如图7所示，图1或图2中的步骤S20可以包括以下步骤：

步骤S201：根据目标人脸的混合系数得到目标人脸的三维关键点；

步骤S202：根据目标人脸的三维关键点，利用目标人脸的混合系数的投影系数，得到目标人脸的二维关键点；

步骤S203：根据目标人脸的二维关键点，对待处理图像中的待处理人脸执行人脸变形处理以得到输出图像。

例如，在步骤S201中，可以采用下述公式，利用三维人脸模型数据库，计算得到目标人脸的三维点的坐标。例如，可以仅计算与各个基的三维关键点对应的目标人脸的三维点，并从这些计算得到的三维点中选取目标人脸的三维关键点(例如，将这些计算得到的三维点作为目标人脸的三维关键点)。计算公式可以表示为：

其中，X_i表示目标人脸的三维点的坐标，i表示三维点的序号，表示目标人脸的混合系数中与第s个形状基对应的形状系数，N_s表示三维人脸模型数据库中的形状基的数量，表示三维人脸模型数据库中的第s个形状基的三维点的坐标，表示目标人脸的混合系数中与第k个表情基对应的表情系数，N_k表示三维人脸模型数据库中的表情基的数量，表示三维人脸模型数据库中的第k个表情基的三维点的坐标。例如，关于该计算公式的详细说明可以参考前述内容中关于待处理人脸的三维模型和混合系数的描述，此处不再赘述。

例如，在步骤S202中，可以采用下述公式，计算得到目标人脸的二维关键点。计算公式可以表示为：

其中，z_c表示目标人脸的三维关键点到图像平面的深度，u和v表示目标人脸的二维关键点的坐标，R和T表示相机外部参数，相机外部参数包括三维空间旋转变换矩阵，x、y和z表示目标人脸的三维关键点的坐标。K表示相机内部参数，且α_x和α_y表示镜头焦距，γ表示斜向形变参数。例如，目标人脸的混合系数中的投影系数包括上述的相机内部参数K以及相机外部参数R和T。由于目标人脸的混合系数中的投影系数等于待处理人脸的混合系数中的投影系数，因此目标人脸的三维关键点可以投影到待处理图像中，以得到目标人脸的二维关键点。例如，关于各个参数的说明可以参考常规设计，此处不再详述。

例如，在步骤S203中，可以将目标人脸的二维关键点作为目标控制点，将待处理人脸的二维关键点作为源控制点，将待处理图像均匀分成网格。例如，还可以添加图像边缘的采样点并保持位置不变。利用通常的网格变形算法驱动所有的网格顶点，从而得到新的网格。例如，可以使用薄板样条插值(Thin Plate Spline，TPS)方法，也可以采用保持局部形状的As Similar As Possible Warp(ASAP)算法，以实现更自然的形变效果。然后，采用图像形变算法，将网格中的每一个方格剖分为两个三角形，用形变前后三角形的坐标对图像纹理进行渲染。例如，可以在图形处理器(Graphics Processing Unit，GPU)上并行处理以快速计算出结果。当然，本公开的实施例不限于此，也可以在中央处理器(CentralProcessing Unit，CPU)上运算实现，或采用其他处理器运算实现。图像被扭曲后，即可以得到包括目标人脸的输出图像。目标人脸的脸型、五官形状和分布等特征得到了优化和调整，其颜值高于待处理人脸，从而实现了面部整形和美颜效果。

图8为本公开一实施例提供的一种图像处理方法的具体流程图，图9为图8所示的图像处理方法中各个人脸及各个混合系数的示意图，图10为生成的形变网格的示意图，图11为利用本公开一实施例提供的图像处理方法对图像进行处理的效果图。下面结合图8-11，对该图像处理方法的具体流程进行说明。

例如，在一个示例中，如图8和图9所示，首先对待处理图像执行人脸检测，以得到待处理图像中待处理人脸的二维关键点Imk。将待处理人脸的二维关键点Imk和待处理图像作为输入，采用三维人脸模型拟合算法，得到待处理人脸的混合系数ω^s'、ω^k'和Vi'，其中，ω^s'、ω^k'和Vi'分别表示待处理人脸的混合系数中的形状系数、表情系数和投影系数。然后，从参考人脸数据库获取参考人脸的混合系数ω^s”、ω^k”和Vi”，或者对包含参考人脸的图像执行人脸检测和三维人脸模型拟合以得到参考人脸的混合系数ω^s”、ω^k”和Vi”，其中，ω^s”、ω^k”和Vi”分别表示参考人脸的混合系数中的形状系数、表情系数和投影系数。将待处理人脸和参考人脸在三维空间中融合，例如，将待处理人脸的混合系数中的表情系数ω^k'和投影系数Vi'作为目标人脸的混合系数中的表情系数和投影系数，将参考人脸的混合系数中的形状系数ω^s”作为目标人脸的混合系数中的形状系数，从而得到目标人脸的混合系数ω^s”、ω^k'和Vi'。利用目标人脸的混合系数ω^s”、ω^k'和Vi'，可以结合三维人脸模型数据库得到目标人脸的三维关键点。然后，利用目标人脸的混合系数中的投影系数Vi'，将目标人脸的三维关键点投影到二维平面中，以得到目标人脸的二维关键点。根据目标人脸的二维关键点和待处理人脸的二维关键点Imk，采用网格变形算法生成如图10所示的形变网格。最后，采用图像形变算法对待处理图像进行处理，从而得到输出图像。

需要说明的是，在上述具体流程中，无需手动调节任何参数，只需选择或提供参考人脸即可，简单便捷。例如，也可以默认设置参考人脸，从而省略选择或提供参考人脸的步骤，使得整个流程无需用户干预，有助于提高用户体验。

如图11所示，图(1)和图(2)为第一待处理人脸处理前后的效果图，所使用的参考人脸为图(3)；图(4)和图(5)为第二待处理人脸处理前后的效果图，所使用的参考人脸为图(6)。由此可知，采用本公开实施例所述的图像处理方法，可以有效提升人脸颜值，且可以适应多个拍摄角度，不受人脸表情和姿态的影响。

需要说明的是，本公开的实施例中，图像处理方法的各个步骤的执行顺序不受限制，虽然上文以特定顺序描述了各个步骤的执行过程，但这并不构成对本公开实施例的限制。该图像处理方法中的各个步骤可以串行执行或并行执行，这可以根据实际需求而定。该图像处理方法还可以包括更多或更少的步骤，例如，为了达到更好的美颜效果而增加一些预处理步骤，或者将一些中间过程的数据存储并用于后续处理和计算，以省略一些相似的步骤。

本公开至少一实施例还提供一种图像处理装置，该图像处理装置可以调整图像中的人脸的脸型、五官形状和分布，可适应多个拍摄角度，解决了二维空间中人脸的对齐问题，并且无需手动调节参数，可有效提升图像中的人脸颜值。

图12为本公开一实施例提供的一种图像处理装置的示意框图。如图12所示，图像处理装置30可以包括人脸融合单元31和图像变形单元32。图像处理装置30例如与图像采集装置33信号连接，可以从图像采集装置33获取包含待处理人脸的待处理图像，该待处理图像可以为静态图片或视频等。图像处理装置30还与图像输出装置34信号连接，用于将处理得到的输出图像通过图像输出装置34输出，以用于显示或存储。

人脸融合单元31配置为将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据待处理人脸的信息得到目标人脸的混合系数。图像变形单元32配置为根据目标人脸的混合系数，对待处理图像中的待处理人脸执行人脸变形处理以得到包括目标人脸的输出图像。

例如，在一个示例中，人脸融合单元31可以包括参考人脸数据库。例如，在另一个示例中，如图12所示，参考人脸数据库40可以由另行设置的服务器提供，并通过有线、无线或类似的方式与之信号连接，图像处理装置30可以与该另行设置的服务器通信，以对参考人脸数据库40进行查询和信息获取。

例如，图像处理装置30可以应用于任何具有照相或摄像功能的电子设备中。电子设备例如可以为智能手机、平板电脑、笔记本电脑、桌面电脑、数码相机等。当然，本公开的实施例不限于此，图像处理装置30也可以应用于其他不具有照相或摄像功能的电子设备中。例如，图像处理装置30也可以为一独立的电子设备。

例如，人脸融合单元31和图像变形单元32可以为硬件、软件、固件以及它们的任意可行的组合。例如，人脸融合单元31和图像变形单元32可以为专用或通用的电路、芯片或装置等，也可以为处理器和存储器的结合。例如，在一个示例中，人脸融合单元31还可以包括信号接收装置(例如天线)、调制解调装置、存储装置等。关于人脸融合单元31和图像变形单元32的具体实现形式，本公开的实施例对此不作限制。

例如，待处理图像可以通过图像采集装置33获取，并传输至图像处理装置30中。图像采集装置33可以包括智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码相机或者网络摄像头等，例如也可以用于提供任意的图像资源，例如本地预存的图像文件、互联网上存储的图像文件等。图像输出装置34例如可以为显示屏、打印机、调制解调器等。

当上述图像处理装置30、图像采集装置33与图像输出装置34设置在同一设备之中时，它们之间可以通过系统总线彼此信号连接，以便快速传输数据。

需要说明的是，本公开的实施例中，图像处理装置30的各个单元与前述的图像处理方法的各个步骤对应，关于图像处理装置30的具体功能可以参考关于图像处理方法的相关描述，此处不再赘述。图12所示的图像处理装置30的组件和结构只是示例性的，而非限制性的，根据需要，该图像处理装置30还可以包括其他组件和结构。

图13为本公开一实施例提供的另一种图像处理装置的示意框图。如图13所示，图像处理装置50可以包括处理器51和存储器52。存储器52用于存储非暂时性计算机可读指令(例如一个或多个计算机程序模块)。处理器51用于运行非暂时性计算机可读指令，非暂时性计算机可读指令被处理器51运行时可以执行上文所述的图像处理方法中的一个或多个步骤。存储器52和处理器51可以通过总线系统和/或其它形式的连接机构(未示出)互连。

例如，存储器52和处理器51等可以设置在服务器端(或云端)。当然，本公开的实施例不限于此，存储器52和处理器51等也可以设置在图像采集端。

例如，处理器51可以是中央处理单元(CPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA)等；例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器51可以为通用处理器或专用处理器，可以控制图像处理装置50中的其它组件以执行期望的功能。

例如，存储器52可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器51可以运行一个或多个计算机程序模块，以实现图像处理装置50的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

例如，在一个示例中，参考人脸数据库40存储于其他装置中，例如服务器、云端存储等。当图像处理装置50工作时，可以通过通信网络(例如有线局域网、无线局域网、3G/4G/5G通信网络、蓝牙等)基于相应的通信协议读取参考人脸数据库40中存储的数据和信息。例如，通信协议可以为蓝牙通信协议、以太网、串行接口通信协议、并行接口通信协议等任意适用的通信协议，本公开的实施例对此不作限制。图像处理装置50可以通过有线或无线的方式与存储参考人脸数据库40的服务器通信。需要说明的是，本公开的实施例中，图像处理装置50的具体功能和技术效果可以参考上文中关于图像处理方法的描述，此处不再赘述。

本公开至少一实施例还提供一种存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行实现本公开任一实施例所述的图像处理方法的指令。利用该存储介质可以执行该图像处理方法，可以调整图像中的人脸的脸型、五官形状和分布，可适应多个拍摄角度，解决了二维空间中人脸的对齐问题，并且无需手动调节参数，可有效提升图像中的人脸颜值。

图14为本公开一实施例提供的一种存储介质的示意图。如图14所示，存储介质60用于存储非暂时性计算机可读指令61。例如，当非暂时性计算机可读指令61由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。

例如，该存储介质60可以应用于上述图像处理装置50中。例如，存储介质60可以为图13所示的图像处理装置50中的存储器52。例如，关于存储介质60的相关说明可以参考图13所示的图像处理装置50中的存储器52的相应描述，此处不再赘述。

有以下几点需要说明：

(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法，包括：

将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；

根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。

2.根据权利要求1所述的图像处理方法，其中，将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数，包括：

获取并根据所述待处理人脸的混合系数和所述参考人脸的混合系数，得到所述目标人脸的混合系数，

其中，所述混合系数包括形状系数、表情系数和投影系数。

3.根据权利要求2所述的图像处理方法，其中，获取并根据所述待处理人脸的混合系数和所述参考人脸的混合系数，得到所述目标人脸的混合系数，包括：

对所述待处理图像中的所述待处理人脸执行三维拟合，得到所述待处理人脸的混合系数；

获取所述参考人脸的混合系数；

将所述待处理人脸的混合系数与所述参考人脸的混合系数融合，得到所述目标人脸的混合系数。

4.根据权利要求3所述的图像处理方法，其中，对所述待处理图像中的所述待处理人脸执行三维拟合，得到所述待处理人脸的混合系数，包括：

对所述待处理图像执行人脸检测，得到所述待处理人脸的二维关键点；

基于所述待处理人脸的二维关键点和所述待处理图像，执行所述三维拟合，得到所述待处理人脸的混合系数。

5.根据权利要求4所述的图像处理方法，其中，所述三维拟合包括三维人脸模型拟合或基于深度学习的三维拟合。

6.根据权利要求4所述的图像处理方法，其中，基于所述待处理人脸的二维关键点和所述待处理图像，执行所述三维拟合，得到所述待处理人脸的混合系数，包括：

根据所述待处理人脸的二维关键点、所述待处理图像和三维人脸模型数据库，执行三维人脸模型拟合，得到所述待处理人脸的混合系数，

其中，所述三维人脸模型数据库包括多个形状基和多个表情基，以及还包括每个基的三维点的坐标和每个基的三维关键点。

7.根据权利要求3所述的图像处理方法，其中，所述待处理人脸的混合系数包括第一形状系数、第一表情系数和第一投影系数，所述参考人脸的混合系数包括第二形状系数、第二表情系数和第二投影系数，所述目标人脸的混合系数包括第三形状系数、第三表情系数和第三投影系数，

将所述待处理人脸的混合系数与所述参考人脸的混合系数融合，得到所述目标人脸的混合系数，包括：

将所述第二形状系数作为所述第三形状系数，将所述第一表情系数作为所述第三表情系数，将所述第一投影系数作为所述第三投影系数。

8.根据权利要求3所述的图像处理方法，其中，获取所述参考人脸的混合系数，包括：

对包含所述参考人脸的图像执行人脸检测，得到所述参考人脸的二维关键点；

基于所述参考人脸的二维关键点和包含所述参考人脸的图像，执行所述三维拟合，得到所述参考人脸的混合系数。

9.根据权利要求3所述的图像处理方法，其中，获取所述参考人脸的混合系数，包括：

从参考人脸数据库中获取所述参考人脸的混合系数，

其中，所述参考人脸数据库包括至少一个参考人脸以及每个所述参考人脸的混合系数。

10.根据权利要求1所述的图像处理方法，其中，根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像，包括：

根据所述目标人脸的混合系数得到所述目标人脸的三维关键点，其中，所述混合系数包括形状系数、表情系数和投影系数；

根据所述目标人脸的三维关键点，利用所述目标人脸的混合系数的投影系数，得到所述目标人脸的二维关键点；

根据所述目标人脸的二维关键点，对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像。

11.根据权利要求10所述的图像处理方法，其中，根据所述目标人脸的混合系数得到所述目标人脸的三维关键点，包括：

采用下述公式，利用三维人脸模型数据库，得到所述目标人脸的三维点的坐标，并从所述目标人脸的三维点中选取所述目标人脸的三维关键点：

其中，所述三维人脸模型数据库包括多个形状基和多个表情基，以及还包括每个基的三维点的坐标和每个基的三维关键点，

X_i表示所述目标人脸的三维点的坐标，

表示所述目标人脸的混合系数中与第s个形状基对应的形状系数，

N_s表示所述三维人脸模型数据库中的形状基的数量，

表示所述三维人脸模型数据库中的第s个形状基的三维点的坐标，

表示所述目标人脸的混合系数中与第k个表情基对应的表情系数，

N_k表示所述三维人脸模型数据库中的表情基的数量，

表示所述三维人脸模型数据库中的第k个表情基的三维点的坐标，

i表示三维点的序号。

12.根据权利要求10所述的图像处理方法，其中，根据所述目标人脸的三维关键点，利用所述目标人脸的混合系数的投影系数，得到所述目标人脸的二维关键点，包括：

采用下述公式，得到所述目标人脸的二维关键点：

其中，z_c表示所述目标人脸的三维关键点到图像平面的深度，

u和v表示所述目标人脸的二维关键点的坐标，

R和T表示相机外部参数，所述相机外部参数包括三维空间旋转变换矩阵，

x、y和z表示所述目标人脸的三维关键点的坐标，

K表示相机内部参数，且α_x和α_y表示镜头焦距，γ表示斜向形变参数。

13.根据权利要求10所述的图像处理方法，其中，根据所述目标人脸的二维关键点，对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像，包括：

将所述目标人脸的二维关键点作为控制点，利用网格变形算法和图像形变算法对所述待处理图像中的待处理人脸执行人脸变形处理以得到所述输出图像。

14.根据权利要求10所述的图像处理方法，其中，所述投影系数包括相机参数，所述相机参数包括相机内部参数和相机外部参数。

15.一种图像处理装置，包括：

人脸融合单元，配置为将待处理图像包括的待处理人脸的信息和参考人脸的信息在三维空间中融合，以根据所述待处理人脸的信息得到目标人脸的混合系数；

图像变形单元，配置为根据所述目标人脸的混合系数，对所述待处理图像中的待处理人脸执行人脸变形处理以得到包括所述目标人脸的输出图像。

16.一种图像处理装置，包括：

处理器；

存储器；

一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于实现权利要求1-14任一所述的图像处理方法的指令。

17.一种存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行实现权利要求1-14任一所述的图像处理方法的指令。