CN108876713B - 二维模板图像的映射方法、装置、终端设备和存储介质 - Google Patents

Abstract

本申请涉及一种二维模板图像的映射方法、装置、终端设备和存储介质。该方法包括：检测待映射图像，获取多个第一关键点；根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。该方法能够在显示表现时，该二维模板图像的形状和位置就能够跟随待映射图像的形变产生相应的形变，从而大大提高了二维模板图像与发生形变的待映射图像之间的匹配度，进一步提高了人机交互的智能性。

Description

二维模板图像的映射方法、装置、终端设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种二维模板图像的映射方法、装置、终端设备和存储介质。

背景技术

随着图像处理技术的发展，人们对于人脸图像的处理要求越来越高。生活中，人们经常会对其拍摄的脸部图像，进行添加脸部贴纸或者对脸部图像进行局部区域的显示处理，从而增进显示效果。例如，在以拍摄的人脸区域增加脸谱贴纸。

通常，我们对脸部图像添加贴纸或者对脸部图像进行局部区域的显示处理，例如，将人脸图像上增加脸谱以显示带有脸谱的人脸图像，以及将嘴唇颜色显示更红或将眉毛显示更黑等美颜效果的图像，是将对应的贴纸通过压缩，或者平移，显示在人脸图像的对应区域。

然而通过上述方式显示的人脸图像，在人脸部发生形变，例如，当在人脸图像上增加脸谱贴纸时，人发生张嘴的动作，而脸谱还停留在未张嘴的状态，其可能会出现脸谱遮挡人嘴的情况，因此会导致贴纸和发生形变的人脸区域不匹配。

发明内容

基于此，有必要针对上述技术问题，提供一种能够使得贴纸和发生形变的人脸区域匹配的二维模板图像的映射方法、装置、终端设备和存储介质。

第一方面，本发明实施例提供一种二维模板图像的映射方法，所述方法包括：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

本实施例提供的二维模板图像的映射方法，通过终端设备获取待映射图像的多个第一关键点，并根据根据多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定待映射图像对应的多个第一网格，从而根据上述关联关系将每个第二网格中的像素点填充至对应的第一网格中，以实现在待映射图像表面重绘二维模板图像，在显示表现时，该二维模板图像的形状和位置就能够跟随待映射图像的形变产生相应的形变，从而大大提高了二维模板图像与发生形变的待映射图像之间的匹配度，进一步提高了人机交互的智能性。

在其中一个实施例中，所述方法还包括：

检测所述二维模板图像，获取多个所述第二关键点；

根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息；

获取所述第二网格信息中的像素点，并根据所述第二网格中的像素点以及所述第二网格信息，建立所述预设模板库。

本实施例提供的二维模板图像的映射方法，终端设备通过对上述二维模板图像进行关键点识别技术检测得到多个第二关键点，并且根据预设的拓扑形成规则确定该多个第二关键点所构成多个第二网格信息，以及根据该第二网格信息中的像素点建立预设模板库，从而使得终端设备能够根据该预设模板库、以及第二网格与第一网格之间的对应关系，在待映射图像发生形变时，能够将二维模板图像重新绘制在待映射图像上，使得二维模板图像能够跟随待映射图像的形变而发生相应的形变，避免了现有技术将二维模板图像直接整体平移至待映射图像所带来的不匹配的问题，本实施例的预设模板库，大大提高了二维模板图像与待映射图像之间的匹配度，使得人机交互更加智能化。

在其中一个实施例中，所述根据所述多个第一关键点以及预设模板库中二维模板图像对应的第二拓扑结构信息，确定所述待映射图像的第一拓扑结构信息，包括：

确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同；

根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

本实施例提供的二维模板图像的映射方法，终端设备通过确定多个第一关键点和多个第二关键点之间的一一对应关系，并根据一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到多个第一网格，因此终端设备可以将每个第二网格中的像素点填充至对应的第一网格中，以在待映射图像表面重绘二维模板图像，使得该二维模板图像能够跟随待映射图像的形变而发生相应的形变，大大提高了二维模板图像与待映射图像之间的匹配度，使得人机交互更加智能化。另外，本实施例确定第一拓扑结构信息的方式简单，因此其提高了终端设备的重绘效率。

在其中一个实施例中，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

在其中一个实施例中，所述根据预设的关键点识别技术检测待映射图像，获取多个第一关键点，包括：

根据用户输入的检测指示，确定所述待映射图像中的检测对象类型；

根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

本实施例中，终端设备能够根据用户输入的检测指示，确定待映射图像中的检测对象类型，并根据所确定检测对象的类型，采用与所述检测对象类型对应的关键点识别技术，从待映射图象中识别出检测对象并获取该检测对象的多个第一关键点。也就是说，本实施例可以在用户的检测指示下检测待映射图像，而不是盲目的检测待映射图像中的所有检测对象，其提高了终端设备检测得到第一关键点的效率，进一步提高了二维模板图像的重绘效率，同时，也降低了终端设备的盲目检测所带来的开销。

在其中一个实施例中，所述检测对象包括脸部、四肢中的至少一个。

在其中一个实施例中，若所述脸部为人脸，则所述二维模板图像为与所述人脸区域相关的贴纸图像。

第二方面，本发明实施例提供一种二维模板图像的映射装置，所述装置包括：第一获取模块、第一确定模块和第一处理模块；

所述第一获取模块，用于检测待映射图像，获取多个第一关键点；

所述第一确定模块，用于根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

所述第一处理模块，用于根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

第三方面，本发明实施例提供一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

上述二维模板图像的映射装置、终端设备和存储介质，能够使得终端设备获取待映射图像的多个第一关键点，并根据多个第一关键点和预设模板库中二维模板图像对应的第二拓扑结构信息，确定包括多个第一网格信息的第一拓扑结构信息，从而将每个第二网格中的像素点填充至对应的第一网格中，以实现在待映射图像表面重绘二维模板图像，在显示表现时，该二维模板图像的形状和位置就能够跟随待映射图像的形变产生相应的形变，从而大大提高了二维模板图像与发生形变的待映射图像之间的匹配度，进一步提高了人机交互的智能性。

附图说明

图1为一个实施例提供的二维模板图像的映射方法的流程示意图；

图2为另一个实施例提供的二维模板图像的映射方法的流程示意图；

图3为又一个实施例提供的二维模板图像的映射方法的流程示意图；

图4为又一个实施例提供的二维模板图像的映射方法的流程示意图；

图5为一个实施例提供的二维模板图像的映射装置的结构示意图；

图6为另一个实施例提供的二维模板图像的映射装置的结构示意图；

图7为又一个实施例提供的二维模板图像的映射装置的结构示意图；

图8为又一个实施例提供的二维模板图像的映射装置的结构示意图；

图9为一个实施例中终端设备的内部结构图。

具体实施方式

随着图像处理技术的发展，人们对于图像的处理要求越来越高。通常，为了满足人们的各种需求，会对其拍摄的图像添加贴纸，以形成图片的特定效果。例如，人们会对拍摄的人脸图像添加脸谱贴纸以形成人脸描绘脸谱的效果。传统技术中，对于人脸部增加贴纸的方法，是通过将贴纸图像放缩或者平移，将其映射到人脸图像的人脸区域，进行显示。

然而上述方式在人脸部发生形变的时候，会发生贴纸和发生形变的人脸区域不匹配的现象。例如，在人脸图像上增加脸谱贴纸时，当人发生张嘴的动作，而脸谱图像还停留在未张嘴的状态，其可能会出现脸谱遮挡人嘴的情况。

本发明实施例所提供的二维模板图像的映射方法、装置、终端设备和存储介质，通过将模板图像中的拓扑结构中所包含的拓扑网格的像素点填充到待映射图像中的对应拓扑网格中，从而使得模板图像能够跟随待映射图像局部发生的形变而产生相应的变形，进而使得贴纸图像的显示与待映射图像匹配。

需要说明的是，本发明实施例提供的二维模板图像的映射方法，其执行主体可以是二维模板图像的映射装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为终端设备的部分或者全部。下述方法实施例的执行主体以终端设备为例来进行说明。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了更加清楚的对本发明实施例进行描述，这里对下述实施例所涉及的部分名词进行说明：第一拓扑结构信息为待映射图像的拓扑结构信息，第二拓扑结构信息为二维模板图像的拓扑结构信息；第一网格信息为组成第一拓扑结构的网格的信息，第二网格信息为组成第二拓扑结构的网格的信息；第一关键点为待映射图像的关键点，第二关键点为二维模板图像的关键点。

图1为一个实施例提供的二维模板图像的映射方法的流程示意图，本实施例涉及的是终端设备根据待映射图像的第一关键点和预设的模板库中的二维模板图像，在待映射图像表面重绘所述二维模板图像的具体过程。如图1所示，该方法包括：

S101、检测待映射图像，获取多个第一关键点。

具体的，终端设备获取待映射图像，可选的，该待映射图像可以为终端设备通过其摄像头实时拍摄的图像，还可以为终端设备内部预存的图像，可选的，该待映射图像可以为一张图片，还可以为视频流中的一个帧图像。

具体的，终端设备可以采用关键点识别技术，对所获取的待映射图像进行检测，从而识别得到该待映射图像的多个第一关键点，该多个第一关键点的分布表征了该待映射图像的各区域的分布。例如，当待映射图像为人脸图像时，终端设备首先采用人脸检测技术识别出人脸图像上的人脸区域，再采用人脸关键点识别技术检测出人脸区域的多个第一关键点，其获取到的多个第一关键点能够表征该待映射图像上的脸部区域以及该脸部区域的各个器官的分布。可选的，上述待映射图像可以为人脸图像，也可以为人体腹肌图像，还可以为动物脸部图像，对此本实施例不做限定。当该待映射图像为人脸图像时，终端设备可以根据人脸检测技术首先识别待映射图像中的人的脸部区域，再根据人脸关键点识别技术将人的脸部区域图像进行识别，得到人脸图像的多个第一关键点；可选的，当该待映射图像为人体腹肌图像时，终端设备可以通过腹肌关键点识别技术检测腹肌图像，从而获取人体腹肌图像的多个第一关键点，其中，该多个腹肌第一关键点能够表征人体腹部肌肉的分布情况；可选的，当该待映射图像为动物脸部图像，例如狗的脸部图像时，终端设备通过相关的关键点识别技术检测狗的脸部图像，从而获得狗的脸部多个第一关键点，这多个第一关键点表征了该图像上狗脸部的器官分布。

S102、根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系。

需要说明的是，上述预设模板库中包括预设的二维模板图像，该二维模板图像可以包括多个第二关键点，并且该多个第二关键点能够表征该二维模板图像中的不同区域的分布。其中，该多个第二关键点满足预设的拓扑形成规则，构成第二拓扑结构信息，并且该第二拓扑结构信息包括多个第二网格信息，每个第二网格信息中均包含能够构成该第二网格的部分第二关键点。可选的，每个第二网格可以为每三个关键点所组成的三角形网格，也可以为每四个第二关键点组成的四边形网格，当然还可以为多个第二关键点组成的多边形网格，并且每个第二关键点可以包括在不同的多个第二网格中，对此，本实施例不做限定。

当终端设备获得上述多个第一关键点之后，终端设备可以从预设模板库中获取二维模板图像对应的多个第二网格，该多个第二网格包括多个第二关键点，由于上述第二关键点和第一关键点之间具有上述预设的关联关系，因此上述多个第二网格和多个第一网格之间能够具有对应关系，因此基于该第二网格可以获知第一网格的相关信息。且上述多个第一关键点满足预设的拓扑形成规则，构成第一拓扑结构信息。

例如，假设第二网格与第一网格之间的关联关系为形状关联，且设第二网格为三角网格，该第二网格的形状是通过第二网格的三个边的边长以及相邻两个边构成的角度表示，则基于该第二网格的形状，可以确定出第一网格也为三角网格，并且基于第二网格的三个边的边长以及相邻两个边构成的角度，确定出第一网格的三个边的边长以及相邻两个边构成的角度。基于所确定出的第一网格的三个边的边长以及相邻两个边构成的角度，可以得到第一网格是由哪三个第一关键点构成，从而将这三个第一关键点与第一网格建立映射关系，得到该第一网格对应的第一网格信息。基于上述例子中的方式，可以得到多个第一网格信息，该多个第一网格信息可以形成第一拓扑结构信息。

可选的，上述确定待映射图像的第一网格还可以采用如下述图3所示的实施例的方法，对此，本实施例不做限定，只要终端设备是根据待映射图像的多个第一关键点、第二网格以及预设的关联关系，得到多个第一网格即可。

S103、根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

具体的，首先，终端设备可以根据对上述二维模板图像进行像素点读取，从而获取二维模板图像的每个第二网格中的像素点；其次，终端设备可以根据第一网格与第二网格之间的对应关系，将每个第二网格的像素点填充至与之对应的第一网格中，从而将二维模板图像以第二网格为单位，重新绘制在待映射图像的表面，以使得二维模板图像能够跟随待映射图像的形变进行显示。可以理解，当上述第一关键点和第二关键点选取的越多，则上述第一网格和第二网格的数量越多且划分越细，则上述二维模板图像能够跟随待映射图像发生形变的匹配程度越高。

本实施例中，由于终端设备获取的待映射图像的多个第一关键点，与二维模板图像的的多个第二关键点之间具有上述关联关系，因而，部分第一关键点所构成的第一网格信息与部分第二关键点所构成的第二网格信息之间具有对应关系，当待映射图像发生局部形变时，上述多个第一关键点的位置发生变化，则使得包括了该多个第一关键点的多个第一网格的形状和位置也跟随第一关键点位置的变化而发生变化，另外由于第一网格与第二网格对应，因此仅需要将该第一网格对应的第二网格中的像素点填充至第一网格中，实现二维模板图像在待映射图像上的重绘，在显示表现时，该二维模板图像的形状和位置就能够跟随待映射图像的形变产生相应的形变。

为了更为清楚的解释本实施例，此处以一个具体的示例进行说明。在视频流中，第一帧图像中人物的脸部表情为没有笑的情况，则可以认为该第一帧图像中人物脸部没有发生形变。此时，根据本实施例的方法重绘出来的二维模板图像，例如脸谱图像也是正常没有发生形变的脸谱图像。当第二帧图像到来的时候，人物的脸部表情发生变化，例如人物咧嘴笑，则终端设备检测到的第二帧图像中的第一关键点的位置相比第一帧图像中发生了变化，因此第一关键点所构成的第一网格的形状和位置发生变化，此时终端设备将每个第一网格均使用其所对应的第二网格的像素点进行填充，从而实现将脸谱图像即二维模板图像在人物脸部图像上的重绘。由于重绘后的二维模板图像的像素点跟随变化后的第一网格的形状和位置进行填充，因而重绘后的二维模板图像，即脸谱图像能够跟随人物脸部图像的形变而发生形变，本例中，则表现为人像笑，脸谱笑。

本实施例提供的二维模板图像的映射方法，通过终端设备获取待映射图像的多个第一关键点，并根据根据多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定待映射图像对应的多个第一网格，从而根据上述关联关系将每个第二网格中的像素点填充至对应的第一网格中，以实现在待映射图像表面重绘二维模板图像，在显示表现时，该二维模板图像的形状和位置就能够跟随待映射图像的形变产生相应的形变，从而大大提高了二维模板图像与发生形变的待映射图像之间的匹配度，进一步提高了人机交互的智能性。

图2为另一个实施例提供的二维模板图像的映射方法的流程示意图，本实施例涉及的是终端设备采用关键点识别技术检测二维模板图像，建立预设模板库的具体过程。如图2所示，在上述S101之前，该方法还可以包括：

S201、检测所述二维模板图像，获取多个所述第二关键点。

具体的，终端设备获取二维模板图像，可选的，该二维模板图像可以为预置在终端设备中的图像，还可以为终端设备通过其摄像头拍摄的图像。终端设备将上述二维模板图像进行网格剖分，从而得到上述二维模板图像的纹理模型，并采用预设的关键点识别技术，对所得到的纹理模型进行检测，从而识别得到该二维模板图像的多个第二关键点，其中，该多个第二关键点的分布表征了该二维模板图像的各区域的分布。可选的，该二维模板图像可以为人脸图像，也可以为人体腹肌图像，还可以为动物脸部图像，对此本实施例不做限定。

S202、根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息。

可选的，上述预设的拓扑形成规则可以包括预设好的构成每一个第二网格的第二关键点的数量和标识，还可以包括预设好的每个第二关键点之间的相对位置，例如部分第二关键点依次排列不能错位等。

具体的，终端设备从检测得到的多个第二关键点中，根据上述预设的拓扑形成规则确定出能够构成第二网格的部分第二关键点，并将该部分第二关键点围成的形状确定为一个第二网格，基于该第二网格和该部分第二关键点，就可以得到第二网格信息。可选的，上述拓扑形成规则中预设了哪些第二关键点可以构成一个第二网格，即预设了第二网格和构成该第二网格的第二关键点之间的对应关系。可选的，该对应关系的表现形式可以是列表的形式，还可以是连线的方式，还可以是索引对应的方式(例如每个第二网格都有一个索引号，每一个索引号与形成该第二网格的部分关键点对应)，本实施例对此并不做限定。其中，同一个第二关键点可以包括在不同的多个第二网格中。

S203、获取所述第二网格信息中的像素点，并根据所述第二网格信息中的像素点以及所述第二网格信息，建立所述预设模板库。

具体的，当终端设备确定了上述二维模板图像中每个第二网格对应的第二网格信息之后，终端设备还可以读取每个第二网格中的像素点，可选的，终端设备获取到的第二网格中的像素点表征其对应的第二网格内的图像的色彩和亮度。进一步的，基于每个第二网格中的像素点，终端设备就可以建立每个第二网格信息和该第二网格信息所对应的像素点之间的映射关系，从而将该映射关系作为预设模板库。

本实施例提供的二维模板图像的映射方法，终端设备通过对上述二维模板图像进行关键点识别技术检测得到多个第二关键点，并且根据预设的拓扑形成规则确定该多个第二关键点所构成多个第二网格信息，以及根据该第二网格信息中的像素点建立预设模板库，从而使得终端设备能够根据该预设模板库、以及第二网格与第一网格之间的对应关系，在待映射图像发生形变时，能够将二维模板图像重新绘制在待映射图像上，使得二维模板图像能够跟随待映射图像的形变而发生相应的形变，避免了现有技术将二维模板图像直接整体平移至待映射图像所带来的不匹配的问题，本实施例的预设模板库，大大提高了二维模板图像与待映射图像之间的匹配度，使得人机交互更加智能化。

图3为又一个实施例提供的二维模板图像的映射方法的流程示意图，本实施例涉及的是终端设备根据多个第一关键点、所述预设模板库中二维模板图像对应的第二网格以及预设的关联关系，确定待映射图像对应的多个第一网格的具体过程。如图3所示，在上述实施例的基础上，上述S102，可以包括：

S301、确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同。

具体的，终端设备分别获取第一关键点的标识和第二关键点的标识，并将具有相同标识的第一关键点和第二关键点进行对应，从而建立多个第一关键点与多个第二关键点之间的一一对应关系。可选的，上述标识可以为关键点的序号标识，也可以为关键点的功能标识，还可以为关键点的区域标识，对此，本实施例并不做限定。可选的，终端设备可以将具有相同标识的第一关键点和第二关键点作为对应的关键点，从而使得多个第一关键点和多个第二关键点之间具有一一对应的关联关系。

S302、根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

具体的，终端设备根据上述第一关键点和第二关键点之间的一一对应关系，结合上述第二网格，首先确定出与该第二网格中部分第二关键点对应的部分第一关键点，该部分第一关键点构成与上述第二网格对应的第一网格，由此终端设备能够根据上述一一对应关系和多个第二网格，得到与多个第二网格一一对应的多个第一网格。另外，由于第二网格与第一网格之间具有对应关系，也就是说，哪几个第二关键点构成第二网格，那么与这几个第二关键点标识相同的多个第一关键点就能构成一个第一网格。

本实施例提供的二维模板图像的映射方法，终端设备通过确定多个第一关键点和多个第二关键点之间的一一对应关系，并根据一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到多个第一网格，因此终端设备可以将每个第二网格中的像素点填充至对应的第一网格中，以在待映射图像表面重绘二维模板图像，使得该二维模板图像能够跟随待映射图像的形变而发生相应的形变，大大提高了二维模板图像与待映射图像之间的匹配度，使得人机交互更加智能化。

在一个实施例中，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

具体的，上述第一网格和第二网格均可以采用三角形网格，即上述第一网格可以由三个第一关键点构成，且该三个第一关键点为该第一网格的顶点；以及上述第二网格可以由三个第二关键点构成，且该三个第二关键点为该第二网格的顶点。

图4为又一个实施例提供的二维模板图像的映射方法的流程示意图，本实施例涉及的是终端设备检测待映射图像，获取多个第一关键点的具体过程。如图4所示，在上述实施例的基础上，上述S101，可以包括：

S401、根据用户输入的检测指示，确定所述待映射图像中的检测对象类型。

具体的，终端设备获取用户输入的检测指示，并根据检测指示在待映射图像中查找与该检测指示匹配的检测对象类型(待映射图像中可以包括多个检测对象)，从而确定待映射图像中的检测对象类型。可选的，该检测指示可以携带检测对象类型。例如，当用户在终端设备的界面选择人脸模式，该人脸模式即为用户输入的检测指示，该检测指示中携带检测对象类型为人脸。

需要说明的是，本实施例对用户输入的检测指示的表现形式并不做限定，其可以使语音输入的形式，还可以是触摸输入，还可以是晃动输入。

S402、根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

具体的，终端设备根据所确定的检测对象类别，从上述待映射图象中识别检测对象，并采用与上述检测对象类型相应的关键点识别技术检测待映射图像，以从待映射图像中识别出检测对象，并对检测对象进行检测，得到该检测对象的多个第一关键点。例如，当终端设备所确定的检测对象类型为人体腹肌模式时，则从待映射图像中识别人体腹肌区域为检测对象，并采用人体腹肌关键点识别技术，检测得到该人体腹肌图像的多个第一关键点。

可选的，上述检测对象可以包括脸部、四肢中的至少一个。当上述检测对象为脸部时，其可以为人脸，也可以为动物脸部；当上述检测对象为四肢时，其可以为人体的四肢中的一个，也可以为动物的四肢中的一个，对此本实施例不做限定。

当上述脸部为人脸时，则上述二维模板图像可以为与人脸区域相关的贴纸图像，例如其可以为戏剧脸谱图像，还可以为人脸面具图像，还可以为明星脸谱图像，对此，本实施例不做限定。

本实施例中，终端设备能够根据用户输入的检测指示，确定待映射图像中的检测对象类型，并根据所确定检测对象的类型，采用与所述检测对象类型对应的关键点识别技术，从待映射图象中识别出检测对象并获取该检测对象的多个第一关键点。也就是说，本实施例可以在用户的检测指示下检测待映射图像，而不是盲目的检测待映射图像中的所有检测对象，其提高了终端设备检测得到第一关键点的效率，进一步提高了二维模板图像的重绘效率，同时，也降低了终端设备的盲目检测所带来的开销。

应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图5为一个实施例提供的二维模板图像的映射装置的结构示意图，如图5所示，该装置包括：第一获取模块11、第一确定模块12和第一处理模块13；

具体的，第一获取模块11，用于检测待映射图像，获取多个第一关键点。

第一确定模块12，用于根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系。

第一处理模块13，用于根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

本实施例提供的二维模板图像的映射装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图6为另一个实施例提供的二维模板图像的映射装置的结构示意图，如图6所示，该装置还可以包括：第二获取模块14、第二确定模块15和第二处理模块16。

具体的，第二获取模块14，用于检测所述二维模板图像，获取多个所述第二关键点。

第二确定模块15，用于根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息。

第二处理模块16，用于获取所述第二网格信息中的像素点，并根据所述第二网格信息中的像素点以及所述第二网格信息，建立所述预设模板库。

本实施例提供的二维模板图像的映射装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图7为又一个实施例提供的二维模板图像的映射装置的结构示意图，如图7所示，上述第一确定模块12可以包括：第一确定单元121和第一处理单元122。

具体的，第一确定单元121，用于确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同。

第一处理单元122，用于根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

在一个实施例中，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

本实施例提供的二维模板图像的映射装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图8为又一个实施例提供的二维模板图像的映射装置的结构示意图，如图8所示，上述第一获取模块11可以包括：第二确定单元111和第二处理单元112。

具体的，第二确定单元111，用于根据用户输入的检测指示，确定所述待映射图像中的检测对象类型。

第二处理单元112，用于根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

在一个实施例中，所述检测对象包括脸部、四肢中的至少一个。

在一个实施例中，若所述脸部为人脸，则所述二维模板图像为与所述人脸区域相关的贴纸图像。

上述实施例提供的二维模板图像的映射装置，可以执行上述对应的方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于二维模板图像的映射装置的具体限定可以参见上文中对于二维模板图像的映射方法的限定，在此不再赘述。上述二维模板图像的映射装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种XXX方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

检测所述二维模板图像，获取多个所述第二关键点；

根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息；

获取所述第二网格信息中的像素点，并根据所述第二网格中的像素点以及所述第二网格信息，建立所述预设模板库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同；

根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

在一个实施例中，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据用户输入的检测指示，确定所述待映射图像中的检测对象类型；

根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

在一个实施例中，所述检测对象包括脸部、四肢中的至少一个。

在一个实施例中，若所述脸部为人脸，则所述二维模板图像为与所述人脸区域相关的贴纸图像。

本实施例提供的终端设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

检测所述二维模板图像，获取多个所述第二关键点；

根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息；

获取所述第二网格信息中的像素点，并根据所述第二网格中的像素点以及所述第二网格信息，建立所述预设模板库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同；

根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

在一个实施例中，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据用户输入的检测指示，确定所述待映射图像中的检测对象类型；

根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

在一个实施例中，所述检测对象包括脸部、四肢中的至少一个。

在一个实施例中，若所述脸部为人脸，则所述二维模板图像为与所述人脸区域相关的贴纸图像。

本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种二维模板图像的映射方法，其特征在于，所述方法包括：

检测待映射图像，获取多个第一关键点；

根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像；

所述预设模板库是在所述待映射图像未发生形变时设置的。

2.根据权利要求1所述的方法，其特征在于，所述检测待映射图像，获取多个第一关键点之前，所述方法还包括：

检测所述二维模板图像，获取多个所述第二关键点；

根据预设的拓扑形成规则，确定能够构成所述第二网格的部分第二关键点，以得到所述第二网格信息；

获取所述第二网格信息中的像素点，并根据所述第二网格中的像素点以及所述第二网格信息，建立所述预设模板库。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个第一关键点、所述预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格，包括：

确定所述多个第一关键点和所述多个第二关键点之间的一一对应关系；其中，满足所述一一对应关系的第一关键点的标识与第二关键点的标识相同；

根据所述一一对应关系，以及预设模板库中二维模板图像对应的多个第二网格，确定能够形成第一网格所包含的部分第一关键点，以得到所述多个第一网格。

4.根据权利要求1所述的方法，其特征在于，所述第一网格和所述第二网格均为三角形网格，所述第一网格信息中包含的第一关键点为第一网格的顶点，所述第二网格信息中包含的第二关键点为第二网格的顶点。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述检测待映射图像，获取多个第一关键点，包括：

根据用户输入的检测指示，确定所述待映射图像中的检测对象类型；

根据所述检测对象类型，采用与所述检测对象类型对应的关键点识别技术从所述待映射图像中识别检测对象，并获取所述检测对象的多个第一关键点。

6.根据权利要求5所述的方法，其特征在于，所述检测对象包括脸部、四肢中的至少一个。

7.根据权利要求6所述的方法，其特征在于，若所述脸部为人脸，则所述二维模板图像为与所述人脸区域相关的贴纸图像。

8.一种二维模板图像的映射装置，其特征在于，所述装置包括：第一获取模块、第一确定模块和第一处理模块；

所述第一获取模块，用于检测待映射图像，获取多个第一关键点；

所述第一确定模块，用于根据所述多个第一关键点、预设模板库中二维模板图像对应的多个第二网格以及预设的关联关系，确定所述待映射图像对应的多个第一网格；其中，所述关联关系为第二网格信息中的第二关键点与第一网格信息中的第一关键点之间的对应关系；

所述第一处理模块，用于根据所述关联关系，将每个第二网格中的像素点填充至对应的第一网格中，以在所述待映射图像表面重绘所述二维模板图像；

所述预设模板库是在所述待映射图像未发生形变时设置的。

9.一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images