CN111860440A - 人脸特征点的位置调整方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种人脸特征点的位置调整方法、装置、终端及存储介质，属于图像处理技术领域。所述方法包括：获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，获取至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标；根据至少一对第一位置坐标和至少一对第二位置坐标，确定调整参数，根据调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。因此，根据上述调整参数对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，可以使得调整后的人脸图像中的人脸特征点不发生偏移，人脸中的特效也可以正常显示，不发生偏移。

Description

人脸特征点的位置调整方法、装置、终端及存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种人脸特征点的位置调整方法、装置、终端及存储介质。

背景技术

随着直播和短视频技术的发展，当用户在直播或者录制短视频时，可以使用视频应用中提供的各种视频特效，视频特效包括：整形、美妆和贴纸等。

其中，视频特效的生成过程为：安装该视频应用的终端先确定人脸图像中多个人脸特征点的位置，基于该多个人脸特征点的位置，在用户选择目标特效的情况下，在相应的人脸特征点处生成目标特效。

但是，当用户的人脸被遮挡时，人脸图像中的人脸特征点的位置就会发生偏移，进而导致用户选择的特效发生偏移，特效贴合效果较差，因此，亟需一种人脸特征点的位置调整方法，使得人脸被遮挡的情况下，特效也可以正常显示，不发生偏移。

发明内容

本申请实施例提供了一种人脸特征点的位置调整方法、装置、终端及存储介质，可以用于解决相关技术中存在的人脸被遮挡情况下，视频中的人脸特效发生偏移的问题。所述技术方案如下：

一方面，提供了一种人脸特征点的位置调整方法，所述方法包括：

获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，所述第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像；

获取所述至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标，所述第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像；

根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数；

根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

可选地，所述根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数，包括：

根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定所述第一人脸图像和所述第二人脸图像之间的缩放参数；

根据所述至少一对第一位置坐标、所述至少一对第二位置坐标和所述缩放参数，确定平移参数；

将所述缩放参数和所述平移参数确定为所述调整参数。

可选地，所述根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，包括：

获取目标人脸特征点在所述第二人脸图像中的位置坐标，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移的一个人脸特征点；

根据所述调整参数和所述目标人脸特征点在所述第二人脸图像中的位置坐标，确定所述目标人脸特征点在所述第一人脸图像中矫正后的位置坐标；

根据所述矫正后的位置坐标，对所述目标人脸特征点在所述第一人脸图像中的位置进行调整。

可选地，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

可选地，所述获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标之前，还包括：

获取所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，所述标注信息用于指示相应人脸特征点的位置偏移情况；

根据所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，从所述第一人脸图像包括的人脸特征点中确定所述至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

可选地，所述方法还包括：

在所述第一人脸图像丢失人脸特征点的情况下，确定连续丢失人脸特征点的人脸图像的帧数，得到第一帧数；

如果所述第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定所述第一人脸图像中人脸特征点的位置坐标，所述第三人脸图像是指人脸特征点未丢失的人脸图像，且所述第三人脸图像与所述第一人脸图像之间的帧数不超过所述帧数阈值。

另一方面，提供了一种人脸特征点的位置调整装置，所述装置包括：

第一获取模块，用于获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，所述第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像；

第二获取模块，用于获取所述至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标，所述第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像；

第一确定模块，用于根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数；

调整模块，用于根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

可选地，所述第一确定模块，包括：

第一确定子模块，用于根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定所述第一人脸图像和所述第二人脸图像之间的缩放参数；

第二确定子模块，用于根据所述至少一对第一位置坐标、所述至少一对第二位置坐标和所述缩放参数，确定平移参数；

第三确定子模块，用于将所述缩放参数和所述平移参数确定为所述调整参数。

可选地，所述调整模块，包括：

第一获取子模块，用于获取目标人脸特征点在所述第二人脸图像中的位置坐标，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移的一个人脸特征点；

第四确定子模块，用于根据所述调整参数和所述目标人脸特征点在所述第二人脸图像中的位置坐标，确定所述目标人脸特征点在所述第一人脸图像中矫正后的位置坐标；

第一调整子模块，用于根据所述矫正后的位置坐标，对所述目标人脸特征点在所述第一人脸图像中的位置进行调整。

可选地，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

可选地，所述装置，还包括：

第三获取模块，用于获取所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，所述标注信息用于指示相应人脸特征点的位置偏移情况；

第二确定模块，用于根据所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，从所述第一人脸图像包括的人脸特征点中确定所述至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

可选地，所述装置还包括：

第三确定模块，用于在所述第一人脸图像丢失人脸特征点的情况下，确定连续丢失人脸特征点的人脸图像的帧数，得到第一帧数；

第四确定模块，用于如果所述第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定所述第一人脸图像中人脸特征点的位置坐标，所述第三人脸图像是指人脸特征点未丢失的人脸图像，且所述第三人脸图像与所述第一人脸图像之间的帧数不超过所述帧数阈值。

另一方面，还提供了一种终端，所述终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任一方面所述的人脸特征点的位置调整方法的步骤。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述任一方面所述的人脸特征点的位置调整方法的步骤。

另一方面，还提供了一种计算机程序产品，当所述计算机程序产品被执行时，用于实现上述任一方面所述的人脸特征点的位置调整方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，由于第一人脸图像是人脸特征点的位置发生了偏移的人脸图像，第二人脸图像是人脸特征点的位置未发生偏移的人脸图像，因此，对于第一人脸图像中位置发生偏移的人脸特征点来说，根据第一人脸图像和第二人脸图像之间的调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，使得调整后的第一人脸图像中人脸特征点的位置不发生偏移，从而保证在第一人脸图像中生成的特效也可以正常显示，不发生偏移。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频应用的显示界面示意图；

图2是本申请实施例提供的一种视频特效的显示界面示意图；

图3是本申请实施例提供的一种人脸特征点的位置调整方法的流程图；

图4是本申请实施例提供的一种人脸特征点分布示意图；

图5是本申请实施例提供的一种人脸特征点的位置调整装置的结构框图；

图6是本申请实施例提供的一种终端的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明。

随着直播和短视频技术的发展，越来越多的用户使用终端上安装的视频应用进行直播或者录制短视频，视频应用方为了留住更多的用户，增强用户粘度，在视频应用中提供了各种视频特效，当用户进行直播或者录制短视频时，可以使用视频应用提供的视频特效来进行整形、美妆等操作，以获得更多的使用乐趣。

当用户的人脸被遮挡时，人脸图像中人脸特征点的位置就会发生偏移，进而导致用户选择的特效发生偏移，特效贴合效果较差，因此，本申请实施例提出了一种人脸特征点的位置调整方法，使得人脸被遮挡的情况下，特效也可以正常显示，不发生偏移。

其中，本申请实施例提出的人脸特征点的位置调整方法可以通过上述终端来实现。可选地，该终端可以是手机、平板电脑、笔记本电脑等移动终端，也可以是台式计算机等固定终端。该终端上可以安装用于直播和录制短视频的至少一个视频应用，该应用具有视频录制、直播、视频特效等功能。

需要说明的是，由于视频特效是基于多个人脸特征点的位置，在用户选择目标特效的情况下，在相应的人脸特征点处生成目标特效，因此，该视频应用可以包括第三方人脸检测的SDK(Software Development Kit，软件开发工具包)，用于检测人脸特征点，通过该第三方人脸检测算法，可以获取到人脸图像中每个人脸特征点的位置坐标和每个人脸特征点的位置偏移情况。

当用户想要进行直播或者录制短视频时，可以点击安装在终端中的某一视频应用的快捷图标，运行该视频应用的应用程序，并在该应用程序的主界面中选择视频录制的功能选项。当用户选择该视频录制的功能选项后，显示视频录制界面，用户可以进行直播或者录制短视频的操作。

作为一个示例，参见图1，图1是本申请实施例提供的一种视频应用的显示界面示意图。该显示界面中包括用户设置的头像，用户ID(Identity Document，身份标识号)，还包括多个功能按键：录制按键、保存按键和特效按键。

当用户进行视频录制时，可以点击录制按键，触发终端启动摄像头进行视频录制，用户可以对着自己录制视频，也可以对着他人录制视频。当用户点击录制按键后，再次点击录制按键则暂停视频录制。在视频录制过程中，当用户想要使用视频特效时，可以点击特效按键，选取喜欢的目标特效来协助用户进行直播或短视频录制。当用户点击特效按键，将从当前视频录制的显示界面跳转到视频特效的显示界面，用户可以在此界面选择自己感兴趣的目标特效。

可选地，如图2中所示，图2是本申请实施例提供的一种视频特效的显示界面示意图，当用户点击图1中的特效按键后即跳转到图2所示的特效显示界面。该特效显示界面可以包括多个视频特效的显示效果缩略图。图2所示的可选特效1-可选特效9包括整形特效、美妆特效和各种贴纸，该特效显示界面可以左右滑动，以查看该视频应用提供的所有视频特效的显示效果缩略图。

接下来，将结合附图对本申请实施例提供的人脸特征点的位置调整方法进行详细地解释说明。

图3是本申请实施例提供的一种人脸特征点的位置调整方法的方法流程图，该方法用于上述终端中。参见图3，该方法包括：

步骤301：获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标。

其中，第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像。

用户在直播或者录制短视频的过程中，当用户的人脸姿态发生变化时，终端获取的人脸图像中人脸特征点的位置通常会发生相应变化。人脸特征点是用来识别人脸五官。比如，图4是本申请实施例提供的一种人脸特征点分布示意图，如图4中(a)所示，这多个人脸特征点中包括用于指示嘴巴、眼睛、鼻子、眉毛、脸型的关键点。目前，人脸特征点通常有106个。

需要说明的是，视频应用包括第三方人脸检测的SDK，因此，当用户在直播或者录制视频的过程中，终端可以对人脸图像建立统一的平面直角坐标系，在获取每一帧人脸图像后，通过第三方人脸检测算法可以确定人脸图像中人脸特征点的位置坐标。

作为一个示例，如图4中(b)所示，以人脸图像的左上角A点作为坐标原点，建立平面直角坐标系。本申请实施例对坐标原点的选取不做限制，确定的平面直角坐标系适用于该视频应用中获取的每一帧人脸图像中。

此外，由于人脸被遮挡的情况下，检测出来的人脸特征点的位置会发生偏移，为了更快的确定人脸特征点中位置发生偏移的人脸特征点，人脸检测算法在输出检测到的人脸特征点在人脸图像中的位置坐标的同时，还输出每个人脸特征点的偏移情况。

因此，在获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标之前，还可以获取第一人脸图像中每个人脸特征点的位置坐标和标注信息，标注信息用于指示相应人脸特征点的位置偏移情况，然后根据第一人脸图像中每个人脸特征点的位置坐标和标注信息，从第一人脸图像包括的人脸特征点中确定至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

其中，标注信息可以为第一信息或者第二信息，第一信息用于指示在容错范围内，人脸特征点的位置坐标发生了偏移，第二信息用于指示在容错范围内，人脸特征点的位置坐标未发生偏移。

作为一个示例，人脸特征点的标注信息可以为【0】或【1】，当标注信息为【0】时，指示在容错范围内，人脸特征点的位置坐标发生了偏移，当标注信息为【1】时，指示在容错范围内，人脸特征点的位置坐标未发生偏移。

或者，当标注信息为【1】时，指示在容错范围内，人脸特征点的位置坐标发生了偏移，当标注信息为【0】时，指示在容错范围内，人脸特征点的位置坐标未发生偏移。

需要说明的是，当某一个人脸特征点的位置坐标发生变化时，这个人脸特征点和其他人脸特征点之间的相对位置也发生了变化，因此，需要根据第一人脸图像中每个人脸特征点的标注信息，确定第一人脸图像中人脸特征点的位置发生偏移的人脸特征点，从位置发生偏移的人脸特征点中选择一个人脸特征点，然后再确定与这个人脸特征点的位置对称的另一个人脸特征点，将上述确定的两个人脸特征点作为一对参考人脸特征点。也即是，在第一人脸图像中，这一对参考人脸特征点之间的相对位置发生了改变。

作为一个示例，如图4中(a)所示，当根据标注信息确定指示左眼的参考人脸特征点52的位置发生偏移时，将参考人脸特征点52和参考人脸特征点55作为一对参考人脸特征点。此时，人脸特征点52的位置坐标和人脸特征点55的位置坐标为一对第一位置坐标。

同理，如图4中(a)所示，当根据标注信息确定指示右眼的参考人脸特征点58的位置发生偏移时，将参考人脸特征点58和参考人脸特征点61作为一对参考人脸特征点。此时，人脸特征点58的位置坐标和人脸特征点61的位置坐标为一对第一位置坐标。

作为另一个示例，如图4中(a)所示，当根据标注信息确定指示嘴巴的参考人脸特征点84的位置发生偏移时，将参考人脸特征点84和参考人脸特征点90作为一对参考人脸特征点。此时，人脸特征点84的位置坐标和人脸特征点90的位置坐标为一对第一位置坐标。

需要说明的是，由于人脸的特效通常体现在眼睛和嘴巴上，因此当指示眼睛和指示嘴巴的人脸特征点的位置发生偏移时，特效也相应的发生偏移，因此，上述仅以指示眼睛和嘴巴的人脸特征点作为示例进行解释说明，确定的至少一对参考人脸特征点还可以是其他位置发生偏移的人脸特征点，本申请实施例对此不做限制。

步骤302：获取至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标。

其中，第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像。

需要说明的是，第二人脸图像可以是用户直播或者录制短视频过程中，终端保存的人脸特征点的位置未发生偏移的任一帧人脸图像，也可以是位于第一人脸图像之前、与第一人脸图像相邻且位置未发生偏移的一帧人脸图像，也即是，人脸被遮挡前的一帧正常的人脸图像。本申请实施例对第二人脸图像的选取不做限制。

作为一个示例，当第二人脸图像是人脸被遮挡前的一帧正常的人脸图像时，第二人脸图像中人脸特征点的位置坐标最接近第一人脸图像中人脸特征点的位置坐标，需要调整的幅度较小，减少了调整量，进而缩短了调整后人脸图像中特效的生成时间，用户直播或者录制视频时的流畅度较高。

步骤303：根据至少一对第一位置坐标和至少一对第二位置坐标，确定调整参数。

其中，调整参数可以包括缩放参数和平移参数，因此，步骤303的实现过程可以为：根据至少一对第一位置坐标和至少一对第二位置坐标，确定第一人脸图像和第二人脸图像之间的缩放参数，再根据至少一对第一位置坐标、至少一对第二位置坐标和缩放参数，确定平移参数，将缩放参数和平移参数确定为调整参数。

需要说明的是，一对第一位置坐标是第一人脸图像中位置对称的两个参考人脸特征点的位置坐标，一对第二位置坐标是第二人脸图像中位置对称的两个参考人脸特征点的位置坐标。相同的参考人脸特征点在第一人脸图像和第二人脸图像中指示相同的人脸五官，只是参考人脸特征点在第一人脸图像中位置坐标发生了偏移。

在一种可能的实现方式中，确定缩放参数的实现过程为：从至少一对第一位置坐标中任选一对第一位置坐标A1和A2，确定这一对第一位置坐标A1和A2之间的第一距离。从至少一对第二位置坐标中，选择与第一位置坐标A1和A2对应同一参考人脸特征点的一对第二位置坐标B1和B2，确定这一对第二位置坐标B1和B2之间的第二距离，将第一距离和第二距离的比值作为第一人脸图像和第二人脸图像之间的缩放参数C。

也即是，缩放参数C可以通过下述公式(1)确定。

在另一种可能的实现方式中，确定缩放参数的实现过程为：确定至少一对第一位置坐标中每对第一位置坐标之间的第一距离，得到至少一个第一距离，确定至少一对第二位置坐标中每对第二位置坐标之间的第二距离，得到至少一个第二距离。确定对应于同一对参考人脸特征点的第一距离和第二距离之间的比值，得到至少一个比值，将至少一个比值的平均值确定为第一人脸图像和第二人脸图像之间的缩放参数。

在确定缩放参数之后，根据至少一对第一位置坐标、至少一对第二位置坐标和缩放参数确定平移参数的实现过程包括以下两种可能的实现方式。

在一种可能的实现方式中，从至少一对第一位置坐标中选择一个位置坐标作为第一目标位置坐标，将第一目标位置坐标与缩放参数相乘，得到缩放后的第一目标位置坐标，然后从至少一对第二位置坐标中选择与第一目标位置坐标对应同一参考人脸特征点的位置坐标，作为第二目标位置坐标。然后，确定第二目标位置坐标与缩放后的第一目标位置坐标之间的距离，得到平移参数。

在另一种可能的实现方式中，参见下述公式(2)，根据第一位置坐标A1、第二位置坐标B1和上述缩放参数C确定平移参数H。

具体地，先将第一位置坐标A1乘以上述缩放参数C，确定缩放后的第一位置坐标A1，再确定与第一位置坐标A1对应同一参考人脸特征点的第二位置坐标B1和上述缩放后的第一位置坐标A1之间的距离，得到平移参数H。

H＝B1-A1*C (2)

或者，参见下述公式(3)，根据第一位置坐标A2、第二位置坐标B2和上述缩放参数C确定平移参数H。

具体地，先将第一位置坐标A2乘以上述缩放参数C，确定缩放后的第一位置坐标A2，再确定与第一位置坐标A2对应同一参考人脸特征点的第二位置坐标B2和上述缩放后的第一位置坐标A2之间的距离，得到平移参数H。

H＝B2-A2*C (3)

作为一个示例，若根据人脸特征点的标注信息确定第一人脸图像中被遮挡的是嘴巴，则可以根据指示嘴巴的人脸特征点的位置坐标，确定调整参数。确定过程如下：在第一人脸图像中选取的一对第一位置坐标包括指示嘴巴的左嘴角坐标ml1和右嘴角坐标mr1，确定左嘴角坐标ml1和右嘴角坐标mr1之间的第一距离。在第二人脸图像中选取的一对第二位置坐标包括指示嘴巴的左嘴角坐标ml2和右嘴角坐标mr2，确定左嘴角坐标ml2和右嘴角坐标mr2之间的第二距离。根据第一距离和第二距离的比值确定第一人脸图像和第二人脸图像之间的缩放参数C。

也即是，缩放参数C可以通过下述公式(4)确定。

确定缩放参数C后，可以进一步通过下述公式(5)，或者下述公式(6)确定平移参数H。

参见下述公式(5)，先将第一人脸图像中左嘴角坐标ml1乘以上述缩放参数C，确定缩放后的第二人脸图像中左嘴角坐标，再根据第二人脸图像中左嘴角坐标ml2和上述缩放后的第二人脸图像中左嘴角坐标之间的距离，确定第一人脸像中人脸特征点相对于第二人脸图像中人脸特征点的平移参数H。

H＝ml2-ml1*C (5)

或者，参见下述公式(6)，先将第一人脸图像中右嘴角坐标mr1乘以上述缩放参数C，确定缩放后的第二人脸图像中右嘴角坐标，再根据第二人脸图像中右嘴角坐标mr2和上述缩放后的第二人脸图像中右嘴角坐标之间的距离，确定第一人脸像中人脸特征点相对于第二人脸图像中人脸特征点的平移参数H。

H＝mr2-mr1*C (6)

需要说明的是，也可以根据第一人脸图像中106个人脸特征点中位置对称的任意一对参考人脸特征点，确定第一人脸图像中的第一位置坐标和第二人脸图像中的第二位置坐标，进而确定调整参数。具体确定过程参照上述根据指示嘴巴的人脸特征点的位置坐标确定调整参数的实现过程，本申请实施例在此不再赘述。

步骤304：根据调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

其中，第一人脸图像中至少存在一个位置发生偏移的人脸特征点，根据确定的调整参数，可以对第一人脸图像中所有位置发生偏移的人脸特征点的位置坐标进行调整。也可以对第一人脸图像中位置发生偏移且待生成的视频特效所处的至少一个人脸特征点的位置坐标进行调整，本申请实施例对此不做限制。

在一种可能的实现方式中，步骤304的实现过程可以为：获取目标人脸特征点在第二人脸图像中的位置坐标，目标人脸特征点是指第一人脸图像中位置发生偏移的一个人脸特征点，根据调整参数和目标人脸特征点在第二人脸图像中的位置坐标，确定目标人脸特征点在第一人脸图像中矫正后的位置坐标，根据矫正后的位置坐标，对目标人脸特征点在第一人脸图像中的位置坐标进行调整。

可选地，目标人脸特征点是指第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

具体地，根据标注信息确定第一人脸图像中位置发生偏移的目标人脸特征点为P，则确定目标人脸特征点P在第二人脸图像中的位置坐标为P(x1，y1)，先将目标人脸特征点P在第二人脸图像中的位置坐标P(x1，y1)和上述缩放参数C相乘，得到缩放后目标人脸特征点P在第一人脸图像中的位置坐标，再将缩放后目标人脸特征点P在第一人脸图像中的位置坐标和上述平移参数H相加，得到目标人脸特征点P在第一人脸图像中矫正后的位置坐标F(x2，y2)。

也即是，可以根据下述公式(7)确定目标人脸特征点在第一人脸图像中矫正后的位置坐标。

F＝P*C+H (7)

作为一个示例，如图4中(a)所示，确定的目标人脸特征点为指示嘴巴的人脸特征点94，则人脸特征点94在第二人脸图像中的位置坐标M1(x1，y1)，则可以通过下述公式(8)，根据调整参数确定人脸特征点94在第一人脸图像中的矫正后的位置坐标M2(x2，y2)。

M2＝M1*C+H (8)

此外，根据矫正后的位置坐标，对目标人脸特征点在第一人脸图像中的位置坐标进行调整的实现过程包括以下两种可能的实现方式。

在一种可能的实现方式中，用矫正后的位置坐标代替第一人脸图像中目标人脸特征点的位置坐标。

在另一种可能的实现方式中，根据矫正后的位置坐标，对第一人脸图像中目标人脸特征点的位置坐标进行调整，使得调整后的目标人脸特征点的位置坐标和矫正后的位置坐标一致。

在本申请实施例中，获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，获取至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标。再根据至少一对第一位置坐标和至少一对第二位置坐标，确定调整参数，然后，根据调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。因此，根据调整参数对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，可以使得调整后的人脸图像中的人脸特征点不发生偏移，人脸图像中的特效也可以正常显示，不发生偏移。

基于上述图3所示的人脸特征点的位置调整方法，当第一人脸图像中没有检测到人脸特征点，也即是人脸特征点丢失的情况下，可以基于未丢失人脸特征点的人脸图像，确定第一人脸图像中人脸特征点的位置坐标。

在一种可能的实现方式中，基于未丢失人脸特征点的人脸图像，确定第一人脸图像中人脸特征点的位置坐标的实现过程可以为：在第一人脸图像丢失人脸特征点的情况下，确定连续丢失的人脸特征点的人脸图像的帧数，得到第一帧数，如果第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定第一人脸图像中人脸特征点的位置坐标。

其中，第三人脸图像是指人脸特征点未丢失的人脸图像，且第三人脸图像与第一人脸图像之间的帧数不超过帧数阈值。

需要说明的是，当第三人脸图像与第一人脸图像之间的帧数不超过帧数阈值时，可以保证录制视频不失真的情况下，根据第三人脸图像中人脸特征点的位置坐标，确定第一人脸图像中人脸特征点的位置坐标。当第三人脸图像与第一人脸图像之间的帧数超过帧数阈值时，由于相差帧数太多，视频录制过程中人脸姿态也发生了变化，难以使用人脸特征点未丢失的第三人脸图像确定第一人脸图像中人脸特征点的位置坐标。

其中，帧数阈值可以预先设置，比如，设置的帧数阈值可以为20帧。第三人脸图像可以是人脸特征点丢失前最近一帧的人脸图像，也可以是用户直播过程中，终端保存的人脸特征点未丢失的任一帧人脸图像。

作为一个示例，设置的帧数阈值可以为20帧，当确定的连续丢失的人脸特征点的人脸图像的第一帧数为10帧时，将丢失人脸特征点的10帧人脸图像中每一帧人脸图像中人脸特征点的位置坐标都用第三人脸图像中人脸特征点的位置坐标进行替换。

在本申请实施例中，由于用户在使用视频应用的过程中，该视频应用会自动保存用户已经录制的视频内容，因此可以预先设定帧数阈值，当通过第三方人脸检测算法没检测到人脸特征点的情况下，将第三人脸图像中人脸特征点的位置坐标应用于小于帧数阈值的至少一帧丢失人脸特征点的人脸图像中。如此，可以避免用户直播过程中因晃动幅度过大，导致人脸特征点丢失，视频特效也失效的情况发生，进一步避免了因视频特效消失，终端重新检测人脸特征点，生成视频特效而耗费时间。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图5是本申请实施例提供的一种人脸特征点的位置调整装置的结构框图，该装置配置于上述终端中。参见图5，该装置包括：第一获取模块501、第二获取模块502、第一确定模块503和调整模块504。

第一获取模块501，用于获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像；

第二获取模块502，用于获取至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标，第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像；

第一确定模块503，用于根据至少一对第一位置坐标和至少一对第二位置坐标，确定调整参数；

调整模块504，用于根据调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

可选地，第一确定模块503，包括：

第一确定子模块，用于根据至少一对第一位置坐标和至少一对第二位置坐标，确定第一人脸图像和第二人脸图像之间的缩放参数；

第二确定子模块，用于根据至少一对第一位置坐标、至少一对第二位置坐标和缩放参数，确定平移参数；

第三确定子模块，用于将缩放参数和平移参数确定为调整参数。。

可选地，调整模块504，包括：

第一获取子模块，用于获取目标人脸特征点在第二人脸图像中的位置坐标，目标人脸特征点是指第一人脸图像中位置发生偏移的一个人脸特征点；

第四确定子模块，用于根据调整参数和目标人脸特征点在第二人脸图像中的位置坐标，确定目标人脸特征点在第一人脸图像中矫正后的位置坐标；

第一调整子模块，用于根据矫正后的位置坐标，对目标人脸特征点在第一人脸图像中的位置进行调整。

可选地，目标人脸特征点是指第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

可选地，该装置500还包括：

第三获取模块，用于获取第一人脸图像中每个人脸特征点的位置坐标和标注信息，标注信息用于指示相应人脸特征点的位置偏移情况；

第二确定模块，用于根据第一人脸图像中每个人脸特征点的位置坐标和标注信息，从第一人脸图像包括的人脸特征点中确定至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

可选地，该装置500还包括：

第三确定模块，用于在第一人脸图像丢失人脸特征点的情况下，确定连续丢失人脸特征点的人脸图像的帧数，得到第一帧数；

第四确定模块，用于如果第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定第一人脸图像中人脸特征点的位置坐标，第三人脸图像是指人脸特征点未丢失的人脸图像，且第三人脸图像与第一人脸图像之间的帧数不超过帧数阈值。

在本申请实施例中，获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，获取至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标。再根据至少一对第一位置坐标和至少一对第二位置坐标，确定调整参数，然后，根据调整参数，对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。因此，根据调整参数对第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，可以使得调整后的的人脸图像中的人脸特征点不发生偏移，人脸中的特效也可以正常显示，不发生偏移。

需要说明的是：上述实施例提供的人脸特征点的位置调整装置在对人脸特征点的位置进行调整时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸特征点的位置调整装置与人脸特征点的位置调整方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

参见图6，图6示出了本申请一个示例性实施例提供的终端600的结构框图。该终端600可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的人脸姿态的确定方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述人脸特征点的位置调整方法。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述人脸特征点的位置调整方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本发明，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种人脸特征点的位置调整方法，其特征在于，所述方法包括：

获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，所述第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像；

获取所述至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标，所述第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像；

根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数；

根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

2.如权利要求1所述的方法，其特征在于，所述根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数，包括：

根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定所述第一人脸图像和所述第二人脸图像之间的缩放参数；

根据所述至少一对第一位置坐标、所述至少一对第二位置坐标和所述缩放参数，确定平移参数；

将所述缩放参数和所述平移参数确定为所述调整参数。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整，包括：

获取目标人脸特征点在所述第二人脸图像中的位置坐标，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移的一个人脸特征点；

根据所述调整参数和所述目标人脸特征点在所述第二人脸图像中的位置坐标，确定所述目标人脸特征点在所述第一人脸图像中矫正后的位置坐标；

根据所述矫正后的位置坐标，对所述目标人脸特征点在所述第一人脸图像中的位置进行调整。

4.如权利要求3所述的方法，其特征在于，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

5.如权利要求1-4任一所述的方法，其特征在于，所述获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标之前，还包括：

获取所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，所述标注信息用于指示相应人脸特征点的位置偏移情况；

根据所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，从所述第一人脸图像包括的人脸特征点中确定所述至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一人脸图像丢失人脸特征点的情况下，确定连续丢失人脸特征点的人脸图像的帧数，得到第一帧数；

如果所述第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定所述第一人脸图像中人脸特征点的位置坐标，所述第三人脸图像是指人脸特征点未丢失的人脸图像，且所述第三人脸图像与所述第一人脸图像之间的帧数不超过所述帧数阈值。

7.一种人脸特征点的位置调整装置，其特征在于，所述装置包括：

第一获取模块，用于获取位置对称的至少一对参考人脸特征点在第一人脸图像中的位置坐标，得到至少一对第一位置坐标，所述第一人脸图像是指包括的人脸特征点的位置发生偏移的人脸图像；

第二获取模块，用于获取所述至少一对参考人脸特征点在第二人脸图像中的位置坐标，得到至少一对第二位置坐标，所述第二人脸图像是指包括的人脸特征点的位置未发生偏移的人脸图像；

第一确定模块，用于根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定调整参数；

调整模块，用于根据所述调整参数，对所述第一人脸图像中位置发生偏移的人脸特征点的位置进行调整。

8.如权利要求7所述的装置，其特征在于，所述第一确定模块，包括：

第一确定子模块，用于根据所述至少一对第一位置坐标和所述至少一对第二位置坐标，确定所述第一人脸图像和所述第二人脸图像之间的缩放参数；

第二确定子模块，用于根据所述至少一对第一位置坐标、所述至少一对第二位置坐标和所述缩放参数，确定平移参数；

第三确定子模块，用于将所述缩放参数和所述平移参数确定为所述调整参数。

9.如权利要求7或8所述的装置，其特征在于，所述调整模块，包括：

第一获取子模块，用于获取目标人脸特征点在所述第二人脸图像中的位置坐标，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移的一个人脸特征点；

第四确定子模块，用于根据所述调整参数和所述目标人脸特征点在所述第二人脸图像中的位置坐标，确定所述目标人脸特征点在所述第一人脸图像中矫正后的位置坐标；

第一调整子模块，用于根据所述矫正后的位置坐标，对所述目标人脸特征点在所述第一人脸图像中的位置进行调整。

10.如权利要求9所述的装置，其特征在于，所述目标人脸特征点是指所述第一人脸图像中位置发生偏移且待生成的视频特效所处的一个人脸特征点。

11.如权利要求7-10任一所述的装置，其特征在于，所述装置，还包括：

第三获取模块，用于获取所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，所述标注信息用于指示相应人脸特征点的位置偏移情况；

第二确定模块，用于根据所述第一人脸图像中每个人脸特征点的位置坐标和标注信息，从所述第一人脸图像包括的人脸特征点中确定所述至少一对参考人脸特征点，每对参考人脸特征点包括位置发生偏移的至少一个人脸特征点。

12.如权利要求7所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于在所述第一人脸图像丢失人脸特征点的情况下，确定连续丢失人脸特征点的人脸图像的帧数，得到第一帧数；

第四确定模块，用于如果所述第一帧数不超过帧数阈值，则根据第三人脸图像中人脸特征点的位置坐标，确定所述第一人脸图像中人脸特征点的位置坐标，所述第三人脸图像是指人脸特征点未丢失的人脸图像，且所述第三人脸图像与所述第一人脸图像之间的帧数不超过所述帧数阈值。

13.一种终端，其特征在于，所述终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-6所述的任一项方法的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-6所述的任一项方法的步骤。

Images