CN112417985A - 一种人脸特征点追踪方法、系统、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种人脸特征点追踪方法、系统、电子设备和存储介质，其中，该人脸特征点追踪方法方法包括通过算法模型获取人脸特征点包括：通过关键点检测模型预测出第一帧图像的关键点位置坐标；根据该关键点位置坐标获取第一关键点框，基于该第一关键点框在第二帧图像相同位置上确定第二关键点框；将该第二关键点框输入到回归网络中，通过该回归网络获取第二帧图像的关键点坐标偏移量；通过本申请，解决了相关技术中该类方法采用的跟踪方式较为复杂和因为模型需要使用大量的网络参数导致人脸跟踪算法模型无法应用到设备端的问题，实现了减少模型所需网络参数和简化跟踪方式的目的。

Description

一种人脸特征点追踪方法、系统、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种人脸特征点追踪方法、系统、电子设备和存储介质。

背景技术

随着互联网信息技术的发展以及计算机的软硬件性能的显著提升，多媒体的应用变得越来越普及，其中、人脸形特征跟踪技术是指在连续的视频序列中跟踪一个或多个人脸，并实时输出每帧中人脸的特征点。该技术能够应用在很多场景中，例如，锁定特定人的活动轨迹，驾驶员疲劳检测，手机美颜中人脸框图像的处理，视频直播中道具的添加等。解决视频流中关键点抖动问题是主要的问题

在相关技术中，将大量的图像数据通过算法模型或者卷积神经网络的迭代计算输出人脸特征点，由于该方法在视频前后帧检测的位置有差异，所以视频流中检测出的关键点出现抖动的现象，另外，该类方法采用的跟踪方式较为复杂且需要大量的跟踪网络参数，无法应用到设备端。

目前针对相关技术中检测出的关键点出现抖动、跟踪方式较为复杂且需要大量跟踪参数导致无法应用于设备端的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种人脸特征点追踪方法、系统和计算机可读存储介质，以至少解决相关技术中的问题。

第一方面，本申请实施例提供了一种人脸特征点追踪方法，其特征在于，所述方法包括：通过算法模型获取人脸关键点包括：通过关键点检测模型预测出第一帧图像的关键点位置坐标；根据所述关键点位置坐标获取第一关键点框，基于所述第一关键点框在第二帧图像相同位置上确定第二关键点框；将所述第二关键点框输入到回归网络中，通过所述回归网络获取第二帧图像的关键点坐标偏移量；所述第一帧图像的所述关键点坐标与所述关键点坐标偏移量相减得到所述第二帧图像的所述关键点坐标；所述算法模型应用于设备端用于跟踪人脸特征点。

在其中一些实施例中，所述通过所述关键点检测模型预测出第一帧图像的关键点位置坐标包括：缩放函数将所述第一帧图像中的人脸框缩放生成缩放人脸框，将所述缩放人脸框输入所述关键点检测模型后预测得出初始关键点位置坐标；再通过映射函数将所述初始关键点坐标映射到所述第一帧图像上得到所述第一帧图像的所述关键点位置坐标。

在其中一些实施例中，对所述关键点包括：左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角。

在其中一些实施例中，所述第一帧图像和所述第二帧图像为视频流中连续的两帧图像。

在其中一些实施例中，所述第一帧图像包含人脸框标签，所述关键点检测模型通过所述人脸框标签获取人脸框位置。

在其中一些实施例中，所述通过所述回归网络模型是基于调整后的mobilenet-v2网络模型。

第二方面，本申请实施例提供了一种人脸特征点追踪系统，其特征在于，所述系统包括：信息获取模块，用于采集人脸实时信息或者离线视频流；存储模块模块，用于存储人脸跟踪模型及其他计算机程序；处理模块，用于运行所述人脸跟踪模型和其他计算机程序。

在其中一些实施例中，所述检测跟踪模块通过将第一帧图像的关键点位置坐标与第二帧图像的关键点坐标偏移量相减得到第二帧图像的所述关键点坐标。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利第一方面中任一项所述的人脸特征点追踪方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求第一方面中任一项所述的人脸特征点追踪方法。

相比于相关技术，本申请实施例提供的人脸特征点追踪方法，通过关键点检测模型确定第一帧图像关键点位置，根据该关键点位置得到第一关键点框，在第二帧图像相同位置上获取第二关键点框，将该第二关键点框输入到回归模型中得到该第二帧图像的关键点偏移量，将该第一帧图像的该关键点坐标与该关键点坐标偏移量相减得到该第二帧图像的该关键点坐标，解决了相关技术中该类方法采用的跟踪方式较为复杂和因为模型需要使用大量的网络参数导致人脸跟踪算法模型无法应用到设备端的问题，实现了减少模型所需网络参数和简化跟踪方式的目的。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种人脸特征点追踪方法的应用环境示意图；

图2是根据本申请实施例的一种人脸特征点跟踪方法的流程图；

图3是根据本申请实施例的一种基于获取第一帧图像的关键点位置坐标的一种人脸特征点跟踪方法的流程图；

图4是根据本申请实施例的一种人脸特征点追踪方法的人脸关键点点示意图；

图5是根据本申请实施例的一种人脸特征点跟踪系统的结构框图；

图6是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的一种人脸特征点追踪方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的一种人脸特征点追踪方法的应用环境示意图，如图1所示，终端10与服务器11通过网络进行通信，用户通过终端10上的外部设备与终端10进行信息交互，其中，终端10可以但不限于时各种、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器11可以用于独立的服务器或者是多个服务器组成的服务器集群来实现，需要说明的是，终端设备中安装有各种用户所需的应用，比如具备人脸特征点跟踪功能的应用软件。

本申请提供了一种人脸特征点追踪方法，该方法可以包括训练模型过程和模型应用过程，图2是根据本申请实施例的一种人脸特征点跟踪方法的流程图，如图2所示，该流程包括如下步骤：

S201，通过关键点检测模型预测出第一帧图像的关键点位置坐标，其中，人脸特征点是指图像中表现人脸特征的点，如，表现五官或人脸轮廓特征的点，通常以坐标的形式表示，该第一帧图像中包含人脸信息，该第一帧图像中在人脸信息预设位置上设置有人脸框标签，用于后续步骤中关键点检测模型的检测，为了实现对人脸特征点的准确跟踪，本发明实施例可以通过训练集并基于该训练集进行模型训练，来优化关键点检测模型的检测效果，该训练集可以是在获取到图像数据后，进行数据清洗和数据预处理得到的；另外，基于训练集训练模型时应该不断调整模型的深度和宽度以及模型中相关参数，在满足精度的前提下，模型计算量越小越好；

S202，根据该关键点位置坐标获取第一关键点框，其中，该第一关键点框是根据该关键点位置坐标在该第一帧图像上按照一定比例确定出来的，另外，确定该第一关键点框时选取的中心位置可以但不限于是该关键点位置坐标，只要是能准确对应该关键点位置坐标的其他位置都可以作为确定该第一关键点框的依据，进一步的，该关键点包括但不限于左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角，该关键点都是五官或人脸轮廓特征的点，将上述这些点在图像中以位置坐标的形式表示得到关键点位置坐标；

S203，基于该第一关键点框在第二帧图像相同位置上确定第二关键点框，其中，该第二帧图像与第一帧图像分辨率大小相同，需要说明的是，该相同位置指的是基于图像实际坐标上的相同位置，并非基于两帧图像中某个相同关键点的位置，例如：第一帧和第二帧图像都将图像左下角设为坐标原点，该第一帧图像中第一关键点框的位置坐标为P1:xy(34，34)，与之对应的，在第二帧图像的相同坐标位置上P2:xy(34，34)确定出第二关键点框；

S204，将该第二关键点框输入到回归网络中，通过该回归网络获取第二帧图像的关键点坐标偏移量，回归网络模型是对统计关系进行定量描述的一种数学模型，该回归模型利用统计数据来确定变量之间的关系,并且能够依据这种关系来预测未来的发展趋势，具有表明自变量和因变量之间的显著关系和表明多个自变量对一个因变量的影响强度的作用，在本申请实施例中，采用的回归模型是依据调整后的mobilenet-v2网络进行训练的，通过该回归模型可以预测得到人脸关键点的偏移量；需要说明的是，该回归模型需要基于大量的训练集数据进行训练，并且在训练过程中，需要不断调整模型的深度和宽度以及网络参数，进一步的，训练过程中通过变更相关网络参数保证真实偏移量和预测的偏移量尽可能接近，该回归模型通过不断重复估计、更新和获取差异的过程，可以使通过回归网络预测得到的人脸关键点偏移量尽可能接近实际的偏移量，从而减缓视频流中关键点的抖动；

S205，该第一帧图像的该关键点坐标与该关键点坐标偏移量相减得到该第二帧图像的该关键点坐标，例如，将第一帧图像的人脸特征点的每个关键点坐标与通过回归模型预测的第二帧图像的关键点偏移量的值相减，得到该第二帧图像的估计人脸关键点坐标。

通过上述步骤S201至步骤S205，相比于现有技术中将大量的图像数据通过算法模型或者卷积神经网络的迭代计算输出人脸特征点的方法，该技术通过检测模型检测第一帧图像的关键点坐标，再根据该关键点坐标得到关键点框，然后在第二帧图像上框出相同位置的关键点框，依据该关键点框通过回归网络得到当前帧关键点坐标的偏移量，最后根据该偏移量和第一帧图像的关键点坐标确定第二帧图像关键点坐标的方法解决了相关技术中采用的跟踪方式较为复杂且需要大量的跟踪网络参数无法应用到设备端的问题。

在其中一些实施例中，图3是根据本申请实施例的一种基于获取第一帧图像的关键点位置坐标的一种人脸特征点跟踪方法的流程图，如图3所示，该流程包括如下步骤：

S301，缩放函数将该第一帧图像中的人脸框缩放生成缩放人脸框，需要说明的是，该第一帧图像中包含的信息除人脸框外，可能还存在其他信息，所以在第一帧图像中添加有人脸框标签，用于辅助关键点检测模型检测关键点，在本申请实施例中，缩放函数按照预设比例对人脸框进行缩放后得到预设分辨率的人脸框用于后续检测；

S302，将该缩放人脸框输入该关键点检测模型后预测得出初始关键点位置坐标，其中，该检测模型检测的是缩放后的人脸框而非原图中的人脸框同样是为了辅助该关键点检测模型进行预测，该关键点检测模型需要基于大量的训练集数据进行训练获取检测功能，并且在训练过程中，需要不断调整模型的深度和宽度以及网络参数实现检测效果优化，进一步的，得到的初始关键点坐标是针对于缩放图像的，并不是直接用于获取第一关键点框，需要采用映射函数映射后获取第一帧图像原图上的关键点位置坐标；

S303，通过映射函数将该初始关键点坐标映射到该第一帧图像上得到该第一帧图像的该关键点位置坐标，其中，虽然在数学上，函数是一种特殊的映射，两者都是两个非空集合中元素的对应关系且集合中的元素且都有方向，但是，在本申请实施例中，为了方便理解，把缩放图像中该初始关键点坐标映射到原图中的过程称之为通过映射函数映射得出。

通过上述步骤S301至步骤S303,相比于现有技术中将大量的图像数据通过算法模型或者卷积神经网络的迭代计算输出人脸特征点的方法，该技术通过引入缩放函数和映射函数算法模型检测到第一帧图像的人脸关键点，再根据第一帧图像的人脸关键点坐标与第二帧图像的关键点偏移量相减确定第二帧图像关键点坐标的方法解决了相关技术中采用的跟踪方式较为复杂且需要大量的跟踪网络参数无法应用到设备端的问题。

在其中一些实施例中，图4是根据本申请实施例的一种人脸特征点追踪方法的人脸关键点示意图，如图4所示，该特征点包括：左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角，其中，图中所示的人脸关键点都可以采用人脸关键点坐标的形式来表示，例如，第一帧图像的人脸特征点S1＝(a1，a2，a3，a4，a5)，S1中的每个参数均为一个单独的人脸关键点坐标，如a1＝(X1，Y1)，a2＝(X2，Y2)，则S1中的多个参数可以表示完整的人脸特征点。需要说明的是，本发明实施例对该的人体关键点包括但不限于左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角，在训练模型或跟踪人脸特征点的过程中，也可以根据实际需求对人脸特征点的数目做改变，例如，该人脸特征点还可以包括：左眼中心、右眼中心、鼻子中心、左嘴角、右嘴角、左耳垂和右耳垂这七个特征点，则实际是对7个人脸特征点坐标值进行处理来表示变化的人脸特征点；

在其中一些实施例中，该第一帧图像和该第二帧图像为视频流中连续的两帧图像，其中，“第一”和“第二”没有比较人脸特征点多少的意思，而是用于表示人脸特征点对应图像的时间先后顺序，该第一帧图像的人脸特征点可以是单张人脸图像的人脸特征点，或者包含人脸的视频中任一图像的人脸特征点；该第二帧图像的人脸特征点可以为视频中第一图像的后一帧图像的人脸特征点，也可以是基于该第一帧图像的人脸特征点模拟出的后一帧图像的人脸特征点。

在其中一些实施例中，该第一帧图像包含人脸框标签，该关键点检测模型依据该人脸框标签获取人脸框位置，其中，该人脸框标签是第一帧图像中人脸框的辅助信息，用于辅助人脸检测模型检测图像中人脸关键点，该人脸框标签可以但不限于在图像的左上角和右下角的位置坐标，例如，一个人脸框标签可以表示为P1(Xa，Yb)。

本申请实施例提供了一种人脸特征点跟踪系统，图5是根据本申请实施例的一种人脸特征点跟踪系统的结构框图，如图5所示，该系统包括信息获取模块51、存储模块52和处理模块53；该信息获取模块51用于采集人脸实时信息或者离线视频流；该存储模块52用于存储人脸跟踪模型及其他计算机程序；该处理模块53用于运行该人脸跟踪模型和其他计算机程序。

本申请提供了一种人脸特征点跟踪的电子设备，图6是根据本申请实施例的电子设备的内部结构示意图，如6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示；该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库；其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器；该非易失性存储介质存储有操作系统、计算机程序和数据库；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境；该电子设备的数据库用于存储数据；该电子设备的网络接口用于与外部的终端通过网络连接通信，该计算机程序被处理器执行时以一种人脸特征点追踪方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程；其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器；非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存；易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器；作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸特征点追踪方法，其特征在于，所述方法包括：

通过算法模型获取人脸关键点坐标包括：

通过关键点检测模型预测出第一帧图像的关键点位置坐标；根据所述关键点位置坐标获取第一关键点框，基于所述第一关键点框在第二帧图像相同位置上确定第二关键点框；将所述第二关键点框输入到回归网络中，通过所述回归网络获取第二帧图像的关键点坐标偏移量；所述第一帧图像的所述关键点坐标与所述关键点坐标偏移量相减得到所述第二帧图像的所述关键点坐标；

所述算法模型应用于设备端用于跟踪人脸特征点。

2.根据权利要求1所述的方法，其特征在于，所述通过所述关键点检测模型预测出第一帧图像的关键点位置坐标包括：

缩放函数将所述第一帧图像中的人脸框缩放生成缩放人脸框，将所述缩放人脸框输入所述关键点检测模型后预测得出初始关键点位置坐标；

再通过映射函数将所述初始关键点坐标映射到所述第一帧图像上得到所述第一帧图像的所述关键点位置坐标。

3.根据权利要求1所述的方法，其特征在于，对所述关键点包括：左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角。

4.根据权利要求1所述的方法，其特征在于，所述第一帧图像和所述第二帧图像为视频流中连续的两帧图像。

5.根据权利要求1所述的方法，其特征在于,所述第一帧图像包含人脸框标签，所述关键点检测模型依据所述人脸框标签获取人脸框位置。

6.根据权利要求1所述的方法，其特征在于，所述回归网络是基于调整后的mobilenet-v2网络模型。

7.一种人脸特征点追踪系统，其特征在于，所述系统包括：

信息获取模块，用于采集人脸实时信息或者离线视频流；

存储模块模块，用于存储人脸跟踪模型及其他计算机程序；

处理模块，用于运行所述人脸跟踪模型和其他计算机程序。

8.一种人脸特征点追踪系统，其特征在于，所述检测跟踪模块通过将第一帧图像的关键点位置坐标与第二帧图像的关键点坐标偏移量相减得到第二帧图像的所述关键点坐标。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的人脸特征点追踪方法方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的人脸特征点追踪方法。

Images