CN107633208B - 电子装置、人脸追踪的方法及存储介质 - Google Patents

Abstract

本发明涉及一种电子装置、人脸追踪的方法及存储介质，该方法包括：人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的X、Y坐标值，以及人脸区域的高度H、宽度W值，计算得到该相邻两帧人脸图像中人脸的相似度；人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。本发明能够在发生短暂遮挡或少数人脸检测缺失时准确地进行人脸追踪。

Description

电子装置、人脸追踪的方法及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种电子装置、人脸追踪的方法及存储介质。

背景技术

目前，在对同一个人的人脸进行追踪时，一般的做法是基于人脸的位置，当前帧的某个人脸与上一帧的某个人脸中心坐标最接近时，判断为同一个人的人脸。由于只使用了x、y坐标，而没有使用深度信息，当追踪过程中发生短暂的遮挡，或者某几帧的人脸没有被检测到时，有可能会造成近处的人脸被误认为是远处的人脸的后续(或者相反)，导致人脸追踪出现错误。

发明内容

本发明的目的在于提供一种电子装置、人脸追踪的方法及存储介质，旨在在发生短暂遮挡或少数人脸检测缺失时准确地进行人脸追踪。

为实现上述目的，本发明提供一种电子装置，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的人脸追踪系统，所述人脸追踪系统被所述处理器执行时实现如下步骤：

人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的X、Y坐标值，以及人脸区域的高度H、宽度W值，计算得到该相邻两帧人脸图像中人脸的相似度；

人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

优选地，所述相似度计算步骤包括：

所述S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，其中：

为人脸i和人脸j中心点之间x方向距离；

为人脸i和人脸j中心点之间y方向距离；

为人脸i和人脸j的宽度差异；

为人脸i和人脸j的高度差异。

优选地，所述相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重均为0.25。

优选地，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

为实现上述目的，本发明还提供一种人脸追踪的方法，所述人脸追踪的方法包括：

人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的X、Y坐标值，以及人脸区域的高度H、宽度W值，计算得到该相邻两帧人脸图像中人脸的相似度；

人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

优选地，所述相似度计算步骤包括：

所述S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，其中：

为人脸i和人脸j中心点之间x方向距离；

为人脸i和人脸j中心点之间y方向距离；

为人脸i和人脸j的宽度差异；

为人脸i和人脸j的高度差异。

优选地，所述相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重均为0.25。

优选地，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

优选地，所述预设阈值为0.85。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸追踪系统，所述人脸追踪系统被处理器执行时实现上述的人脸追踪的方法的步骤。

本发明的有益效果是：本发明在人脸追踪中，在使用x、y坐标之外，进一步增加了人脸大小作为同一目标人脸的判断依据，因为人在x、y、z三个方向一般都不会有很高的移动速度，所以同一人的人脸大小也不会发生很大变化，因此对于T-1帧的每个人脸，在T帧的所有人脸中寻找相似度最大的人脸作为他的追踪后继，使用这种算法，减少了在发生短暂遮挡或少数人脸检测缺失时错误追踪的可能性，能够准确地进行人脸追踪。

附图说明

图1为本发明各个实施例一可选的应用环境示意图；

图2为本发明人脸追踪的方法一实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅图1所示，是本发明人脸追踪的方法的较佳实施例的应用环境示意图。该应用环境示意图包括电子装置1及摄像装置2。电子装置1可以通过网络、近场通信技术等适合的技术与摄像装置2进行数据交互。

所述摄像装置2可以是包含TUBE真空管式传感器、CCD(Charge Coupled Device)电荷藕合组件传感器或者CMOS金属氧化物半导体传感器的摄像头等，此处不做过多限定。摄像装置2包括一个或者多个，安装于特定场所(例如办公场所、监控区域)，对进入该特定场所的目标实时拍摄得到视频，通过网络将拍摄得到的视频实时传输至电子装置1。

所述电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的人脸追踪系统。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

其中，存储器11还可以包括内存及至少一种类型的可读存储介质，内存为电子装置1的运行提供缓存。其可读存储介质还可用于存储电子装置1接收到的实时拍摄的人脸图像及人脸图像样本库。可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该可读存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11还可用于存储安装于电子装置1的操作系统和各类应用软件，例如本发明一实施例中的人脸追踪系统的程序代码等。

所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述摄像装置2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行人脸追踪系统等。

所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。本实施例中，网络接口13主要用于将电子装置1与一个或多个摄像装置2相连，以建立数据传输通道和通信连接。

所述人脸追踪系统存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器器12执行，以实现本申请各实施例的方法；以及，该至少一个计算机可读指令依据其各部分所实现的功能不同，可被划为不同的逻辑模块。

在一实施例中，上述人脸追踪系统被所述处理器12执行时实现如下步骤：

人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征选出包括人脸图像的图像，选出来的图像作为一时间序列的人脸图像。

具体地，基于人脸的特征选出包括人脸图像的图像的方法包括：基于传统方法(例如基于人脸的轮廓规则、器官分布规则、对称性规则或运动规则等等)、基于几何特征的方法(例如利用机器学习的方法寻找脸部特征)、基于相关匹配的方法(例如模板匹配法或等强度线法等)、基于表象的方法(例如利用统计分析和机器学习的技术来寻找人脸和非人脸图像的有关特性)、基于统计理论的方法(例如神经网络或支持向量机等)。

本实施例中，对于该时间序列的人脸图像，获取其中相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域。人脸区域可大可小，对于远景拍摄的人脸图像，其人脸区域小，对于近景拍摄的人脸图像，其人脸区域大。人脸区域为包括人脸的最小区域，优选为包括人脸的矩形区域，当然也可以是其他形状的包括人脸的区域，例如圆形区域等，此处不做过多限定。

相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的X、Y坐标值，以及人脸区域的高度H、宽度W值，计算得到该相邻两帧人脸图像中人脸的相似度；

人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

本实施例中，相邻两帧人脸图像的相似度计算公式如下：

所述S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，各个权重可以相同也可以不相同，其中：

为人脸i和人脸j中心点之间x方向距离；

为人脸i和人脸j中心点之间y方向距离；

为人脸i和人脸j的宽度差异；

为人脸i和人脸j的高度差异。

优选地，相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重w_x,w_y,w_w,w_h均为0.25。

对于同一人的人脸，离摄像头越近则拍摄得到的人脸区域在图像中所占面积比例越大，即人脸区域的高度H与宽度W值的乘积越大，离摄像头越远则拍摄得到的人脸区域在图像中所占面积比例越小，即人脸区域的高度H与宽度W值的乘积越小，因此，本实施例中，图像的深度信息(即z方向的变化)通过实时图像中人脸区域的大小体现，基于人脸图像的x、y、z三个方向计算人脸的相似度。

与现有技术相比，本实施例在人脸追踪中，在使用x、y坐标之外，进一步增加了人脸大小作为同一目标人脸的判断依据，因为人在x、y、z三个方向一般都不会有很高的移动速度，所以同一人的人脸大小也不会发生很大变化，因此对于T-1帧的每个人脸，在T帧的所有人脸中寻找相似度最大的人脸作为他的追踪后继，使用这种算法，减少了在发生短暂遮挡或少数人脸检测缺失时错误追踪的可能性，能够准确地进行人脸追踪。

在一优选的实施例中，在上述图1的实施例的基础上，所述人脸追踪判断步骤包括：当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

本实施例中，当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，优选地，预设阈值为0.85，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

当该相邻两帧人脸图像中，每张图像分别识别出一个人脸区域时，直接根据计算得到的一个相似度值判断该相邻两帧人脸图像中的人脸是否为同一人的人脸。在其他实施例中，当该相邻两帧人脸图像中，从图像中识别出的人脸区域不只一个时(例如有些图像中识别出2个、3个人脸区域)，根据相似度计算公式计算得到两张图像中每个人脸区域与另一张人脸图像中每个人脸区域的相似度值，再根据相似度值确定两张图像中相匹配的人脸，即人脸的相似度大于等于预设阈值的人脸为同一人的人脸。

如图2所示，图2为本发明人脸追踪的方法一实施例的流程示意图，该人脸追踪的方法包括以下步骤：

S1，人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征选出包括人脸图像的图像，选出来的图像作为一时间序列的人脸图像。

具体地，基于人脸的特征选出包括人脸图像的图像的方法包括：基于传统方法(例如基于人脸的轮廓规则、器官分布规则、对称性规则或运动规则等等)、基于几何特征的方法(例如利用机器学习的方法寻找脸部特征)、基于相关匹配的方法(例如模板匹配法或等强度线法等)、基于表象的方法(例如利用统计分析和机器学习的技术来寻找人脸和非人脸图像的有关特性)、基于统计理论的方法(例如神经网络或支持向量机等)。

本实施例中，对于该时间序列的人脸图像，获取其中相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域。人脸区域可大可小，对于远景拍摄的人脸图像，其人脸区域小，对于近景拍摄的人脸图像，其人脸区域大。人脸区域为包括人脸的最小区域，优选为包括人脸的矩形区域，当然也可以是其他形状的包括人脸的区域，例如圆形区域等，此处不做过多限定。

S2，相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的X、Y坐标值，以及人脸区域的高度H、宽度W值，计算得到该相邻两帧人脸图像中人脸的相似度；

S3，人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

本实施例中，相邻两帧人脸图像的相似度计算公式如下：

所述S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，各个权重可以相同也可以不相同，其中：

为人脸i和人脸j中心点之间x方向距离；

为人脸i和人脸j中心点之间y方向距离；

为人脸i和人脸j的宽度差异；

为人脸i和人脸j的高度差异。

优选地，相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重w_x,w_y,w_w,w_h均为0.25。

对于同一人的人脸，离摄像头越近则拍摄得到的人脸区域在图像中所占面积比例越大，即人脸区域的高度H与宽度W值的乘积越大，离摄像头越远则拍摄得到的人脸区域在图像中所占面积比例越小，即人脸区域的高度H与宽度W值的乘积越小，因此，本实施例中，图像的深度信息(即z方向的变化)通过实时图像中人脸区域的大小体现，基于人脸图像的x、y、z三个方向计算人脸的相似度。

与现有技术相比，本实施例在人脸追踪中，在使用x、y坐标之外，进一步增加了人脸大小作为同一目标人脸的判断依据，因为人在x、y、z三个方向一般都不会有很高的移动速度，所以同一人的人脸大小也不会发生很大变化，因此对于T-1帧的每个人脸，在T帧的所有人脸中寻找相似度最大的人脸作为他的追踪后继，使用这种算法，减少了在发生短暂遮挡或少数人脸检测缺失时错误追踪的可能性，能够准确地进行人脸追踪。

在一优选的实施例中，在上述图2的实施例的基础上，所述人脸追踪判断步骤包括：当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

本实施例中，当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，优选地，预设阈值为0.85，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

当该相邻两帧人脸图像中，每张图像分别识别出一个人脸区域时，直接根据计算得到的一个相似度值判断该相邻两帧人脸图像中的人脸是否为同一人的人脸。在其他实施例中，当该相邻两帧人脸图像中，从图像中识别出的人脸区域不只一个时(例如有些图像中识别出2个、3个人脸区域)，根据相似度计算公式计算得到两张图像中每个人脸区域与另一张人脸图像中每个人脸区域的相似度值，再根据相似度值确定两张图像中相匹配的人脸，即人脸的相似度大于等于预设阈值的人脸为同一人的人脸。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸追踪系统，所述人脸追踪系统被处理器执行时实现上述的人脸追踪的方法的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电子装置，其特征在于，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的人脸追踪系统，所述人脸追踪系统被所述处理器执行时实现如下步骤：

人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的x、y坐标值，以及人脸区域的高度、宽度值，利用预设的相似度计算公式计算得到该相邻两帧人脸图像中人脸的相似度，其中S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，

为人脸i和人脸j中心点之间x方向距离

为人脸i和人脸j中心点之间y方向距离，

为人脸i和人脸j的宽度差异，

为人脸i和人脸j的高度差异；

人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

2.根据权利要求1所述的电子装置，其特征在于，所述相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重均为0.25。

3.根据权利要求1或2所述的电子装置，其特征在于，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

4.如权利要求1所述的电子装置，其特征在于，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中，每张图像分别识别出一个人脸区域时，根据计算得到的一个相似度值判断该相邻两帧人脸图像中的人脸是否为同一人的人脸；

当该相邻两帧人脸图像中，从图像中识别出的人脸区域不只一个时，根据相似度计算公式计算得到两张图像中每个人脸区域与另一张人脸图像中每个人脸区域的相似度值，再根据相似度值确定两张图像中相匹配的人脸。

5.一种人脸追踪的方法，其特征在于，所述人脸追踪的方法包括：

人脸位置确定步骤：获取拍摄的一时间序列的人脸图像，从该时间序列中取相邻两帧人脸图像，在该相邻两帧人脸图像中确定人脸区域；

相似度计算步骤：根据该相邻两帧人脸图像中的人脸区域中心点的x、y坐标值，以及人脸区域的高度、宽度值，利用预设的相似度计算公式计算得到该相邻两帧人脸图像中人脸的相似度，其中S_i,j为相似度，所述w_x,w_y,w_w,w_h分别为相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重，w_x,w_y,w_w,w_h∈[0,1]，

为人脸i和人脸j中心点之间x方向距离，

为人脸i和人脸j中心点之间y方向距离，

为人脸i和人脸j的宽度差异，

为人脸i和人脸j的高度差异；

人脸追踪判断步骤：基于相邻两帧人脸图像中人脸的相似度进行人脸追踪。

6.根据权利要求5所述的人脸追踪的方法，其特征在于，所述相邻两帧人脸i、人脸j的x方向距离、y方向距离、宽度差异、高度差异的权重均为0.25。

7.根据权利要求5或6所述的人脸追踪的方法，其特征在于，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中人脸的相似度大于等于预设阈值时，判断该相邻两帧人脸图像中的人脸为同一人的人脸。

8.根据权利要求7所述的人脸追踪的方法，其特征在于，所述预设阈值为0.85。

9.如权利要求5或6所述的人脸追踪的方法，其特征在于，所述人脸追踪判断步骤包括：

当该相邻两帧人脸图像中，每张图像分别识别出一个人脸区域时，根据计算得到的一个相似度值判断该相邻两帧人脸图像中的人脸是否为同一人的人脸；

当该相邻两帧人脸图像中，从图像中识别出的人脸区域不只一个时，根据相似度计算公式计算得到两张图像中每个人脸区域与另一张人脸图像中每个人脸区域的相似度值，再根据相似度值确定两张图像中相匹配的人脸。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸追踪系统，所述人脸追踪系统被处理器执行时实现如权利要求5至9中任一项所述的人脸追踪的方法的步骤。