CN107066982A - 人脸特征点的识别方法和装置 - Google Patents

人脸特征点的识别方法和装置 Download PDF

Info

Publication number
CN107066982A
CN107066982A CN201710260400.XA CN201710260400A CN107066982A CN 107066982 A CN107066982 A CN 107066982A CN 201710260400 A CN201710260400 A CN 201710260400A CN 107066982 A CN107066982 A CN 107066982A
Authority
CN
China
Prior art keywords
characteristic point
face characteristic
texture
point
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710260400.XA
Other languages
English (en)
Inventor
袁家劼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Snoring Mutual Entertainment Technology Co Ltd
Original Assignee
Tianjin Snoring Mutual Entertainment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Snoring Mutual Entertainment Technology Co Ltd filed Critical Tianjin Snoring Mutual Entertainment Technology Co Ltd
Priority to CN201710260400.XA priority Critical patent/CN107066982A/zh
Publication of CN107066982A publication Critical patent/CN107066982A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸特征点的识别方法和装置,涉及图像识别的技术领域,该方法包括:获取当前视频帧图像;在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;以及,将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与第一目标特征点的纹理特征信息相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征点,其中,第一目标特征点为上一视频帧图像的人脸特征点,缓解了传统的人脸特征点识别技术在进行人脸特征点识别的过程中识别稳定性较差的技术问题。

Description

人脸特征点的识别方法和装置
技术领域
本发明涉及图像识别的技术领域,尤其是涉及一种人脸特征点的识别方法和装置。
背景技术
随着智能硬件的飞速发展,人工智能与机器学习的成果越来越多的应用到了移动终端,人脸检测与人脸特征点检测的技术被更多的手机客户端(APP)使用。例如,一些简单的美图软件,视频交互软件,AR特效软件等等,都使用到了人脸检测和特征点检测的技术。尤其是在IOS的客户端,因其苹果手机强大的图形处理功能,原来只能非实时,异步进行的特征点检测的技术,也达到了实时的效果。视频社交软件,诸如snap chat和face u,QQ,陌陌等都将特征定位的技术用在了实时的AR特效上面,以添加更多的交互趣味功能。
然而,目前的特征点检测技术在实时的视频中存在定位抖动的问题,当然这些问题可以通过不停的加大训练样本,完善特征定位模型,以及多帧平均的方式减缓其抖动的幅度。但是这些改进又会带来新的问题,比如增大样本训练模型,相当于直接增加模型的成本。样本的扩充可能需要几十到上百万的标注样本,以数据堂的标注样本售价为标准,一张标注好的样本成本在1.5元以上,所以模型迭代基本以百万的耗资为基数。更离谱得是,模型就算训练得再好,也不能消除抖动,最多只能减缓其趋势。其次是多帧的预测结果作均值,这样虽然可以有效得消除抖动,但是如果视频中的人物头部运动较剧烈就会产生严重得拖影,反馈在用户上的感觉就像是渲染在头部的特效并没有与渲染部位完美得融合,而像是被头部拖着跑,严重影响用户体验。
发明内容
本发明的目的在于提供一种人脸特征点的识别方法和装置,以缓解传统的人脸特征点识别技术在进行人脸特征点识别的过程中识别稳定性较差的技术问题。
根据本发明实施例的一个方面,提供了一种人脸特征点的识别方法,包括:获取当前视频帧图像;在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息;以及,将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与所述第一目标特征点的纹理特征信息相匹配的特征点,并将所述相匹配的特征点作为所述当前视频帧图像的特征点,其中,所述第一目标特征点为上一视频帧图像的人脸特征点。
进一步地,在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息包括:判断在所述当前视频帧图像中是否检测到所述初始人脸特征点;如果判断出检测到所述初始人脸特征点,则判断所述初始人脸特征点所属的特征空间是否存在纹理特征信息;以及,如果判断出所述初始人脸特征点所属的特征空间存在纹理特征信息,则执行将所述初始人脸特征点的特征纹理信息与所述第一目标特征点的纹理特征信息进行匹配的步骤。
进一步地,如果判断出所述初始人脸特征点所属的特征空间不存在纹理特征信息,所述方法还包括:为所述初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
进一步地,将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配包括:在预设范围内查找第二目标特征点,其中,所述第二目标特征点为所述预设范围内纹理特征信息与所述第一目标特征点的纹理特征信息相似度最大的特征点,所述预设范围包括以下任一种:以所述初始人脸特征点为中心R为半径的圆形区域,以所述初始人脸特征点为中心的矩形区域;以及,将所述第二目标特征点作为所述当前视频帧图像的特征点。
进一步地,如果判断出未检测到的所述初始人脸特征点,所述方法还包括:继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
进一步地,在获取当前视频帧图像之前,所述方法还包括:获取预先设置的所述人脸特征点的属性信息;以及,获取预先为每个所述人脸特征点分配的特征空间。
根据本发明实施例的另一个方面,还提供了一种人脸特征点的识别装置,包括:第一获取单元,用于获取当前视频帧图像;检测单元,用于在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息;以及,匹配单元,用于将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与所述第一目标特征点的纹理特征信息相匹配的特征点,并将所述相匹配的特征点作为所述当前视频帧图像的特征点,其中,所述第一目标特征点为上一视频帧图像的人脸特征点。
进一步地,所述检测单元包括:第一判断模块,用于判断在所述当前视频帧图像中是否检测到所述初始人脸特征点;第二判断模块,用于在判断出检测到所述初始人脸特征点的情况下,判断所述初始人脸特征点所属的特征空间是否存在纹理特征信息;其中,如果所述第二判断模块判断出所述初始人脸特征点所属的特征空间存在纹理特征信息,则通过所述匹配单元将所述初始人脸特征点的特征纹理信息与所述第一目标特征点的纹理特征信息进行匹配。
进一步地,所述装置还包括:分配模块,用于在判断出所述初始人脸特征点所属的特征空间不存在纹理特征信息的情况下,为所述初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
进一步地,所述匹配单元包括:查找模块,用于在预设范围内查找第二目标特征点,其中,所述第二目标特征点为所述预设范围内纹理特征信息与所述第一目标特征点的纹理特征信息相似度最大的特征点,所述预设范围包括以下任一种:以所述初始人脸特征点为中心R为半径的圆形区域,以所述初始人脸特征点为中心的矩形区域;以及,确定模块,用于将所述第二目标特征点作为所述当前视频帧图像的特征点。
在本发明实施例中,首先获取当前视频帧图像;然后,在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;接下来,将初始人脸特征点的特征纹理信息与上一视频帧图像的人脸特征点的纹理特征信息进行匹配,得到相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征线。在采用本发明对人脸特征进行识别时,是对每个视频帧图像进行上述处理,经过上述处理之后得到人脸特征点的定位抖动现象明显减弱,进一步地提高了人脸特征点的识别效果,进而缓解了传统的人脸特征点识别技术在进行人脸特征点识别的过程中识别稳定性较差的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种人脸特征点的识别方法的流程图;
图2是根据本发明实施例的另一种可选地人脸特征点的识别方法的流程图;
图3是根据本发明实施例的一种测试结果对比图;
图4是根据本发明实施例的另一种测试结果对比图;
图5是根据本发明实施例的一种人脸特征点的识别装置的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例一
根据本发明实施例,提供了一种人脸特征点的识别方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种人脸特征点的识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取当前视频帧图像;
步骤S104,在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;
步骤S106,将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与第一目标特征点的纹理特征信息相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征点,其中,第一目标特征点为上一视频帧图像的人脸特征点。
其中,上一视频帧图像的人脸特征点同样是采用上述步骤S102至步骤S106中所描述的方法得到的。
在本发明实施例中,首先获取当前视频帧图像;然后,在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;接下来,将初始人脸特征点的特征纹理信息与上一视频帧图像的人脸特征点的纹理特征信息进行匹配,得到相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征线。在采用本发明对人脸特征进行识别时,是对每个视频帧图像进行上述处理,经过上述处理之后得到人脸特征点的定位抖动现象明显减弱,进一步地提高了人脸特征点的识别效果,进而缓解了传统的人脸特征点识别技术在进行人脸特征点识别的过程中识别稳定性较差的技术问题。
在本发明实施例的一个可选实施方式中,在获取当前视频帧图像之前,该方法还包括如下步骤:
步骤S1011,获取预先设置的人脸特征点的属性信息;以及
步骤S1012,获取预先为每个人脸特征点分配的特征空间。
在本发明实施例中,在对每个视频帧图像进行识别之前,需要进行特征的选取,即,选取人脸特征点的属性。在进行特征选取时,应该遵循几个原则:能代表该特征点以及特征点随周围像素的变化趋势,具有较高的唯一性和不可复制性。常见的特征有LBP,HOG,SIFT等等,当然也可以由用户自行开发出更好的特征用以匹配,对此不做具体限制。
在确定人脸特征点的属性信息之后,就可以为每一个特征点分配一个特征空间,其中,特征空间的长度以选用的特征来自定义。比如,用SIFT特征可能需要128维,利用HOG特征,其维度就随着HOG的参数值的变化而变化。
在进行特征的选取,以及为每个特征点确定特征空间之后,就可以通过人脸特征点的检测算法实时对视频中包含的人脸信息的人脸特征点进行识别。其中,在识别的过程中,是以帧为单位进行识别,即对于每个视频帧图像,均采用上述步骤S102至步骤S106中所描述的方式来确定人脸特征点。
在下述实施例中,以一个视频帧图像为例进行说明。
在对视频流进行识别时,获取当前视频帧图像,然后在当前视频帧图像中检测初始人脸特征点,以及检测初始人员特征点的纹理特征信息。其中,可以采用下述方式在当前视频帧图像中检测初始人脸特征点:
首先,判断在当前视频帧图像中是否检测到初始人脸特征点;
如果判断出检测到初始人脸特征点,则判断初始人脸特征点所属的特征空间是否存在纹理特征信息;
其中,如果判断出初始人脸特征点所属的特征空间存在纹理特征信息,则执行将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配的步骤。
在一个可选的实施方式中,将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配包括如下步骤:
步骤S1,在预设范围内查找第二目标特征点,其中,第二目标特征点为预设范围内纹理特征信息与第一目标特征点的纹理特征信息相似度最大的特征点,预设范围包括以下任一种:以初始人脸特征点为中心R为半径的圆形区域,以初始人脸特征点为中心的矩形区域;
具体地,如果判断出初始人脸特征点所属的特征空间存在纹理特征信息,那么在当前初始人脸特征点以R为半径的圆周范围内,查找与第一目标特征点A的纹理特征信息相似度最大的特征点,并将该特征点作为第二目标特征点,其中,第一目标特征点A为多个第一目标特征点中与当前初始人脸特征点相对应的特征点。需要说明的是,上述R=几个像素或者R=十几个像素,具体根据用户的实际需要来进行确定。
除此之外,还可以在当前初始人脸特征点为中心的矩形范围内,查找与第一目标特征点A的纹理特征相似度最大的特征点,并将该特征点作为第二目标特征点。
步骤S2,将第二目标特征点作为当前视频帧图像的特征点。
具体地,在按照上述步骤S1所描述的方式将每个初始人脸特征与依次与第一目标特征点进行匹配之后,就可以确定多个第二目标特征点。一般情况下,第一目标特征点,初始目标特征点和第二目标特征点的数量相同。
通过上述描述可知,如果判断出检测到初始人脸特征点,则判断初始人脸特征点所属的特征空间是否存在纹理特征信息。那么如果判断出未检测到初始人脸特征点,则继续检测当前视频帧的下一视频帧的视频帧图像中的人脸特征点,以及下一视频帧图像中人脸特征点的纹理特征信息。
进一步地,通过上述描述可知,如果判断出初始人脸特征点所属的特征空间存在纹理特征信息,则执行将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配的步骤。如果判断出初始人脸特征点所属的特征空间不存在纹理特征信息,则为初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和下一视频帧图像中人脸特征点的纹理特征信息。
可选地,如果初始人脸特征点的特征空间中不存在纹理特征信息,那么可以以初始人脸特征点为原点,预设圆周范围内的纹理特征信息作为该初始人脸特征点的纹理特征信息。其中,具体预设圆周范围的大小可以根据实际需要进行确定。
需要说明的是,通过上述操作处理之后得到的人脸特征点,能够从根本上解决定位抖动。当采用传统的人脸特征点的检测算法对视频流中包含的人脸进行特征点识别时,人脸特征点一直在抖动,而且抖动很严重,稳定性较差。但是,采用本发明实施例中提供的方法对视频流中人脸特征点进行识别时,能够有效减小抖动,通过本发明实施例中提供的方法检测到的特征点在实时视频中像是贴在用户的脸上一样。也就是说,本发明实施例中提供的人脸特征点的识别方法又可以称为一种增稳算法。
在本发明实施例中,对检测到的初始人脸特征点进行二次算法(诸如头部3D姿态估计,表情估计,动作估计)以及各种特效渲染(诸如贴卡通鼻子、耳朵、嘴巴等等)相比之前能带来质的飞跃。更重要的是,现在市面上存在的各种主流的特征点检测算法都可以与本发明提供的方法适配以提高其原有的性能。
实施例二
根据本发明实施例,还提供了另一种可选地人脸特征点的识别方法的实施例。
图2是根据本发明实施例的另一种可选地人脸特征点的识别方法的流程图,如图2所示,该方法包括如下步骤:
步骤S201,选取特征,即,获取预先设置的人脸特征点的属性信息,其中,选取特征应该遵循几个原则:能代表该特征点以及特征点随周围像素的变化趋势,具有较高的唯一性和不可复制性。常见的特征有LBP,HOG,SIFT等等,当然也可以由用户自行开发出更好的特征用以匹配,对此不做具体限定;
步骤S202,为每一个特征点分配一个特征空间,其中,特征空间的长度以选用的特征来自定义。比如,用SIFT特征可能需要128维。又比如,用HOG特征,其维度就随着HOG的参数值的变化而变化;
步骤S203,通过人脸特征点检测算法在每个视频帧图像中检测初始人脸特征点;
步骤S204,判断是否出现初始人脸特征点;如果出现初始人脸特征点,则执行步骤S205,如果未出现初始人脸特征点,则返回执行步骤S203,检测下一视频帧图像中的初始人脸特征点;
步骤S205,检查每个初始人脸特征点的特征空间内是否有纹理特征信息;其中,如果存在,则执行步骤S207;如果不存在,则执行步骤S206;
步骤S206,提取该初始人脸特征点的纹理特征信息,并存入特征空间,返回执行步骤S203,即,继续检测下一视频帧图像中的初始人脸特征点;
具体地,如果初始人脸特征点的特征空间中不存在纹理特征信息,那么可以以初始人脸特征点为原点,预设圆周范围内的纹理特征信息作为该初始人脸特征点的纹理特征信息。其中,具体预设圆周范围的大小可以根据实际需要进行确定。
步骤S207,在预设范围内查找第二目标特征点,其中,第二目标特征点为预设范围内纹理特征信息与第一目标特征点的纹理特征信息相似度最大的特征点,预设范围包括以下任一种:以初始人脸特征点为中心R为半径的圆形区域,以初始人脸特征点为中心的矩形区域;
步骤S208,更新初始人脸特征点坐标为第二目标特征点,即最匹配纹理特征的坐标,更新第二目标特征点的纹理特征信息为最匹配纹理特征信息。
在本发明实施例中,利用视频流的时序特点,将前一帧检测的特征点的纹理特征信息提取出来存储,然后在当前视频帧作纹理匹配。并在一个合理的搜索范围内使其最大相似纹理的坐标值作为当前视频帧的人脸特征点,并更新该点的纹理特征信息作为下一帧的匹配特征信息。
在本发明实施例中,是在识别出初始人脸特征点之后,继续对初始人脸特征进行前一视频帧的纹理匹配,并更新该初始人脸特征点的坐标和纹理特征信息,通过该改进方式大幅度提高了特征点检测的稳定性。
为了证明本发明实施例提供的人脸特征点的识别方法的稳定性,发明人分别用特征点检测算法(例如,dlib库自带特征点检测算法和官方模型)和本发明实施例提供的人脸特征点的识别方法依次采样进行比较。其采样的方式为人头不移动(即,在视频中一直是固定位置),每两帧采集同一特征点在图像上的位置的距离之差作为采样的样本;然后,以样本的数量作为横轴,同一特征点在图像上的位置的距离之差作为纵轴,观测其抖动的特性。这样的设置的依据是,只要人头不动,那么特征点必须是固定的,如果特征点检测算法能完美检测每一帧,那么相邻两帧之间的同一个特征点的位置距离只差应该为0。所以距离只差越小,性能越稳定。下述图3和图4为测试结果对比图。
在图3和图4中,mu和sigma分别是总体抖动幅度的平均值和方差。从图中可以看到,与图3相比,图4加了增稳算法以后,整体性能大幅度提升。原来平均每帧1像素(以像素为距离的度量单位,比如一个480*64分辨率的图像,它的宽为480像素,高为640像素)的抖动,现在降到了0.035像素,方差也大幅度减小,整体趋于稳定。在用户体验上,增稳的效果带来的体验改进会更加明显,尤其在3D贴图的特效上面,感官上特效与头部会更加贴合自然。
其次,增稳算法并不会带来太多计算资源的消耗与计算速度的下降。以图3与图4的实验相比较为例,使用了增稳算法以后的检测算法与原始特征点检测算法相比平均每一帧多了1ms计算时间,即使在移动端,这样的差距只在2ms以内。因此该增稳算法是在极少增加计算负担的同时,有效的弥补了因为模型训练不足等因素带来的特征点检测的抖动状态,取得了体验上的大幅改进,大大节省了样本资源与物资消耗。
实施例三
本发明实施例还提供了一种人脸特征点的识别装置,该人脸特征点的识别装置主要用于执行本发明实施例上述内容所提供的人脸特征点的识别方法,以下对本发明实施例提供的人脸特征点的识别装置做具体介绍。
图5是根据本发明实施例的一种人脸特征点的识别装置的示意图,如图5所示,该人脸特征点的识别装置主要包括:第一获取单元51,检测单元52和匹配单元53,其中:
第一获取单元51,用于获取当前视频帧图像;
检测单元52,用于在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;
匹配单元53,用于将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与第一目标特征点的纹理特征信息相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征点,其中,第一目标特征点为上一视频帧图像的人脸特征点。
在本发明实施例中,首先获取当前视频帧图像;然后,在当前视频帧图像中检测初始人脸特征点,以及检测初始人脸特征点的纹理特征信息;接下来,将初始人脸特征点的特征纹理信息与上一视频帧图像的人脸特征点的纹理特征信息进行匹配,得到相匹配的特征点,并将相匹配的特征点作为当前视频帧图像的特征线。在采用本发明对人脸特征进行识别时,是对每个视频帧图像进行上述处理,经过上述处理之后得到人脸特征点的抖动现象明显减弱,进一步地的提高了人脸特征点的识别效果,进而缓解了传统的人脸特征点识别技术在进行人脸特征点识别的过程中识别稳定性较差的技术问题。
可选地,检测单元包括:第一判断模块,用于判断在当前视频帧图像中是否检测到初始人脸特征点;第二判断模块,用于在判断出检测到初始人脸特征点的情况下,判断初始人脸特征点所属的特征空间是否存在纹理特征信息;其中,如果第二判断模块判断出初始人脸特征点所属的特征空间存在纹理特征信息,则通过匹配单元将初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配。
可选地,该装置还包括:分配模块,用于在判断出初始人脸特征点所属的特征空间不存在纹理特征信息的情况下,为初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和下一视频帧图像中人脸特征点的纹理特征信息。
可选地,匹配单元包括:查找模块,用于在预设范围内查找第二目标特征点,其中,第二目标特征点为预设范围内纹理特征信息与第一目标特征点的纹理特征信息相似度最大的特征点,预设范围包括以下任一种:以初始人脸特征点为中心R为半径的圆形区域,以初始人脸特征点为中心的矩形区域;以及,确定模块,用于将第二目标特征点作为当前视频帧图像的特征点。
可选地,该装置还包括:检测模块,用于在判断出未检测到的初始人脸特征点的情况下,继续检测下一视频帧图像中的人脸特征点和下一视频帧图像中人脸特征点的纹理特征信息。
可选地,该装置还包括:,在获取当前视频帧图像之前,方法还包括:第二获取单元,用于获取预先设置的人脸特征点的属性信息;以及,第三获取单元,用于获取预先为每个人脸特征点分配的特征空间。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸特征点的识别方法,其特征在于,包括:
获取当前视频帧图像;
在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息;以及
将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与所述第一目标特征点的纹理特征信息相匹配的特征点,并将所述相匹配的特征点作为所述当前视频帧图像的特征点,其中,所述第一目标特征点为上一视频帧图像的人脸特征点。
2.根据权利要求1所述的方法,其特征在于,在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息包括:
判断在所述当前视频帧图像中是否检测到所述初始人脸特征点;
如果判断出检测到所述初始人脸特征点,则判断所述初始人脸特征点所属的特征空间是否存在纹理特征信息;以及
如果判断出所述初始人脸特征点所属的特征空间存在纹理特征信息,则执行将所述初始人脸特征点的特征纹理信息与所述第一目标特征点的纹理特征信息进行匹配的步骤。
3.根据权利要求2所述的方法,其特征在于,如果判断出所述初始人脸特征点所属的特征空间不存在纹理特征信息,所述方法还包括:
为所述初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
4.根据权利要求1或2所述的方法,其特征在于,将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行匹配包括:
在预设范围内查找第二目标特征点,其中,所述第二目标特征点为所述预设范围内纹理特征信息与所述第一目标特征点的纹理特征信息相似度最大的特征点,所述预设范围包括以下任一种:以所述初始人脸特征点为中心R为半径的圆形区域,以所述初始人脸特征点为中心的矩形区域;以及
将所述第二目标特征点作为所述当前视频帧图像的特征点。
5.根据权利要求2所述的方法,其特征在于,如果判断出未检测到的所述初始人脸特征点,所述方法还包括:
继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
6.根据权利要求1所述的方法,其特征在于,在获取当前视频帧图像之前,所述方法还包括:
获取预先设置的所述人脸特征点的属性信息;以及
获取预先为每个所述人脸特征点分配的特征空间。
7.一种人脸特征点的识别装置,其特征在于,包括:
第一获取单元,用于获取当前视频帧图像;
检测单元,用于在所述当前视频帧图像中检测初始人脸特征点,以及检测所述初始人脸特征点的纹理特征信息;以及
匹配单元,用于将所述初始人脸特征点的特征纹理信息与第一目标特征点的纹理特征信息进行纹理匹配,得到与所述第一目标特征点的纹理特征信息相匹配的特征点,并将所述相匹配的特征点作为所述当前视频帧图像的特征点,其中,所述第一目标特征点为上一视频帧图像的人脸特征点。
8.根据权利要求7所述的装置,其特征在于,所述检测单元包括:
第一判断模块,用于判断在所述当前视频帧图像中是否检测到所述初始人脸特征点;
第二判断模块,用于在判断出检测到所述初始人脸特征点的情况下,判断所述初始人脸特征点所属的特征空间是否存在纹理特征信息;
其中,如果所述第二判断模块判断出所述初始人脸特征点所属的特征空间存在纹理特征信息,则通过所述匹配单元将所述初始人脸特征点的特征纹理信息与所述第一目标特征点的纹理特征信息进行匹配。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
分配模块,用于在判断出所述初始人脸特征点所属的特征空间不存在纹理特征信息的情况下,为所述初始人脸特征点分配纹理特征信息,并继续检测下一视频帧图像中的人脸特征点和所述下一视频帧图像中人脸特征点的纹理特征信息。
10.根据权利要求7或8所述的装置,其特征在于,所述匹配单元包括:
查找模块,用于在预设范围内查找第二目标特征点,其中,所述第二目标特征点为所述预设范围内纹理特征信息与所述第一目标特征点的纹理特征信息相似度最大的特征点,所述预设范围包括以下任一种:以所述初始人脸特征点为中心R为半径的圆形区域,以所述初始人脸特征点为中心的矩形区域;以及
确定模块,用于将所述第二目标特征点作为所述当前视频帧图像的特征点。
CN201710260400.XA 2017-04-20 2017-04-20 人脸特征点的识别方法和装置 Pending CN107066982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710260400.XA CN107066982A (zh) 2017-04-20 2017-04-20 人脸特征点的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710260400.XA CN107066982A (zh) 2017-04-20 2017-04-20 人脸特征点的识别方法和装置

Publications (1)

Publication Number Publication Date
CN107066982A true CN107066982A (zh) 2017-08-18

Family

ID=59600567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710260400.XA Pending CN107066982A (zh) 2017-04-20 2017-04-20 人脸特征点的识别方法和装置

Country Status (1)

Country Link
CN (1) CN107066982A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483892A (zh) * 2017-09-08 2017-12-15 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
CN107516092A (zh) * 2017-09-21 2017-12-26 天津呼噜互娱科技有限公司 人脸特征点检测增强方法及装置
CN107564086A (zh) * 2017-09-08 2018-01-09 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003135B2 (en) * 2001-05-25 2006-02-21 Industrial Technology Research Institute System and method for rapidly tracking multiple faces
CN102831382A (zh) * 2011-06-15 2012-12-19 北京三星通信技术研究有限公司 人脸跟踪设备和方法
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN105518709A (zh) * 2015-03-26 2016-04-20 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003135B2 (en) * 2001-05-25 2006-02-21 Industrial Technology Research Institute System and method for rapidly tracking multiple faces
CN102831382A (zh) * 2011-06-15 2012-12-19 北京三星通信技术研究有限公司 人脸跟踪设备和方法
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN105518709A (zh) * 2015-03-26 2016-04-20 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李旺 等: "一种改进的fast角点检测和描述算法", 《电脑知识与技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483892A (zh) * 2017-09-08 2017-12-15 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
CN107564086A (zh) * 2017-09-08 2018-01-09 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN107516092A (zh) * 2017-09-21 2017-12-26 天津呼噜互娱科技有限公司 人脸特征点检测增强方法及装置

Similar Documents

Publication Publication Date Title
US11595737B2 (en) Method for embedding advertisement in video and computer device
CN108665508B (zh) 一种即时定位与地图构建方法、装置及存储介质
CN110427905A (zh) 行人跟踪方法、装置以及终端
Ni et al. Visual tracking using neuromorphic asynchronous event-based cameras
CN110309824B (zh) 文字检测方法、装置以及终端
US9013489B2 (en) Generation of avatar reflecting player appearance
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN103530881B (zh) 适用于移动终端的户外增强现实无标志点跟踪注册方法
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
US20150054825A1 (en) Method for image and video virtual hairstyle modeling
CN105493078B (zh) 彩色草图图像搜索
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
Bagdanov et al. Real-time hand status recognition from RGB-D imagery
CN106919891B (zh) 一种图像处理方法及装置
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
CN106373085A (zh) 一种基于增强现实的智能终端3d手表试戴方法及系统
EP4404148A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN107959798B (zh) 视频数据实时处理方法及装置、计算设备
CN107066982A (zh) 人脸特征点的识别方法和装置
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质
CN110232588A (zh) 一种实体店管理方法以及实体店管理系统
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
JP7143931B2 (ja) 制御方法、学習装置、識別装置及びプログラム
CN111275012A (zh) 基于人脸识别的广告屏客流量统计系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication