CN106778450B - 一种面部识别方法和装置 - Google Patents
一种面部识别方法和装置 Download PDFInfo
- Publication number
- CN106778450B CN106778450B CN201510827420.1A CN201510827420A CN106778450B CN 106778450 B CN106778450 B CN 106778450B CN 201510827420 A CN201510827420 A CN 201510827420A CN 106778450 B CN106778450 B CN 106778450B
- Authority
- CN
- China
- Prior art keywords
- mouth
- frame
- state
- determining
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 78
- 210000000697 sensory organ Anatomy 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 210000001331 nose Anatomy 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种面部识别方法和装置；本发明实施例采用在获取到视频数据后，从该视频数据中提取具有面部特征的帧，然后，从该提取的帧中确定嘴部位置，得到嘴部图像，并对该嘴部图像进行分析，得到嘴部特征，再然后，利用预设规则，根据该嘴部特征对嘴部状态进行标识，以作为判断嘴部是否运动的依据，从而实现对嘴部动作的识别；该方案可以大大提高识别的正确率，改善识别效果。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种面部识别方法和装置。
背景技术
随着通信技术的发展，各种各样的生物特征识别技术也应运而生，面部识别就是其中的一种。面部识别，又称人脸识别、面像识别和面容识别等；与指纹扫描或虹膜识别等技术相比，面部识别具有使用方便、直观性突出、识别精度高、以及不易仿冒等特点，因此，也较容易被广大用户所接受。
在现有技术中，面部识别的应用较为广泛，比如，可以用于数据安全方面，或者，也可以用于人脸捕捉和追踪方面，等等。在面部的识别中，对嘴部的识别是其中的一个很重要的部分，比如，通过判断视频数据中的面部是否有张嘴运动，就可以判断该对象的面部表情，或者判断该对象是否正在说话，等等。现有在判断视频数据中的面部是否有张嘴运动时，一般会使用人脸五官关键点定位技术，即使用多个点定位视频序列中每一帧人脸图像的嘴部，然后利用这些点坐标计算出嘴部内部面积，最后通过计算面积的变化来判定视频中人脸是否存在张嘴运动。
在对现有技术的研究和实践过程中，本发明的发明人发现，在现有的方案中，若视频中人脸存在晃动，则人脸关键点会出现定位失败或偏差较大的情况，这将会造成所计算的嘴部内面积错误，并最终导致张嘴运动状态检测失败，也就是说，现有方案的识别的正确率并不高，识别效果较差。
发明内容
本发明实施例提供一种面部识别方法和装置，可以提高识别的正确率，改善识别效果。
本发明实施例提供一种面部识别方法，包括：
获取视频数据，并从所述视频数据中提取具有面部特征的帧；
从所述帧中确定嘴部位置，得到嘴部图像；
分析所述嘴部图像，得到嘴部特征；
利用预设规则，根据所述嘴部特征对嘴部状态进行标识；
基于所述标识识别所述视频数据中相应面部的嘴部动作。
相应的，本发明实施例还提供一种面部识别装置，包括：
获取单元，用于获取视频数据，并从所述视频数据中提取具有面部特征的帧；
确定单元，用于从所述帧中确定嘴部位置，得到嘴部图像；
分析单元，用于分析所述嘴部图像，得到嘴部特征；
标识单元，用于利用预设规则，根据所述嘴部特征对嘴部状态进行标识；
识别单元，用于基于所述标识确定所述视频数据中相应面部的嘴部动作。
本发明实施例采用在获取到视频数据后，从该视频数据中提取具有面部特征的帧，然后，从该提取的帧中确定嘴部位置，得到嘴部图像，进而进行分析，得到嘴部特征，再然后，利用预设规则，根据该嘴部特征对嘴部状态进行标识，以作为判断嘴部是否运动的依据，从而实现对嘴部动作的识别；由于该方案对人脸五官关键点定位结果精准性的依赖较低，因此，相对于现有方案而言，稳定性更佳，即便视频中人脸晃动，对识别结果也不会有太大的影响，总而言之，该方案可以大大提高识别的正确率，改善识别效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的面部识别方法的流程图；
图2a是本发明实施例提供的面部识别方法的另一流程图；
图2b是本发明实施例提供的面部识别方法中面部坐标矩形框的示意图；
图3是本发明实施例提供的面部识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种面部识别方法和装置。以下将分别进行详细说明。
实施例一、
本实施例将从面部识别装置的角度进行描述，该面部识别装置具体可以集成在终端或服务器等设备中，该终端可以包括手机、平板电脑、笔记本电脑或个人计算机(PC，Personal Computer)等设备。
一种面部识别方法，包括：获取视频数据，并从该视频数据中提取具有面部特征的帧；从该帧中确定嘴部位置，得到嘴部图像；分析该嘴部图像，得到嘴部特征；利用预设规则，根据该嘴部特征对嘴部状态进行标识；基于该标识识别该视频数据中相应面部的嘴部动作。
如图1所示，该面部识别方法的具体流程可以如下：
101、获取视频数据，并从该视频数据中提取具有面部特征的帧。
例如，具体可以读取需要进行面部识别的视频数据，并利用面人脸识别技术从该视频数据中提取具有面部特征的帧。
其中，该面部特征可以包括眉毛、眼睛、鼻子和/或嘴巴等，若某一帧图像中具有这些特征，则可以认为是具有面部特征的帧。
102、从该帧中确定嘴部位置，得到嘴部图像，例如，具体可以如下：
(1)对该帧中的面部五官进行定位，得到面部五官的坐标位置。
例如，可以对该帧进行面部检测，得到面部坐标矩形框，根据该面部坐标矩形框进行五官关键点定位，得到五官关键点，然后，根据该五官关键点确定面部五官的坐标位置。
其中，人脸关键点，也称为人脸关键特征点，指的是人脸中具有特质特征的区域，比如眼角或嘴角等，而五官关键点便是人脸关键点其中的一部分，主要用于对五官的识别。
其中，根据面部坐标矩形框进行五官关键点定位，得到五官关键点的方式可以有多种，具体可以根据实际应用的需求而定，比如，可以将人脸鼻子区域的关键点确定为两个鼻孔中心连线的中点处，即鼻唇中心点；而嘴部区域的关键点，则可以通过两个嘴角点的定位方式来确定，等等。
(2)根据该面部五官的坐标位置确定嘴部位置，得到嘴部图像。
例如，具体可以根据该面部五官的坐标位置确定嘴部位置，然后，从这一帧图像中截取或抠取该嘴部位置对应的图像，得到嘴部图像。
103、分析该嘴部图像，得到嘴部特征。
例如，具体可以从该嘴部图像中提取文理特征，得到嘴部特征。
其中，文理特征可以包括方向梯度直方图(HOG，histogram of orientedgradient)特征、局部二值模式(LBP，Local binary pattern)特征或Gabor特征等。
104、利用预设规则，根据该嘴部特征对嘴部状态进行标识。
其中，该预设规则可以根据实际应用的需求进行设置，例如，可以采用回归器或分类器对该嘴部特征进行分类，然后基于该分类对嘴部状态进行标识，等等，即步骤“利用预设规则，根据该嘴部特征对嘴部状态进行标识”具体可以如下：
(1)采用回归器或分类器对该嘴部特征进行分类。
例如，可以采用支持向量机(SVM，Support Vector Machine)对该嘴部特征进行分类，或者，还可以采用线性回归器、随机森林等其他回归器或分类器来对该嘴部特征进行分类，等等。
(2)根据分类结果对嘴部状态进行标识，例如，可以如下：
若根据该分类结果确定嘴部状态为张嘴状态，则为该帧设置张嘴状态标识位；
若根据该分类结果确定嘴部状态为闭嘴状态，则为该帧设置闭嘴状态标识位。
需说明的是，若根据该分类结果无法确定嘴部状态为张嘴状态还是闭嘴状态，则可以确定该嘴部状态为模糊状态，那么此时，无需进行标识位的设置操作，即既不设置张嘴状态标识位，也不设置闭嘴状态标识位。
此外，还需说明的是，在对该视频数据中的各个具有面部特征的帧的嘴部状态进行标识时，可以采用并行的方式，也可以采用循环操作的方式，即先确定当前需要进行嘴部状态标识的帧，然后执行步骤102至104的操作，在对该当前需要进行嘴部状态标识的帧处理完毕之后，再返回执行确定当前需要进行嘴部状态标识的帧，以对下一个帧进行嘴部状态标识处理，直至该视频数据中所有具有面部特征的帧都处理(即嘴部状态标识)完毕。
105、基于该标识识别该视频数据中相应面部的嘴部动作。
其中，该视频数据中可以出现一个人脸(面部)，也可以出现多个人脸，而一个帧中可以包括一个人脸，也可以多个人脸，不同的人脸可以通过面部特征进行区分；即可以通过目标面部的面部特征从该视频数据中提取对应的帧，得到目标帧集合，比如，如果需要对人脸A进行嘴部动作分析，则可以根据人脸A的面部特征从该视频数据中提取出所有具有人脸A的帧，得到目标帧集合，以此类推，等等。也就是说，步骤“基于该标识识别该视频数据中相应面部的嘴部动作”具体可以如下：
S1、接收嘴部动作分析请求，该嘴部动作分析请求指示需要进行嘴部动作分析的目标面部。
例如，可以接收用户通过点击或滑动触发键而触发的嘴部动作分析请求，等等。
S2、根据该目标面部从该视频数据中提取对应的帧，得到目标帧集合。
例如，可以根据该目标面部获取目标面部的面部特征，然后，根据该目标面部的面部特征从该视频数据中提取出具有该目标面部的面部特征的帧，得到目标帧集合。
S3、确定该目标帧集合中的帧是否同时存在张嘴状态标识位和闭嘴状态标识位，若是，则执行S4，若否，则执行S5。
例如，若目标帧集合中包括四个帧：帧1、帧2、帧3和帧4，其中，帧1和帧2存在张嘴状态标识位，帧3没有标识位，而帧4存在闭嘴状态标识位，则此时可以确定该目标帧集合中的帧同时存在张嘴状态标识位和闭嘴状态标识位，于是执行步骤S4；否则，若帧1、帧2、帧3和帧4均不存在标识位，或只存在张嘴状态标识位或闭嘴状态标识位，则可以确定该目标帧集合中的帧没有同时存在张嘴状态标识位和闭嘴状态标识位，于是执行步骤S5。
S4、确定该目标帧集合中的帧同时存在张嘴状态标识位和闭嘴状态标识位时，确定该目标面部存在张嘴运动状态；
S5、确定该目标帧集合中的帧没有同时存在张嘴状态标识位和闭嘴状态标识位时，确定该目标面部不存在张嘴运动状态。
由上可知，本实施例采用在获取到视频数据后，从该视频数据中提取具有面部特征的帧，然后，从该提取的帧中确定嘴部位置，得到嘴部图像，进而进行分析，得到嘴部特征，再然后，利用预设规则，根据该嘴部特征对嘴部状态进行标识，以作为判断嘴部是否运动的依据，从而实现对嘴部动作的识别；由于该方案对人脸五官关键点定位结果精准性的依赖较低，因此，相对于现有方案而言，稳定性更佳，即便视频中人脸晃动，对识别结果也不会有太大的影响，总而言之，该方案可以大大提高识别的正确率，改善识别效果。
实施例二、
根据实施例一所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该面部识别装置具体集成在终端中，且采用循环操作的方式对各个帧中的人脸的嘴部状态进行标识为例进行说明。
如图2a所示，一种面部识别方法，具体流程可以如下：
201、终端获取视频数据，并对该视频数据进行人脸检测，以提取具有面部特征的帧。
其中，该面部特征可以包括眉毛、眼睛、鼻子和/或嘴巴等，若某一帧图像中具有这些特征，则可以认为是具有面部特征的帧。
例如，如果通过人脸检测，确定该视频数据中的第一帧、第二帧和第三帧均具有面部特征，而第四帧和第五帧不具有面部特征，则此时，可以将第一帧、第二帧和第三帧提取出来。
202、终端根据提取到的具有面部特征的帧确定当前需要进行嘴部状态标识的帧。
例如，如果提取到的帧为第一帧、第二帧和第三帧，则可以依次对这些帧进行嘴部状态的标识，比如，先确定第一帧为当前需要进行嘴部状态标识的帧，然后执行步骤203～209，再确定第二帧为当前需要进行嘴部状态标识的帧，然后再执行步骤203～209，再确定第二帧为当前需要进行嘴部状态标识的帧，以此类推，等等。
203、终端对该当前需要进行嘴部状态标识的帧进行面部检测，得到面部坐标矩形框，例如，参见图2b。
204、终端根据该面部坐标矩形框进行五官关键点定位，得到五官关键点，根据该五官关键点确定面部五官的坐标位置。
其中，人脸关键点，也称为人脸关键特征点，指的是人脸中具有特质特征的区域，比如眼角或嘴角等，而五官关键点便是人脸关键点其中的一部分，主要用于对五官的识别。
其中，根据面部坐标矩形框进行五官关键点定位，得到五官关键点的方式可以有多种，具体可以根据实际应用的需求而定，比如，可以将人脸鼻子区域的关键点确定为两个鼻孔中心连线的中点处，即鼻唇中心点；而嘴部区域的关键点，则可以通过两个嘴角点的定位方式来确定，等等。
205、终端根据该面部五官的坐标位置确定嘴部位置，得到嘴部图像。
例如，终端可以根据该面部五官的坐标位置确定嘴部位置，然后，从这一帧图像中截取或抠取该嘴部位置对应的图像，得到嘴部图像。
206、终端从该嘴部图像中提取文理特征，得到嘴部特征。
其中，文理特征可以包括HOG特征、LBP特征或Gabor特征等。
207、终端采用SVM对该嘴部特征进行分类。
需说明的是，除了SVM之外，还可以采用线性回归器、随机森林等其他回归器或分类器来对该嘴部特征进行分类，在此不再赘述。
208、终端根据分类结果对嘴部状态进行标识，例如，可以如下：
若根据该分类结果确定嘴部状态为张嘴状态，则为该帧设置张嘴状态标识位；
若根据该分类结果确定嘴部状态为闭嘴状态，则为该帧设置闭嘴状态标识位；
需说明的是，若根据该分类结果无法确定嘴部状态为张嘴状态还是闭嘴状态，则可以确定该嘴部状态为模糊状态，那么此时，无需进行标识位的设置操作，即既不设置张嘴状态标识位，也不设置闭嘴状态标识位。
209、终端确定该视频数据中所有具有面部特征的帧是否都处理完毕，若是，则执行步骤210，若否，则返回执行步骤202。
例如，如果该视频数据中具有面部特征的帧只有第一帧、第二帧和第三帧，则在标识完第一帧之后，由于还有第二帧和第三帧还未处理，因此，需要继续对第二帧进行嘴部状态的标识，因此，需要返回执行步骤202，而如果第二帧和第三帧也都标识完毕，则此时便可以执行步骤210。
210、终端基于该标识识别该视频数据中相应面部的嘴部动作。例如，可以如下：
S1、终端接收嘴部动作分析请求，该嘴部动作分析请求指示需要进行嘴部动作分析的目标面部。
例如，可以接收用户通过点击或滑动触发键而触发的嘴部动作分析请求，等等。
S2、终端根据该目标面部从该视频数据中提取对应的帧，得到目标帧集合。
例如，终端可以根据该目标面部获取目标面部的面部特征，然后，根据该目标面部的面部特征从该视频数据中提取出具有该目标面部的面部特征的帧，得到目标帧集合。
S3、终端确定该目标帧集合中的帧是否同时存在张嘴状态标识位和闭嘴状态标识位，若是，则执行S4，若否，则执行S5。
例如，若目标帧集合中包括四个帧：帧1、帧2、帧3和帧4，其中，帧1和帧2存在张嘴状态标识位，帧3没有标识位，而帧4存在闭嘴状态标识位，则此时可以确定该目标帧集合中的帧同时存在张嘴状态标识位和闭嘴状态标识位，于是执行步骤S4；否则，若帧1、帧2、帧3和帧4均不存在标识位，或只存在张嘴状态标识位或闭嘴状态标识位，则可以确定该目标帧集合中的帧没有同时存在张嘴状态标识位和闭嘴状态标识位，于是执行步骤S5。
S4、终端确定该目标帧集合中的帧同时存在张嘴状态标识位和闭嘴状态标识位时，确定该目标面部存在张嘴运动状态；
S5、终端确定该目标帧集合中的帧没有同时存在张嘴状态标识位和闭嘴状态标识位时，确定该目标面部不存在张嘴运动状态。
由上可知，本实施例采用在获取到视频数据后，从该视频数据中提取具有面部特征的帧，然后，从该提取的帧中确定嘴部位置，得到嘴部图像，进而从该嘴部图像中提取文理特征，再然后，利用SVM对该文理特征进行分类，并基于分类结果对嘴部状态进行标识，以作为判断嘴部是否运动的依据，从而实现对嘴部动作的识别；由于该方案对人脸五官关键点定位结果精准性的依赖较低，因此，相对于现有方案而言，稳定性更佳，即便视频中人脸晃动，对识别结果也不会有太大的影响，总而言之，该方案可以大大提高识别的正确率，改善识别效果。
实施例三、
为了更好地实施以上方法，本发明实施例还提供一种面部识别装置，如图3所示，该面部识别装置可以包括获取单元301、确定单元302、分析单元303、标识单元304和识别单元305，如下：
(1)获取单元301
获取单元301，用于获取视频数据，并从该视频数据中提取具有面部特征的帧。
例如，获取单元301，具体可以用于读取需要进行面部识别的视频数据，并利用面人脸识别技术从该视频数据中提取具有面部特征的帧。
其中，该面部特征可以包括眉毛、眼睛、鼻子和/或嘴巴等，若某一帧图像中具有这些特征，则可以认为是具有面部特征的帧。
(2)确定单元302；
确定单元302，用于从该帧中确定嘴部位置，得到嘴部图像。
例如，该确定单元302可以包括定位子单元和确定子单元，如下：
该定位子单元，用于对该帧中的面部五官进行定位，得到面部五官的坐标位置；
例如，该定位子单元，具体可以用于对该帧进行面部检测，得到面部坐标矩形框；根据该面部坐标矩形框进行五官关键点定位，得到五官关键点；根据该五官关键点确定面部五官的坐标位置。
其中，根据面部坐标矩形框进行五官关键点定位，得到五官关键点的方式可以有多种，具体可以根据实际应用的需求而定，比如，可以将人脸鼻子区域的关键点确定为两个鼻孔中心连线的中点处，即鼻唇中心点；而嘴部区域的关键点，则可以通过两个嘴角点的定位方式来确定，等等。
该确定子单元，用于根据该面部五官的坐标位置确定嘴部位置，得到嘴部图像。
例如，该确定子单元，具体可以用于根据该面部五官的坐标位置确定嘴部位置，然后，从这一帧图像中截取或抠取该嘴部位置对应的图像，得到嘴部图像。
(3)分析单元303；
分析单元303，用于分析该嘴部图像，得到嘴部特征。
例如，该分析单元303，具体用于从该嘴部图像中提取文理特征，得到嘴部特征。
其中，文理特征可以包括HOG特征、LBP特征或Gabor特征等。
(4)标识单元304；
标识单元304，用于利用预设规则，根据该嘴部特征对嘴部状态进行标识。
其中，该预设规则可以根据实际应用的需求进行设置，例如，该标识单元可以包括分类子单元和标识子单元，如下：
分类子单元，用于采用回归器或分类器对该嘴部特征进行分类。
例如，分类子单元，具体可以用于采用SVM对该嘴部特征进行分类，或者，也可以采用线性回归器、随机森林等其他回归器或分类器来对该嘴部特征进行分类，等等。
标识子单元，用于根据分类结果对嘴部状态进行标识。例如，可以如下：
若根据该分类结果确定嘴部状态为张嘴状态，则为该帧设置张嘴状态标识位；
若根据该分类结果确定嘴部状态为闭嘴状态，则为该帧设置闭嘴状态标识位。
需说明的是，若根据该分类结果无法确定嘴部状态为张嘴状态还是闭嘴状态，则可以确定该嘴部状态为模糊状态，那么此时，无需进行标识位的设置操作，即既不设置张嘴状态标识位，也不设置闭嘴状态标识位。
(5)识别单元305；
识别单元305，用于基于该标识确定该视频数据中相应面部的嘴部动作。例如，具体可以如下：
接收嘴部动作分析请求，该嘴部动作分析请求指示需要进行嘴部动作分析的目标面部；
根据该目标面部从该视频数据中提取对应的帧，得到目标帧集合；
确定该目标帧集合中的帧是否同时存在张嘴状态标识位和闭嘴状态标识位；
若是，则确定该目标面部存在张嘴运动状态；
若否，则确定该目标面部不存在张嘴运动状态。
例如，若目标帧集合中包括四个帧：帧1、帧2、帧3和帧4，其中，帧1和帧2存在张嘴状态标识位，帧3没有标识位，而帧4存在闭嘴状态标识位，则此时可以确定该目标帧集合中的帧同时存在张嘴状态标识位和闭嘴状态标识位，于是确定该目标面部存在张嘴运动状态；否则，若帧1、帧2、帧3和帧4均不存在标识位，或只存在张嘴状态标识位或闭嘴状态标识位，则可以确定该目标帧集合中的帧没有同时存在张嘴状态标识位和闭嘴状态标识位，于是确定该目标面部不存在张嘴运动状态。
该面部识别装置具体可以集成在终端或服务器等设备中，该终端可以包括手机、平板电脑、笔记本电脑或PC等设备。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的面部识别装置采用在获取到视频数据后，从该视频数据中提取具有面部特征的帧，然后，由确定单元302从该提取的帧中确定嘴部位置，得到嘴部图像，进而由分析单元303对该嘴部图像进行分析，得到嘴部特征，再然后，由标识单元304利用预设规则，根据该嘴部特征对嘴部状态进行标识，以作为识别单元305判断嘴部是否运动的依据，从而实现对嘴部动作的识别；由于该方案对人脸五官关键点定位结果精准性的依赖较低，因此，相对于现有方案而言，稳定性更佳，即便视频中人脸晃动，对识别结果也不会有太大的影响，总而言之，该方案可以大大提高识别的正确率，改善识别效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种面部识别方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种面部识别方法，其特征在于，所述面部识别用于判断对象是否正在说话进行身份验证，包括：
获取视频数据，并从所述视频数据中提取具有面部特征的帧；
从所述帧中确定嘴部位置，得到嘴部图像；
分析所述嘴部图像，得到嘴部特征；
采用回归器或分类器对所述嘴部特征进行分类；其中不同的人脸通过面部特征进行区分；
若根据所述分类结果确定嘴部状态为张嘴状态，则为所述帧设置张嘴状态标识位；
若根据所述分类结果确定嘴部状态为闭嘴状态，则为所述帧设置闭嘴状态标识位；
若根据分类结果无法确定嘴部状态为张嘴状态还是闭嘴状态，则确定嘴部状态为模糊状态，不进行标识位的设置操作；
接收嘴部动作分析请求，所述嘴部动作分析请求指示需要进行嘴部动作分析的目标面部；
根据所述目标面部从所述视频数据中提取对应的帧，得到目标帧集合；其中所述目标帧集合包括所有具有设定人脸的帧；
确定所述目标帧集合中的帧是否同时存在具有张嘴状态标识位的帧和具有闭嘴状态标识位的帧；
若是，则确定所述目标面部存在张嘴运动状态；
若否，则确定所述目标面部不存在张嘴运动状态。
2.根据权利要求1所述的方法，其特征在于，所述从所述帧中确定嘴部位置，得到嘴部图像，包括：
对所述帧中的面部五官进行定位，得到面部五官的坐标位置；
根据所述面部五官的坐标位置确定嘴部位置，得到嘴部图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述帧中的面部五官进行定位，得到面部五官的坐标位置，包括：
对所述帧进行面部检测，得到面部坐标矩形框；
根据所述面部坐标矩形框进行五官关键点定位，得到五官关键点；
根据所述五官关键点确定面部五官的坐标位置。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述分析所述嘴部图像，得到嘴部特征，包括：
从所述嘴部图像中提取文理特征，得到嘴部特征。
5.一种面部识别装置，所述面部识别用于判断对象是否正在说话进行身份验证，其特征在于，包括获取单元、确定单元、分析单元、标识单元和识别单元，所述标识单元包括分类子单元和标识子单元；
获取单元，用于获取视频数据，并从所述视频数据中提取具有面部特征的帧；
确定单元，用于从所述帧中确定嘴部位置，得到嘴部图像；
分析单元，用于分析所述嘴部图像，得到嘴部特征；
分类子单元，用于采用回归器或分类器对所述嘴部特征进行分类；其中不同的人脸通过面部特征进行区分；
标识子单元，具体用于若根据所述分类结果确定嘴部状态为张嘴状态，则为所述帧设置张嘴状态标识位；若根据所述分类结果确定嘴部状态为闭嘴状态，则为所述帧设置闭嘴状态标识位；若根据分类结果无法确定嘴部 状态为张嘴状态还是闭嘴状态，则确定嘴部状态为模糊状态，不进行标识位的设置操作；
识别单元，用于接收嘴部动作分析请求，所述嘴部动作分析请求指示需要进行嘴部动作分析的目标面部；根据所述目标面部从所述视频数据中提取对应的帧，得到目标帧集合；确定所述目标帧集合中的帧是否同时存在具有张嘴状态标识位的帧和具有闭嘴状态标识位的帧；若是，则确定所述目标面部存在张嘴运动状态；若否，则确定所述目标面部不存在张嘴运动状态；其中所述目标帧集合包括所有具有设定人脸的帧。
6.根据权利要求5所述的装置，其特征在于，所述确定单元包括定位子单元和确定子单元；
所述定位子单元，用于对所述帧中的面部五官进行定位，得到面部五官的坐标位置；
所述确定子单元，用于根据所述面部五官的坐标位置确定嘴部位置，得到嘴部图像。
7.根据权利要求6所述的装置，其特征在于，
所述定位子单元，具体用于对所述帧进行面部检测，得到面部坐标矩形框；根据所述面部坐标矩形框进行五官关键点定位，得到五官关键点；根据所述五官关键点确定面部五官的坐标位置。
8.根据权利要求5至7任一项所述的装置，其特征在于，
分析单元，具体用于从所述嘴部图像中提取文理特征，得到嘴部特征。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510827420.1A CN106778450B (zh) | 2015-11-25 | 2015-11-25 | 一种面部识别方法和装置 |
| PCT/CN2016/106752 WO2017088727A1 (zh) | 2015-11-25 | 2016-11-22 | 一种图像处理方法和装置 |
| US15/680,976 US10360441B2 (en) | 2015-11-25 | 2017-08-18 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510827420.1A CN106778450B (zh) | 2015-11-25 | 2015-11-25 | 一种面部识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106778450A CN106778450A (zh) | 2017-05-31 |
| CN106778450B true CN106778450B (zh) | 2020-04-24 |
Family
ID=58763013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510827420.1A Active CN106778450B (zh) | 2015-11-25 | 2015-11-25 | 一种面部识别方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106778450B (zh) |
| WO (1) | WO2017088727A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
| CN107330914B (zh) * | 2017-06-02 | 2021-02-02 | 广州视源电子科技股份有限公司 | 人脸部位运动检测方法和装置及活体识别方法和系统 |
| CN107368777A (zh) * | 2017-06-02 | 2017-11-21 | 广州视源电子科技股份有限公司 | 一种微笑动作检测方法和装置及活体识别方法和系统 |
| CN107330370B (zh) * | 2017-06-02 | 2020-06-19 | 广州视源电子科技股份有限公司 | 一种额头皱纹动作检测方法和装置及活体识别方法和系统 |
| CN107451564A (zh) * | 2017-07-31 | 2017-12-08 | 上海爱优威软件开发有限公司 | 一种人脸动作控制方法及系统 |
| CN107609474B (zh) * | 2017-08-07 | 2020-05-01 | 深圳市科迈爱康科技有限公司 | 肢体动作识别方法、装置、机器人及存储介质 |
| CN107992813A (zh) * | 2017-11-27 | 2018-05-04 | 北京搜狗科技发展有限公司 | 一种唇部状态检测方法及装置 |
| CN109034064B (zh) * | 2018-07-26 | 2021-01-08 | 长沙舍同智能科技有限责任公司 | 近红外人脸识别方法、装置和实现装置 |
| CN109815806B (zh) * | 2018-12-19 | 2024-06-28 | 平安科技（深圳）有限公司 | 人脸识别方法及装置、计算机设备、计算机存储介质 |
| CN111382624B (zh) * | 2018-12-28 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 动作识别方法、装置、设备及可读存储介质 |
| CN110544200B (zh) * | 2019-08-30 | 2024-05-24 | 北京神州数码云科信息技术有限公司 | 一种实现视频中人与猫互换嘴部的方法 |
| CN112826486A (zh) * | 2019-11-25 | 2021-05-25 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
| CN111611850A (zh) * | 2020-04-09 | 2020-09-01 | 吴子华 | 一种座位使用状态的分析处理方法、系统和存储介质 |
| CN111666820B (zh) * | 2020-05-11 | 2023-06-20 | 北京中广上洋科技股份有限公司 | 一种讲话状态识别方法、装置、存储介质及终端 |
| CN114299596B (zh) * | 2022-03-09 | 2022-06-07 | 深圳联和智慧科技有限公司 | 智慧城市人脸识别匹配方法、系统及云平台 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102097003A (zh) * | 2010-12-31 | 2011-06-15 | 北京星河易达科技有限公司 | 基于人况识别的智能交通安全系统 |
| CN104951730A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种唇动检测方法、装置及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1421816A (zh) * | 2001-11-23 | 2003-06-04 | 纬创资通股份有限公司 | 无线指纹识别装置及其方法 |
| CN1217287C (zh) * | 2002-02-22 | 2005-08-31 | 杭州中正生物认证技术有限公司 | 指纹识别方法与系统 |
| CN101877056A (zh) * | 2009-12-21 | 2010-11-03 | 北京中星微电子有限公司 | 人脸表情识别方法及系统、表情分类器的训练方法及系统 |
| US9159321B2 (en) * | 2012-02-27 | 2015-10-13 | Hong Kong Baptist University | Lip-password based speaker verification system |
| CN104134058B (zh) * | 2014-07-21 | 2017-07-11 | 成都万维图新信息技术有限公司 | 一种人脸图像处理方法 |
| CN104637246B (zh) * | 2015-02-02 | 2017-02-22 | 合肥工业大学 | 一种驾驶员多种行为预警系统及危险评估方法 |
-
2015
- 2015-11-25 CN CN201510827420.1A patent/CN106778450B/zh active Active
-
2016
- 2016-11-22 WO PCT/CN2016/106752 patent/WO2017088727A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102097003A (zh) * | 2010-12-31 | 2011-06-15 | 北京星河易达科技有限公司 | 基于人况识别的智能交通安全系统 |
| CN104951730A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种唇动检测方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| Face recognition with liveness detection using eye and mouth movement;Avinash Kumar Singh, Piyush Joshi, G. C. Nandi;《2014 International Conference on Signal Propagation and Computer Technology (ICSPCT 2014)》;20140828;第592-596页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106778450A (zh) | 2017-05-31 |
| WO2017088727A1 (zh) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778450B (zh) | 一种面部识别方法和装置 | |
| US8913798B2 (en) | System for recognizing disguised face using gabor feature and SVM classifier and method thereof | |
| Agarwal et al. | Swapped! digital face presentation attack detection via weighted local magnitude pattern | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| WO2018086543A1 (zh) | 活体判别方法、身份认证方法、终端、服务器和存储介质 | |
| Barnouti | Improve face recognition rate using different image pre-processing techniques | |
| JP7454105B2 (ja) | 顔画像品質評価方法及び装置、コンピュータ機器並びにコンピュータプログラム | |
| KR20190016733A (ko) | 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| US11126827B2 (en) | Method and system for image identification | |
| Smith-Creasey et al. | Continuous face authentication scheme for mobile devices with tracking and liveness detection | |
| US20190147218A1 (en) | User specific classifiers for biometric liveness detection | |
| US10360441B2 (en) | Image processing method and apparatus | |
| CN109376717A (zh) | 人脸对比的身份识别方法、装置、电子设备及存储介质 | |
| KR20220042301A (ko) | 이미지 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램 | |
| Ibsen et al. | Digital face manipulation in biometric systems | |
| KR101195539B1 (ko) | 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 | |
| Sudhakar et al. | Facial identification of twins based on fusion score method | |
| Yin et al. | Fusion of face recognition and facial expression detection for authentication: a proposed model | |
| JP2015041307A (ja) | 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム | |
| Boncolmo et al. | Gender Identification Using Keras Model Through Detection of Face | |
| Sutoyo et al. | Unlock screen application design using face expression on android smartphone | |
| CN111368803A (zh) | 一种人脸识别方法及系统 | |
| KR20160042646A (ko) | 얼굴 인식 방법 | |
| Ban et al. | Gender Classification of Low‐Resolution Facial Image Based on Pixel Classifier Boosting | |
| Schneider et al. | Feature based face localization and recognition on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |