CN110991250B - 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 - Google Patents

融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 Download PDF

Info

Publication number
CN110991250B
CN110991250B CN201911074167.1A CN201911074167A CN110991250B CN 110991250 B CN110991250 B CN 110991250B CN 201911074167 A CN201911074167 A CN 201911074167A CN 110991250 B CN110991250 B CN 110991250B
Authority
CN
China
Prior art keywords
face
detection
color interference
key feature
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911074167.1A
Other languages
English (en)
Other versions
CN110991250A (zh
Inventor
马国军
唐跃
朱琎
马道懿
王冬青
曾庆军
夏健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201911074167.1A priority Critical patent/CN110991250B/zh
Publication of CN110991250A publication Critical patent/CN110991250A/zh
Application granted granted Critical
Publication of CN110991250B publication Critical patent/CN110991250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统，跟踪方法包括：1、参数初始化；2、对第k帧进行人脸检测和人脸关键特征点检测；3、对第k+1帧图像进行人脸跟踪；4、判断第k+1帧图像是否有颜色干扰；5、如果没有颜色干扰，且步骤3中人脸跟踪的结果为成功，跳转到步骤2跟踪下一帧图像；如果没有颜色干扰，但步骤3中人脸跟踪的结果为失败，遮挡计数器的值M加一；如果M>T，跳转到步骤2对当前帧重新进行人脸检测；如果M≤T，跳转到步骤2检测下一帧图像；6、如果有颜色干扰，对当前帧重新进行人脸检测和人脸关键特征点检测，跳转到步骤2检测下一帧图像。该方法能够降低人脸跟踪过程中因颜色干扰和人脸遮挡引起的抖动，提高跟踪的精确度。

Description

融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统
技术领域
本发明属于人脸跟踪技术领域，具体涉及一种能够克服颜色干扰和遮挡的人脸跟踪方法和跟踪系统。
背景技术
目前人脸检测和人脸跟踪作为图像处理的两大重要分支，已被广泛应用在身份验证、入口控制、交通管制等公共安全及信息安全领域。人脸跟踪技术在近年得到广泛的发展，国内外研究人士提出了很多不同的人脸跟踪方法,取得了一定的成果，但这些方法也存在稳定性差、精度低、抖动率高等缺点。
发明内容
发明目的：针对现有技术中存在的问题，本发明公开了一种融合颜色干扰模型和遮挡模型的人脸跟踪方法，该方法能够降低人脸跟踪过程中因颜色干扰和人脸遮挡引起的抖动，提高跟踪的精确度。
技术方案：本发明一方面公开了一种人脸跟踪方法，包括如下步骤：
(1)参数初始化：人脸检测标志F＝true，当前图像帧序号k＝1，遮挡计数器值M＝0；
(2)当F＝true时，对待跟踪的图像序列的第k帧进行人脸检测，获取人脸区域Ak；检测Ak中人脸关键特征点Pk；将人脸检测标志F设置为false；
(3)根据Ak和Pk，采用LK光流法对第k+1帧图像进行人脸跟踪，得到第k+1帧图像中的人脸区域Ak+1和人脸关键特征点Pk+1；
(4)判断第k+1帧图像是否有颜色干扰，判断条件为：
Sk+1>Sk*por|Gk-Gk+1|>Gth
其中Sk为Ak的面积，Sk+1为Ak+1的面积，p为调整参数，p>1；Gk为Ak质心处的灰度值，Gk+1为Ak+1质心处的灰度值，Gth为预设的质心灰度变化阈值；
(5)如果第k+1帧图像没有颜色干扰，且步骤(3)中LK光流法进行人脸跟踪的结果为成功，当前图像帧序号k加一，跳转到步骤(2)；
如果第k+1帧图像没有颜色干扰，但步骤(3)中LK光流法进行人脸跟踪的结果为失败，遮挡计数器的值M加一；
如果M>T，将M的值置零，人脸检测标志F设置为true，当前图像帧序号k加一，跳转到步骤(2)；其中T为预设的计数器阈值；
如果M≤T，当前图像帧序号k加一，跳转到步骤(2)；
(6)如果第k+1帧图像有颜色干扰，对第k+1帧图像进行人脸检测和人脸关键特征点检测，得到人脸区域Ak+1和人脸关键特征点Pk+1；当前图像帧序号k加一，跳转到步骤(2)。
本发明中采用OpenCV中的Haar分类器进行人脸检测，采用亚像素级角点检测方法来检测人脸关键特征点。
另一方面，本发明公开了实现上述人脸跟踪方法的跟踪系统，包括：
参数初始化模块，用于初始化人脸检测标志F、当前图像帧序号k和遮挡计数器值M；
人脸检测模块，用于对待跟踪的图像序列进行人脸检测，获取人脸区域；
人脸关键特征点检测模块，用于人脸区域中的人脸关键特征点；
人脸跟踪模块，用于根据检测到的人脸区域和人脸关键特征点，采用LK光流法对待跟踪的图像序列进行人脸跟踪；
颜色干扰判断模块，用于对相邻图像帧判断是否有颜色干扰；
遮挡判断模块，用于根据人脸跟踪模块的结果判断是否有人脸遮挡；
遮挡计数器，用于计算连续遮挡帧数M；
人脸重检测判断模块，用于判断遮挡计数器值M是否大于预设的阈值T、修改人脸检测标志F的状态。
有益效果：与现有技术相比，本发明公开的融合颜色干扰模型与遮挡模型的人脸跟踪方法能够降低人脸跟踪过程中因颜色干扰和人脸遮挡引起的抖动，提高跟踪的精确度。
附图说明
图1为本发明公开的人脸跟踪方法的流程图；
图2为本发明公开的人脸跟踪系统的组成框图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，本发明公开了一种融合颜色干扰模型与遮挡模型的人脸跟踪方法，包括：
步骤1、参数初始化：人脸检测标志F＝true，当前图像帧序号k＝1，遮挡计数器值M＝0；
人脸检测标志F用于判断后续步骤是否要进行人脸检测和人脸关键特征点检测。
步骤2、当F＝true时，对待跟踪的图像序列的第k帧进行人脸检测，获取人脸区域Ak；检测Ak中人脸关键特征点Pk；将人脸检测标志F设置为false；
本实施例中采用OpenCV中的Haar分类器进行人脸检测，该分类器结合adaboost和Haar-like特征，能够精确获取包围人脸区域的矩形框。
本实施例中采用亚像素级角点检测方法来检测人脸关键特征点，人脸关键特征点包括：眉毛、眼睛、鼻子、嘴巴、脸部轮廓；
步骤3、根据Ak和Pk，采用LK光流法对第k+1帧图像进行人脸跟踪，得到第k+1帧图像中的人脸区域Ak+1和人脸关键特征点Pk+1；
步骤4、判断第k+1帧图像是否有颜色干扰，判断条件为：
Sk+1>Sk*p or |Gk-Gk+1|>Gth    (1)
其中Sk为Ak的面积，Sk+1为Ak+1的面积，p为调整参数，p>1，本实施例中取p＝1.2；Gk为Ak质心处的灰度值，Gk+1为Ak+1质心处的灰度值，Gth为预设的质心灰度变化阈值，本实施例中Gth；
步骤5、如果第k+1帧图像没有颜色干扰，且步骤(3)中LK光流法进行人脸跟踪的结果为成功，即没有发生人脸遮挡，人脸区域存在，继续处理后续图像帧：当前图像帧序号k加一，跳转到步骤(2)；
如果第k+1帧图像没有颜色干扰，但步骤(3)中LK光流法进行人脸跟踪的结果为失败，即发生了人脸遮挡，人脸区域不存在，遮挡计数器的值M加一；
如果M>T，将M的值置零，人脸检测标志F设置为true，当前图像帧序号k加一，跳转到步骤(2)重新进行人脸检测和人脸关键特征点检测；其中T为预设的计数器阈值；
如果M≤T，当前图像帧序号k加一，跳转到步骤(2)；
通过设置遮挡计数器，并比较其值M与阈值T，避免了在发生人脸遮挡时，对每一帧图像都进行人脸重检测；只有当M大于T时，才进行人脸重检测，由此节约了计算资源，提高了跟踪效率。
步骤6、跟踪过程发生颜色干扰，会导致跟踪窗口变大、人脸区域质心位置不准确，所以有颜色干扰时，需要再次进行人脸检测，以矫正跟踪窗口和人脸区域的位置。如果第k+1帧图像有颜色干扰，即式(1)中至少有一个判别式成立，对第k+1帧图像进行人脸检测和人脸关键特征点检测，得到人脸区域Ak+1和人脸关键特征点Pk+1；当前图像帧序号k加一，跳转到步骤(2)，继续进行人脸跟踪。
本发明还公开了一种实施上述人脸跟踪方法的人脸跟踪系统，如图2所示，包括：
参数初始化模块，用于初始化人脸检测标志F、当前图像帧序号k和遮挡计数器值M；
人脸检测模块，用于对待跟踪的图像序列进行人脸检测，获取人脸区域；
人脸关键特征点检测模块，用于人脸区域中的人脸关键特征点；
人脸跟踪模块，用于根据检测到的人脸区域和人脸关键特征点，采用LK光流法对待跟踪的图像序列进行人脸跟踪；
颜色干扰判断模块，用于对相邻图像帧判断是否有颜色干扰；
遮挡判断模块，用于根据人脸跟踪模块的结果判断是否有人脸遮挡；
遮挡计数器，用于计算连续遮挡帧数M；
人脸重检测判断模块，用于判断遮挡计数器值M是否大于预设的阈值T、修改人脸检测标志F的状态。

Claims (6)

1.融合颜色干扰模型与遮挡模型的人脸跟踪方法，其特征在于，包括：
(1)参数初始化：人脸检测标志F＝true，当前图像帧序号k＝1，遮挡计数器值M＝0；
(2)当F＝true时，对待跟踪的图像序列的第k帧进行人脸检测，获取人脸区域Ak；检测Ak中人脸关键特征点Pk；将人脸检测标志F设置为false；
(3)根据Ak和Pk，采用LK光流法对第k+1帧图像进行人脸跟踪，得到第k+1帧图像中的人脸区域Ak+1和人脸关键特征点Pk+1；
(4)判断第k+1帧图像是否有颜色干扰，判断条件为：
Sk+1>Sk*por|Gk-Gk+1|>Gth
其中Sk为Ak的面积，Sk+1为Ak+1的面积，p为调整参数，p>1；Gk为Ak质心处的灰度值，Gk+1为Ak+1质心处的灰度值，Gth为预设的质心灰度变化阈值；
(5)如果第k+1帧图像没有颜色干扰，且步骤(3)中LK光流法进行人脸跟踪的结果为成功，当前图像帧序号k加一，跳转到步骤(2)；
如果第k+1帧图像没有颜色干扰，但步骤(3)中LK光流法进行人脸跟踪的结果为失败，遮挡计数器的值M加一；
如果M>T，将M的值置零，人脸检测标志F设置为true，当前图像帧序号k加一，跳转到步骤(2)；其中T为预设的计数器阈值；
如果M≤T，当前图像帧序号k加一，跳转到步骤(2)；
(6)如果第k+1帧图像有颜色干扰，对第k+1帧图像进行人脸检测和人脸关键特征点检测，得到人脸区域Ak+1和人脸关键特征点Pk+1；当前图像帧序号k加一，跳转到步骤(2)。
2.根据权利要求1所述的人脸跟踪方法，其特征在于，采用OpenCV中的Haar分类器进行人脸检测。
3.根据权利要求1所述的人脸跟踪方法，其特征在于，采用亚像素级角点检测方法来检测人脸关键特征点。
4.融合颜色干扰模型与遮挡模型的人脸跟踪系统，其特征在于，包括：
参数初始化模块，用于初始化人脸检测标志F、当前图像帧序号k和遮挡计数器值M；
人脸检测模块，用于对待跟踪的图像序列进行人脸检测，获取人脸区域；
人脸关键特征点检测模块，用于人脸区域中的人脸关键特征点；
人脸跟踪模块，用于根据检测到的人脸区域和人脸关键特征点，采用LK光流法对待跟踪的图像序列进行人脸跟踪；
颜色干扰判断模块，用于对相邻图像帧判断是否有颜色干扰；
遮挡判断模块，用于根据人脸跟踪模块的结果判断是否有人脸遮挡；
遮挡计数器，用于计算连续遮挡帧数M；
人脸重检测判断模块，用于判断遮挡计数器值M是否大于预设的阈值T、修改人脸检测标志F的状态。
5.根据权利要求4所述的人脸跟踪系统，其特征在于，所述人脸检测模块采用OpenCV中的Haar分类器进行人脸检测。
6.根据权利要求4所述的人脸跟踪系统，其特征在于，所述人脸关键特征点检测模块采用亚像素级角点检测方法来检测人脸关键特征点。
CN201911074167.1A 2019-11-06 2019-11-06 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统 Active CN110991250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911074167.1A CN110991250B (zh) 2019-11-06 2019-11-06 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911074167.1A CN110991250B (zh) 2019-11-06 2019-11-06 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统

Publications (2)

Publication Number Publication Date
CN110991250A CN110991250A (zh) 2020-04-10
CN110991250B true CN110991250B (zh) 2023-04-25

Family

ID=70083500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911074167.1A Active CN110991250B (zh) 2019-11-06 2019-11-06 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统

Country Status (1)

Country Link
CN (1) CN110991250B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470075B (zh) * 2021-07-09 2022-09-23 郑州轻工业大学 一种基于干扰抑制外观建模的目标跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760826A (zh) * 2016-02-03 2016-07-13 歌尔声学股份有限公司 一种人脸跟踪方法、装置和智能终端
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN109063600A (zh) * 2018-07-13 2018-12-21 河南大学 基于面部识别的人体运动追踪方法及装置
CN109558815A (zh) * 2018-11-16 2019-04-02 恒安嘉新（北京）科技股份公司 一种实时多人脸的检测及跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760826A (zh) * 2016-02-03 2016-07-13 歌尔声学股份有限公司 一种人脸跟踪方法、装置和智能终端
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN109063600A (zh) * 2018-07-13 2018-12-21 河南大学 基于面部识别的人体运动追踪方法及装置
CN109558815A (zh) * 2018-11-16 2019-04-02 恒安嘉新（北京）科技股份公司 一种实时多人脸的检测及跟踪方法

Also Published As

Publication number Publication date
CN110991250A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
US10747988B2 (en) Method and device for face tracking and smart terminal
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及系统
CN103605969B (zh) 一种人脸录入的方法及装置
CN102375970B (zh) 一种基于人脸的身份认证方法和认证装置
US20140307063A1 (en) Method and apparatus for generating viewer face-tracing information, recording medium for same, and three-dimensional display apparatus
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR101438011B1 (ko) 3차원 스캐너를 이용한 얼굴 인식 시스템
CN104156643B (zh) 一种利用眼睛视线来实现密码输入的方法及其硬件装置
CN110569785B (zh) 一种融合跟踪技术的人脸识别方法
CN105138965A (zh) 一种近眼式视线跟踪方法及其系统
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN103218605A (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN105160331A (zh) 一种基于隐马尔可夫模型的人脸几何特征识别方法
US20220318369A1 (en) Face recognition system and method capable of updating registered face templates
CN103942539A (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN111062292A (zh) 一种疲劳驾驶检测装置与方法
Mu Ear detection based on skin-color and contour information
CN110991250B (zh) 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN111860453A (zh) 一种戴口罩的人脸识别方法
CN105184273B (zh) 一种基于asm的动态图像正面人脸重建系统及方法
Dong et al. Eye detection based on integral projection and hough round transform
CN113095119B (zh) 一种修正人脸裁剪框的人脸识别系统
CN113378762B (zh) 坐姿智能监测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant