CN109034247A - 一种基于跟踪算法的较高纯度的人脸识别样本提取方法 - Google Patents

一种基于跟踪算法的较高纯度的人脸识别样本提取方法 Download PDF

Info

Publication number
CN109034247A
CN109034247A CN201810845048.0A CN201810845048A CN109034247A CN 109034247 A CN109034247 A CN 109034247A CN 201810845048 A CN201810845048 A CN 201810845048A CN 109034247 A CN109034247 A CN 109034247A
Authority
CN
China
Prior art keywords
face
recognition
dsst
trackingpool
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810845048.0A
Other languages
English (en)
Other versions
CN109034247B (zh
Inventor
武传营
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ISSA Technology Co Ltd
Original Assignee
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Isa Data Technology Co Ltd, Beijing Yisa Technology Co Ltd filed Critical Qingdao Isa Data Technology Co Ltd
Priority to CN201810845048.0A priority Critical patent/CN109034247B/zh
Publication of CN109034247A publication Critical patent/CN109034247A/zh
Application granted granted Critical
Publication of CN109034247B publication Critical patent/CN109034247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跟踪算法的较高纯度的人脸识别样本提取方法，包括以下步骤：样本采集：预先采集部分现实场景视频，并且从该视频中提取部分图片，利用人工标记人脸矩形框，采集人脸样本数据；模型训练：将采集所得的人脸样本数据，进行训练YOLOv2网络；人脸识别：将YOLOv2网络作为人脸检测器进行人脸识别；IOU跟踪:用ROI对检测到的人脸进行跟踪，放入ROI TrackingPool中；分析保存：分析IOU TrackingPool中的物体，将符合要求的目标送入DSST跟踪器。本发明：通过基于跟踪算法的人脸识别样本提取方法，不仅可以用来提取待跟踪人脸，而且可以用来跟踪提取出来的跟踪目标，提取出的样本具有较高的纯度及可用价值，简单易行，计算效率高。

Description

一种基于跟踪算法的较高纯度的人脸识别样本提取方法
技术领域
本发明涉及计算机视觉技术领域，具体来说，涉及一种基于跟踪算法的较高纯度的人脸识别样本提取方法。
背景技术
目标跟踪，是通用单目标跟踪，第一帧给个矩形框，这个框在数据库里面是人工标注的，在实际情况下大多是检测算法的结果，然后需要跟踪算法在后续帧紧跟住这个框。目标视觉跟踪大家比较公认分为两大类：生成（generative）模型方法和判别（discriminative）模型方法，目前比较流行的是判别类方法，也叫检测跟踪。生成类方法，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等。举个例子，从当前帧知道了目标区域80%是红色，20%是绿色，然后在下一帧，搜索算法就像无头苍蝇，到处去找最符合这个颜色比例的区域。判别类方法，CV中的经典套路图像特征+机器学习，当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域。与生成类方法最大的区别是，分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。经典判别类方法推荐Struck和TLD，都能实时性能还行，Struck是2012年之前最好的方法，TLD是经典long-term的代表，目前，比较流行的是相关滤波和深度学习。相关滤波类方法correlation filter简称CF，也叫做discriminative correlation filter简称DCF。目前比较流行，代表有DSST，KCF等。精度与速度都比较高。相比之下，基于深度学习的跟踪算法，如GOTURN，普遍速度较慢，无法在工业上应用。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于跟踪算法的较高纯度的人脸识别样本提取方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于跟踪算法的较高纯度的人脸识别样本提取方法，包括以下步骤：
样本采集：预先采集部分现实场景视频，并且从该视频中提取部分图片，利用人工标记人脸矩形框，采集人脸样本数据；
模型训练：将采集所得的人脸样本数据，进行训练YOLOv2网络；
人脸识别：将YOLOv2网络作为人脸检测器进行人脸识别；
IOU跟踪: 用ROI对检测到的人脸进行跟踪，放入ROI TrackingPool中；
分析保存：分析IOU TrackingPool中的物体，将符合要求的目标送入DSST跟踪器；
特征保存：将DSST TrackingPool中的每个跟踪物体的图片及坐标匹配放入对应文件夹中进行特征信息保存。
进一步的，所述分析保存，包括以下步骤：
样本重复检测：分析ROI TrackingPool中符合尺寸要求的且正在运动的新物体是否与DSST中正在跟踪的物体重复；
确定信息：重复的物体送入DSST开始跟踪或对于不重复的物体初始化dsst分类器，并为新目标建立文件夹，放入DSST TrackingPool中，送入DSST开始跟踪。
进一步的，所述样本重复检测，包括以下步骤：
将送入DSST模块的人脸与DSST Tracking Pool中的正在跟踪的人脸目标利用IOU计算重叠率；
两者重叠率大于一定阈值则认为两者为同一物体。
进一步的，所述对应文件夹命名为以跟踪物体序号命名，图片名以该物体在图片中的左上角坐标、长和宽命名。
本发明的有益效果：通过基于跟踪算法的人脸识别样本提取方法，不仅可以用来提取待跟踪人脸，而且可以用来跟踪提取出来的跟踪目标，提取出的样本具有较高的纯度及可用价值，简单易行，计算效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于跟踪算法的较高纯度的人脸识别样本提取方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于跟踪算法的较高纯度的人脸识别样本提取方法。
如图1所示，根据本发明实施例的基于跟踪算法的较高纯度的人脸识别样本提取方法，包括以下步骤：
步骤S101，样本采集：预先采集部分现实场景视频，并且从该视频中提取部分图片，利用人工标记人脸矩形框，采集人脸样本数据；
步骤S103，模型训练：将采集所得的人脸样本数据，进行训练YOLOv2网络；
步骤S105，人脸识别：将YOLOv2网络作为人脸检测器进行人脸识别；
步骤S107，IOU跟踪: 用ROI对检测到的人脸进行跟踪，放入ROI TrackingPool中；
步骤S109，分析保存：分析IOU TrackingPool中的物体，将符合要求的目标送入DSST跟踪器；
步骤S111，特征保存：将DSST TrackingPool中的每个跟踪物体的图片及坐标匹配放入对应文件夹中进行特征信息保存。
另外，在一个实施例中，所述分析保存，包括以下步骤：
样本重复检测：分析ROI TrackingPool中符合尺寸要求的且正在运动的新物体是否与DSST中正在跟踪的物体重复；
确定信息：重复的物体送入DSST开始跟踪或对于不重复的物体初始化dsst分类器，并为新目标建立文件夹，放入DSST TrackingPool中，送入DSST开始跟踪。
另外，在一个实施例中，所述样本重复检测，包括以下步骤：
将送入DSST模块的人脸与DSST Tracking Pool中的正在跟踪的人脸目标利用IOU计算重叠率；
两者重叠率大于一定阈值则认为两者为同一物体。
另外，在一个实施例中，所述对应文件夹命名为以跟踪物体序号命名，图片名以该物体在图片中的左上角坐标、长和宽命名。
综上所述，借助于本发明的上述技术方案，通过基于跟踪算法的人脸识别样本提取方法，不仅可以用来提取待跟踪人脸，而且可以用来跟踪提取出来的跟踪目标，提取出的样本具有较高的纯度及可用价值，简单易行，计算效率高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于跟踪算法的较高纯度的人脸识别样本提取方法，其特征在于，包括以下步骤：
样本采集：预先采集部分现实场景视频，并且从该视频中提取部分图片，利用人工标记人脸矩形框，采集人脸样本数据；
模型训练：将采集所得的人脸样本数据，进行训练YOLOv2网络；
人脸识别：将YOLOv2网络作为人脸检测器进行人脸识别；
IOU跟踪: 用ROI对检测到的人脸进行跟踪，放入ROI TrackingPool中；
分析保存：分析IOU TrackingPool中的物体，将符合要求的目标送入DSST跟踪器；
特征保存：将DSST TrackingPool中的每个跟踪物体的图片及坐标匹配放入对应文件夹中进行特征信息保存。
2.根据权利要求1所述的基于跟踪算法的较高纯度的人脸识别样本提取方法，其特征在于，所述分析保存，包括以下步骤：
样本重复检测：分析ROI TrackingPool中符合尺寸要求的且正在运动的新物体是否与DSST中正在跟踪的物体重复；
确定信息：重复的物体送入DSST开始跟踪或对于不重复的物体初始化dsst分类器，并为新目标建立文件夹，放入DSST TrackingPool中，送入DSST开始跟踪。
3.根据权利要求2所述的基于跟踪算法的较高纯度的人脸识别样本提取方法，其特征在于，所述样本重复检测，包括以下步骤：
将送入DSST模块的人脸与DSST Tracking Pool中的正在跟踪的人脸目标利用IOU计算重叠率；
两者重叠率大于一定阈值则认为两者为同一物体。
4.根据权利要求1所述的基于跟踪算法的较高纯度的人脸识别样本提取方法，其特征在于，所述对应文件夹命名为以跟踪物体序号命名，图片名以该物体在图片中的左上角坐标、长和宽命名。
CN201810845048.0A 2018-07-27 2018-07-27 一种基于跟踪算法的较高纯度的人脸识别样本提取方法 Active CN109034247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810845048.0A CN109034247B (zh) 2018-07-27 2018-07-27 一种基于跟踪算法的较高纯度的人脸识别样本提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810845048.0A CN109034247B (zh) 2018-07-27 2018-07-27 一种基于跟踪算法的较高纯度的人脸识别样本提取方法

Publications (2)

Publication Number Publication Date
CN109034247A true CN109034247A (zh) 2018-12-18
CN109034247B CN109034247B (zh) 2021-04-23

Family

ID=64647288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845048.0A Active CN109034247B (zh) 2018-07-27 2018-07-27 一种基于跟踪算法的较高纯度的人脸识别样本提取方法

Country Status (1)

Country Link
CN (1) CN109034247B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711311A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于动态人脸最优帧选取方法
CN110717403A (zh) * 2019-09-16 2020-01-21 国网江西省电力有限公司电力科学研究院 一种人脸多目标跟踪方法
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN112001206A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种通过遍历比较合并人脸识别库的方法
WO2021208251A1 (zh) * 2020-04-15 2021-10-21 上海摩象网络科技有限公司 人脸跟踪方法及人脸跟踪设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625721A (zh) * 2009-08-06 2010-01-13 安霸半导体技术（上海）有限公司 基于统计数据的人脸检测和跟踪方法
CN102693417A (zh) * 2012-05-16 2012-09-26 清华大学 基于异构主动视觉网络的人脸图像样本采集优化方法
CN103093212A (zh) * 2013-01-28 2013-05-08 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
CN103366163A (zh) * 2013-07-15 2013-10-23 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625721A (zh) * 2009-08-06 2010-01-13 安霸半导体技术（上海）有限公司 基于统计数据的人脸检测和跟踪方法
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
CN102693417A (zh) * 2012-05-16 2012-09-26 清华大学 基于异构主动视觉网络的人脸图像样本采集优化方法
CN103310190A (zh) * 2012-05-16 2013-09-18 清华大学 基于异构主动视觉网络的人脸图像样本采集优化方法
CN103093212A (zh) * 2013-01-28 2013-05-08 北京信息科技大学 基于人脸检测和跟踪截取人脸图像的方法和装置
CN103366163A (zh) * 2013-07-15 2013-10-23 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
CN103559237A (zh) * 2013-10-25 2014-02-05 南京大学 基于目标跟踪的半自动图像标注样本生成方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUU NGOC DO 等: "Construction of a Video Dataset for Face Tracking Benchmarking Using a Ground Truth Generation Tool", 《INTERNATIONAL JOURNAL OF CONTENTS》 *
SAEED RANJBAR ALVAR 等: "MV-YOLO: Motion Vector-aided Tracking by Semantic Object Detection", 《ARXIV》 *
YIMING LIN 等: "MobiFace: A Novel Dataset for Mobile Face Tracking in the Wild", 《ARXIV》 *
任梓涵 等: "基于视觉跟踪的实时视频人脸识别", 《厦门大学学报（自然科学版）》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711311A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于动态人脸最优帧选取方法
CN112001206A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种通过遍历比较合并人脸识别库的方法
CN112001206B (zh) * 2019-05-27 2023-09-22 北京君正集成电路股份有限公司 一种通过遍历比较合并人脸识别库的方法
CN110717403A (zh) * 2019-09-16 2020-01-21 国网江西省电力有限公司电力科学研究院 一种人脸多目标跟踪方法
CN110717403B (zh) * 2019-09-16 2023-10-24 国网江西省电力有限公司电力科学研究院 一种人脸多目标跟踪方法
CN111382704A (zh) * 2020-03-10 2020-07-07 北京以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111382704B (zh) * 2020-03-10 2023-12-15 以萨技术股份有限公司 基于深度学习的车辆压线违章判断方法、装置及存储介质
WO2021208251A1 (zh) * 2020-04-15 2021-10-21 上海摩象网络科技有限公司 人脸跟踪方法及人脸跟踪设备

Also Published As

Publication number Publication date
CN109034247B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN109034247A (zh) 一种基于跟踪算法的较高纯度的人脸识别样本提取方法
Yang et al. Robust superpixel tracking
CN103942811B (zh) 分布式并行确定特征目标运动轨迹的方法与系统
US8744122B2 (en) System and method for object detection from a moving platform
CN102184550B (zh) 一种动平台地面运动目标检测方法
CN106529477B (zh) 基于显著轨迹和时空演化信息的视频人体行为识别方法
CN110232308B (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN107909033A (zh) 基于监控视频的嫌疑人快速追踪方法
CN104915655A (zh) 一种多路监控视频的管理方法与设备
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN102043953A (zh) 一种实时鲁棒的针对特定场景的行人检测方法
CN107798691B (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
Wang et al. Improving human action recognition by non-action classification
Gupta et al. Analysis of gait pattern to recognize the human activities
CN107067413A (zh) 一种时空域统计匹配局部特征的运动目标检测方法
Xu et al. Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN106127161A (zh) 基于级联多层检测器的快速目标检测方法
Yi et al. Realistic action recognition with salient foreground trajectories
Li et al. Color based multiple people tracking
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
CN109146913B (zh) 一种人脸跟踪方法及装置
Mathur et al. Sign language gesture recognition using Zernike moments and DTW
CN106295523A (zh) 一种基于svm的公共场合人流量检测方法
Munaro et al. An evaluation of 3d motion flow and 3d pose estimation for human action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee after: Issa Technology Co.,Ltd.

Patentee after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee before: Qingdao Issa Technology Co.,Ltd.

Patentee before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee after: Qingdao Issa Technology Co.,Ltd.

Patentee after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 108, 102 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Patentee before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Patentee before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.