CN109711318B - 一种基于视频流的多人脸检测与跟踪方法 - Google Patents
一种基于视频流的多人脸检测与跟踪方法 Download PDFInfo
- Publication number
- CN109711318B CN109711318B CN201811580871.XA CN201811580871A CN109711318B CN 109711318 B CN109711318 B CN 109711318B CN 201811580871 A CN201811580871 A CN 201811580871A CN 109711318 B CN109711318 B CN 109711318B
- Authority
- CN
- China
- Prior art keywords
- face
- buffer area
- tracking
- tracking buffer
- calculation period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 230000000737 periodic effect Effects 0.000 claims abstract description 21
- 238000013441 quality evaluation Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 18
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频流的多人脸检测与跟踪方法，首先根据设置的由n个连续视频帧构成的计算周期，初始化设置全局人脸跟踪缓冲区，并在计算周期内计算得到可进行跟踪的最大的人脸数m，具体在每个计算周期的起始帧进行一次人脸检测，随后其他视频帧执行人脸跟踪，以减轻整体的数据处理压力；然后设置周期人脸跟踪缓冲区，记录当前计算周期内的m个人员在n个连续视频帧中的ID信息；将经过处理后的人脸图像数据得到的位置信息与全局人脸跟踪缓冲区中的数据作对比，根据对比结果更新缓冲区的数据，保证数据的全面性；最后选择质量最佳的人脸图像和对应背景图像作为最终输出，减少整个人脸检测和跟踪的计算度；本发明提升了人脸识别的准确率。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于视频流的多人脸检测与跟踪方法。
背景技术
基于深度学习的人脸识别技术的迅猛发展，拓宽了人脸识别技术的应用场景，尤其是安防领域。以人脸为核心的视频结构化处理，可以在银行、机场、商场、市场等人流密集的公共场所对人群进行监控，实现人流自动统计、基于人脸属性的分析、以及特定人物的自动识别和跟踪。现有安防监控系统包括前端的监控摄像头和后台的处理系统或控制中心，两者之间通过网络互连。前端摄像头负责采集包含人脸的视频流，并传送给后台系统进行处理。后台的处理系统或控制中心解析前端视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别和比对。如果安防监控系统包含大量的监控摄像头并且所有的已捕捉视频均需要传送至后台控制中心以执行人脸识别和其他任务，那将对该控制中心的网络带宽要求和计算能力的要求都异常的高，系统建设成本也将随之增加。
一种有效的解决方法是将人脸识别的抓拍和比对分离。前端放置人脸抓拍处理单元，分析监控摄像头的视频流，检测视频流中的人脸，将检测出的人脸图像返回至后台处理系统，后台处理系统仅进行人脸比对工作。与之前相比，相同配置下的人脸抓拍处理单元可接入的视频流更多。再者人脸抓拍处理单元在地理上分布式部署，与之前的集中式部署方式相比更灵活，且出现问题也能更快定位解决。同时，人脸抓拍处理单元输出的人脸图像与视频流相比数据量要少得多，降低了前后端之间的数据传输量，节省了网络带宽资源。总体上减少了系统建设成本，降低了系统维护难度。
但是现有技术条件下，因为监控摄像头架设的方位角度千差万别，现场光线环境复杂，行进过程中人脸姿态及角度各式各样，造成摄像头采集到的图像或视频流的质量不高，在视频中抓取到的人脸存在模糊，角度过大，面部过暗/过亮等情况，直接影响后台人脸识别分析的准确性，以及针对特定人物的识别和跟踪的准确性。另一方面，人脸抓拍处理单元检测到人脸后，如果不做任何甄别和选择，会产生大量的人脸图像，这些图像大大增加了后台处理系统人脸比对的计算压力，降低处理效率，降低系统的实用性。同时，前端人脸抓拍处理单元采用逐帧分析检测的方式，不对连续帧之间人脸的连续性进行甄别，势必增加系统的处理压力。
发明内容
针对上述现有技术中由于摄像头采集得到的图像/视频流质量不高而导致人脸检测和跟踪效率低以及采集的人脸数据过大而导致后台处理系统负荷大的问题，本发明提出一种基于视频流的多人脸检测与跟踪方法，该方法的具体技术方案如下：
一种基于视频流的多人脸检测与跟踪方法，所述方法包括：
S1.设定人脸视频流中包括n个连续视频帧的计算周期，并初始化全局人脸跟踪缓冲区，并对所述全局人脸跟踪缓冲区不同人脸图像对应不同的位置信息设置不同的ID；
S2.在每个所述计算周期的第0帧，设定最大可跟踪的人脸数量m，并初始化当前所述计算周期的周期人脸跟踪缓冲区；
S3.基于深度学习网络构建人脸检测学习模型，并在每个所述计算周期的第0帧调用所述人脸检测学习模型，获取所述计算周期可跟踪最大人脸数量m对应数目的位置信息，并更新所述周期人脸跟踪缓冲区；
S4.在每个所述计算周期的第0帧，将所述位置信息与所述全局人脸跟踪缓冲区比对，判读是否有与所述位置信息相匹配的人脸图像数据，并将同一所述位置信息对应的人员设置相同的ID；若有，则更新对应人员的所述周期人脸跟踪缓冲区，否则，构建与所述位置信息对应的新的ID；
S5.在每个所述计算周期的第1至第n-1帧，调用人脸跟踪学习模型，计算所述n个连续视频帧中对应所述人脸数量m的位置信息；
S6.在第n-1帧，调用人脸坐标微调学习模型，优化人脸跟踪网络计算出的m个人脸位置信息，更新对应的周期人脸跟踪缓冲区信息；
S7.在第n-1帧，调用人脸质量评估学习模型，分别计算m个人脸序列的质量评估数值，并分别选出所述人脸数量m对应的m个人的质量评估最优的人脸图像和对应背景图像，更新对应的周期人脸跟踪缓冲区信息；
S8.在第n-1帧，分别比较所述m个人在周期人脸跟踪缓冲区中的ID与全局人脸跟踪缓冲区里的全局ID，合并更新全局人脸跟踪缓冲区信息，同时删除周期人脸跟踪缓冲区信息；
S9.在第n-1帧，遍历所述全局人脸跟踪缓冲区，筛选不在视频流中的人脸序列，输出对应的最优人脸图像及对应的背景图像，删除对应缓冲记录。
作为优选，所述步骤S1前还包括：采用视频采集设备采集所述人脸视频流，并对所述人脸视频流预处理得到视频帧。
作为优选，所述视频采集设备为安装在公共区域的摄像头。
与现有技术相比，本发明的基于视频流的多人脸检测与跟踪方法，通过在一个计算周期采集人脸图像数据，并在每一计算周期内采集可处理的最大量人脸数据，在对采集得到的人脸数据处理后，放入周期人脸跟踪缓冲区，并将其与全局人脸跟踪缓冲区作对比看是否有相同的人脸数据，若有，则将其加入并更新全局人脸跟踪缓冲区；否则，则增加新的关于人脸的数据到全局人脸跟踪缓冲区同时也更新周期人脸跟踪缓冲区，并对所有采集到的同一人员的人脸数据作筛选，得到质量最好图片和与之对应的背景图片；本发明通过周期性的采集人脸图像数据，可有效减少人脸检测过程的计算压力，并且增强检测和跟踪效率。
附图说明
图1是本发明实例中所述基于视频流的多人脸检测与跟踪方法的流程图示意。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明实施例中，采用摄像头来采集人脸视频流数据，并对视频流经过预处理后得到连续的视频帧图片，基于连续的视频帧图片提出一种基于视频流的多人脸检测与跟踪方法，具体可参阅图1，所述方法包括：
S1.设定人脸视频流中包括n个连续视频帧的计算周期，并初始化全局人脸跟踪缓冲区，并对所述全局人脸跟踪缓冲区不同人脸图像对应不同的位置信息设置不同的ID；
S2.在每个所述计算周期的第0帧，设定最大可跟踪的人脸数量m，并初始化当前所述计算周期的周期人脸跟踪缓冲区；
S3.基于深度学习网络构建人脸检测学习模型，并在每个所述计算周期的第0帧调用所述人脸检测学习模型，获取所述计算周期可跟踪最大人脸数量m对应数目的位置信息，并更新所述周期人脸跟踪缓冲区；
S4.在每个所述计算周期的第0帧，将所述位置信息与所述全局人脸跟踪缓冲区比对，判读是否有与所述位置信息相匹配的人脸图像数据，并将同一所述位置信息对应的人员设置相同的ID；若有，则更新对应人员的所述周期人脸跟踪缓冲区，否则，构建与所述位置信息对应的新的ID；
S5.在每个所述计算周期的第1至第n-1帧，调用所述人脸检测学习模型，计算所述n个连续视频帧中对应所述人脸数量m的位置信息；具体的，通过人脸跟踪模型获取得到对应的位置信息。
S6.在第n-1帧，调用人脸坐标微调学习模型，优化人脸跟踪网络计算出的m个人脸位置信息，更新对应的周期人脸跟踪缓冲区信息；具体的，通过人脸坐标微调模型对得到的位置信息进行优化。
S7.在第n-1帧，调用人脸质量评估学习模型，分别计算m个人脸序列的质量评估数值，并分别选出所述人脸数量m对应的m个人的质量评估最优的人脸图像和对应背景图像，更新对应的周期人脸跟踪缓冲区信息；具体的，通过人脸质量评估模型来计算所述质量评估数值；而更新周期人脸跟踪缓冲区信息即删除原有的不必要的人脸图像数据，可减少不必要的内存，保证检测和跟踪的速度；
S8.在第n-1帧，分别比较所述m个人在周期人脸跟踪缓冲区中的ID与全局人脸跟踪缓冲区里的全局ID，合并更新全局人脸跟踪缓冲区信息，同时删除周期人脸跟踪缓冲区信息；
S9.在第n-1帧，遍历所述全局人脸跟踪缓冲区，筛选不在视频流中的人脸序列，输出对应的最优人脸图像及对应的背景图像，删除对应缓冲记录。
具体的，本发明中的人脸视频流由安装在公共区域或者其他符合规定安装的视频采集设备，比如公共摄像头；当然，本发明的方法也适合其他方式获取得到的视频流，仅以此来说明本发明的方式和效果，并不是对本发明的限制和固定。
此外，在实际操作过程中，可根据实际的情况选取不同大小的连续视频帧作为一个周期，比如，若采集的视频帧中存在脸部遮挡的情况，可适当增加连续视频帧的数量，以便于可以采集得到有效的且高质量的人脸图像，可保证人脸检测和跟踪的准确率。
与现有技术相比，本发明的基于视频流的多人脸检测与跟踪方法，通过在一个计算周期采集人脸图像数据，并在每一计算周期内采集可处理的最大量人脸数据，在对采集得到的人脸数据处理后，放入周期人脸跟踪缓冲区，并将其与全局人脸跟踪缓冲区作对比看是否有相同的人脸数据，若有，则将其加入并更新全局人脸跟踪缓冲区；否则，则增加新的关于人脸的数据到全局人脸跟踪缓冲区同时也更新周期人脸跟踪缓冲区，并对所有采集到的同一人员的人脸数据作筛选，得到质量最好图片和与之对应的背景图片；本发明通过周期性的采集人脸图像数据，可有效减少人脸检测过程的计算压力，并且增强检测和跟踪效率。
以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (3)
1.一种基于视频流的多人脸检测与跟踪方法，其特征在于，所述方法包括：
S1.设定人脸视频流中包括n个连续视频帧的计算周期，并初始化全局人脸跟踪缓冲区，并对所述全局人脸跟踪缓冲区不同人脸图像对应不同的位置信息设置不同的ID；
S2.在每个所述计算周期的第0帧，设定最大可跟踪的人脸数量m，并初始化当前所述计算周期的周期人脸跟踪缓冲区；
S3.基于深度学习网络构建人脸检测学习模型，并在每个所述计算周期的第0帧调用所述人脸检测学习模型，获取所述计算周期可跟踪最大人脸数量m对应数目的位置信息，并更新所述周期人脸跟踪缓冲区；
S4.在每个所述计算周期的第0帧，将所述位置信息与所述全局人脸跟踪缓冲区比对，判读是否有与所述位置信息相匹配的人脸图像数据，并将同一所述位置信息对应的人员设置相同的ID；若有，则更新对应人员的所述周期人脸跟踪缓冲区，否则，构建与所述位置信息对应的新的ID；
S5.在每个所述计算周期的第1至第n-1帧，调用人脸跟踪学习模型，计算所述n个连续视频帧中对应所述人脸数量m的位置信息；
S6.在第n-1帧，调用人脸坐标微调学习模型，优化人脸跟踪网络计算出的m个人脸位置信息，更新对应的周期人脸跟踪缓冲区信息；
S7.在第n-1帧，调用人脸质量评估学习模型，分别计算m个人脸序列的质量评估数值，并分别选出所述人脸数量m对应的m个人的质量评估最优的人脸图像和对应背景图像，更新对应的周期人脸跟踪缓冲区信息；
S8.在第n-1帧，分别比较所述m个人在周期人脸跟踪缓冲区中的ID与全局人脸跟踪缓冲区里的全局ID，合并更新全局人脸跟踪缓冲区信息，同时删除周期人脸跟踪缓冲区信息；
S9.在第n-1帧，遍历所述全局人脸跟踪缓冲区，筛选不在视频流中的人脸序列，输出对应的最优人脸图像及对应的背景图像，删除对应缓冲记录。
2.如权利要求1所述的基于视频流的多人脸检测与跟踪方法，其特征在于，所述步骤S1前还包括：采用视频采集设备采集所述人脸视频流，并对所述人脸视频流预处理得到视频帧。
3.如权利要求2所述的基于视频流的多人脸检测与跟踪方法，其特征在于，所述视频采集设备为安装在公共区域的摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811580871.XA CN109711318B (zh) | 2018-12-24 | 2018-12-24 | 一种基于视频流的多人脸检测与跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811580871.XA CN109711318B (zh) | 2018-12-24 | 2018-12-24 | 一种基于视频流的多人脸检测与跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109711318A CN109711318A (zh) | 2019-05-03 |
| CN109711318B true CN109711318B (zh) | 2021-02-12 |
Family
ID=66256152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811580871.XA Expired - Fee Related CN109711318B (zh) | 2018-12-24 | 2018-12-24 | 一种基于视频流的多人脸检测与跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711318B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016353B (zh) * | 2019-05-30 | 2024-05-21 | 普天信息技术有限公司 | 一种基于视频的人脸图像进行身份识别方法及装置 |
| CN111401315B (zh) * | 2020-04-10 | 2023-08-22 | 浙江大华技术股份有限公司 | 基于视频的人脸识别方法、识别装置及存储装置 |
| CN111579083B (zh) * | 2020-05-13 | 2022-06-07 | 芋头科技（杭州）有限公司 | 基于红外图像人脸检测的体温测量的方法和装置 |
| CN112135092B (zh) * | 2020-09-03 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法 |
| CN112700478A (zh) * | 2020-12-31 | 2021-04-23 | 北京澎思科技有限公司 | 目标跟踪方法、系统、计算机可读存储介质和程序产品 |
| CN112581506A (zh) * | 2020-12-31 | 2021-03-30 | 北京澎思科技有限公司 | 人脸跟踪方法、系统及计算机可读存储介质 |
| CN112686175A (zh) * | 2020-12-31 | 2021-04-20 | 北京澎思科技有限公司 | 人脸抓拍方法、系统及计算机可读存储介质 |
| CN112733685A (zh) * | 2020-12-31 | 2021-04-30 | 北京澎思科技有限公司 | 人脸跟踪方法、系统及计算机可读存储介质 |
| CN113283305B (zh) * | 2021-04-29 | 2024-03-26 | 百度在线网络技术（北京）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100072772A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 |
| CN103902960A (zh) * | 2012-12-28 | 2014-07-02 | 北京计算机技术及应用研究所 | 一种实时人脸识别系统及其方法 |
| WO2016180460A1 (en) * | 2015-05-11 | 2016-11-17 | Deutsche Telekom Ag | In-device privacy control mechanism for wearable smart devices |
-
2018
- 2018-12-24 CN CN201811580871.XA patent/CN109711318B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100072772A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 |
| CN103902960A (zh) * | 2012-12-28 | 2014-07-02 | 北京计算机技术及应用研究所 | 一种实时人脸识别系统及其方法 |
| WO2016180460A1 (en) * | 2015-05-11 | 2016-11-17 | Deutsche Telekom Ag | In-device privacy control mechanism for wearable smart devices |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109711318A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
| CN109819208B (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
| CN107346426B (zh) | 一种基于摄像机人脸识别的人脸信息收集方法 | |
| CN102306304B (zh) | 人脸遮挡物识别方法及其装置 | |
| CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
| US20060056702A1 (en) | Image processing apparatus and image processing method | |
| WO2019114145A1 (zh) | 监控视频中人数检测方法及装置 | |
| CN109063667B (zh) | 一种基于场景的视频识别方式优化及推送方法 | |
| US20220122360A1 (en) | Identification of suspicious individuals during night in public areas using a video brightening network system | |
| US10657783B2 (en) | Video surveillance method based on object detection and system thereof | |
| CN108174198B (zh) | 一种视频图像质量诊断分析检测设备及应用系统 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理系统 | |
| CN111708907B (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
| WO2023231479A1 (zh) | 瞳孔检测方法、装置、存储介质及电子设备 | |
| Suresh et al. | An efficient low cost background subtraction method to extract foreground object during human tracking | |
| CN113259630B (zh) | 一种多摄像头行人轨迹聚合系统和方法 | |
| CN114973135A (zh) | 一种基于头肩的时序视频睡岗识别方法、系统及电子设备 | |
| CN117280708A (zh) | 利用基于ai的对象识别的监控摄像机的快门值调节 | |
| CN208691422U (zh) | 人脸识别监控摄像头 | |
| CN113158720A (zh) | 一种基于双模特征和注意力机制的视频摘要方法及装置 | |
| CN112183310A (zh) | 冗余监控画面过滤及无效监控画面筛选的方法及系统 | |
| CN115408557B (zh) | 一种基于大数据的安全监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 108, 1st floor, 30 Building, No. 5 Jiangtai Road, Chaoyang District, Beijing, 100020 Applicant after: Beijing Pengsi Technology Co.,Ltd. Address before: 716, 6th Floor, No. 2 Building, Xinfang Road, Chaoyang District, Beijing 100020 Applicant before: BEIJING PENSEES INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210212 |