CN111640134A - 人脸跟踪方法、装置、计算机设备及其存储装置 - Google Patents

人脸跟踪方法、装置、计算机设备及其存储装置 Download PDF

Info

Publication number
CN111640134A
CN111640134A CN202010442085.4A CN202010442085A CN111640134A CN 111640134 A CN111640134 A CN 111640134A CN 202010442085 A CN202010442085 A CN 202010442085A CN 111640134 A CN111640134 A CN 111640134A
Authority
CN
China
Prior art keywords
track
rectangular frame
image
face
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442085.4A
Other languages
English (en)
Other versions
CN111640134B (zh
Inventor
肖娟
李德民
廖金辉
吴亦歌
王秋阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202010442085.4A priority Critical patent/CN111640134B/zh
Publication of CN111640134A publication Critical patent/CN111640134A/zh
Application granted granted Critical
Publication of CN111640134B publication Critical patent/CN111640134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及人脸跟踪方法、装置、计算机设备及其存储装置，该方法包括获取待检测图像；判断待检测图像是否符合要求；若是，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框及轨迹；若否，则采用单目标跟踪算法对每条轨迹进行跟踪，以得到最近矩形框；判断轨迹内是否有重叠的轨迹；若有，分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；根据更新后的轨迹进行最近矩形框的更新；判断轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；若有，删除对应的轨迹。本发明实现提高了运算速率，提高了跟踪准确率，且不存在目标方框永不消失的现象。

Description

人脸跟踪方法、装置、计算机设备及其存储装置
技术领域
本发明涉及人脸检测方法，更具体地说是指人脸跟踪方法、装置、计算机设备及其存储装置。
背景技术
在人脸识别应用中，人脸特征提取的运算复杂度比较大，运行时间比较长，特别是用深度学习进行特征提取且在移动端应用，耗时更大，那么在处理视频过程中，当人脸被检测或者识别后，可以不用再次进行检测与识别，只要跟踪已经被检测的人脸，就不需要对每一帧图像进行人脸检测与识别，只要知道人脸的唯一编号即可。
目前人脸跟踪算法主要还存在三个问题，一是人脸检测方法的运行时间会随图像的增大以及人脸的最小尺寸的减小成幂次增加，同时，人脸跟踪方法的运行时间也会随人数的增多成倍数增加；二是人脸被遮挡时，目标容易丢失；三是当人脸姿态变化大的时候，前景的更新速度不能随环境的变化而变化，所以背景就会被迅速学习成前景，当方框内的背景越来越大，前景就会被识别成背景，而当前的背景变成了前景，如果背景的环境是变化不大的，恰好满足了学习速度，那么当前的方框就会一直停留在此处，即在跟踪过程中目标实际上已经丢失，但目标方框永久不消失的现象，容易干扰观察者的视线。
因此，有必要设计一种新的方法，实现不仅提高了运算速率，提高了跟踪准确率，且不存在目标方框永不消失的现象。
发明内容
本发明的目的在于克服现有技术的缺陷，提供人脸跟踪方法、装置、计算机设备及其存储装置。
为实现上述目的，本发明采用以下技术方案：人脸跟踪方法，包括：
获取待检测图像；
对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；
若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断所述轨迹内是否有重叠的轨迹；
若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；
判断所述轨迹内是否有重叠的轨迹；
若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；
根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；
判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；
若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
其进一步技术方案为：所述对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求，包括：
对所述待检测图像进行缩放，以得到预处理后的图像；
判断预处理后的图像当前是否是帧数的整数倍；
若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；
若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
其进一步技术方案为：所述采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，包括：
采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框；
计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；
判断所述面积比例是否大于预设阈值；
若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；
若所述面积比例不大于预设阈值，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
其进一步技术方案为：所述采用单目标跟踪算法进行目标跟踪，以得到最近矩形框，包括：
对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
其进一步技术方案为：所述根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框，包括：
当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像；
将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；
判断所述检测结果是否是有矩形框输出；
若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；
若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
其进一步技术方案为：所述MTCNN模型包括P-Net网络层、N-Net网络层以及O-Net网络层。
本发明还提供了人脸跟踪装置，包括：
图像获取单元，用于获取待检测图像；
图像判断单元，用于对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；
检测单元，用于若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断所述轨迹内是否有重叠的轨迹；
跟踪单元，用于若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；
轨迹判断单元，用于判断所述轨迹内是否有重叠的轨迹；
轨迹更新单元，用于若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；
矩形框更新单元，用于根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；
标注判断单元，用于判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；
轨迹删除单元，用于若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
其进一步技术方案为：所述图像判断单元包括：
缩放子单元，用于对所述待检测图像进行缩放，以得到预处理后的图像；
帧数判断子单元，用于判断预处理后的图像当前是否是帧数的整数倍；若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对待检测图像进行缩放处理后判断帧数，并采用MTCNN模型进行人脸初步检测，结合staple算法得到最近矩形框以及轨迹，将最近矩形框直接输入MTCNN模型的第三层进行向前推理更新人脸方框区域，不仅提高了运算速率，且使得staple的目标方框也更加准确，提高了staple的跟踪准确率，通过MTCNN模型的再次检测判定，可以知道当前的最近矩形框中是否存在人脸，同时也解决了staple算法方框容易永久不消失。在处理两个跟踪目标发生重叠时，采用重叠轨迹删除处理，实现不仅提高了运算速率，提高了跟踪准确率，且不存在目标方框永不消失的现象。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸跟踪方法的应用场景示意图；
图2为本发明实施例提供的人脸跟踪方法的流程示意图；
图3为本发明实施例提供的人脸跟踪方法的子流程示意图；
图4为本发明实施例提供的人脸跟踪方法的子流程示意图；
图5为本发明实施例提供的人脸跟踪方法的子流程示意图；
图6为本发明实施例提供的人脸跟踪装置的示意性框图；
图7为本发明实施例提供的人脸跟踪装置的图像判断单元的示意性框图；
图8为本发明实施例提供的人脸跟踪装置的检测单元的示意性框图；
图9为本发明实施例提供的人脸跟踪装置的矩形框更新单元的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的人脸跟踪方法的应用场景示意图。图2为本发明实施例提供的人脸跟踪方法的示意性流程图。该人脸跟踪方法应用于服务器中。该服务器与终端进行交互，具体地，服务器根据终端输入的待检测图像利用基于MTCNN(多任务卷积神经网络，Multi-task convolutional neural network)人脸检测方法与staple(单目标跟踪，Sum of Template And Pixel-wise LEarners)两种算法结合起来进行人脸检测以及跟踪，不仅提高了运算速率，且使得staple的更新后的矩形框也更加准确，提高了staple的跟踪准确率，通过MTCNN的再次检测判定，可以知道当前的目标方框中是否存在人脸，同时也解决了staple算法所检测的更新后的矩形框容易永久不消失的问题。
图2是本发明实施例提供的人脸跟踪方法的流程示意图。如图2所示，该方法包括以下步骤S110至S190。
S110、获取待检测图像。
在本实施例中，待检测图像是指终端实时拍摄所得的图像，而终端包括摄像头和显示设备，摄像头可安装在人流较多的地方，比如车站以及商场等，显示设备可安装于后台监控区域。
S120、对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求。
在本实施例中，将待检测图像按照帧数来执行不同的步骤，可提高运算速率。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S124。
S121、对所述待检测图像进行缩放，以得到预处理后的图像。
在本实施例中，预处理后的图像是指将待检测图像进行尺寸处理后形成的图像。
具体地，为了实现实时检测人脸，将输入图像统一进行缩放，本实例中统一将图像缩放到640*480的大小。
S122、判断预处理后的图像当前是否是帧数的整数倍。
在本实施例中，将整数倍的帧对应的图像进行MTCNN的人脸检测，而非整数倍的帧对应的图像进行staple的人脸跟踪，以提升整个跟踪效率。
S123、若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；
S124、若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
S130、若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入步骤S150。
在本实施例中，最近矩形框是指当前跟踪的目标在图像中的人脸所在框，轨迹是指当前跟踪的目标在图像中移动的轨迹。
在本实施例中，所述MTCNN模型包括P-Net网络层、N-Net网络层以及O-Net网络层。
MTCNN人脸检测方法是一个比较常用的人脸检测方法，对人脸的大姿态、光照变化、小目标都能有好的效果，且MTCNN有三层网络结构，分别为：P-Net网络层、N-Net网络层、O-Net网络层，有利于更好的对速度进行优化。
使用P-Net网络层是一个全卷积网络，用来生成候选窗和边框回归向量。使用生成候选窗和边框回归向量的方法来校正这些候选窗，使用非极大值抑制合并重叠的候选框；使用N-Net网络层改善候选窗。将通过P-Net网络层的候选窗输入N-Net中，拒绝掉大部分失败的窗口，继续使用生成候选窗和边框回归向量和非极大值抑制合并形成新的窗口；最后使用O-Net网络层输出最终的人脸框和特征点位置。和N-Net网络层类似，但是O-Net网络层还生成5个人脸关键点的位置。
P-Net网络层是对原图像进行金字塔的图像缩放，分别输入图像获得候选框，所以P-Net网络层的运行时间是随图像的增大以及人脸的最小尺寸的减小成幂次增加，N-Net网络层、O-Net网络层是对第一层候选框的再次筛选。运行时间只是随候选框的个人数成倍数增加。所以一种人脸跟踪方法利用这些特征解决了速度上的问题。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S135。
S131、采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框。
在本实施例中，采用MTCNN模型三层网络进行人脸检测，以得到候选框，该候选框是指可能存在人脸的矩形框，也就是人脸矩形框。
每个轨迹都会有一个最近矩形框，该最近矩形框是指可能存在人脸的矩形框，当服务器在进行人脸检测的过程中，会判断人脸矩形框与现有轨迹的匹配程度，当匹配时，则直接替换掉现有的轨迹对应的最近矩形框，若不匹配则重新新建一条轨迹，以避免存在很多轨迹，造成显示混乱，还可以及时清除以往的轨迹。
S132、计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；
S133、判断所述面积比例是否大于预设阈值。
在本实施例中，重叠面积比例是指任意两个矩形框的重叠面积除以这两个矩形框中最小面积的比例。即令两个矩形框的面积为A1、A2，两个矩形方框的重叠面积为A3，那么重叠面积的比例R＝A3/min(A1，A2)。此时，则表明人脸矩形框与现有轨迹匹配。
S134、若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；
S135、若所述面积比例不大于预设阈值，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
具体地，首先对待检测图像进行MTCNN的人脸检测，获得所有人脸矩形框，计算当前图像的第i个人脸矩形框与第j条轨迹的最近矩形框的重叠面积，如果重叠面积比例大于预设阈值，在本实施例中，预设阈值取值0.1，则第i个人脸矩形框与第j条轨迹匹配，更新第j条轨迹的最近矩形框为当前的第i个人脸矩形框，并标注第j条轨迹的矩形框已匹配成功。如果第i个人脸矩形框与所有的轨迹都不匹配，则第i个人脸矩形框是一个新目标，即建立一条新的轨迹，给予新的ID号，并标注该轨迹已经匹配成功。遍历所有的轨迹，如果没有匹配到新的人脸矩形框，标记为没有匹配成功。
S140、若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框。
具体地，对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
在本实施例中，轨迹是指同一张人脸在不同的帧中存在不同的位置，也就是最近矩形框，那么这些最近矩形框以帧为时间轴就形成了轨迹，根据需求可以选择m帧的最近矩形框进行储存，形成轨迹，而每一条轨迹都拥有唯一的ID号。
在本实施例中，对每一条轨迹的最近矩形框用staple跟踪方法预测当前帧的人脸矩形框，如果第j条轨迹被预测到当前帧的人脸矩形框，则更新第j条轨迹的最近矩形框，并标注第j条轨迹的最近矩形框已匹配成功；如果第j条轨迹没有被预测到当前帧的人脸矩形框，则标记第j条轨迹的矩形框没有匹配成功。
S150、判断所述轨迹内是否有重叠的轨迹。
在本实施例中，当进行两个跟踪目标的跟踪时，则需要进行轨迹重叠的判断，也就是当进行多个跟踪目标的跟踪时，则需要进行轨迹重叠的判断。
若所述轨迹内没有重叠的轨迹，则执行所述步骤S170。
S160、若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹，另一条轨迹则会标记为没有匹配成功。
在本实施例中，更新后的轨迹是指更新匹配成功后的最近矩形框所对应的轨迹。
当任意两条轨迹重叠时，令两条轨迹分别为a，b。分别计算当前帧的人脸矩形框与轨迹a、b的最近矩形框的重叠面积，选择重叠面积大的那条轨迹为匹配轨迹，以此形成更新后的轨迹。
S170、根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框。
在本实施例中，更新后的矩形框是指存在人脸的矩形框。
在一实施例中，请参阅图5，上述的步骤S170可包括步骤S171～S175。
S171、当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像。
在本实施例中，中间图像是指仅具有最近矩形框的图像。
S172、将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；
S173、判断所述检测结果是否是有矩形框输出；
S174、若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；
S175、若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
如果当前帧不是n帧的整数倍，则首先将所有轨迹的最近矩形框对原图即待检测图像进行截取，获得截取后的图像，然后将截取后的图像分别输入MTCNN模型的第三层结构即O-Net网络层，如果MTCNN模型的O-Net网络层输出矩形框，则更新当前轨迹的最近矩形框。如果MTCNN模型的O-Net网络层没有矩形框输出，则不更新当前轨迹的最近矩形框，并标记当前没有人脸。如果当前帧是n帧的整数倍，则将该当前轨迹的最近矩形框更新为采用MTCNN模型对待检测图像进行人脸检测所得的最近矩形框。
S180、判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；
S190、若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
若所述轨迹内没有在预设时间段内未携带有记号且未检测到人脸的轨迹，则执行所述步骤S110。
如果一条轨迹长时间没有被标注匹配成功或者长时间没有检测到人脸，则删除该轨迹。
本实例中，预设时间段是指如果一条轨迹连续10帧内并未如步骤S130与S140所述的没有被标记匹配成功或者连续10帧内并未如步骤S170所述的被标记没有人脸，则删除该条轨迹。
上述的人脸跟踪方法对火车站的安检入口进行了人脸跟踪的视频测试，能达到实时检测与跟踪的效果，并能解决目标丢失一段时间后又能跟踪上的问题，没有出现方框永久不消失的现象。
上述的人脸跟踪方法，通过对待检测图像进行缩放处理后判断帧数，并采用MTCNN模型进行人脸初步检测，结合staple算法得到最近矩形框以及轨迹，将最近矩形框直接输入MTCNN模型的第三层进行向前推理更新人脸方框区域，不仅提高了运算速率，且使得staple的目标方框也更加准确，提高了staple的跟踪准确率，通过MTCNN模型的再次检测判定，可以知道当前的最近矩形框中是否存在人脸，同时也解决了staple算法方框容易永久不消失。在处理两个跟踪目标发生重叠时，采用重叠轨迹删除处理，实现不仅提高了运算速率，提高了跟踪准确率，且不存在目标方框永不消失的现象。
图6是本发明实施例提供的一种人脸跟踪装置300的示意性框图。如图6所示，对应于以上人脸跟踪方法，本发明还提供一种人脸跟踪装置300。该人脸跟踪装置300包括用于执行上述人脸跟踪方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该人脸跟踪装置300包括图像获取单元301、图像判断单元302、检测单元303、跟踪单元304、轨迹判断单元305、轨迹更新单元306、矩形框更新单元307、标注判断单元308以及轨迹删除单元309。
图像获取单元301，用于获取待检测图像；图像判断单元302，用于对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；检测单元303，用于若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断所述轨迹内是否有重叠的轨迹；跟踪单元304，用于若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；轨迹判断单元305，用于判断所述轨迹内是否有重叠的轨迹；轨迹更新单元306，用于若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；矩形框更新单元307，用于根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；标注判断单元308，用于判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；轨迹删除单元309，用于若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
在一实施例中，如图7所示，所述图像判断单元302包括缩放子单元3021以及帧数判断子单元3022。
缩放子单元3021，用于对所述待检测图像进行缩放，以得到预处理后的图像；帧数判断子单元3022，用于判断预处理后的图像当前是否是帧数的整数倍；若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
在一实施例中，如图8所示，所述检测单元303包括处理子单元3031、比例计算子单元3032、比例判断子单元3033、替换子单元3034以及新建子单元3035。
处理子单元3031，用于采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框；比例计算子单元3032，用于计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；比例判断子单元3033，用于判断所述面积比例是否大于预设阈值；替换子单元3034，用于若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；新建子单元3035，用于若所述面积比例不大于预设阈，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
在一实施例中，所述跟踪单元304用于对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
在一实施例中，如图9所示，所述矩形框更新单元307包括截图子单元3071、人脸检测子单元3072、检测判断子单元3073、更新后的矩形框获取子单元3074以及人脸标记子单元3075。
截图子单元3071，用于当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像；人脸检测子单元3072，用于将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；检测判断子单元3073，用于判断所述检测结果是否是有矩形框输出；更新后的矩形框获取子单元3074，用于若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；人脸标记子单元3075，用于若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述人脸跟踪装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述人脸跟踪装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种人脸跟踪方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种人脸跟踪方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待检测图像；对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断所述轨迹内是否有重叠的轨迹；若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；判断所述轨迹内是否有重叠的轨迹；若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
其中，所述MTCNN模型包括P-Net网络层、N-Net网络层以及O-Net网络层。
在一实施例中，处理器502在实现所述对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求步骤时，具体实现如下步骤：
对所述待检测图像进行缩放，以得到预处理后的图像；判断预处理后的图像当前是否是帧数的整数倍；若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
在一实施例中，处理器502在实现所述采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹步骤时，具体实现如下步骤：
采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框；判断人脸矩形框是否与现有轨迹匹配；计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；判断所述面积比例是否大于预设阈值；若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；若所述面积比例不大于预设阈值，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
在一实施例中，处理器502在实现所述采用单目标跟踪算法进行目标跟踪，以得到最近矩形框步骤时，具体实现如下步骤：
对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
在一实施例中，处理器502在实现所述根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框步骤时，具体实现如下步骤：
当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像；将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；判断所述检测结果是否是有矩形框输出；若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待检测图像；对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断所述轨迹内是否有重叠的轨迹；若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；判断所述轨迹内是否有重叠的轨迹；若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
其中，所述MTCNN模型包括P-Net网络层、N-Net网络层以及O-Net网络层。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求步骤时，具体实现如下步骤：
对所述待检测图像进行缩放，以得到预处理后的图像；判断预处理后的图像当前是否是帧数的整数倍；若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹步骤时，具体实现如下步骤：
采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框；计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；判断所述面积比例是否大于预设阈值；若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；所述面积比例不大于预设阈值，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用单目标跟踪算法进行目标跟踪，以得到最近矩形框步骤时，具体实现如下步骤：
对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框步骤时，具体实现如下步骤：
当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像；将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；判断所述检测结果是否是有矩形框输出；若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.人脸跟踪方法，其特征在于，包括：
获取待检测图像；
对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；
若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断轨迹内是否有重叠的轨迹；
若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；
判断轨迹内是否有重叠的轨迹；
若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；
根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；
判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；
若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求，包括：
对所述待检测图像进行缩放，以得到预处理后的图像；
判断预处理后的图像当前是否是帧数的整数倍；
若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；
若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
3.根据权利要求1所述的人脸跟踪方法，其特征在于，所述采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，包括：
采用MTCNN模型对待检测图像进行处理，以得到所有人脸矩形框；
计算所述人脸矩形框与现有轨迹的最近矩形框的重叠面积，以得到面积比例；
判断所述面积比例是否大于预设阈值；
若所述面积比例大于预设阈值，则将面积比例对应现有轨迹的最近矩形框替换为对应的人脸矩形框，以得到最近矩形框以及轨迹；
若所述面积比例不大于预设阈值，则建立新的轨迹，并设置对应的ID号，以得到最近矩形框以及轨迹。
4.根据权利要求1所述的人脸跟踪方法，其特征在于，所述采用单目标跟踪算法进行目标跟踪，以得到最近矩形框，包括：
对每一条轨迹采用单目标跟踪算法进行当前帧的人脸矩形框预测，以得到最近矩形框。
5.根据权利要求1所述的人脸跟踪方法，其特征在于，所述根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框，包括：
当前帧不是帧数的整数倍，将所有更新后的轨迹对应的最近矩形框对待检测图像进行截图，以得到中间图像；
将所述中间图像输入至MTCNN模型的第三层结构以检测是否存在人脸，以得到检测结果；
判断所述检测结果是否是有矩形框输出；
若所述检测结果有矩形框输出，则根据输出的矩形框更新对应轨迹的最近矩形框，以得到更新后的矩形框；
若所述检测结果没有矩形框输出，则标记轨迹对应的最近矩形框内没有人脸。
6.根据权利要求1所述的人脸跟踪方法，其特征在于，所述MTCNN模型包括P-Net网络层、N-Net网络层以及O-Net网络层。
7.人脸跟踪装置，其特征在于，包括：
图像获取单元，用于获取待检测图像；
图像判断单元，用于对所述待检测图像进行隔帧检测人脸，以判断所述待检测图像是否符合要求；
检测单元，用于若所述待检测图像符合要求，则采用MTCNN模型对待检测图像进行人脸检测并获得人脸矩形框，以得到最近矩形框以及轨迹，并进入判断轨迹内是否有重叠的轨迹；
跟踪单元，用于若所述待检测图像不符合要求，则采用单目标跟踪算法对每条轨迹进行目标跟踪，以得到最近矩形框；
轨迹判断单元，用于判断轨迹内是否有重叠的轨迹；
轨迹更新单元，用于若所述轨迹内有重叠的轨迹，则分别计算目标方框与重叠的轨迹对应的最近矩形框的重叠面积，筛选出重叠面积最大的轨迹，以得到更新后的轨迹；
矩形框更新单元，用于根据更新后的轨迹以及MTCNN模型进行最近矩形框的更新，以得到更新后的矩形框；
标注判断单元，用于判断所述轨迹内是否有在预设时间段内未携带有记号且未检测到人脸的轨迹；
轨迹删除单元，用于若所述轨迹内有在预设时间段内未携带有记号且未检测到人脸的轨迹，则删除对应的轨迹。
8.根据权利要求7所述的人脸跟踪装置，其特征在于，所述图像判断单元包括：
缩放子单元，用于对所述待检测图像进行缩放，以得到预处理后的图像；
帧数判断子单元，用于判断预处理后的图像当前是否是帧数的整数倍；若预处理后的图像当前是帧数的整数倍，则所述待检测图像符合要求；若预处理后的图像当前不是帧数的整数倍，则所述待检测图像不符合要求。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
CN202010442085.4A 2020-05-22 2020-05-22 人脸跟踪方法、装置、计算机设备及其存储装置 Active CN111640134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442085.4A CN111640134B (zh) 2020-05-22 2020-05-22 人脸跟踪方法、装置、计算机设备及其存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442085.4A CN111640134B (zh) 2020-05-22 2020-05-22 人脸跟踪方法、装置、计算机设备及其存储装置

Publications (2)

Publication Number Publication Date
CN111640134A true CN111640134A (zh) 2020-09-08
CN111640134B CN111640134B (zh) 2023-04-07

Family

ID=72331600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442085.4A Active CN111640134B (zh) 2020-05-22 2020-05-22 人脸跟踪方法、装置、计算机设备及其存储装置

Country Status (1)

Country Link
CN (1) CN111640134B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184760A (zh) * 2020-10-13 2021-01-05 中国科学院自动化研究所 基于动态视觉传感器的高速运动目标检测跟踪方法
CN112686177A (zh) * 2020-12-31 2021-04-20 深圳云天励飞技术股份有限公司 车辆客流统计方法、装置、电子设备及存储介质
CN113011385A (zh) * 2021-04-13 2021-06-22 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717695A (zh) * 2002-11-29 2006-01-04 索尼英国有限公司 脸部检测及跟踪
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
CN108363997A (zh) * 2018-03-20 2018-08-03 南京云思创智信息科技有限公司 一种在视频中对特定人的实时跟踪方法
US20190026538A1 (en) * 2017-07-21 2019-01-24 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (cnn) modules for embedded systems
CN110321841A (zh) * 2019-07-03 2019-10-11 成都汇纳智能科技有限公司 一种人脸检测方法及系统
CN111178261A (zh) * 2019-12-30 2020-05-19 武汉恩智电子科技有限公司 一种基于视频编码技术的人脸检测加速方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717695A (zh) * 2002-11-29 2006-01-04 索尼英国有限公司 脸部检测及跟踪
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
US20190026538A1 (en) * 2017-07-21 2019-01-24 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (cnn) modules for embedded systems
CN108363997A (zh) * 2018-03-20 2018-08-03 南京云思创智信息科技有限公司 一种在视频中对特定人的实时跟踪方法
CN110321841A (zh) * 2019-07-03 2019-10-11 成都汇纳智能科技有限公司 一种人脸检测方法及系统
CN111178261A (zh) * 2019-12-30 2020-05-19 武汉恩智电子科技有限公司 一种基于视频编码技术的人脸检测加速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYUK JIN KWON ET AL.: "Multiple face tracking method in the wild using color histogram features", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON SIGNAL PROCESSING AND INFORMATION TECHNOLOGY (ISSPIT)》 *
王海龙等: "基于视频监控的人脸识别方法", 《计算机测量与控制》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184760A (zh) * 2020-10-13 2021-01-05 中国科学院自动化研究所 基于动态视觉传感器的高速运动目标检测跟踪方法
CN112686177A (zh) * 2020-12-31 2021-04-20 深圳云天励飞技术股份有限公司 车辆客流统计方法、装置、电子设备及存储介质
CN113011385A (zh) * 2021-04-13 2021-06-22 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质
CN113011385B (zh) * 2021-04-13 2024-07-05 深圳市赛为智能股份有限公司 人脸静默活体检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111640134B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107886048B (zh) 目标跟踪方法及系统、存储介质及电子终端
CN111640134B (zh) 人脸跟踪方法、装置、计算机设备及其存储装置
US10417503B2 (en) Image processing apparatus and image processing method
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN110264495B (zh) 一种目标跟踪方法及装置
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
US20220004818A1 (en) Systems and Methods for Evaluating Perception System Quality
US20070092110A1 (en) Object tracking within video images
US20130070105A1 (en) Tracking device, tracking method, and computer program product
CN107992790B (zh) 目标长时跟踪方法及系统、存储介质及电子终端
EP3495989A1 (en) Best image crop selection
CN113420682A (zh) 车路协同中目标检测方法、装置和路侧设备
CN111160212A (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN113628236A (zh) 摄像头遮挡检测方法、装置、设备、存储介质及程序产品
CN108288020A (zh) 基于上下文信息的视频遮挡检测系统及方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN113587928B (zh) 导航方法、装置、电子设备、存储介质及计算机程序产品
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN111368770A (zh) 基于骨骼点检测与跟踪的手势识别方法
US20220300774A1 (en) Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
CN114674826A (zh) 基于布匹的视觉检测方法及检测系统
CN115457592A (zh) 行人识别的方法及装置
CN113065523A (zh) 目标追踪方法及装置、电子设备和存储介质
US20230177705A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant