CN114219832B - 人脸跟踪方法、装置及计算机可读存储介质 - Google Patents
人脸跟踪方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114219832B CN114219832B CN202111436895.XA CN202111436895A CN114219832B CN 114219832 B CN114219832 B CN 114219832B CN 202111436895 A CN202111436895 A CN 202111436895A CN 114219832 B CN114219832 B CN 114219832B
- Authority
- CN
- China
- Prior art keywords
- face
- target
- frame
- head
- shoulder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸跟踪方法、装置及计算机可读存储介质,该人脸跟踪方法包括:对视频流进行目标跟踪;响应于当前帧中存在跟踪断裂的第一目标人脸时,获取当前帧中满足预设遮挡要求的所有第一目标人体;将第一目标人脸与信息库中各个第一目标人体对应的第二目标人脸进行匹配,以查询与第一目标人脸匹配的第二目标人脸,其中,信息库中的第二目标人脸在当前帧之前的历史帧中处于即将被对应的第一目标人体遮挡的状态;将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体。本申请的方法能够避免因为遮挡而导致目标标识发生改变的现象。
Description
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种人脸跟踪方法、装置及计算机可读存储介质。
背景技术
目标跟踪技术是计算机视觉领域的核心课题之一,具有十分重要的研究意义和广泛的实用价值。它融合了图像处理、模式识别、人工智能、自动控制以及计算机应用等相关领域的先进技术和研究成果。目标跟踪的实质是一种从图像信号中实时自动识别目标、提取目标的位置信息、自动跟踪目标的技术。目前目标跟踪技术的难点在于图像信号采集过程中的信息损失和复杂的应用环境,特别是目标在运动过程中经常被场景中的其它物体遮挡。
当目标被其他物体遮挡时,会导致部分固有特征的丢失,新特征的产生,这给目标识别和定位带来很大的困难。因此遮挡问题成为限制目标跟踪技术实用性的关键因素。
发明内容
本申请提供一种人脸跟踪方法、装置及计算机可读存储介质,能够避免因为遮挡而导致目标标识发生改变的现象。
本申请实施例第一方面提供一种人脸跟踪方法,所述方法包括:对视频流进行目标跟踪;响应于当前帧中存在跟踪断裂的第一目标人脸时,获取所述当前帧中满足预设遮挡要求的所有第一目标人体;将所述第一目标人脸与信息库中各个所述第一目标人体对应的第二目标人脸进行匹配,以查询与所述第一目标人脸匹配的所述第二目标人脸,其中,所述信息库中的所述第二目标人脸在所述当前帧之前的历史帧中处于即将被对应的所述第一目标人体遮挡的状态;将所述第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,所述第二目标人体为所述匹配的所述第二目标人脸对应的人体。
本申请实施例第二方面提供一种人脸跟踪装置,所述人脸跟踪装置包括处理器、存储器以及通信电路,所述处理器分别耦接所述存储器、所述通信电路,所述存储器中存储有程序数据,所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
本申请实施例第三方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被处理器执行以实现上述方法中的步骤。
有益效果是:本申请在第一目标人脸出现跟踪断裂时,获取遮挡第一目标人脸的所有第一目标人体,然后在在此之前即将被第一目标人体遮挡的第二目标人脸中查询与第一目标人脸匹配的第二目标人脸,如果能查询到匹配的第二目标人脸,则说明第一目标人脸出现跟踪断裂的原因是因为受到了遮挡,且在遮挡之前,第一目标人脸就是查找到的匹配的第二目标人脸,因此将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体,具体而言,将第一目标人脸的标识设置与匹配的第二目标人脸的标识相同,从而可以避免因为遮挡而导致标识改变的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请人脸跟踪方法一实施方式的流程示意图;
图2是图1中步骤S120的流程示意图;
图3是人脸遮挡状态示意图;
图4是人脸框与头肩框的相对位置示意图;
图5是图1实施方式的另一部分流程示意图;
图6是图5中步骤S150的流程示意图;
图7是图1中步骤S130的流程示意图;
图8是本申请人脸跟踪装置一实施方式的结构示意图;
图9是本申请人脸跟踪装置另一实施方式的结构示意图;
图10是本申请人脸跟踪装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参阅图1,图1是本申请人脸跟踪方法一实施方式的流程示意图,该方法包括:
S110:对视频流进行目标跟踪。
其中,本申请对视频流中的人脸进行跟踪,在进行跟踪时,首先识别画面中的人脸,然后为每个人脸都分配一个标识,不同人脸对应的表示不同,即人脸与标识之间的关系为一一对应关系。
现有技术中,在人脸受到遮挡后,跟踪可能会出现断裂的情况,即对应当前帧中的某一人脸而言,无法在当前帧之前的历史帧中找出与其匹配的人脸。
而只要人脸出现跟踪断裂的情况,人脸的标识会发生改变,而只要人脸的标识发生了改变,就会将该人脸视为一个新的目标进行跟踪,而本申请所要解决的技术就是如何避免因为受到遮挡而导致人脸标识发生改变的缺陷。
在一应用场景中,采用预先训练好的目标检测模型识别视频流中的人脸,以及采用Deepsort模型对视频流中的人脸进行目标跟踪。
S120:响应于当前帧中存在跟踪断裂的第一目标人脸时,获取当前帧中满足预设遮挡要求的所有第一目标人体。
其中,第一目标人脸出现跟踪断裂,即在当前帧之前的历史帧中未能找出与第一目标人脸匹配的人脸时,说明在此之前的视频流中未出现过第一目标人脸,该第一目标人脸有可能刚刚受到了遮挡,此时处于刚出遮挡状态。
满足预设遮挡要求的第一目标人体指的是,当前帧中遮挡第一目标人脸的人体。也就是说,在当前帧中存在第一目标人脸时,获取当前帧中遮挡第一目标人脸的所有人体。
其中,如何获取满足预设遮挡要求的所有第一目标人体的具体过程可参见下文。
S130:将第一目标人脸与信息库中各个第一目标人体对应的第二目标人脸进行匹配,以查询与第一目标人脸匹配的第二目标人脸,其中,信息库中的第二目标人脸在当前帧之前的历史帧中处于即将被对应的第一目标人体遮挡的状态。
其中,与第一目标人体对应的第二目标人脸在当前帧之前的历史帧中,处于即将被第一目标人体遮挡的状态。也就是说,在当前帧之前,与第一目标人体对应的第二目标人脸即将被第一目标人体遮挡。
其中与第一目标人体对应的第二目标人脸可能是零个、一个、两个或者更多个。
其中步骤S130的目的就是在所有第一目标人体所对应的第二目标人脸中,查找出一个第二目标人脸与第一目标人脸匹配。
S140:将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体。
其中,当步骤S130查询到与第一目标人脸匹配的第二目标人脸时,说明第一目标人脸出现跟踪断裂的原因是因为受到了遮挡,且在遮挡之前,第一目标人脸就是查找到的匹配的第二目标人脸,则为了避免因为遮挡而导致标识改变的现象,将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体,,具体表现为,将第一目标人脸的标识设置与匹配的第二目标人脸的标识相同,可以理解为,将第二目标人体的人脸信息赋予第一目标人脸,然后对第一目标人脸继续进行跟踪。
从上述内容可以看出,本申请在第一目标人脸出现跟踪断裂时,获取遮挡第一目标人脸的所有第一目标人体,然后在在此之前即将被第一目标人体遮挡的第二目标人脸中查询与第一目标人脸匹配的第二目标人脸,如果能查询到匹配的第二目标人脸,则说明第一目标人脸出现跟踪断裂的原因是因为受到了遮挡,且在遮挡之前,第一目标人脸就是查找到的匹配的第二目标人脸,因此将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体,具体而言,即将第一目标人脸的标识设置与匹配的第二目标人脸的标识相同,从而可以避免因为遮挡而导致标识改变的现象。
其中,当步骤S130未查询到与第一目标人脸匹配的第二目标人脸时,说明该第一目标人脸是一个新的人脸,并不是因为受到遮挡而导致跟踪断裂,则将第一目标人脸视为一个新目标进行跟踪,即将第一目标人脸的标识设置为一个新的标识。
参阅图2,在本实施方式中,步骤S120获取所有第一目标人体的步骤,包括:
S121:获取第一目标人脸的第一人脸框所处的所有第一头肩框,其中,第一人脸框与第一头肩框不属于同一人体。
S122:将第一头肩框所属的人体确定为第一目标人体。
在本实施方式中,在对视频流进行目标跟踪时,识别当前帧中的各个人脸框以及各个头肩框,并将当前视频中同属于同一人体的人脸框以及头肩框进行关联。
其中结合图3,人脸框(用实线表示)框选人脸,而头肩框(用虚线表示)同时框选头和肩膀。可以理解的是,人体、人脸框以及头肩框之间均是一一对应关系,同一个人体的头肩框框选该人体的人脸框。在一应用场景中,同一个人体的头肩框、人脸框用相同的标识表示。
其中,将同属于同一人体的人脸框以及头肩框进行关联的步骤,包括:
(a1)计算当前帧中各个人脸框与任意头肩框的相交面积和对应人脸框面积的比值。
(b1)将对应比值最大且距离人脸框距离最近的头肩框,与对应人脸框进行关联。
其中,对于当前帧中的某一人脸框而言,查找对应比值最大的头肩框,如果对应比值最大的头肩框只有一个,则将该头肩框与人脸框进行关联,但是如果对应比值最大的头肩框有两个以上,则在两个以上的头肩框中查找人脸框最近的头肩框,然后将人脸框与头肩框进行关联。
其中,可以将人脸框的中心点与头肩框的中心点之间的距离,作为人脸框与头肩框之间的距离。
在将当前帧中同属于一个人体的人脸框与头肩框进行关联后,根据第一人脸框以及各个头肩框的位置,可以确定与第一人脸框对应的所有第一头肩框。
在一应用场景中,步骤S121具体包括:
(a2)分别确定第一人脸框与当前帧中任意目标头肩框的相交面积和第一人脸框面积的比值,其中,第一人脸框与目标头肩框不属于同一人体。
(b2)若比值等于1,则将对应的目标头肩框,确定为第一头肩框。
其中,当前帧中与第一人脸框不属于同一个人体的头肩框为目标头肩框,分别确定第一人脸框与任意一个目标头肩框的相交面积和第一人脸框面积的比值。
结合图4可以看出(图4中实线框表示人脸框,虚线框表示头肩框),当比值等于1时,第一人脸框位于对应的目标头肩框的内部,将该目标头肩框确定为第一头肩框。
需要说明的是,在其他实施方式中,还可以根据第一人脸框与目标头肩框的交并比IOU,确定第一人脸框是否位于目标头肩框的内部,或者根据第一人脸框的中心点坐标、长宽以及目标头肩框的中心点坐标、长宽,确定第一人脸框是否位于目标头肩框的内部。
在其他实施方式中,步骤S120获取所有第一目标人体的过程,还可以是:查找中心点与第一目标人脸的第一人脸框的中心点之间的距离小于第一距离阈值的所有人脸框,然后将查找到的人脸框所属的人体确定为第一目标人体,或者,查找中心点与第一目标人脸所属人体的头肩框的中心点之间的距离小于第二距离阈值的所有头肩框,然后将查找到的头肩框所属的人体确认为第一目标人体。
总而言之,本申请对于如何查找第一目标人体的过程不做限制。
参阅图5,本实施方式的人脸跟踪方法还包括:
S150:获取当前帧中各个人脸的状态。
S160:响应于当前帧中存在即将被遮挡的第三目标人脸,将第三目标人脸以及第三目标人脸与即将遮挡第三目标人脸的第三目标人体的人脸的第一相对位置关系,对应保存在信息库中。
在对视频流进行目标跟踪后,如果当前帧中不存在第一目标人脸,则执行步骤S150、S160,如果当前帧中存在第一目标人脸,则在执行步骤S140后,执行步骤S150、S160。也就是说,对于视频流中的每一帧而言,都会执行步骤S150和步骤S160。
其中,信息库中只保存即将被遮挡的第三目标人脸以及第三目标人脸与第三目标人体的人脸的第一相对位置关系,其中,保存在信息库中的第三目标人脸可以以标识的形式呈现,例如,在信息库中保存:ID为1的人脸位于ID为2的人脸的右侧,或者为,ID为1的人脸位于ID为2的头肩框内部,且位于ID为2的人脸的右侧。
可以理解的是,同一个第三目标人脸可能同时即将被多个第三目标人体遮挡,则在信息库中分别保存第三目标人脸与各个第三目标人体的人脸的第一相对位置关系。
参阅图6,步骤S150具体包括:
S151:分别获取当前帧中各个第二人脸框与任意第二头肩框的相对位置关系,第二人脸框与第二头肩框不属于同一人体。
S152:根据相对位置关系,确定各个第二人脸框中人脸的状态。
其中,结合图4,第二人脸框与第二头肩框的相对位置关系可以是:第二人脸框与位于第二头肩框的内部、第二人脸框与位于第二头肩框的外部或者第二人脸框与第二头肩框部分重叠。
在本实施方式中,步骤S151具体包括:
(a3)分别确定各个第二人脸框与任意第二头肩框的相交面积和对应第二人脸框面积的比值。
(b3)若比值等于0,则确定对应的第二人脸框位于对应的第二头肩框之外;若比值大于0且小于1,则确定对应的第二人脸框与对应的第二头肩框部分重叠;若比值等于1,则确定对应的第二人脸框位于对应的第二头肩框中。
结合图4可以看出,当比值为等0时,人脸框与头肩框没有重叠部分,当比值大于0小于1时,人脸框与头肩框部分重叠,而当比值等于1时,人脸框位于头肩框的内部。
在其他实施方式中,还可以根据第二人脸框与第二头肩框的交并比IOU,确定第二人脸框与第二头肩框的相对位置,或者根据第二人脸框的中心点坐标、长宽以及第二头肩框的中心点坐标、长宽,确定第二人脸框与第二头肩框的相对位置关系。
在本实施方式中,步骤S152具体包括:
(a4)若第二人脸框位于第二头肩框中,获取第二人脸框中的人脸与第二头肩框中的人脸的第二相对位置关系。
第二人脸框中的人脸与第二头肩框中的人脸的第二相对位置关系可以是:第二人脸框中的人脸位于第二头肩框中的人脸的左侧或者右侧。
(b4)若信息库中没有保存第二人脸框中的人脸,或者,信息库中保存有第二人脸框中的人脸与第二头肩框中的人脸的第一相对位置关系,且第一相对位置关系和第二相对位置关系一致,则确定第二人脸框中的人脸即将被第二头肩框对应的人体遮挡。
如果信息库中没有保存第二人脸框中的人脸,说明信息库中没有保存第二人脸框中的人脸与第二头肩框中的人脸的第一相对位置关系,说明第二人脸框中的人脸是第一次进入第二头肩框中,此时判定第二人脸框中的人脸即将被第二头肩框对应的人体遮挡。
如果信息库中保存有第二人脸框中的人脸与第二头肩框中的人脸的第一相对位置关系,说明第二人脸框中的人脸在此之前即将被第二头肩框对应的人体遮挡,而如果第一相对位置关系与第二相对位置关系一致,则说明第二人脸框中的人脸与第二头肩框中的人脸位置没有发生相对变化,进而判定第二人脸框中的人脸依旧即将被第二头肩框对应的人体遮挡。
同时在本实施方式中,若第二人脸框位于第二头肩框中,信息库中保存有第二人脸框中的人脸与第二头肩框中的人脸的第一相对位置关系,且第二相对位置关系与第一相对位置关系不一致,则确定第二人脸框中的人脸刚刚走出第二头肩框对应的人体的遮挡。
如果信息库中保存有第二人脸框中的人脸与第二头肩框中的人脸的第一相对位置关系,说明第二人脸框中的人脸在此之前即将被第二头肩框对应的人体遮挡,而如果第一相对位置关系与第二相对位置关系不一致,则说明第二人脸框中的人脸与第二头肩框中的人脸位置发生了相对变化,进而判定第二人脸框中的人脸刚刚走出第二头肩框对应的人体的遮挡。
同时在本实施方式中,若第二人脸框与第二头肩框部分重叠或者第二人脸框位于第二头肩框的外部,此时确定第二人脸框中的人脸与第二头肩框对应的人体不存在遮挡关系。
结合图3,其中图(3a)、图(3b)、图(3b)以及图(3b)是视频流中的视频帧,且图(3a)、图(3b)、图(3b)、图(3b)在视频流中从前到后依次排列。
在图(3a)中,标识为1的人脸框位于标识为2的头肩框的外部,则确定标识为1的人脸框中的人脸与标识为2的头肩框对应的人体不存在遮挡关系。
在图(3b)中,标识为1的人脸框与标识为2的头肩框部分重叠,则确定标识为1的人脸框中的人脸与标识为2的头肩框对应的人体不存在遮挡关系。
在图(3c)中,标识为1的人脸框位于标识为2的头肩框中,而在此之前信息库中没有保存标识为1的人脸框中的人脸,则确定标识为1的人脸框中的人脸即将被标识为2的头肩框对应的人体遮挡,同时将标识为1的人脸框中的人脸与被标识为2的头肩框中的人脸的相对关系保存在信息库中,例如在信息库中保存:标识为1的人脸位于标识为2的头肩框内部,且位于标识为2的人脸的右侧。
当到了图(3d)时,标识为1的人脸框位于标识为2的头肩框中,且标识为1的人脸位于标识为2的人脸的左侧,此时标识为1的人脸与标识为2的人脸的相对位置关系与信息库中保存的不一致,则确定标识为1的人脸框中的人脸刚刚走出标识为2的头肩框对应的人体的遮挡。
在本实施方式中,步骤S160具体包括:将第三目标人脸、第三目标人脸的矢量速度以及第三目标人脸与第三目标人体的人脸的第一相对位置关系,对应保存在信息库中。
其中,在将第三目标人脸以及第三目标人脸与第三目标人体的人脸的第一相对位置关系保存在信息库中时,还会对应保存第三目标人脸的矢量速度,其中第三目标人脸的矢量速度表征着第三目标人脸的运动方向以及速度大小。
也就是说,对于保存在信息库中的各个第一目标人体对应的第二目标人脸而言,每个第二目标人脸均存在对应的矢量速度。
其中,获取第三目标人脸的矢量速度的步骤,包括:
(a5)获取在当前帧中,第三目标人脸的人脸框的中心点的第一坐标。
(b5)获取在当前帧之前的历史帧中,第三目标人脸的人脸框的中心点的第二坐标。
(c5)根据第一坐标、第二坐标以及当前帧与历史帧之间的帧差,确定第三目标人脸的矢量速度。
假设在当前帧中,第三目标人脸的人脸框的中心点的第一坐标为(xt,yt),在历史帧中,第三目标人脸的人脸框的中心点的第二坐标为(xt-T,yt-T),其中,T为当前帧与历史帧之间的帧差,则按照如下公式确定第三目标人脸的矢量速度V:
其中,Vx为矢量速度V在第一方向上的分量,Vy为矢量速度V在第二方向上的分量,其中,第一方向和第二方向垂直。
在本实施方式中,参阅图7,步骤S130匹配的具体过程包括:
S131:获取第一目标人脸的矢量速度。
其中,获取第一目标人脸的矢量速度的过程与获取第三目标人脸的矢量速度的过程相同,具体可参见上述相关内容,在此不再赘述。
S132:分别确定第一目标人脸的矢量速度与各个第二目标人脸的矢量速度的欧式距离。
在经过步骤S132后,各个第一目标人体所对应的第二目标人脸均存在对应的欧式距离。
S133:将对应欧式距离最小的第二目标人脸确定为与第一目标人脸匹配。
在得到各个第二目标人脸对应的欧式距离后,将最小欧式距离所对应的第二目标人脸确定为与第一目标人脸匹配。
在其他实施方式中,在找到最小欧式距离后,还可以判断该最小欧式是否小于距离阈值,如果小于距离阈值,则将最小欧式距离所对应的第二目标人脸确定为与第一目标人脸匹配,否则确定未找到与第一目标人脸匹配的第二目标人脸。
可以理解的是,确定人脸的运动速度的过程不受遮挡的影响,因此通过运动速度查找与第一目标人脸匹配的第二目标人脸,可以提高匹配的准确率。
在其他实施方式中,还可以根据其他参数进行匹配,例如人脸特征。
参阅图8,图8是本申请人脸跟踪装置一实施方式的结构示意图,该人脸跟踪装置200包括处理器210、存储器220以及通信电路230,处理器210分别耦接存储器220、通信电路230,存储器220中存储有程序数据,处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤,其中详细的步骤可参见上述实施方式,在此不再赘述。
其中,人脸跟踪装置200可以是电脑、手机等任一项具有视频处理能力的装置,在此不做限制。
参阅图9,图9是本申请人脸跟踪装置另一实施方式的结构示意图,该人脸跟踪装置300包括跟踪模块310、获取模块320以及匹配模块330。
跟踪模块310用于对视频流进行目标跟踪;
获取模块320与跟踪模块310连接,用于响应于当前帧中存在跟踪断裂的第一目标人脸时,获取当前帧中满足预设遮挡要求的所有第一目标人体;
匹配模块330与获取模块320连接,用于将第一目标人脸与信息库中各个第一目标人体对应的第二目标人脸进行匹配,以查询与第一目标人脸匹配的第二目标人脸,其中,信息库中的第二目标人脸在当前帧之前的历史帧中处于即将被对应的第一目标人体遮挡的状态。
跟踪模块310还用于将第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,第二目标人体为匹配的第二目标人脸对应的人体。
其中,人脸跟踪装置300可以是电脑、手机等任一项具有视频处理能力的装置,在此不做限制。
其中,人脸跟踪装置300在工作时执行上述任一项实施方式中的方法步骤,详细的步骤可参见上述实施方式,在此不再赘述。
参阅图10,图10是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410,计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
其中,计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置,或者也可以为存储有该计算机程序410的服务器,该服务器可将存储的计算机程序410发送给其他设备运行,或者也可以自运行该存储的计算机程序410。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种人脸跟踪方法,其特征在于,所述方法包括:
对视频流进行目标跟踪;
响应于当前帧中存在跟踪断裂的第一目标人脸时,获取所述当前帧中满足预设遮挡要求的所有第一目标人体,其中,满足所述预设遮挡要求的所述第一目标人体是遮挡所述第一目标人脸的人体,且根据所述第一目标人脸的第一人脸框,确定所述第一目标人体;
将所述第一目标人脸与信息库中各个所述第一目标人体对应的第二目标人脸进行匹配,以查询与所述第一目标人脸匹配的所述第二目标人脸,其中,所述信息库中的所述第二目标人脸在所述当前帧之前的历史帧中处于即将被对应的所述第一目标人体遮挡的状态;
将所述第一目标人脸作为第二目标人体的人脸信息进行跟踪,其中,所述第二目标人体为所述匹配的所述第二目标人脸对应的人体。
2.根据权利要求1所述的方法,其特征在于,所述获取所述当前帧中满足预设遮挡要求的所有第一目标人体的步骤,包括:
获取所述第一目标人脸的第一人脸框所处的所有第一头肩框,其中,所述第一人脸框与所述第一头肩框不属于同一人体;
将所述第一头肩框所属的人体确定为所述第一目标人体。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第一目标人脸的第一人脸框所处的所有第一头肩框的步骤,包括:
分别确定所述第一人脸框与所述当前帧中任意目标头肩框的相交面积和所述第一人脸框面积的比值,其中,所述第一人脸框与所述目标头肩框不属于同一人体;
若所述比值等于1,则将对应的所述目标头肩框确定为所述第一头肩框。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述当前帧中各个人脸的状态;
响应于所述当前帧中存在即将被遮挡的第三目标人脸,将所述第三目标人脸以及所述第三目标人脸与即将遮挡所述第三目标人脸的第三目标人体的人脸的第一相对位置关系,对应保存在所述信息库中。
5.根据权利要求4所述的方法,其特征在于,所述获取所述当前帧中各个人脸的状态的步骤,包括:
分别获取所述当前帧中各个第二人脸框与任意第二头肩框的相对位置关系,所述第二人脸框与所述第二头肩框不属于同一人体;
根据所述相对位置关系,确定各个所述第二人脸框中人脸的状态。
6.根据权利要求5所述的方法,其特征在于,所述根据所述相对位置关系,分别确定各个所述第二人脸框中人脸的状态的步骤,包括:
若所述第二人脸框位于所述第二头肩框中,获取所述第二人脸框中的人脸与所述第二头肩框中的人脸的第二相对位置关系;
若所述信息库中没有保存所述第二人脸框中的人脸,或者,所述信息库中保存有所述第二人脸框中的人脸与所述第二头肩框中的人脸的所述第一相对位置关系,且所述第一相对位置关系和所述第二相对位置关系一致,则确定所述第二人脸框中的人脸即将被所述第二头肩框对应的人体遮挡。
7.根据权利要求6所述的方法,其特征在于,所述根据所述相对位置关系,分别确定各个所述第二人脸框中人脸的状态的步骤,还包括:
若所述第二人脸框位于所述第二头肩框中,所述信息库中保存有所述第二人脸框中的人脸与所述第二头肩框中的人脸的所述第一相对位置关系,且所述第一相对位置关系和所述第二相对位置关系不一致,则确定所述第二人脸框中的人脸刚走出所述第二头肩框对应的人体的遮挡;和/或,
若所述第二人脸框与所述第二头肩框部分重叠或者所述第二人脸框位于所述第二头肩框之外,则确定所述第二人脸框中的人脸与所述第二头肩框对应的人体不存在遮挡关系。
8.根据权利要求5所述的方法,其特征在于,所述分别获取所述当前帧中各个第二人脸框与任意第二头肩框的相对位置关系的步骤,包括:
分别确定各个所述第二人脸框与任意所述第二头肩框的相交面积和对应所述第二人脸框面积的比值;
若所述比值等于0,则确定对应的所述第二人脸框位于对应的所述第二头肩框之外;
若所述比值大于0且小于1,则确定对应的所述第二人脸框与对应的所述第二头肩框部分重叠;
若所述比值等于1,则确定对应的所述第二人脸框位于对应的所述第二头肩框中。
9.根据权利要求4所述的方法,其特征在于,所述将所述第三目标人脸以及所述第三目标人脸与即将遮挡所述第三目标人脸的第三目标人体的人脸的第一相对位置关系,对应保存在所述信息库中的步骤,包括:
将所述第三目标人脸、所述第三目标人脸的矢量速度以及所述第三目标人脸与所述第三目标人体的人脸的所述第一相对位置关系,对应保存在所述信息库中。
10.根据权利要求9所述的方法,其特征在于,所述将所述第一目标人脸与信息库中各个所述第一目标人体对应的第二目标人脸进行匹配,以查询与所述第一目标人脸匹配的所述第二目标人脸的步骤,包括:
获取所述第一目标人脸的矢量速度;
分别确定所述第一目标人脸的矢量速度与各个所述第二目标人脸的矢量速度的欧式距离;
将对应欧式距离最小的所述第二目标人脸确定为与所述第一目标人脸匹配。
11.一种人脸跟踪装置,其特征在于,所述人脸跟踪装置包括处理器、存储器以及通信电路,所述处理器分别耦接所述存储器、所述通信电路,所述存储器中存储有程序数据,所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-10任一项所述方法中的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-10任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111436895.XA CN114219832B (zh) | 2021-11-29 | 2021-11-29 | 人脸跟踪方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111436895.XA CN114219832B (zh) | 2021-11-29 | 2021-11-29 | 人脸跟踪方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114219832A CN114219832A (zh) | 2022-03-22 |
CN114219832B true CN114219832B (zh) | 2023-04-07 |
Family
ID=80698819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111436895.XA Active CN114219832B (zh) | 2021-11-29 | 2021-11-29 | 人脸跟踪方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219832B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428607A (zh) * | 2020-03-19 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种追踪方法、装置及计算机设备 |
CN111815674A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、装置以及计算机可读存储装置 |
WO2021189825A1 (zh) * | 2020-03-25 | 2021-09-30 | 苏州科达科技股份有限公司 | 多目标跟踪方法、装置和存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
JP5213486B2 (ja) * | 2008-03-14 | 2013-06-19 | 株式会社ソニー・コンピュータエンタテインメント | 対象物追跡装置および対象物追跡方法 |
US9904852B2 (en) * | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
US9911198B2 (en) * | 2015-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
CN105844234B (zh) * | 2016-03-21 | 2020-07-31 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
CN106250867B (zh) * | 2016-08-12 | 2017-11-14 | 南京华捷艾米软件科技有限公司 | 一种基于深度数据的人体骨骼跟踪系统的实现方法 |
CN106991688A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 人体跟踪方法、人体跟踪装置和电子装置 |
CN109890573B (zh) * | 2019-01-04 | 2022-05-03 | 上海阿科伯特机器人有限公司 | 移动机器人的控制方法、装置、移动机器人及存储介质 |
CN109829435B (zh) * | 2019-01-31 | 2023-04-25 | 深圳市商汤科技有限公司 | 一种视频图像处理方法、装置及计算机可读介质 |
CN111027370A (zh) * | 2019-10-16 | 2020-04-17 | 合肥湛达智能科技有限公司 | 一种多目标跟踪及行为分析检测方法 |
CN111161320B (zh) * | 2019-12-30 | 2023-05-19 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、目标跟踪装置及计算机可读介质 |
CN112037253A (zh) * | 2020-08-07 | 2020-12-04 | 浙江大华技术股份有限公司 | 目标跟踪方法及其装置 |
CN113469982A (zh) * | 2021-07-12 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种精准客流统计的方法、装置及电子设备 |
-
2021
- 2021-11-29 CN CN202111436895.XA patent/CN114219832B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428607A (zh) * | 2020-03-19 | 2020-07-17 | 浙江大华技术股份有限公司 | 一种追踪方法、装置及计算机设备 |
WO2021189825A1 (zh) * | 2020-03-25 | 2021-09-30 | 苏州科达科技股份有限公司 | 多目标跟踪方法、装置和存储介质 |
CN111815674A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、装置以及计算机可读存储装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114219832A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
CN110427905B (zh) | 行人跟踪方法、装置以及终端 | |
CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
Bagautdinov et al. | Probability occupancy maps for occluded depth images | |
CN103207898B (zh) | 一种基于局部敏感哈希的相似人脸快速检索方法 | |
CN109977833B (zh) | 物体追踪方法、物体追踪装置、存储介质及电子设备 | |
WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
WO2019242672A1 (zh) | 一种目标跟踪方法、装置及系统 | |
CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及系统 | |
CN112102342B (zh) | 平面轮廓识别方法、装置、计算机设备和存储介质 | |
CN114255434A (zh) | 一种多目标跟踪方法及装置 | |
CN114155557B (zh) | 定位方法、装置、机器人及计算机可读存储介质 | |
CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
CN110651274A (zh) | 可移动平台的控制方法、装置和可移动平台 | |
Kolarow et al. | Vision-based hyper-real-time object tracker for robotic applications | |
CN114219832B (zh) | 人脸跟踪方法、装置及计算机可读存储介质 | |
US11314968B2 (en) | Information processing apparatus, control method, and program | |
CN115937950A (zh) | 一种多角度人脸数据采集方法、装置、设备及存储介质 | |
CN114283199B (zh) | 一种面向动态场景的点线融合语义slam方法 | |
Wlodarczyk et al. | Evaluation of head pose estimation methods for a non-cooperative biometric system | |
CN112001247A (zh) | 多目标检测方法、设备及存储装置 | |
CN114463378B (zh) | 目标跟踪方法、电子设备及存储介质 | |
CN110895684A (zh) | 一种基于Kinect的手势动作识别方法 | |
Guo et al. | Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion | |
Wang et al. | Object Tracking Based on Saliency and Adaptive Background Constraint |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |