CN108875507B - 行人跟踪方法、设备、系统和计算机可读存储介质 - Google Patents

Abstract

一种行人跟踪方法，包括：获取目标行人在第N帧图像中的人脸图像；根据所述目标行人的人脸图像确定所述目标行人的人形特征；以及根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数。

Description

行人跟踪方法、设备、系统和计算机可读存储介质

技术领域

本公开涉及图像处理，并且具体涉及行人跟踪方法、设备、系统和计算机可读存储介质。

背景技术

随着监控系统的智能化需求不断增加，人脸识别在监控系统中的应用越来越广泛。比如，通过对监控摄像机抓拍到的图像进行人脸识别，可以识别出各行人的身份，进而能够锁定并记录各行人在抓拍时刻所在的位置。再比如，如果在抓拍到的图像中识别出某个目标，则可以向监控系统的操作人员发出警报，使得操作人员可以去往抓拍到该目标的摄像机所在地进行寻找。

目前的人脸识别监控系统中，从抓拍图像帧、到人脸识别、到发出警报、再到人工确认均具有一定的延迟，在操作人员到达抓拍摄像机所在地时，目标往往已经走出抓拍摄像机的视野范围而不知去向，导致目标丢失。为了再次找到该目标，需要操作人员从监控系统后台调取抓拍摄像机周边众多的摄像机在各时刻捕捉的各帧图像，并在各帧图像中进行费时费力的人工观察和识别，宛如大海捞针；或者，需要在抓拍到该目标人脸的摄像机所在地进行布控以等待该目标再次出现，然而布控消耗了大量的人力和物力，并且存在该目标不会回到抓拍摄像机所在地的可能性。

发明内容

根据本公开的一个方面，提供一种行人跟踪方法，包括：获取目标行人在第N帧图像中的人脸图像；根据所述目标行人的人脸图像确定所述目标行人的人形特征；以及根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数。

根据本公开的另一方面，提供一种行人跟踪设备，包括：人脸图像获取单元，配置为获取目标行人在第N帧图像中的人脸图像；人形特征确定单元，配置为根据所述目标行人的人脸图像确定所述目标行人的人形特征；以及行人位置确定单元，配置为根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数。

根据本公开的另一方面，提供一种行人跟踪设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，当所述计算机可读指令被所述处理器运行时可以执行本公开提供的行人跟踪方法。

根据本公开的另一方面，提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开提供的行人跟踪方法。

根据本公开的另一方面，提供一种行人跟踪系统，包括：人脸识别摄像机；与所述人脸识别摄像机连接的多个网络摄像机；存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，当所述计算机可读指令被所述处理器运行时可以执行本公开提供的行人跟踪方法。

根据本公开的上述方面的行人跟踪方法、设备、系统和计算机可读介质，即便目标行人已经走出抓拍到其人脸的摄像机的视野范围，仍可以根据该目标行人的人形特征对其进行跟踪，使得能够获取该目标行人的实时位置，大大提高了对目标行人跟踪的准确度和效率。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了可以实现本公开各实施例的行人跟踪的示意性场景。

图2示出了根据本公开实施例的行人跟踪方法的示意性流程图。

图3示出了根据本公开实施例的、根据所述目标行人的人形特征确定所述目标行人在第N+M帧图像中的位置的处理的示意性流程图。

图4示出了根据本公开实施例的、获取至少一个与所述人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像的处理的示意性流程图。

图5示出了根据本公开实施例的、根据所述目标行人的人形特征在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置的处理的示意性流程图。

图6示出了根据本公开另一实施例的行人跟踪设备的示例性框图。

图7示出了根据本公开另一实施例的行人跟踪设备的示例性框图。

图8示出了根据本公开另一实施例的行人跟踪系统的示例性框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如前所述，目前的人脸识别监控系统中存在目标行人走出抓拍摄像机的范围后不知去向的问题，无法实现对目标行人的跟踪，导致需要操作人员进行费时费力的人工观察和识别。针对这一情况，本公开利用人形特征对目标行人进行跟踪，可以获取该目标行人的实时位置。下面，参照图1来描述可以实现本公开实施例的行人跟踪的示意性场景。

如图1所示，该示意性场景中可以具有至少一个摄像机，这些摄像机可以分别捕捉各自视野范围内的图像，其各自的视野范围可以不相同并且具有或者不具有视野重叠。这些摄像机可以彼此连接并且还可以与视频平台连接，以将各自持续捕捉到的各帧图像数据上传到视频平台。图1中还示出了行人按箭头方向不断行走，因而其在各时刻所在的位置会不断变化，由此该行人会在不同时刻被相同的或者不同的摄像机捕捉到。需注意的是，图1箭头所示的行走方向仅为一种示例，行人可以在行走过程中不断改变其方向，甚至返回到原地。本领域技术人员可以理解的是，图1所示的行人跟踪的场景仅为实现本公开各实施例的一种示例场景，其中摄像机的布局和视野范围及各组件的连接仅为一种示意性的配置，本公开各实施例可以适合于需要进行行人跟踪的各种应用场合。

下面，参照图2来描述根据本公开实施例的行人跟踪方法。如图2所示，该实施例的方法可以包括如下步骤：

步骤S10，获取目标行人在第N帧图像中的人脸图像。

在该步骤中，可以从抓拍到目标行人人脸的摄像机获取其捕捉的第N帧图像，进而利用适当的人脸识别算法得到目标行人的人脸图像。在下文中，将抓拍到目标行人人脸的摄像机称为人脸识别摄像机。

例如，可以将人脸识别摄像机放置在地铁站出入口、建筑物出入口等人员流动性较大的地点，并将其安装位置(例如，安装高度)和拍摄角度(例如，俯视角度)调整为易于抓拍到行人脸部。此外，还可以将人脸识别摄像机设置为足够清晰地分辨出人脸特征的分辨率。需说明的是，上述关于人脸识别摄像机的配置的举例仅为示意性的，还可以对人脸识别摄像机采用其他配置。

本领域技术人员可以理解的是，除目标行人之外，该人脸识别摄像机还可能会捕捉到多个其他行人，因此上述第N帧图像中可能包含与各个行人相对应的各人脸图像。根据本公开的一个实施例，获取目标行人在第N帧图像中的人脸图像可以包括：获取人脸识别摄像机捕捉的第N帧图像，在第N帧图像中检测各行人的人脸图像，并从检测出的各人脸图像中识别出所述目标行人的人脸图像。

需说明的是，本公开中所述目标行人可以是一个或多个待跟踪的行人，即，该行人跟踪方法可以是对人脸出现在第N帧图像中的所有行人的跟踪，也可以是对人脸出现在第N帧图像中并且与特定目标(例如，犯罪嫌疑人等重点跟踪对象)人脸相匹配的行人的跟踪。根据本公开的一个实施例，从检测出的各人脸图像中识别出所述目标行人的人脸图像可以包括：将检测出的各人脸图像与特定人脸图像比较，并将与特定人脸图像匹配的人脸图像识别为所述目标行人的人脸图像。例如，该特定人脸图像可以是预先存储在视频平台中的特定目标的人脸图像。

步骤S20，根据所述目标行人的人脸图像确定所述目标行人的人形特征。

人形特征是目标行人的除人脸特征之外的特征，包括但不限于目标行人的衣着特征和外貌特征。例如，目标行人的人形特征可以是目标行人的衣服颜色、衣服纹理、背包、帽子、眼镜、发型、发色、肤色等中的一个或多个特征。在该步骤中，可以对人脸识别摄像机捕捉到的第N帧图像进行处理，采用行人重识别模型提取与获取的人脸图像对应的目标行人的人形特征。相比于人脸特征而言，人形特征受到光照条件、拍摄角度、遮挡等因素的影响较小，同一行人在不同帧之间的人形特征不会相差过大，由此可以保证后续对行人跟踪的准确度；此外，提取人形特征对摄像机的分辨率要求相对较低，由此可以降低后续跟踪行人所需布置的摄像机的成本。

根据本公开的一个实施例，根据所述目标行人的人脸图像确定所述目标行人的人形特征可以包括：根据所述目标行人的人脸图像确定所述目标行人的人身，并从所述目标行人的人身提取所述目标行人的人形特征。例如，可以根据目标行人的人脸图像在第N帧图像中的位置，确定包含同一目标行人的人身的子图像区域，进而从该子图像区域提取相对应的人形特征。本领域技术人员可以理解的是，可以采用本领域中任何适当的图像检测技术提取目标行人的人形特征，本公开对此不做限制。

步骤S30，根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数。

在该步骤中，根据目标行人的人形特征，来确定目标行人在后续时刻捕捉到的图像帧中的位置，从而实现对目标行人的跟踪。需要说明的是，N和M的取值不限于任何特定的具体数值，仅用于表示捕捉第N帧图像和第N+M帧图像所对应时刻的前后关系。例如，考虑到不同的追踪准确度和效率要求，可以每帧确定一次目标行人的位置，也可以隔几帧确定一次目标行人的位置，其中相隔的帧数M可以根据实际的跟踪需要进行设定。

如上所述，目标行人随着时间推移其位置会不断发生变化，因而可能会在不同的时刻被相同的或者不同的摄像机捕捉到。例如，上述第N+M帧图像可以是人脸识别摄像机在第N+M帧捕捉的图像，还可以是除人脸识别摄像机之外的其余网络摄像机在第N+M帧捕捉的图像，由此根据人形特征确定该目标行人在某个摄像机后续时刻捕捉到的图像帧中的位置。下面，将参考图3对步骤S30中的确定目标行人的位置进行详细描述。

如图3所示，步骤S301，获取至少一个与所述人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像。

在该步骤中，可以获取n个(n为大于或等于1的整数)与所述人脸识别摄像机连接的网络摄像机分别捕捉的n个第N+M帧图像。

需说明的是，人脸识别摄像机与网络摄像机可以分别连续地捕捉其各自视野范围内的图像帧，但任何两个摄像机之间并不一定要求精确的帧同步，例如，各个摄像机捕捉到第N+M帧图像的时刻可以相同或者可以近似相同。

步骤S302，根据所述目标行人的人形特征，在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置。例如，可以对n个网络摄像机捕捉到的n个第N+M帧图像进行行人检测，从而确定目标行人在n个摄像机中的哪个网络摄像机捕捉到的第N+M帧图像中出现了，进而可以确定目标行人在该图像帧中的位置。

可选的，考虑到人脸识别摄像机在第N+M帧仍有可能继续捕捉到该目标行人，步骤S301还可以包括获取人脸识别摄像机捕捉的第N+M帧图像。相应地，在步骤S302中，可以在n个网络摄像机以及人脸识别摄像机捕捉的各个第N+M帧图像中分别检测所述目标行人，以确定所述目标行人的位置。

根据本发明的实施例，即便目标行人在第N+M帧所对应的时刻已经走出了人脸识别摄像机的捕捉范围，仍然可以在与人脸识别摄像机连接的网络摄像机捕捉的图像帧中检测到目标行人，从而避免出现目标行人走出人脸识别摄像机后不知去向的问题，提高目标行人跟踪的准确度。可以理解的是，虽然行人随着时间推移而不断移动，但由于其行走速度有限，该行人在若干帧后仍会位于被人脸识别摄像机抓拍时所处的位置附近，并且被人脸识别摄像机附近的网络摄像机抓拍到。针对这一情况，本公开的实施例获取目标行人被抓拍时所在位置附近的网络摄像机分别捕捉到的图像帧并在其中检测目标行人。下面，将参考图4对步骤S301中的获取至少一个与人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像进行详细描述。

如图4所示，步骤S3011，确定所述人脸识别摄像机的位置信息和视野信息。

例如，人脸识别摄像机的位置信息可以是其安装地点的绝对位置信息(例如，经纬度信息)或者是相对位置信息(例如，相对于某个建筑物或物体的距离及角度等)，人脸识别摄像机的视野信息可以是其能够捕捉的视野角度范围。人脸识别摄像机的位置信息和视野信息可以通过各种方式获取，例如，直接从人脸识别摄像机获取或者从后台服务器获取。

步骤S3012，基于所述位置信息和视野信息确定所述目标行人在现实世界中的候选位置。

在该步骤中，可以基于人脸识别摄像机的位置信息和视野信息，确定目标行人在第N帧图像中的位置所对应的现实世界位置。例如，可以通过空间坐标变换，将目标行人在图像帧中的位置坐标从图像坐标系变换到世界坐标系，得到目标行人在现实世界中的候选位置。需注意的是，该候选位置无需是精确的位置坐标，可以是目标行人在现实世界的大致位置。此外，上述空间坐标变换过程仅是用于确定目标行人在现实世界中的候选位置的一种实现方式，除此之外，还可以采用本领域中任何适当的方式来实现，本公开对此不做限制。

步骤S3013，获取距所述候选位置第一预定范围内的各个网络摄像机分别捕捉的第N+M帧图像。

在该步骤中，可以基于行人的步速估计和各网络摄像机的布局间隔，确定行人可能到达的第一预定范围，进而获取所确定第一预定范围内的网络摄像机分别捕捉的各个第N+M帧图像，以在各个第N+M帧图像中进行后续的目标行人检测处理。

需说明的是，上述第一预定范围可以针对不同的行人跟踪的效率和准确度要求进行设定。例如，针对希望减少进行图像处理算量以便快速确定目标行人的位置的情形，可以设定相对较小的第一预定范围；再比如，针对相比于减少图像处理的计算量更关注于跟踪的准确性的情形下，可以设定较大的第一预定范围；再比如，如果计算设备的计算能力十分充裕，则可以获取与人脸识别摄像机连接的所有网络摄像机捕捉的图像帧，并在其中进行目标行人的检测。

下面，将参考图5对步骤S302中的根据所述目标行人的人形特征，在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置进行详细描述。

如图5所示，步骤S3021，根据所述人脸图像确定所述目标行人在所述第N帧图像中的位置。

在该步骤中，可以根据人脸图像在第N帧图像中的位置，确定相对应的目标行人所在的子图像区域，进而确定该目标行人在第N帧图像中的位置。例如，可以将子图像区域的重心坐标作为目标行人在第N帧图像中的位置坐标。

步骤S3022，在所述第一预定范围内的各个网络摄像机分别捕捉的第N+M帧图像中，分别确定与所述目标行人在所述第N帧图像中的位置对应的位置。

在该步骤中，可以通过空间坐标变换将目标行人在第N帧图像中的位置坐标从图像坐标系变换到世界坐标系，以确定第N帧图像中的位置所对应的现实世界位置；然后在各个N+M帧图像中确定与该现实世界位置相对应的位置坐标，作为所述与目标行人在第N帧图像中的位置对应的位置。本领域技术人员将理解的是，上述空间坐标变换仅是一种示例实现方式，依据各摄像机所捕捉图像对应的现实世界位置的关联性，还可以采用其他方法来确定不同摄像机捕捉的各帧图像中相互对应的位置，本发明不以此为限。

可以理解的是，当各个N+M帧图像中存在与第N帧图像中所确定的现实世界位置完全一致的位置时，可以将该完全一致的位置作为所述与目标行人在第N帧图像中的位置对应的位置。另一方面，如上所述，人脸识别摄像机与网络摄像机各自的视野范围不同且可能具有或者不具有视野重叠，第N帧图像中的位置所对应的现实世界位置有可能不在其他网络摄像机的捕捉范围内，因此在各个N+M帧图像中可能不存在与该现实世界位置完全一致的位置。针对不存在完全相一致的位置的情况，可以在每个网络摄像机捕捉的第N+M帧图像中确定与人脸识别摄像机现实世界距离最近的图像边界，将该图像边界的位置坐标作为所述与目标行人在第N帧图像中的位置对应的位置。

步骤S3023，分别在各个所述第N+M帧图像中距所述对应的位置预定范围内进行行人检测，并且提取检测出的各行人的人形特征。

在该步骤中，可以在各个第N+M帧图像中距各个对应的位置预定范围内进行行人检测，该预定范围可以是以各个对应的位置为中心、预定数量的像素所覆盖的图像区域，并且各个第N+M帧图像中的各个预定范围可以相同或不相同。然后，可以对检测出的各行人所对应的图像区域进行图像处理以提取出各行人的人形特征。

需说明的是，上述图像区域可以针对不同的行人跟踪的效率和准确度要求进行设定。例如，针对希望减少进行图像处理算量以便快速确定目标行人的位置的情形，可以设定较少像素覆盖的图像区域；再比如，针对相比于减少图像处理的计算量更关注于跟踪的准确性的情形下，可以设定较多像素覆盖的图像区域。

步骤S3024，将所述检测出的各行人的人形特征与所述目标行人的人形特征比较，以确定各行人与所述目标行人的相似度。本领域技术人员可以理解，人形特征的相似度比较可以通过本领域的适当的图像处理算法计算得出，在此不予赘述。

步骤S3025，基于各行人与所述目标行人的相似度，确定所述目标行人在第N+M帧图像中的位置。例如，在步骤中，可以将各行人中相似度最高的行人确定为所述目标行人，并且将所述相似度最高的行人在相应的第N+M帧图像中的位置作为所述目标行人在第N+M帧图像中的位置。

需说明的是，以上步骤S3021-S3023并非是必需的，即本公开的实施例可以直接在各个网络摄像机第N+M帧捕捉的整张图像上进行行人检测并提取检测出的各行人的人形特征，然后执行上述步骤S3024和S3025中的处理，以确定所述目标行人在哪个网络摄像机捕捉到的第N+M帧图像中出现了，进而可以确定目标行人在该图像帧中的位置。

此外，虽然以上步骤S3022-S3025中描述了确定目标行人在各个网络摄像机捕捉的第N+M帧图像中的位置，但不限于此，本公开的实施例还可以在各个网络摄像机以及人脸识别摄像机捕捉的各个第N+M帧图像中进行目标行人的检测，以确定目标行人在哪个摄像机捕捉到的第N+M帧图像中出现了，进而可以确定目标行人在该图像帧中的位置。

以上，结合图4和图5描述了根据所述目标行人的人形特征确定所述目标行人在第N+M帧图像中的位置的处理。根据本公开的实施例，结合目标行人的前后两帧的移动情况和人形特征，可以在各个第N+M帧中相对应的图像区域进行处理，由此可以进一步提高目标行人跟踪的速度和效率。

本领域技术人员可以理解，考虑到目标行人的行走速度、人脸识别摄像机的视野范围和相隔帧数M等各种因素，目标行人在第N+M帧所处的位置可能超出了上述第一预定范围。在此情况下，在步骤S3024中所检测到的各行人的相似度可能均较低，导致目标行人跟踪的准确度降低。针对这一问题，可选的，可以进一步将检测出的各行人的相似度与预定阈值相比较，以确定跟踪结果是否可信。下面，将针对该情况进一步将各行人的相似度与预定阈值相比较的处理进行详细描述。

首先，将检测出的各行人中与所述目标行人相似度最高的行人的相似度与预定阈值比较。例如，该预定阈值可以根据经验值确定或者根据行人跟踪的准确度要求而进行设定，用以判断该最高的相似度是否足以保证行人跟踪的准确度和可信度。然后，当相似度最高的行人的相似度大于预定阈值时，说明将相似度最高的行人确定为该目标行人的可信度较高，可以将所述相似度最高的行人在相应的第N+M帧图像中的位置作为所述目标行人在第N+M帧图像中的位置；当相似度最高的行人的相似度不大于预定阈值时，说明将相似度最高的行人确定为该目标行人的可信度并不高，即，该相似度最高的行人并非是该目标行人因而可能出现错误跟踪的情况，因此可以将第一预定范围扩大到第二预定范围以获取更多网络摄像机捕捉的第N+M帧图像，并从中分别检测所述目标行人以确定目标行人的位置。

上述在第二预定范围内的网络摄像机分别捕捉的第N+M帧图像中分别检测所述目标行人以确定目标行人的位置的具体处理与以上参照图4和图5进行的处理相类似，以下仅简要说明该步骤的示例性处理。例如，该处理可以包括：获取距所述候选位置第二预定范围内的各个网络摄像机分别捕捉的第N+M帧图像；在所述第二预定范围内的各个网络摄像机分别捕捉的第N+M帧图像中进行行人检测，并且提取检测出的各行人的人形特征；将所述检测出的各行人的人形特征与所述目标行人的人形特征比较，以确定各行人与所述目标行人的相似度；以及将所述相似度最高的行人在相应的第N+M帧图像中的位置作为所述目标行人在第N+M帧图像中的位置。根据本公开的实施例，根据行人相似度的比较结果来验证跟踪结果是否可信，并相应地动态调整所调取网络摄像机的覆盖范围，使得所获取的各图像帧中出现该目标行人的可能性增加，进而提高了行人跟踪的准确性。

虽然以上描述了获取第二预定范围内的网络摄像机捕捉的第N+M帧图像并从中确定目标行人的位置，但不限于此，本公开的实施例还可以继续获取人脸识别摄像机捕捉的第N+M帧图像，并在第二预定范围内的各个网络摄像机以及人脸识别摄像机捕捉的各个第N+M帧图像中进行目标行人的检测，以确定目标行人在该图像帧中的位置。

如上文中提到的，随着时间的推移，目标行人的位置会不断发生变化。可选的，在如上所述确定了目标行人在第N+M帧图像中的位置后，可以继续对目标行人进行跟踪，以便获取目标行人的实时位置。例如，可以根据目标行人的人形特征，确定目标行人在各个网络摄像机以及人脸识别摄像机捕捉的后续帧图像中的位置。关于该处理的具体细节，可以参照结合图2-图5的描述，在此不予赘述。

可选的，在确定了目标行人在第N帧图像(或第N+M图像)中的位置后，可以将该目标行人在各帧时刻的位置进行记录以更新目标行人的位置数据库，以便于后续查看；或者，当确定了目标行人在第N帧图像(或第N+M图像)中的位置后，可以向操作人员发出警报，以便于操作人员能够实时地掌握目标行人的位置以便快速做出响应。

以上结合附图描述了根据本公开实施例的行人再识别方法，根据本公开实施例的行人再识别方法，即便目标行人已经走出抓拍到其人脸的摄像机的视野范围，仍可以根据该目标行人的人形特征对其进行跟踪，使得能够获取该目标行人的实时位置，大大提高了对目标行人跟踪的准确度和效率。

除此之外，在如上所述将人脸识别摄像机放置在地铁站和建筑物出入口的情况下，考虑到成本要求，可能在距其一定范围内不会继续放置人脸识别摄像机，而是会放置一定数量较低分辨率的网络摄像机代替。在这样的情况下，这些低分辨率摄像机无法捕捉到足够的人脸特征，如果根据所获取的人脸图像对行人跟踪则准确度较低。相比之下，本公开实施例在获取目标行人的人脸后根据对应的人形特征对其进行跟踪，可以提高目标行人跟踪的准确度。

下面，将参照图6来描述根据本公开的实施例的行人跟踪设备的框图。图6示出了根据本公开实施例的行人跟踪设备600的示例性结构框图。如图6所示，该行人跟踪设备可以包括人脸图像获取单元601、人形特征确定单元602和行人位置确定单元603，所述各个单元可分别执行上文中结合图1-图5描述的行人跟踪方法的各个步骤/功能。以下仅对该行人跟踪设备600的各单元的主要功能进行描述，而省略以上已经描述过的细节内容。

人脸图像获取单元601可以获取目标行人在第N帧图像中的人脸图像。根据本公开的一个实施例，人脸图像获取单元601可以从抓拍到目标行人人脸的摄像机获取其捕捉的第N帧图像，进而利用适当的人脸识别算法得到目标行人的人脸图像。

人形特征确定单元602可以根据所述目标行人的人脸图像确定所述目标行人的人形特征。根据本公开的一个实施例，人形特征确定单元602可以对人脸识别摄像机捕捉到的第N帧图像进行图像处理，采用诸如行人重识别模型等方法提取目标行人的人形特征。

行人位置确定单元603可以根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数。根据本公开的一个实施例，行人位置确定单元603可以根据人形特征确定单元602所确定的人形特征，确定目标行人在后续时刻捕捉到的图像帧中的位置，从而实现对目标行人的跟踪。

以上结合附图描述了根据本公开实施例的行人跟踪设备600，通过该设备，即便目标行人已经走出抓拍到其人脸的摄像机的视野范围，仍可以根据该目标行人的人形特征对其进行跟踪，使得能够获取该目标行人的实时位置，大大提高了对目标行人跟踪的准确度和效率

下面，将参照图7来描述根据本公开的另一实施例的行人跟踪设备的框图。图7示出了根据本公开实施例的行人跟踪设备700的示例性结构框图。如图7所示，该行人跟踪设备700可以包括存储器701和处理器702，并且该行人跟踪设备700可以是任何类型的计算设备或服务器。应当注意，图7所示的行人跟踪设备700的组件和结构只是示例性的，而非限制性的，根据需要，行人跟踪设备700也可以具有其他组件和结构。

处理器702可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制行人跟踪设备700中的其它组件以执行期望的功能。

存储器701可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器702可以运行计算机可读指令，以执行本公开的实施例的行人跟踪方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如目标行人的人脸图像、人形特征、各图像中的位置、以及各个图像帧中检测出的各行人的人脸图像、人形特征、在图像中的位置、与目标行人的相似度等等。

下面，将参照图8来描述根据本公开的另一实施例的行人跟踪系统的框图。图8示出了根据本公开实施例的行人跟踪系统800的示例性结构框图。如图8所示，该行人跟踪系统800可以包括人脸识别摄像机801、与所述人脸识别摄像机连接的多个网络摄像机802、存储器803和处理器804。应当注意，图8所示的行人跟踪系统800的组件和结构只是示例性的，而非限制性的，根据需要，行人跟踪系统800也可以具有其他组件和结构。

人脸识别摄像机801可以抓拍到目标行人的人脸。例如，可以将人脸识别摄像机801放置在地铁站出入口、建筑物出入口等人员流动性较大的地点，并将其安装位置(例如，安装高度)和拍摄角度(例如，俯视角度)调整为易于抓拍到行人脸部。此外，还可以将人脸识别摄像机801设置为足够清晰地分辨出人脸特征的分辨率。

网络摄像机802可以分别捕捉各自视野范围内的图像，并且其各自的视野范围可以不相同并且具有或者不具有视野重叠。网络摄像机802可以与人脸识别摄像机801直接连接，或者经由存储器803和处理器804与人脸识别摄像机801连接。网络摄像机802和人脸识别摄像机801均将各自持续捕捉到的各帧图像数据上传到存储器803和处理器804以进行后续处理。

处理器804中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制行人跟踪系统800中的其它组件以执行期望的功能。

存储器803括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器804运行计算机可读指令，以执行本公开的实施例的行人跟踪方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如目标行人的人脸图像、人形特征、在图像中的位置、以及各个图像帧中检测出的各行人的人脸图像、人形特征、在图像中的位置、与目标行人的相似度等等。

本公开的另一实施例还提供了一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开的实施例的行人跟踪方法。

需要说明的是，对于上述的系统、方法、认证设备和存储介质的实施例，为了简单描述，故将其都表述为一系列的动作或模块组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序或模块连接的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行，某些模块可以采用其他连接方式。

本领域技术人员也应该知悉，说明书中所描述的实施例均属于一种实施例，上述实施例序号仅仅为了描述，所涉及的动作和模块并不一定是本公开所必须的。

在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本公开所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括易失性存储介质或非易失性存储介质，例如U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。

Claims (12)

1.一种行人跟踪方法，包括：

获取人脸识别摄像机捕捉的第N帧图像；

在所述第N帧图像中检测各行人的人脸图像，并从检测出的各人脸图像中识别出目标行人的人脸图像；

根据所述目标行人的人脸图像确定所述目标行人的人形特征；以及

根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数，

其中，根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置包括：

获取至少一个与所述人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像；以及

根据所述目标行人的人形特征，在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置。

2.根据权利要求1所述的行人跟踪方法，其中，从检测出的各人脸图像中识别出所述目标行人的人脸图像包括：

将检测出的各人脸图像与特定人脸图像比较；以及

将与特定人脸图像匹配的人脸图像识别为所述目标行人的人脸图像。

3.根据权利要求1所述的行人跟踪方法，其中，根据所述目标行人的人脸图像确定所述目标行人的人形特征包括：

根据所述目标行人的人脸图像确定所述目标行人的人身，并从所述目标行人的人身提取所述目标行人的人形特征。

4.根据权利要求1-3中任一项所述的行人跟踪方法，其中，所述人形特征包括所述目标行人的衣着特征和外貌特征中的至少一个。

5.根据权利要求1所述的行人跟踪方法，其中，获取至少一个与所述人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像包括：

确定所述人脸识别摄像机的位置信息和视野信息；

基于所述位置信息和视野信息确定所述目标行人在现实世界中的候选位置；以及

获取距所述候选位置第一预定范围内的各个网络摄像机分别捕捉的第N+M帧图像。

6.根据权利要求5所述的行人跟踪方法，其中，根据所述目标行人的人形特征，在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置包括：

根据所述人脸图像确定所述目标行人在所述第N帧图像中的位置；

在所述第一预定范围内的各个网络摄像机分别捕捉的第N+M帧图像中，分别确定与所述目标行人在所述第N帧图像中的位置对应的位置；

分别在各个所述第N+M帧图像中距所述对应的位置预定范围内进行行人检测，并且提取检测出的各行人的人形特征；

将所述检测出的各行人的人形特征与所述目标行人的人形特征比较，以确定各行人与所述目标行人的相似度；以及

基于各行人与所述目标行人的相似度，确定所述目标行人在第N+M帧图像中的位置。

7.根据权利要求6所述的行人跟踪方法，其中，基于各行人与所述目标行人的相似度，确定所述目标行人在第N+M帧图像中的位置包括：

将与所述目标行人相似度最高的行人的相似度与预定阈值比较，其中

当所述相似度最高的行人的相似度高于预定阈值时，将所述相似度最高的行人在相应的第N+M帧图像中的位置作为所述目标行人在第N+M帧图像中的位置。

8.根据权利要求7所述的行人跟踪方法，其中，当所述相似度最高的行人的相似度不高于预定阈值时，

获取距所述候选位置第二预定范围内的各个网络摄像机分别捕捉的第N+M帧图像，其中所述第二预定范围大于所述第一预定范围；

在所述第二预定范围内的各个网络摄像机分别捕捉的第N+M帧图像中进行行人检测，并且提取检测出的各行人的人形特征；

将所述检测出的各行人的人形特征与所述目标行人的人形特征比较，以确定各行人与所述目标行人的相似度；以及

将所述相似度最高的行人在相应的第N+M帧图像中的位置作为所述目标行人在第N+M帧图像中的位置。

9.一种行人跟踪设备，包括：

人脸图像获取单元，配置为获取人脸识别摄像机捕捉的第N帧图像；

在所述第N帧图像中检测各行人的人脸图像，并从检测出的各人脸图像中识别出目标行人的人脸图像；

人形特征确定单元，配置为根据所述目标行人的人脸图像确定所述目标行人的人形特征；以及

行人位置确定单元，配置为根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置，其中，N、M均为大于或等于1的整数，

其中，根据所述目标行人的人形特征，确定所述目标行人在第N+M帧图像中的位置包括：

获取至少一个与所述人脸识别摄像机连接的网络摄像机分别捕捉的第N+M帧图像；以及

根据所述目标行人的人形特征，在各个所述第N+M帧图像中分别检测所述目标行人以确定所述目标行人的位置。

10.一种行人跟踪设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，当所述计算机可读指令被所述处理器运行时执行根据权利要求1-8任一项所述的行人跟踪方法。

11.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行根据权利要求1-8任一项所述的行人跟踪方法。

12.一种行人跟踪系统，包括

人脸识别摄像机；

与所述人脸识别摄像机连接的多个网络摄像机；

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，当所述计算机可读指令被所述处理器运行时执行根据权利要求1-8任一项所述的行人跟踪方法。

Images