CN113128414A - 人员跟踪方法、装置、计算机可读存储介质及电子设备 - Google Patents

Abstract

本公开实施例公开了一种人员跟踪方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪；响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息；基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记，其中，位置标记与身份信息关联。本公开实施例实现了对目标人员的身份信息的实时识别及对目标人员的位置持续跟踪，降低了跟踪时发生轨迹中断的概率。

Description

人员跟踪方法、装置、计算机可读存储介质及电子设备

技术领域

本公开涉及计算机技术领域，尤其是一种人员跟踪方法、装置、计算机可读存储介质及电子设备。

背景技术

近年来随着人工智能的发展，人脸识别和行人重识别(REID，personre-identification)REID已广泛应用于我们的生活，并给我们的生活增添了便利。例如通过人脸识别可以在火车站进站时实现自动身份识别，可以在上下班时通过人脸智能打卡，可以通过人脸识别自动解锁手机等等。

例如，在室内装修工地的场景下，为保障装修的质量和工人的工作效率，通常会在整个装修工地覆盖摄像头。而在室内装修工地场景中来往的人员较为固定，通常为公司的专属员工，多为工人，工长，管家，这对进入该场景的人体身份识别提供了便利。通过识别出现在工地中的人的身份，并对其行为轨迹进行跟踪分析，可以有效的完善工地考勤，监督工人工长的违规行为等。

发明内容

本公开的实施例提供了一种人员跟踪方法、装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种人员跟踪方法，该方法包括：获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪；响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息；基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记，其中，位置标记与身份信息关联。

在一些实施例中，从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪，包括：对目标人员的人员图像进行特征提取，得到目标人员的特征信息；对于至少一路视频中的视频，响应于检测到目标人员的人员图像从该视频中消失，基于特征信息，确定除该视频以外的其他视频中是否包括目标人员的人员图像；如果包括目标人员的人员图像，基于其他视频中的目标人员的人员图像，对目标人员进行跟踪。

在一些实施例中，从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪，还包括：对于至少一路视频中的视频，响应于根据特征信息检测到目标人员的人员图像重新出现在该视频中，基于重新出现的目标人员的人员图像，对目标人员进行跟踪。

在一些实施例中，预设条件包括以下至少一项：人脸区域的分辨率大于等于预设分辨率，人脸区域包括的人脸的姿态角处于预设姿态角范围内，人脸区域的完整度小于等于预设完整度阈值。

在一些实施例中，方法还包括：基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，确定目标人员是否有违规行为；如果有违规行为，输出违规提示信息，其中，违规提示信息包括以下至少一种：目标人员的身份信息、违规行为的类别信息、违规行为的发生位置信息。

在一些实施例中，基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，确定目标人员是否有违规行为，包括：对目标人员的人员图像进行衣着检测，若衣着检测结果表示目标人员的衣着不是规定衣着，确定目标人员有违规行为；或者，对目标人员的人员图像进行动作检测，若动作检测结果表示目标人员的动作是违规动作，确定目标人员有违规行为。

在一些实施例中，在基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记之后，方法还包括：基于人员图像在至少一路视频分别包括的图像帧中的位置，生成目标人员的移动轨迹信息。

根据本公开实施例的另一个方面，提供了一种人员跟踪装置，该装置包括：获取模块，用于获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；跟踪模块，用于从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪；识别模块，用于响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息；第一生成模块，用于基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记，其中，位置标记与身份信息关联。

在一些实施例中，跟踪模块包括：提取单元，用于对目标人员的人员图像进行特征提取，得到目标人员的特征信息；第一跟踪单元，用于对于至少一路视频中的视频，响应于检测到目标人员的人员图像从该视频中消失，基于特征信息，确定除该视频以外的其他视频中是否包括目标人员的人员图像；如果包括目标人员的人员图像，基于其他视频中的目标人员的人员图像，对目标人员进行跟踪。

在一些实施例中，跟踪模块还包括：第二跟踪单元，用于对于至少一路视频中的视频，响应于根据特征信息检测到目标人员的人员图像重新出现在该视频中，基于重新出现的目标人员的人员图像，对目标人员进行跟踪。

在一些实施例中，预设条件包括以下至少一项：人脸区域的分辨率大于等于预设分辨率，人脸区域包括的人脸的姿态角处于预设姿态角范围内，人脸区域的完整度小于等于预设完整度阈值。

在一些实施例中，该装置还包括：检测模块，用于基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，确定目标人员是否有违规行为；输出模块，用于如果有违规行为，输出违规提示信息，其中，违规提示信息包括以下至少一种：目标人员的身份信息、违规行为的类别信息、违规行为的发生位置信息。

在一些实施例中，检测模块包括：第一检测单元，用于对目标人员的人员图像进行衣着检测，若衣着检测结果表示目标人员的衣着不是规定衣着，确定目标人员有违规行为；或者，第二检测单元，用于对目标人员的人员图像进行动作检测，若动作检测结果表示目标人员的动作是违规动作，确定目标人员有违规行为。

在一些实施例中，该装置还包括：第二生成模块，用于基于人员图像在至少一路视频分别包括的图像帧中的位置，生成目标人员的移动轨迹信息。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述人员跟踪方法。

根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述人员跟踪方法。

基于本公开上述实施例提供的人员跟踪方法、装置、计算机可读存储介质及电子设备，通过从对目标场地拍摄的至少一路视频中确定目标人员的人员图像，并基于该人员图像对目标人员进行跟踪，在该人员图像的人脸区域符合预设条件的情况下，对人脸区域识别，得到目标人员的身份信息，最后在包含人员图像的图像帧中生成目标人员的位置标记，从而实现了对目标人员的身份信息的实时识别及利用至少一路视频进行人员跟踪实现了对目标人员的位置持续跟踪，降低了跟踪时发生轨迹中断的概率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的系统图。

图2是本公开一示例性实施例提供的人员跟踪方法的流程示意图。

图3是本公开另一示例性实施例提供的人员跟踪方法的流程示意图。

图4是本公开另一示例性实施例提供的人员跟踪方法的流程示意图。

图5是本公开一示例性实施例提供的人员跟踪装置的结构示意图。

图6是本公开另一示例性实施例提供的人员跟踪装置的结构示意图。

图7是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

申请概述

目前对人员跟踪并识别身份的方案多是通过人脸识别加目标检测、目标跟踪的方法，该方法适用于目标一直出现在一个摄像头的视野范围内的情况，而当目标消失在视野中再重新进入视野，或进入其他摄像头的视野中的情况下，通常会跟丢。本公开通过利用至少一路视频进行人员跟踪，实现了对目标人员的位置持续跟踪，又通过人脸识别的方式实现了对目标人员的身份信息的实时识别，降低了跟踪时发生轨迹中断的概率。

示例性系统

图1示出了可以应用本公开的实施例的人员跟踪方法或人员跟踪装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、网络102、服务器103和摄像头104。网络102用于在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如监控类应用、网页浏览器应用、即时通信工具等。

终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

摄像头104的数量为至少一个，用于对目标场地进行拍摄，得到至少一路视频，并通过有线或无线传输方式将至少一路视频发送至终端设备101或服务器102。

服务器103可以是提供各种服务的服务器，例如对终端设备101或摄像头104上传的视频进行人员跟踪的后台图像处理服务器。后台图像处理服务器可以对接收到的视频进行处理，得到处理结果(例如目标人员的身份信息、位置标记等)。

需要说明的是，本公开的实施例所提供的人员跟踪方法可以由服务器103执行，也可以由终端设备101执行，相应地，人员跟踪装置可以设置于服务器103中，也可以设置于终端设备101中。

应该理解，图1中的终端设备、网络、服务器和摄像头的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和摄像头。

示例性方法

图2是本公开一示例性实施例提供的人员跟踪方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图2所示，该方法包括如下步骤：

步骤201，获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频。

在本实施例中，电子设备可以获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频。其中，目标场地可以是各种类型的场地。作为示例，目标场地可以是室内装修工地、室外施工工地、室外公共场所等。

步骤202，从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪。

在本实施例中，电子设备可以从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪。其中，目标人员可以是在目标场地内的人员，通常，目标场地内存在至少一个人员，目标人员可以是至少一个人员中的其中一个人员，也可以是至少一个人员中的多个人员，还可以是至少一个人员中的每个人员。当目标人员是至少一个人员中的多个人员时，可以对每个目标人员执行该人员跟踪方法，即对每个目标人员进行跟踪。

作为示例，当至少一路视频中出现一个人员的人员图像时，确定该人员为目标人员，并对该目标人员进行跟踪。

在本实施例中，电子设备可以基于现有的人体检测模型(例如YOLOv5模型)，实时地对至少一路视频分别包括的图像帧进行人体检测，从图像帧中确定目标人员的影像作为人员图像。在对目标人员进行跟踪时，可以基于各种人体跟踪方法，在上述至少一路视频中对目标人员的人员图像进行跟踪。例如，可以利用基于卡尔曼滤波和匈牙利匹配的跟踪方法，确定目标人员在各路视频中对应的人员图像进行实时跟踪。

步骤203，响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息。

在本实施例中，电子设备可以响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息。电子设备可以利用现有的人脸识别方法对人脸区域进行识别，例如，可以将人脸区域图像输入预先训练的人脸识别模型，得到目标人员的身份信息。作为示例，人脸识别模型可以利用机器学习方法，基于现有的facenet网络训练得到。

通常，目标人员的身份信息可以预先存储在身份信息数据库中，该身份信息数据库可以包括大量人员的身份信息和对应的人脸特征信息，电子设备可以从人脸区域中提取人脸特征信息，将人脸特征信息与身份信息数据库中的特征信息进行匹配，得到目标人员的身份信息。身份信息的形式可以为各种，例如数字编号、文字等。

上述预设条件可以是为了提高人脸识别的准确率而预先设置的识别前提条件。

可选的，预设条件包括但不限于以下至少一项：人脸区域的分辨率大于等于预设分辨率，人脸区域包括的人脸的姿态角处于预设姿态角范围内，人脸区域的完整度小于等于预设完整度阈值。作为示例，预设分别率可以为W*H，当人脸区域的横向尺寸小于W和/或纵向尺寸小于H时，确定不满足预设条件。

上述人脸姿态角可以基于现有的人脸姿态角检测方法得到，例如基于神经网络的人脸姿态角检测方法等。通常，当人脸姿态角不处于预设姿态角范围内时，表示人脸的朝向偏离摄像头的拍摄方向程度较大，确定此时不满足预设条件。

上述完整度可以是检测出的人脸区域的面积与根据检测出的人脸区域推算的完整人脸区域的面积之比。当上述完整度小于等于预设完整度阈值时，表示此时摄像头无法拍摄到能够支持人脸识别所需的人脸区域，确定此时不满足预设条件。

本可选的实现方式，通过设置预设条件，可以确保在进行人脸识别时，得到高质量的人脸图像，从而提高了人脸识别的准确性。

步骤204，基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记。

在本实施例中，电子设备可以基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记。其中，位置标记与身份信息关联。位置标记与身份信息关联的方式可以为各种。作为示例，位置标记可以包括矩形框，目标人员的人员图像包含在该矩形框中，矩形框所在的位置(例如矩形框内部或外部)同时显示身份信息。再例如，位置标记可以包括人员图像的坐标，该坐标实时与身份信息关联存储。

本公开的上述实施例提供的方法，通过从对目标场地拍摄的至少一路视频中确定目标人员的人员图像，并基于该人员图像对目标人员进行跟踪，在该人员图像的人脸区域符合预设条件的情况下，对人脸区域识别，得到目标人员的身份信息，最后在包含人员图像的图像帧中生成目标人员的位置标记，从而实现了对目标人员的身份信息的实时识别及利用至少一路视频进行人员跟踪实现了对目标人员的位置持续跟踪，降低了跟踪时发生轨迹中断的概率。

在一些可选的实现方式中，在步骤204之后，电子设备还可以基于人员图像在至少一路视频分别包括的图像帧中的位置，生成目标人员的移动轨迹信息。

其中，移动轨迹信息用于表征目标人员在目标场地中的移动轨迹。电子设备可以基于预设的、至少一路视频包括的图像帧中的位置与目标场地中的实际位置的对应关系，生成移动轨迹信息。利用移动轨迹信息，可以实现对目标人员的位置的查询和监控，提高对目标人员进行监管的效率。

进一步参考图3，示出了人员跟踪方法的又一个实施例的流程示意图。如图3所示，在上述图2所示实施例的基础上，步骤202可以包括如下步骤：

步骤2021，对目标人员的人员图像进行特征提取，得到目标人员的特征信息。

具体地，电子设备可以基于现有的图像特征提取方法(例如基于卷积神经网络的特征提取方法)，对人员图像进行特征提取。特征信息可以用于表征人员图像的纹理、颜色、线条形状等各种特征。

步骤2022，对于至少一路视频中的视频，响应于检测到目标人员的人员图像从该视频中消失，基于特征信息，确定除该视频以外的其他视频中是否包括目标人员的人员图像；如果包括目标人员的人员图像，基于其他视频中的目标人员的人员图像，对目标人员进行跟踪。

在本实施例中，对于至少一路视频中的每路视频，可以对该视频执行如下子步骤：

步骤20221，响应于检测到目标人员的人员图像从该视频中消失，基于特征信息，确定除该视频以外的其他视频中是否包括目标人员的人员图像。

如果确定其他视频中包括目标人员的人员图像，执行步骤20222。

作为示例，假设视频的路数为4，对于第一路视频，如果目标人员的人员图像从该视频中消失，即跟踪失败，则从其他三路视频中包括的人员图像中确定是否包括目标人员的人员图像。通常，可以对每路视频中包括的人员图像提取特征信息，将各个特征信息进行匹配，将对应于同一个人员的特征信息和人员图像进行标记，从而在目标人员的人员图像从其中一路视频中消失后，可以从其他路视频中继续确定目标人员的人员图像。

步骤20222，基于其他视频中的目标人员的人员图像，对目标人员进行跟踪。

作为示例，电子设备可以基于MMT(Mutual Mean-Teaching)模型进行人体REID，从而实现步骤2022。MMT模型可以对同一人员的人体图像进行标记，从而从不同的视频中确定同一个人的人员图像的位置。

在一些可选的实现方式中，如图3所示，步骤202还可以包括：

步骤2023，对于至少一路视频中的视频，响应于根据特征信息检测到目标人员的人员图像重新出现在该视频中，基于重新出现的目标人员的人员图像，对目标人员进行跟踪。

具体地，电子设备可以实时对每一路视频的当前图像帧进行人体检测，当检测到某一路视频中出现了新的人员图像时，提取该人员图像的特征信息，与已存储的目标人员的特征信息进行匹配，如果匹配成功，确定目标人员的人员图像重新出现在该视频中，然后继续对人员图像进行跟踪。作为示例，电子设备可以基于上述MMT模型进行人体REID，从而实现步骤2023。

上述图3对应实施例提供的方法，通过确定目标人员对应的特征信息，基于特征信息，在至少一路视频中对目标人员进行跟踪，从而实现了在一路视频中对目标人员跟踪失败时，在其他视频中继续对目标人员跟踪，实现了对目标人员的连续跟踪，降低了对目标人员跟踪时发生中断的概率。通过在目标人员的人员图像重新出现在某路视频后，重新对该路视频中的目标人员的人员图像进行跟踪，进一步提高了对目标人员进行跟踪的连续性。

进一步参考图4，示出了人员跟踪方法的又一个实施例的流程示意图。如图4所示，在上述图2所示实施例的基础上，在步骤202之后，还可以包括如下步骤：

步骤205，基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，确定目标人员是否有违规行为。

其中，违规行为检测可以基于各种方式实现。

可选的，电子设备可以基于如下方式中的任一项确定目标人员是否有违规行为：

方式一，对目标人员的人员图像进行衣着检测，若衣着检测结果表示目标人员的衣着不是规定衣着，确定目标人员有违规行为。

电子设备可以基于各种方式实现衣着检测，例如，可以识别目标人员的衣着颜色，如果识别出的颜色与规定颜色不同，确定目标人员有违规行为。再例如，可以将人员图像输入预先训练的衣着检测模型，得到表征目标人员的衣着是否为规定衣着的信息。电子设备可以将预设的样本人员图像作为初始模型(例如包括卷积神经网络、分分类器等)的输入，将与输入的样本人员图像对应的标注衣着类别信息作为期望输出，利用机器学习方法，训练得到衣着检测模型。

方式二，对目标人员的人员图像进行动作检测，若动作检测结果表示目标人员的动作是违规动作，确定目标人员有违规行为。

例如，若目标人员操作某个设备的动作不是规定动作，或目标人员进行某项操作(例如刷墙)的时候动作过快，确定目标人员有违规行为。

作为示例，电子设备可以将人员图像(可以是单个人员图像，也可以是多个人员图像组成的图像序列)输入预先训练的动作检测模型，得到目标人员的动作是否是违规动作的信息。电子设备可以将预设的样本人员图像作为初始模型(例如包括对连续的图像序列进行识别的循环神经网络)的输入，将与输入的样本人员图像对应的标注动作类别信息作为期望输出，利用机器学习方法，训练得到动作检测模型。

通过上述各种方式，可以全面、准确地对目标人员的违规行为进行实时监控，有助于提高对目标场地的人员进行管理的效率。

步骤206，如果有违规行为，输出违规提示信息。

其中，违规提示信息包括以下至少一种：目标人员的身份信息、违规行为的类别信息、违规行为的发生位置信息。可选的，输出的违规提示信息可以发送至相关的终端设备，例如，在室内装修工地的场景下，违规提示信息可以发送至工长使用的、预先注册过的终端设备，以便于工长对工地内的人员进行管理。

上述图4对应实施例提供的方法，通过基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，当检测到有违规行为时，输出违规提示信息，从而可以实时地对目标场地内的人员进行监控，提高人员管理的效率。

示例性装置

图5是本公开一示例性实施例提供的人员跟踪装置的结构示意图。本实施例可应用在电子设备上，如图5所示，人员跟踪装置包括：获取模块501，用于获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；跟踪模块502，用于从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪；识别模块503，用于响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息；第一生成模块504，用于基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记，其中，位置标记与身份信息关联。

在本实施例中，获取模块501获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频。其中，目标场地可以是各种类型的场地。作为示例，目标场地可以是室内装修工地、室外施工工地、室外公共场所等。

在本实施例中，跟踪模块502可以从至少一路视频分别包括的图像帧中确定目标场地内的目标人员的人员图像，并基于人员图像对目标人员进行跟踪。其中，目标人员可以是在目标场地内的人员，通常，目标场地内存在至少一个人员，目标人员可以是至少一个人员中的其中一个人员，也可以是至少一个人员中的多个人员，还可以是至少一个人员中的每个人员。当目标人员是至少一个人员中的多个人员时，可以对每个目标人员执行该人员跟踪方法，即对每个目标人员进行跟踪。

作为示例，当至少一路视频中出现一个人员的人员图像时，确定该人员为目标人员，并对该目标人员进行跟踪。

在本实施例中，跟踪模块502可以基于现有的人体检测模型(例如YOLOv5模型)，实时地对至少一路视频分别包括的图像帧进行人体检测，从图像帧中确定目标人员的影像作为人员图像。在对目标人员进行跟踪时，可以基于各种人体跟踪方法，在上述至少一路视频中对目标人员的人员图像进行跟踪。例如，可以利用基于卡尔曼滤波和匈牙利匹配的跟踪方法，确定目标人员在各路视频中对应的人员图像进行实时跟踪。

在本实施例中，识别模块503可以响应于确定人员图像包含人脸区域且人脸区域符合预设条件，对人脸区域进行识别，得到目标人员的身份信息。识别模块503可以利用现有的人脸识别方法对人脸区域进行识别，例如，可以将人脸区域图像输入预先训练的人脸识别模型，得到目标人员的身份信息。作为示例，人脸识别模型可以利用机器学习方法，基于现有的facenet网络训练得到。

通常，目标人员的身份信息可以预先存储在身份信息数据库中，该身份信息数据库可以包括大量人员的身份信息和对应的人脸特征信息，识别模块503可以从人脸区域中提取人脸特征信息，将人脸特征信息与身份信息数据库中的特征信息进行匹配，得到目标人员的身份信息。身份信息的形式可以为各种，例如数字编号、文字等。

在本实施例中，第一生成模块504可以基于人员图像在至少一路视频分别包括的图像帧中的位置，在包含人员图像的图像帧中生成目标人员的位置标记。其中，位置标记与身份信息关联。位置标记与身份信息关联的方式可以为各种。作为示例，位置标记可以包括矩形框，目标人员的人员图像包含在该矩形框中，矩形框所在的位置(例如矩形框内部或外部)同时显示身份信息。再例如，位置标记可以包括人员图像的坐标，该坐标实时与身份信息关联存储。

参照图6，图6是本公开另一示例性实施例提供的人员跟踪装置的结构示意图。

在一些可选的实现方式中，跟踪模块502包括：提取单元5021，用于对目标人员的人员图像进行特征提取，得到目标人员的特征信息；第一跟踪单元5022，用于对于至少一路视频中的视频，响应于检测到目标人员的人员图像从该视频中消失，基于特征信息，确定除该视频以外的其他视频中是否包括目标人员的人员图像；如果包括目标人员的人员图像，基于其他视频中的目标人员的人员图像，对目标人员进行跟踪。

在一些可选的实现方式中，跟踪模块502还包括：第二跟踪单元5023，用于对于至少一路视频中的视频，响应于根据特征信息检测到目标人员的人员图像重新出现在该视频中，基于重新出现的目标人员的人员图像，对目标人员进行跟踪。

在一些可选的实现方式中，预设条件包括以下至少一项：人脸区域的分辨率大于等于预设分辨率，人脸区域包括的人脸的姿态角处于预设姿态角范围内，人脸区域的完整度小于等于预设完整度阈值。

在一些可选的实现方式中，该装置还包括：检测模块505，用于基于目标人员的人员图像，对目标人员的人员图像进行违规行为检测，确定目标人员是否有违规行为；输出模块506，用于如果有违规行为，输出违规提示信息，其中，违规提示信息包括以下至少一种：目标人员的身份信息、违规行为的类别信息、违规行为的发生位置信息。

在一些可选的实现方式中，检测模块505包括：第一检测单元5051，用于对目标人员的人员图像进行衣着检测，若衣着检测结果表示目标人员的衣着不是规定衣着，确定目标人员有违规行为；或者，第二检测单元5052，用于对目标人员的人员图像进行动作检测，若动作检测结果表示目标人员的动作是违规动作，确定目标人员有违规行为。

在一些可选的实现方式中，该装置还包括：第二生成模块507，用于基于人员图像在至少一路视频分别包括的图像帧中的位置，生成目标人员的移动轨迹信息。

本公开上述实施例提供的人员跟踪装置，通过从对目标场地拍摄的至少一路视频中确定目标人员的人员图像，并基于该人员图像对目标人员进行跟踪，在该人员图像的人脸区域符合预设条件的情况下，对人脸区域识别，得到目标人员的身份信息，最后在包含人员图像的图像帧中生成目标人员的位置标记，从而实现了对目标人员的身份信息的实时识别及利用至少一路视频进行人员跟踪实现了对目标人员的位置持续跟踪，降低了跟踪时发生轨迹中断的概率。

示例性电子设备

下面，参考图7来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。

图7图示了根据本公开实施例的电子设备的框图。

如图7所示，电子设备700包括一个或多个处理器701和存储器702。

处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备700中的其他组件以执行期望的功能。

存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本公开的各个实施例的人员跟踪方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如视频、人员图像等各种内容。

在一个示例中，电子设备700还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是终端设备101或服务器103时，该输入装置703可以是摄像头、鼠标、键盘等设备，用于输入视频、命令等信息。在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的视频、命令等信息。

该输出装置704可以向外部输出各种信息，包括目标人员的位置标记。该输出设备704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备700中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备700还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人员跟踪方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人员跟踪方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种人员跟踪方法，包括：

获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；

从所述至少一路视频分别包括的图像帧中确定所述目标场地内的目标人员的人员图像，并基于所述人员图像对所述目标人员进行跟踪；

响应于确定所述人员图像包含人脸区域且所述人脸区域符合预设条件，对所述人脸区域进行识别，得到所述目标人员的身份信息；

基于所述人员图像在所述至少一路视频分别包括的图像帧中的位置，在包含所述人员图像的图像帧中生成所述目标人员的位置标记，其中，所述位置标记与所述身份信息关联。

2.根据权利要求1所述的方法，其中，所述从所述至少一路视频分别包括的图像帧中确定所述目标场地内的目标人员的人员图像，并基于所述人员图像对所述目标人员进行跟踪，包括：

对所述目标人员的人员图像进行特征提取，得到所述目标人员的特征信息；

对于所述至少一路视频中的视频，响应于检测到所述目标人员的人员图像从该视频中消失，基于所述特征信息，确定除该视频以外的其他视频中是否包括所述目标人员的人员图像；如果包括所述目标人员的人员图像，基于所述其他视频中的目标人员的人员图像，对所述目标人员进行跟踪。

3.根据权利要求2所述的方法，其中，所述从所述至少一路视频分别包括的图像帧中确定所述目标场地内的目标人员的人员图像，并基于所述人员图像对所述目标人员进行跟踪，还包括：

对于所述至少一路视频中的视频，响应于根据所述特征信息检测到所述目标人员的人员图像重新出现在该视频中，基于重新出现的所述目标人员的人员图像，对所述目标人员进行跟踪。

4.根据权利要求1所述的方法，其中，所述预设条件包括以下至少一项：所述人脸区域的分辨率大于等于预设分辨率，所述人脸区域包括的人脸的姿态角处于预设姿态角范围内，所述人脸区域的完整度小于等于预设完整度阈值。

5.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述目标人员的人员图像，对所述目标人员的人员图像进行违规行为检测，确定所述目标人员是否有违规行为；

如果有违规行为，输出违规提示信息，其中，所述违规提示信息包括以下至少一种：所述目标人员的身份信息、所述违规行为的类别信息、所述违规行为的发生位置信息。

6.根据权利要求5所述的方法，其中，所述基于所述目标人员的人员图像，对所述目标人员的人员图像进行违规行为检测，确定所述目标人员是否有违规行为，包括：

对所述目标人员的人员图像进行衣着检测，若衣着检测结果表示所述目标人员的衣着不是规定衣着，确定所述目标人员有违规行为；或者，

对所述目标人员的人员图像进行动作检测，若动作检测结果表示所述目标人员的动作是违规动作，确定所述目标人员有违规行为。

7.根据权利要求1-6之一所述的方法，其中，在所述基于所述人员图像在所述至少一路视频分别包括的图像帧中的位置，在包含所述人员图像的图像帧中生成所述目标人员的位置标记之后，所述方法还包括：

基于所述人员图像在所述至少一路视频分别包括的图像帧中的位置，生成所述目标人员的移动轨迹信息。

8.一种人员跟踪装置，包括：

获取模块，用于获取至少一个摄像头对目标场地进行拍摄得到的至少一路视频；

跟踪模块，用于从所述至少一路视频分别包括的图像帧中确定所述目标场地内的目标人员的人员图像，并基于所述人员图像对所述目标人员进行跟踪；

识别模块，用于响应于确定所述人员图像包含人脸区域且所述人脸区域符合预设条件，对所述人脸区域进行识别，得到所述目标人员的身份信息；

第一生成模块，用于基于所述人员图像在所述至少一路视频分别包括的图像帧中的位置，在包含所述人员图像的图像帧中生成所述目标人员的位置标记，其中，所述位置标记与所述身份信息关联。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的方法。

Images