CN113312951A - 动态视频目标跟踪系统、相关方法、装置及设备 - Google Patents

Abstract

本申请公开了用户标注方法、装置及设备。其中，用户标注方法包括：确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息。采用这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据；因此，可以有效提升用户标注效率。

Description

动态视频目标跟踪系统、相关方法、装置及设备

技术领域

本申请涉及智能化视频监控技术领域，具体涉及动态视频目标跟踪系统，用户识别模型构建方法和装置，用户标注方法和装置，以及电子设备。

背景技术

动态视频目标跟踪是指，将摄像头采集的与目标(如移动的人)相关的各个视频画面关联起来，这样就可以根据目标的运动情况，形成其运动轨迹，实现单路视频画面的目标跟踪。

要跟踪视频中的目标，就要先识别出各个视频画面中的目标，可通过用户识别模型进行识别。然而，基于数量有限的人工标注训练数据学习到的基础用户识别模型的准确度通常有限，这样就会影响目标跟踪的准确度。为了解决这个问题，可先通过基础用户识别模型，对大量视频进行目标预标注；然后，人工发现、修正预标注错误，形成大量正确的训练数据；然后，基于修正的大量标注数据，重新学习得到优化的用户识别模型；最后，通过优化的用户识别模型，识别出各个视频画面中的目标。然而，一般视频为半小时或更长，一段视频内的目标数量庞大。在进行用户识别模型训练的目标标识(用户ID)标注中，单路视频中有大量ID在模型的预标注下是错误的，如视频中两个人发生交叉时最容易出现错误。为了训练得到具有一定准确度的模型，需要检测ID预标注中的错误，并修正这些错误。在视频中找到ID发生错误是最大的痛点。目前，一种典型的检测动态视频中目标标注错误的方式是，由标注人员对动态视频中出现的各个目标逐个进行处理，对每一个目标，逐帧观看该目标是否标注错误，然后修正标注错误的目标。

然而，在实现本发明过程中，发明人发现上述方案至少存在如下问题：采用逐个目标、逐帧观看以发现目标标识错误的方式，会导致错误发现效率较低，无法及时学习得到准确度高的目标识别模型，从而影响目标识别的准确度，进而导致目标跟踪错误。此外，这种处理方式还会导致工作量巨大。

发明内容

本申请提供动态视频目标跟踪系统，以解决现有技术存在的目标跟踪准确度较低的问题。本申请另外提供用户识别模型构建方法和装置，用户标注方法和装置，以及电子设备。

本申请提供一种动态视频目标跟踪系统，包括：

训练数据确定模块，用户识别模型构建模块，用户运动轨迹确定模块；

所述训练数据确定模块，用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；

所述用户识别模型构建模块，用于根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；

所述用户运动轨迹确定模块，用于通过更新的用户识别模型，确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定用户运动轨迹。

本申请还提供一种用户识别模型构建方法，包括：

通过用户识别模型，确定多个视频中多个画面的用户标识信息；

根据用户标识信息，确定多个用户的移动路径；

根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；

根据交叉点关键帧，修改目标用户的标识信息；

根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

本申请还提供一种用户标注方法，包括：

确定目标视频中至少一部分画面的用户标识信息；

根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；

显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；

根据交叉点关键帧，修改目标用户的标识信息。

可选的，所述根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径，包括：

根据用户标识信息，确定与用户关联的画面集；

根据与目标用户关联的画面集，确定目标用户的第一移动路径；以及，根据与其他用户关联的画面集，确定其他用户的第二移动路径。

可选的，还包括：

确定第一移动路径与第二移动路径存在交叉点的第一画面；

显示第一画面，并在交叉点上显示画面切换操作选项；

若操作用户选取所述画面切换操作选项，则显示交叉点关键帧。

可选的，还包括：

确定与目标用户出现在同一画面中的其他用户。

可选的，所述交叉点关键帧采用如下方式显示：

显示交叉点关键帧的缩略图；

所述根据交叉点关键帧，修改目标用户的标识信息，包括：

显示操作用户选取的目标关键帧的原图，以便于操作用户检查用户标识信息是否正确；

确定目标关键帧的错误修正信息；

根据错误修正信息，修改目标关键帧中目标用户的识别错误的标识信息。

可选的，还包括：

若操作用户选取目标关键帧及其前一时刻的关键帧的缩略图，则显示用于解除目标关键帧与其前一时刻关键帧关联的解除关联操作选项；

若操作用户选取所述解除关联操作选项，则确定目标关键帧的错误修正信息。

可选的，还包括：

清除目标关键帧及其后续时刻的关键帧的缩略图。

可选的，所述确定目标关键帧的错误修正信息，包括：

将目标用户在目标关键帧中的标识信息修改为目标用户在识别正确的画面中的标识信息；

将其他用户在目标关键帧中的标识信息设置为预设标识信息。

本申请还提供一种用户识别模型构建装置，包括：

模型预测单元，用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定多个用户的移动路径；

关键帧显示单元，用于根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；

用户标识修改单元，用于根据交叉点关键帧，修改目标用户的标识信息；

模型更新单元，用于根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

本申请还提供一种电子设备，包括：

处理器和存储器；

所述存储器，用于存储实现用户识别模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

本申请还提供一种用户标注装置，包括：

预标注单元，用于确定目标视频中至少一部分画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；

关键帧显示单元，用于显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；

修改单元，用于根据交叉点关键帧，修改目标用户的标识信息。

本申请还提供一种电子设备，包括：

处理器和存储器；

所述存储器，用于存储实现用户标注方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。

本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。

与现有技术相比，本申请具有以下优点：

本申请实施例提供的动态视频目标跟踪系统，通过训练数据确定模块采用用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个第一画面，作为交叉点关键帧；根据多交叉点关键帧，修改目标用户的标识信息；通过用户识别模型构建模块，根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；通过用户运动轨迹确定模块通过更新的用户识别模型，确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定用户运动轨迹；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据，再基于更加准确的训练数据更新用户识别模型，并基于用户识别模型识别用户，进而确定用户行动轨迹；因此，可以有效用户行动轨迹的准确度。

本申请实施例提供的用户识别模型构建方法，通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据，再基于更加准确的训练数据更新用户识别模型；因此，可以有效提升用户识别模型的准确度。

本申请实施例提供的用户标注方法，通过确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据；因此，可以有效提升用户标注效率。

附图说明

图1本申请提供的一种动态视频目标跟踪系统的实施例的结构示意图；

图2本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图3本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图4本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图5本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图6本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图7本申请提供的一种动态视频目标跟踪系统的实施例的用户界面示意图；

图8本申请提供的一种用户识别模型构建方法的实施例的流程示意图；

图9本申请提供的一种用户标注方法的实施例的流程示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了动态视频目标跟踪系统，用户识别模型构建方法和装置，用户标注方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。

第一实施例

请参考图1，其为本申请的动态视频目标跟踪系统的实施例的结构示意图，所述系统可部署在服务端。在本实施例中，所述系统可包括如下模块：训练数据确定模块101，用户识别模型构建模块103，用户运动轨迹确定模块105。

其中，所述训练数据确定模块，可用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，形成训练数据集。所述用户识别模型构建模块，用于从所述训练数据集中学习得到更新的用户识别模型。所述用户运动轨迹确定模块，用于通过更新的用户识别模型，确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定用户运动轨迹。

所述系统可应用于智能化视频监控场景，通过该系统，可将视频原始数据转化为可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的过程中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。

所述用户识别模型，可从图像中识别到用户，其输入数据包括视频画面，输出数据包括画面中用户的标识信息。所述用户，又可称为目标，可以是真实的人，机器人，及其它可移动的物体，如动物等。如图2所示，从一段单路视频中可识别出多个用户，同一用户在该视频的多个画面中应具有同一用户ID(标识)信息。将一个用户关联的多个画面关联在一起，就可以确定出该用户的运动轨迹。

所述系统应用所述用户识别模型包括两个阶段，两个阶段的模型参数并不相同。在第一阶段中，所述用户识别模型可从数量有限的人工标注的训练数据中学习得到。由于第一阶段中人工标注成本高，训练数据数量有限，因此该阶段构建的模型的准确度通常不够高，从而影响了目标跟踪的准确度。为了提升训练数据的数量，所述系统先通过第一阶段的模型，对大量视频(可取自于公开的视频数据库)对其中的用户进行自动化的预标注，然后在所述系统的辅助下，由人工对预标注错误进行修正，这样就得到了大量的正确标注的数据。在第二阶段中，从大量训练数据中重新学习得到更新的用户识别模型，这样就可以提升模型准确度，从而提升目标跟踪的准确度。其中，由于标注人员是在系统的辅助下对预标注错误进行修正，因此可有效提升错误修正速度，从而快速学习到准确度更高的模型，并在目标跟踪场景下应用该模型，尽早改善目标跟踪的准确度。

在上述两个阶段中，所述用户识别模型的模型结构可以相同，也可以不同。由于所述用户识别模型的模型结构及训练方式属于较为成熟的现有技术，因此此处不再赘述。

如图2所示，所述系统在通过第一阶段的模型，对视频库中的大量视频进行自动化的用户预标注后，可逐个视频去显示在该视频中识别到的所有用户信息，可包括用户缩略图和用户标识信息(ID号)。针对一个视频，标注人员可逐个用户对各个用户关联的视频画面中的用户标注错误进行修正。下面以一段视频中的用户ID＝1为例，对该用户在该视频中的标识错误及修正过程进行说明。

本申请的发明人经过观察发现，在两个用户的行走路径有交叉时，发生预标注错误的概率较高，因此所述系统的技术构思为：将人工检测范围缩小到多个用户同时出现在路径交叉点附近区域的一部分画面，而非完整视频中的所有画面，这样可以极大减少标注人员的工作量。

所述系统确定各个用户的移动路径后，可显示目标用户与其他用户出现在路径交叉点周围区域内的一个或多个画面，又称为交叉点关键帧。在一个示例中，所述交叉点关键帧可包括：与路径交叉点对应的一帧画面，以及该画面前后相邻的若干帧画面，如前、后各30帧画面，具体帧数可根据应用需求确定。这样，相对于标注人员人工检查一段视频中的所有画面，工作量产生了显著降低，如每秒30帧画面，半小时视频就会包括54000帧画面，也就是说需要人工浏览几万帧画面，才能修正一个用户的标注错误。而应用本申请实施例提供的系统，对于其中一个用户，只需人工检测60帧即可。

具体实施时，所述训练数据确定模块可用于根据预标注的用户信息(即用户标识信息)，确定与视频画面中各个用户(如图2中用户1至用户29)分别关联的画面集；根据与目标用户(用户1)关联的画面集，确定目标用户的第一移动路径；以及，根据与其他用户关联的画面集，确定其他用户的第二移动路径。

在一个示例中，训练数据确定模块还可用于确定第一移动路径与第二移动路径存在交叉点的第一画面；显示第一画面。如图3所示，第一画面对应的画面采集时刻要早于交叉点关键帧对应的画面采集时刻，第一画面可显示目标用户的路径，及与目标用户路径交叉的其他用户及其路径，目标用户的路径可高亮显示。如图4所示，第一画面的交叉点上可显示画面切换操作选项，即交叉点上的圆形区域；若操作用户(标注人员)选取所述画面切换操作选项，则显示如图5所示的交叉点关键帧。采用这种处理方式，便于标注人员更加清楚地辨别目标用户和其他用户，因此可以有效提升用户体验。同时，这种处理方式还可获得更加准确的标注数据，因此可以进一步提升目标跟踪准确度。

在一个示例中，训练数据确定模块还可用于确定与目标用户出现在同一画面中的其他用户，只确定这一部分用户的第二移动路径。例如，用户1出现在画面1中，用户2和3交叉出现在画面3到画面10中，如果目标用户为用户2，则无需计算用户1的路径。采用这种处理方式，可以减少移动路径计算量，因此可以有效提升标注速度。

在一个示例中，所述交叉点关键帧可采用如下方式显示：显示如图5所示的交叉点关键帧的缩略图；所述根据交叉点关键帧，修改目标用户的标识信息，可包括如下步骤：显示操作用户选取的目标关键帧的原图，以便于操作用户检查用户标识信息(预标注结果)是否正确；确定目标关键帧的错误修正信息；根据错误修正信息，修改目标关键帧中目标用户的识别错误的标识信息。

由图5可见，所述缩略图尺寸较小，这样可在用户标注操作界面中显示多个交叉点关键帧的缩略图，便于用户切换画面。标注人员人工检查交叉点关键帧，可逐个点击每一个交叉点关键帧的缩略图，被点击的缩略图对应的一帧画面称为目标关键帧。当点击目标关键帧的缩略图时，所述系统可显示目标关键帧的原图，以便于标注人员仔细观察目标用户的标识是否有误。如图5所示，标注人员发现预标注时将当前关键帧中的用户1标注为ID2，将用户2标注为ID1，两个用户的ID发生了互换，同一个ID下不是同一个人。

具体实施时，在操作用户发现标注错误后，可由标注人员人工输入错误修正信息，也可以是由系统自动修改错误的用户标识信息，以修正目标关键帧的用户标识信息。

在本实施例中，可以修改所有交叉点关键帧中识别错误的标识信息，将这些数据全部作为训练数据，这样可以获得更为丰富的训练数据。具体实施时，也可以将一些存在用户识别错误的交叉点关键帧丢弃，不将其作为训练数据。

在一个示例中，所述确定目标关键帧的错误修正信息，可包括如下步骤：将目标用户在目标关键帧中的标识信息修改为目标用户在识别正确的画面中的标识信息；将其他用户在目标关键帧中的标识信息设置为预设标识信息。

所述预设标识信息，是与自动标注的用户标识信息不同的标识信息，如自动标注的用户标识从1到29，预设标识为99。

具体实施时，可将目标用户关联的非交叉点关键帧作为对目标用户识别正确的画面，根据目标用户在这些画面中的标识信息，自动确定目标用户在目标关键帧中的错误修正信息。

这种处理方式适用于目标关键帧有两个用户交叉的情况，使得在操作用户确定目标关键帧存在错误用户标识信息后，可自动确定目标关键帧的错误修正信息，无需人工处理，因此可进一步提升用户体验。如果目标关键帧中出现三个以上用户交叉时，可由标注人员人工修改错误标注的用户标识信息。

在一个示例中，操作用户确定目标关键帧存在错误用户标识信息，可采用如下方式实现：若操作用户选取目标关键帧及其前一时刻的关键帧的缩略图，则显示用于解除目标关键帧与其前一时刻关键帧关联的解除关联操作选项；若操作用户选取所述解除关联操作选项，则表示操作用户确定目标关键帧存在错误用户标识信息，这样就可以触发确定目标关键帧的错误修正信息的处理。

如图6所示，标注人员通过观察原图，发现预标注时两个用户的ID发生了互换，此时标注人员就可以选中标注发生错误变化的关键帧和上一关键帧，选中的关键帧高亮显示，并出现解除关联按钮(解除关联操作选项)，标注人员可点击解除关联按钮，由此确定目标关键帧存在错误用户标识信息。所述系统接收到该指令后，可采用上述方式自动确定目标关键帧的错误修正信息。

在本实施例中，在根据错误修正信息，修改目标关键帧中目标用户的识别错误的标识信息后，还可清除目标关键帧及其后续时刻的关键帧的缩略图。在清除这部分缩略图后，目标关键帧中显示的目标用户的错误路径部分就可以被清除。

如图7所示，在解除目标关键帧与其前一时刻关键帧关联后，目标关键帧及其后续时刻的关键帧的缩略图消失，目标关键帧中男性用户1的错误路径部分由高亮置灰，用户标识1的标注框重新回到用户1身上，为女性用户2生成新的用户标识33，该标识可以是上述预设标识。

从上述实施例可见，本申请实施例提供的动态视频目标跟踪系统，通过训练数据确定模块采用用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个第一画面，作为交叉点关键帧；根据多交叉点关键帧，修改目标用户的标识信息；通过用户识别模型构建模块，根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；通过用户运动轨迹确定模块通过更新的用户识别模型，确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定用户运动轨迹；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据，再基于更加准确的训练数据更新用户识别模型，并基于用户识别模型识别用户，进而确定用户行动轨迹；因此，可以有效用户行动轨迹的准确度。

第二实施例

在上述的实施例中，提供了一种动态视频目标跟踪系统，与之相对应的，本申请还提供一种用户识别模型构建方法。该方法是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分，包括训练数据确定模型和用户识别模型构建模块两部分的说明。

请参考图8，其为本申请的用户识别模型构建方法的实施例的流程示意图，本申请提供的一种用户识别模型构建方法可包括如下步骤：

步骤S801：通过用户识别模型，确定多个视频中多个画面的用户标识信息。

步骤S803：根据用户标识信息，确定多个用户的移动路径。

步骤S805：根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧。

步骤S807：根据交叉点关键帧，修改目标用户的标识信息。

步骤S809：根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

从上述实施例可见，本申请实施例提供的用户识别模型构建方法，通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据，再基于更加准确的训练数据更新用户识别模型；因此，可以有效提升用户识别模型的准确度。

第三实施例

在上述的实施例中，提供了一种用户识别模型构建方法，与之相对应的，本申请还提供一种用户识别模型构建装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。

本申请提供的一种用户识别模型构建装置包括：

模型预测单元，用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定多个用户的移动路径；

关键帧显示单元，用于根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；

用户标识修改单元，用于根据交叉点关键帧，修改目标用户的标识信息；

模型更新单元，用于根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

第四实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现用户识别模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

第五实施例

请参考图9，其为本申请的用户标注方法的实施例的流程示意图。所述方法的执行主体包括但不限于客户端，也可以是能够实现所述方法的任何设备。在本实施例中，所述方法可包括如下步骤：

步骤S901：确定目标视频中至少一部分画面的用户标识信息。

所述方法，可通过用户标注算法，确定目标视频中至少一部分画面的用户标识信息。由于用户标注算法的准确度通常有限，因此导致确定的用户标识信息可能存在错误，需要通过所述方法发现并修改错误。所述用户标注算法属于较为成熟的现有技术，因此此处不再赘述。

在本实施例中，所述用户标注算法为通过机器学习方式构建的用户识别模型，该模型可从人工标注的训练数据中学习得到。由于人工标注的训练数据有限，因此该模型的准确度有限，由此导致通过模型预测得到的用户标识信息可能存在错误。

步骤S903：根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径。

所述方法对目标用户的错误标注进行修改，将目标用户的移动路径称为第一移动路径，将视频中出现的其他用户的移动路径称为第二移动路径。

步骤S905：显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧。

步骤S907：根据交叉点关键帧，修改目标用户的标识信息。

在一个示例中，标注人员可通过客户端向服务端发送针对目标视频的用户标注请求，服务端可通过预先部署的用户识别模型，确定目标视频中至少一部分画面的用户标识信息，并将用户标识信息回送至客户端。标注人员可通过客户端指定目标用户，客户端根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径，并确定目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的多个画面，即交叉点关键帧，然后显示这些画面。标注人员通过观看这些画面，从中找到用户标注错误，并改正错误。

在一个示例中，步骤S903可包括如下子步骤：

步骤S9031：根据用户标识信息，确定与用户关联的画面集；

步骤S9033：根据与目标用户关联的画面集，确定目标用户的第一移动路径；以及，根据与其他用户关联的画面集，确定其他用户的第二移动路径。

在一个示例中，所述方法还可包括如下步骤：确定第一移动路径与第二移动路径存在交叉点的第一画面；显示第一画面，并在交叉点上显示画面切换操作选项；若操作用户选取所述画面切换操作选项，则显示交叉点关键帧。采用这种处理方式，便于标注人员更加清楚地辨别目标用户和其他用户，因此可以有效提升用户体验。同时，这种处理方式还可获得更加准确的标注数据。

在一个示例中，所述方法还可包括如下步骤：确定与目标用户出现在同一画面中的其他用户。例如，用户1出现在画面1中，用户2和3交叉出现在画面3到画面10中，如果目标用户为用户2，则无需计算用户1的路径。采用这种处理方式，可以减少移动路径计算量，因此可以有效提升标注速度。

在一个示例中，步骤S905可包括如下子步骤：显示交叉点关键帧的缩略图；步骤S907可包括如下子步骤：显示操作用户(标注人员)选取的目标关键帧的原图，以便于操作用户检查用户标识信息是否正确；确定目标关键帧的错误修正信息；根据错误修正信息，修改目标关键帧中目标用户的识别错误的标识信息。

由图5可见，所述缩略图尺寸较小，这样可在用户标注操作界面中显示多个交叉点关键帧的缩略图，便于用户切换画面。标注人员人工检查交叉点关键帧，可逐个点击每一个交叉点关键帧的缩略图，被点击的缩略图对应的一帧画面称为目标关键帧。当点击目标关键帧的缩略图时，所述系统可显示目标关键帧的原图，以便于标注人员仔细观察目标用户的标识是否有误。如图5所示，标注人员发现预标注时将当前关键帧中的用户1标注为ID2，将用户2标注为ID1，两个用户的ID发生了互换，同一个ID下不是同一个人。

在一个示例中，所述方法还可包括如下步骤：若操作用户选取目标关键帧及其前一时刻的关键帧的缩略图，则显示用于解除目标关键帧与其前一时刻关键帧关联的解除关联操作选项；相应的，若操作用户选取所述解除关联操作选项，则确定目标关键帧的错误修正信息。

在一个示例中，所述确定目标关键帧的错误修正信息，可包括如下子步骤：将目标用户在目标关键帧中的标识信息修改为目标用户在识别正确的画面中的标识信息；将其他用户在目标关键帧中的标识信息设置为预设标识信息。这种处理方式适用于目标关键帧有两个用户交叉的情况，使得在标注人员确定目标关键帧存在错误用户标识信息后，如选取所述解除关联操作选项，可自动确定目标关键帧的错误修正信息，无需人工处理，因此可进一步提升用户体验。如果目标关键帧中出现三个以上用户交叉时，可由标注人员人工修改错误标注的用户标识信息。

在一个示例中，在根据错误修正信息，修改目标关键帧中目标用户的标识信息后，所述方法还可包括如下步骤：清除目标关键帧及其后续时刻的关键帧的缩略图。在清除这部分缩略图后，就可以清除目标关键帧中显示的目标用户的错误路径部分，因此可以有效提升用户体验。

从上述实施例可见，本申请实施例提供的用户标注方法，通过确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；这种处理方式，使得基于自动用户识别结果形成用户移动路径，根据用户移动路径确定容易出错的视频画面，标注人员通过观看这些静态画面，可以更快找到用户标注错误，避免标注人员反复观看整个视频中的画面，由此可及时获得更加准确的用户标注数据；因此，可以有效提升用户标注效率。

第六实施例

在上述的实施例中，提供了一种用户标注方法，与之相对应的，本申请还提供一种用户标注装置。该装置是与上述方法的实施例相对应。本实施例与第四实施例内容相同的部分不再赘述，请参见实施例四中的相应部分。

本申请提供的一种用户标注装置包括：

预标注单元，用于确定目标视频中至少一部分画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；

关键帧显示单元，用于显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；

修改单元，用于根据交叉点关键帧，修改目标用户的标识信息。

第七实施例

本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现用户标注方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (14)

1.一种动态视频目标跟踪系统，其特征在于，包括：

训练数据确定模块，用户识别模型构建模块，用户运动轨迹确定模块；

所述训练数据确定模块，用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；

所述用户识别模型构建模块，用于根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型；

所述用户运动轨迹确定模块，用于通过更新的用户识别模型，确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定用户运动轨迹。

2.一种用户识别模型构建方法，其特征在于，包括：

通过用户识别模型，确定多个视频中多个画面的用户标识信息；

根据用户标识信息，确定多个用户的移动路径；

根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；

根据交叉点关键帧，修改目标用户的标识信息；

根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

3.一种用户标注方法，其特征在于，包括：

确定目标视频中至少一部分画面的用户标识信息；

根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；

显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；

根据交叉点关键帧，修改目标用户的标识信息。

4.根据权利要求3所述的方法，其特征在于，所述根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径，包括：

根据用户标识信息，确定与用户关联的画面集；

根据与目标用户关联的画面集，确定目标用户的第一移动路径；以及，根据与其他用户关联的画面集，确定其他用户的第二移动路径。

5.根据权利要求3所述的方法，其特征在于，还包括：

确定第一移动路径与第二移动路径存在交叉点的第一画面；

显示第一画面，并在交叉点上显示画面切换操作选项；

若操作用户选取所述画面切换操作选项，则显示交叉点关键帧。

6.根据权利要求3所述的方法，其特征在于，还包括：

确定与目标用户出现在同一画面中的其他用户。

7.根据权利要求3所述的方法，其特征在于，

所述交叉点关键帧采用如下方式显示：

显示交叉点关键帧的缩略图；

所述根据交叉点关键帧，修改目标用户的标识信息，包括：

显示操作用户选取的目标关键帧的原图，以便于操作用户检查用户标识信息是否正确；

确定目标关键帧的错误修正信息；

根据错误修正信息，修改目标关键帧中目标用户的识别错误的标识信息。

8.根据权利要求7所述的方法，其特征在于，还包括：

若操作用户选取目标关键帧及其前一时刻的关键帧的缩略图，则显示用于解除目标关键帧与其前一时刻关键帧关联的解除关联操作选项；

若操作用户选取所述解除关联操作选项，则确定目标关键帧的错误修正信息。

9.根据权利要求8所述的方法，其特征在于，还包括：

清除目标关键帧及其后续时刻的关键帧的缩略图。

10.根据权利要求7所述的方法，其特征在于，

所述确定目标关键帧的错误修正信息，包括：

将目标用户在目标关键帧中的标识信息修改为目标用户在识别正确的画面中的标识信息；

将其他用户在目标关键帧中的标识信息设置为预设标识信息。

11.一种用户识别模型构建装置，其特征在于，包括：

模型预测单元，用于通过用户识别模型，确定多个视频中多个画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定多个用户的移动路径；

关键帧显示单元，用于根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；

用户标识修改单元，用于根据交叉点关键帧，修改目标用户的标识信息；

模型更新单元，用于根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

12.一种电子设备，其特征在于，包括：

处理器和存储器；

所述存储器，用于存储实现用户识别模型构建方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：通过用户识别模型，确定多个视频中多个画面的用户标识信息；根据用户标识信息，确定多个用户的移动路径；根据所述移动路径，显示目标用户与其他用户出现在路径交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息；根据多个视频、和修改后的用户标识信息，学习得到更新的用户识别模型。

13.一种用户标注装置，其特征在于，包括：

预标注单元，用于确定目标视频中至少一部分画面的用户标识信息；

移动路径确定单元，用于根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；

关键帧显示单元，用于显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；

修改单元，用于根据交叉点关键帧，修改目标用户的标识信息。

14.一种电子设备，其特征在于，包括：

处理器和存储器；

所述存储器，用于存储实现用户标注方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定目标视频中至少一部分画面的用户标识信息；根据用户标识信息，确定目标用户的第一移动路径、和其他用户的第二移动路径；显示目标用户与其他用户出现在第一移动路径和第二移动路径间交叉点周围区域内的至少一个画面，作为交叉点关键帧；根据交叉点关键帧，修改目标用户的标识信息。

Images