CN111882582B - 一种图像跟踪关联方法、系统、设备及介质 - Google Patents

Abstract

本发明提供的一种图像跟踪关联方法、系统、设备及介质，通过对多帧图片中的一个或多个目标对象进行框标注，获取对应的目标图像框；对属于同一目标对象的一个或多个目标图像框标记相同标号；以及对属于同一目标对象的一个或多个目标图像框分配相同颜色；根据目标图像框对应的标号、颜色跟踪关联一个或多个目标对象，并在出现错误跟踪关联时修改对应的错误跟踪关联。本发明可以对图像中的目标对象进行预标注，通过标号、颜色来跟踪关联视频中每帧图片的标注情况，判断帧图片之间是否存在错误跟踪关联，并修改对应的错误跟踪关联。基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

Description

一种图像跟踪关联方法、系统、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像跟踪关联方法、系统、设备及介质。

背景技术

图像检测技术的应用场景很多，例如可以将其应用在安防、智能交通等领域来进行图像检测。为了提高图像检测算法在安防、智能交通等领域的检测准确率，通常需要提供大量经过目标对象标注后的图像数据作为训练样本来对图像检测算法进行训练。而图像拍摄装置在安防、智能交通等领域拍摄的是连续帧图片，因此，对于连续帧图片的目标对象标注，不仅需要考虑对单帧图片进行目标对象标注，还需要考虑帧图片与帧图片之间的关联标注关系。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像跟踪关联方法、系统、设备及介质，用于解决现有技术中的缺陷问题。

为实现上述目的及其他相关目的，本发明提供一种图像跟踪关联方法，包括有：

对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

对属于同一目标对象的一个或多个目标图像框标记相同标号；

对属于同一目标对象的一个或多个目标图像框分配相同颜色；

根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象。

可选地，还包括：

识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；

根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。

可选地，若存在错误跟踪关联，则识别结果包括以下至少之一：

当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

可选地，还包括：

获取进行框标注后的多个目标图像框；

按照预设从属关系将某一目标图像框作为父级图像框，从属于所述父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。

可选地，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。

可选地，对属于同一目标对象的一个或多个目标图像框分配相同颜色，包括：

在当前帧图片出现新标号时，确定所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离；

基于所述时空距离确定颜色分配权重；

根据所述颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；

获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给所述新标号对应的目标对象，使属于该目标对象的一个或多个目标图像框具有相同颜色。

可选地，在当前帧图片出现新标号时，还包括：

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；

选择所述空间距离与所述时间距离中的最大值，并将所述最大值作为所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。

可选地，还包括：

对每帧图片进行编号，获取每帧图片对应的帧号；

将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；

根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。

可选地，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将所述目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将所述目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；

从所述结束帧或所述开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，并给所述开始帧中与该目标图像框对应的目标对象分配一个新标号。

可选地，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从所述目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；

将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为所述新的目标对象图片补充关联指针，分配对应的标号。

可选地，还基于所述目标对象图片样本库的显示界面或所述一帧或多帧图片的显示界面建立标签；所述标签包括以下至少之一：目标对象类型、图片帧位、关键帧。

可选地，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给所述一个或多个目标对象添加关联指针；所述关联指针包括以下至少之一：指向父级图像框的指针、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针、指向后一个跟踪关联目标对象的指针。

可选地，还包括：

在所述一帧或多帧图片的显示界面中显示跟踪关联所述一个或多个目标对象的轨迹线；

根据所述轨迹线确定是否存在错误跟踪关联；并根据所述轨迹线修改对应的错误跟踪关联。

可选地，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；

将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。

可选地，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

基于所述目标对象图片样本库的显示界面修改所述目标对象图片的边框。

可选地，还包括：

获取进行框标注后的一个或多个目标图像框；

基于所述一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，所述错误包括以下至少之一：超框、侵入框。

可选地，还包括：

在所述一帧或多帧图片的显示界面中设置控制按键，通过所述控制按键控制所述一帧或多帧图片的显示。

可选地，所述目标对象包括以下至少之一：人体、人头、人脸；

所述目标图像框包括以下至少之一：人体框、人头框、人脸框。

本发明还提供一种图像跟踪关联系统，包括有：

预标注模块，用于对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

标记模块，用于对属于同一目标对象的一个或多个目标图像框标记相同标号；

分配模块，用于对属于同一目标对象的一个或多个目标图像框分配相同颜色；

跟踪关联模块，用于根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象。

可选地，还包括：

识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；

根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。

可选地，若存在错误跟踪关联，则识别结果包括以下至少之一：

当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

可选地，还包括：

获取进行框标注后的多个目标图像框；

按照预设从属关系将某一目标图像框作为父级图像框，从属于所述父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。

可选地，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。

可选地，对属于同一目标对象的一个或多个目标图像框分配相同颜色，包括：

在当前帧图片出现新标号时，确定所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离；

基于所述时空距离确定颜色分配权重；

根据所述颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；

获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给所述新标号对应的目标对象，使属于该目标对象的一个或多个目标图像框具有相同颜色。

可选地，在当前帧图片出现新标号时，还包括：

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；

选择所述空间距离与所述时间距离中的最大值，并将所述最大值作为所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。

可选地，还包括：

对每帧图片进行编号，获取每帧图片对应的帧号；

将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；

根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。

可选地，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将所述目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将所述目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；

从所述结束帧或所述开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，并给所述开始帧中与该目标图像框对应的目标对象分配一个新标号。

可选地，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从所述目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；

将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为所述新的目标对象图片补充关联指针，分配对应的标号。

可选地，还基于所述目标对象图片样本库的显示界面或所述一帧或多帧图片的显示界面建立标签；所述标签包括以下至少之一：目标对象类型、图片帧位、关键帧。

可选地，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给所述一个或多个目标对象添加关联指针；所述关联指针包括以下至少之一：指向父级图像框的指针、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针、指向后一个跟踪关联目标对象的指针。

可选地，还包括：

在所述一帧或多帧图片的显示界面中显示跟踪关联所述一个或多个目标对象的轨迹线；

根据所述轨迹线确定是否存在错误跟踪关联；并根据所述轨迹线修改对应的错误跟踪关联。

可选地，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；

将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。

可选地，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

基于所述目标对象图片样本库的显示界面修改所述目标对象图片的边框。

可选地，还包括：

获取进行框标注后的一个或多个目标图像框；

基于所述一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，所述错误包括以下至少之一：超框、侵入框。

可选地，还包括：

在所述一帧或多帧图片的显示界面中设置控制按键，通过所述控制按键控制所述一帧或多帧图片的显示。

可选地，所述目标对象包括以下至少之一：人体、人头、人脸；

所述目标图像框包括以下至少之一：人体框、人头框、人脸框。

本发明还提供一种图像跟踪关联设备，包括有：

对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

对属于同一目标对象的一个或多个目标图像框标记相同标号；

对属于同一目标对象的一个或多个目标图像框分配相同颜色；

根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象。

本发明还提供一种设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供的一种图像跟踪关联方法、系统、设备及介质，具有以下有益效果：通过对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；对属于同一目标对象的一个或多个目标图像框标记相同标号；以及对属于同一目标对象的一个或多个目标图像框分配相同颜色；根据一个或多个目标图像框对应的标号、颜色跟踪关联多帧图片中的一个或多个目标对象。本发明对于从安防、智能交通等领域获得的大量视频图像，可以先通过预设算法对单帧或多帧图片中的目标对象预先进行框标注，得到多个目标图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。由于从安防、智能交通等领域获得的是视频图像，而预先进行框标注是针对帧图片进行的，可能就会导致对视频中所有单帧图片进行预标注时，帧图片与帧图片之间的目标图像框没有关联上；因此本发明通过为预标注后的目标图像框标记标号、分配颜色，并基于对应的标号和颜色来跟踪关联视频图像中所有帧图片的目标对象，找出跟踪关联目标对象时出现的错误(例如丢帧、断跟、窜跟等错误)，并修改对应的错误。所以，本发明不仅可以通过预设算法对图像中的目标对象进行预标注，还可以通过标号、颜色来跟踪关联视频中每帧图片的标注情况，判断帧图片之间是否存在错误跟踪关联，并修改对应的错误跟踪关联。同时，基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

附图说明

图1为一实施例提供的图像跟踪关联方法的流程示意图；

图2为一实施例提供的跟踪关联目标对象的示意图；

图3为另一实施例提供的跟踪关联目标对象的示意图；

图4为一实施例提供的超框示意图；

图5为另一实施例提供的超框示意图；

图6为一实施例提供的侵入框示意图；

图7为一实施例提供的图像跟踪关联系统的硬件结构示意图；

图8为一实施例提供的跟踪关联目标对象的示意图；

图9为另一实施例提供的跟踪关联目标对象的示意图；

图10为一实施例提供的终端设备的硬件结构示意图；

图11为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 预标注模块

M20 标记模块

M30 分配模块

M40 跟踪关联模块

10 人员X的人头框

20 人员X的人体框

30 人员X的人脸框

40 保护膜层

200 人员Y的人体框

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1至图6，本发明提供一种图像跟踪关联方法，包括有：

S100，对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

S200，对属于同一目标对象的一个或多个目标图像框标记相同标号；

S300，对属于同一目标对象的一个或多个目标图像框分配相同颜色；

S400，根据这一个或多个目标图像框对应的标号、颜色跟踪关联多帧图片中的一个或多个目标对象。

本方法对于从安防、智能交通等领域获得的大量视频图像，可以先通过预设算法对单帧或多帧图片中的目标对象预先进行框标注，得到多个目标图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。由于从安防、智能交通等领域获得的是视频图像，而预先进行框标注是针对帧图片进行的，可能就会导致对视频中所有单帧图片进行预标注时，帧图片与帧图片之间的目标图像框没有关联上；因此本方法通过为预标注后的目标图像框标记标号、分配颜色，并基于对应的标号和颜色来跟踪关联视频图像中所有帧图片的目标对象，找出跟踪关联目标对象时出现的错误(例如丢帧、断跟、窜跟等错误)，并修改对应的错误。同时，基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

在一示例性实施例中，还包括识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。若存在错误跟踪关联，则识别结果包括以下至少之一：当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

本申请实施例中，若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则可能是出现了丢帧。即在当前帧图片中检测到目标图像框的标号或颜色后，在后面的某一帧或某几帧没有被检测到，间隔一帧或多帧后，目标图像框的标号和颜色再次被检测到，则将没有检测到目标图像框标号或颜色的那几帧图片称为丢帧。若同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中，则出现了断跟。例如，目标图像框在某一帧更换了标号，且原来的标号不存在了，同时该目标图像框在该帧图片中具有新的标号，则可能出现了断跟。若同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中，则可能出现了窜跟。例如，当目标图像框在某一帧丢掉了原有的标号，且原有的标号跳到了另一个图像框上，称为窜跟。窜跟最常见的是相互窜跟，即两个图像框在某一帧互换了标号。对于多级目标对象，还可能存在复杂窜跟。例如，对于多级目标对象(人体、人头、人脸)，可能在某一帧甲的人体框窜跟到了乙的身上；在另一帧，甲的人头框又窜跟到了丙的身上；或者人体框、人头框都没有窜跟，但是人脸框窜跟到了丙的身上。

在一示例性实施例中，还包括获取进行框标注后的多个目标图像框；按照预设从属关系将某一目标图像框作为父级图像框，从属于父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。本申请实施例中的预设从属关系根据实际目标源进行设置，例如，若目标源为人，则目标对象包括以下至少之一：人体、人头、人脸；目标图像框包括以下至少之一：人体框、人头框、人脸框。作为示例，预设从属关系可以进行如下设置，将人体框作为父级图像框，人头框作为子级图像框，建立人体框与人头框的从属关系；和将人头框作为父级图像框，人脸框作为子级图像框，建立人头框与人脸框的从属关系。本申请实施例中，若将人体框作为父级图像框，人头框作为子级图像框的同时再将人脸框作为人头框的子级图像框，则人体框、人头框、人脸框之间形成祖孙关联；即人体框和人头框是父子从属关系，人头框与人脸框是父子从属关系。在本申请实施例中，人体框、人头框、人脸框之间的从属关系唯一，人头框是人体框的子节点、人脸框是人头框的子节点；同一个人员的人体框不会有两个人头框作为子节点，同一个人员的人头框也不会有两个人脸框作为子节点。在本申请实施例中，为了表示人体框、人头框、人脸框之间的唯一性，可以将同一人员的人体框、人头框、人脸框设置为同一个编号。其中，编号的设定根据图像画面中的人员进行设置，本申请不做具体的数值限制。例如，可以将某一帧图像画面中某个人员对应的人体框、人头框、人脸框的编号设置为23。

根据上述记载，在一示例性实施例中，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，即将该人员的人头框标注为不属于该人员的人体框的子节点，使该人员的人头框没有与该人员的人体框进行关联；或者，将其他人员的人头框标注为属于该人员的人体框，即将其他人员的人头框标注为属于该人员的人体框，使其他人员的人头框与该人员的人体框进行了关联；则认为预标注后的图像框存在错误从属。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，即将该人员的人脸框标注为不属于该人员的人头框的子节点，使该人员的人脸框没有与该人员的人头框进行关联；或者，将其他人员的人脸框标注为属于该人员的人头框，即将其他人员的人脸框标注为属于该人员的人头框，使其他人员的人脸框与该人员的人头框进行了关联；则认为预标注后的图像框存在错误从属。若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改对应的错误从属。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，则可以通过划线关联法修改这种错误标注。具体地，以人体框内的任意位置为起点，画一条直线或曲线穿过对应的人头框，通过预设的算法自动将该人员的人体框和人头框关联，从而修改这种错误标注。通过划线关联法来修改错误标注，能够重新快速地创建新的关联，建立新的从属全系，并且能够同时将人体、人头、人脸这种多级目标对象进行关联。其中，图5和图6中的垂直方向为父子从属关联。

由于安防、智能交通视频中的目标源(人、车)很多，其中，属于同一目标源的一个或多个目标对象之间的颜色、标号相同。通过给每个目标源分配一个标号和一种颜色，使得同标号的目标对象(人体、人头、人脸、人体关键点等)、同标号的目标图像框(人体框、人头框、人脸框)都会显示同一种颜色，这样才能保证出现匹配错误时容易被发现。若利用随机分配算法对颜色进行随机分配，对于两个位置相近而标号不同的目标对象而言，有一定概率会被分配到两个相近的颜色；如果这两个目标对象实际上来自同一目标源，那么由于颜色相近，就很难发现这个标注错误。另外就是帧间的跟踪关联情况，比如某个人发生断跟，在这一帧的标号是ID1，在下一帧变成ID2，那这个人就会用两种颜色进行显示；从而在帧间跟踪关联时就会出现错误跟踪关联。由于随机分配算法可能会为这前后帧的目标图像框分配两种相近的颜色，导致观察者无法发现这个断跟问题。因此，本申请实施例利用时空最小最大差异颜色分配算法为目标源、目标对象、目标图像框分配颜色。具体地，在当前帧图片出现新标号时，获取新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；以及获取新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；选择空间距离与时间距离中的最大值，并将最大值作为新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。基于时空距离确定颜色分配权重；根据颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给新标号对应的目标源，使属于该目标源的一个或多个目标对象都具有相同颜色，同时每个目标对象对应的一个或多个目标图像框也具有相同颜色。

作为示例，首先定义三维离散的颜色空间，比如R(0-25-255)*G(0-25-255)*B(0-25-255)。其中，中间的25是采样间隔，即以25为一个采样周期；通过这种定义方式能够让离散颜色空间表示出1000种颜色。通常视频中单帧及其临近帧的图像内不会出现这么多目标，因此颜色是够用的。其次，定义目标图像框之间的时空距离；本申请实施例中，来自同一目标对象且标号相同的图像框之间的时空距离为0；不同标号的目标图像框之间的时空距离＝Max(空间距离，时间距离)。其中，如果两个图像框相互有重叠，则空间距离为0；如果无重叠，将X轴方向最短距离/两个图像框的最大宽度，和Y轴方向最短距离/两个图像框的最大高度，中的最大值作为空间距离。而两个图像框之间的时间距离以秒为单位，并根据视频帧率进行设置；例如视频帧率为30FPS(Frame Per Second)，那么相隔一帧的时间距离就是1/30。再基于时空距离确定颜色分配权重，如coef(A，B)＝sigmoid(dist(A，B))。其中，A、B均为目标对象。当某一帧出现一个新的跟踪关联标号，需要为它分配一个新的颜色时，在离散颜色空间里遍历搜索所有候选颜色，并计算每个候选颜色与当前已分配出去的所有颜色之间的加权距离，即加权距离＝像素距离*coef(A，B)。选择最小加权距离作为该候选颜色的采纳度，同时获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给新标号对应的目标源，使属于该目标源的一个或多个目标对象都具有相同颜色，同时每个目标对象对应的一个或多个目标图像框也具有相同颜色。本申请实施例同时考虑了时间和空间两个维度，让从属关联错误和跟踪关联错误都更容易被发现。另外它是动态的，只为当前活跃的对象分配颜色，一段时间内不活跃的对象会回收其颜色，保证颜色的稀疏性。其中，当某个标号在某一帧消失了(可能是目标对象的消失在图片中、也可能是断跟、也可能是遗漏标注)，此时不会立刻回收该标号的颜色，而是将它作为一种记忆目标，保留30帧。记忆目标的帧号/时间会停留在消失前的最后一帧。若需要计算新出现的目标框与记忆目标的时间距离时，就是计算当前帧时间与记忆目标时间的差值。当某个标号消失后，短时间内在同一位置出现一个新标号的目标对象时，此情况可能是断跟，此时新目标与记忆目标的时空距离会因为空间位置近和时间间隔短而比较小。而小的时空距离带来较大的颜色差异，较大的颜色差异更容易发现对应的错误。

在一示例性实施例中，还包括对每帧图片进行编号，获取每帧图片对应的帧号；将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。本申请实施例还基于目标对象图片样本库的显示界面或一帧或多帧图片的显示界面建立标签；作为示例，标签包括以下至少之一：目标对象类型、图片帧位、关键帧。目标对象类型可以包括以下至少之一：人体、人头、人脸；图片帧位可以包括以下至少之一：开始帧、结束帧、独帧、中间帧、起始帧。本申请实施例中，将目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；将目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧；将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；将起始帧和结束帧中间的那一帧作为关键帧。对于每个标号、每种目标对象类型而言只有一个关键帧，其他都是非关键帧。

根据上述记载，将属性栏调整到帧位属性上，可以在目标对象图片样本库的显示界面查看和编辑每个目标的帧位属性。对于属于同一个目标源且具有同一个标号的目标对象，通常从开始帧开始显示，到结束帧结束显示，然后换成下一批目标对象进行显示。如果目标对象图片从某个位置发生了替换，变成别的目标对象图像了，但是替换处并没有标记为结束帧和开始帧，则说明这里发生了窜跟。所以，本申请实施例可以基于目标对象图片样本库的显示界面来修改窜跟错误，即在目标对象图片样本库的显示界面进行窜跟切断。具体地，若识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于目标对象图片样本库的显示界面修改对应的错误跟踪关联；将目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；从结束帧或开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，同时自动切断这两个目标图像框之间的关联指针，并给开始帧中与该目标图像框对应的目标对象分配一个新标号，同时，该目标对象在后面的所有帧图片都以该新标号进行标记。如果是多级目标对象(如人体、人头、人脸)，可以对三类目标对象分别做一次窜跟检查和切断。每次切断时，会连同父节点、子节点一起切断。本申请实施例中，分辨率越低，检查窜跟越不容易；比如在分辨率较低的情况下，不同人脸的近似率就很高，不容易判断是否发生了窜跟。所以可以尽量选择辨识度更高的人体框或人头框来判断是否发生窜跟。通过在目标对象图片样本库的显示界面进行切断窜跟，可以及时避免后面一帧或多帧图片进行的错误跟踪关联；同时为后面的目标对象分配新标号，解决了对应的错误跟踪关联问题。

根据上述记载，在一示例性实施例中，还可以基于目标对象图片样本库的显示界面来修改断跟错误，即在目标对象图片样本库的显示界面进行断跟拼接。具体地，将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为新的目标对象图片补充关联指针，分配对应的标号。本申请实施例通过设置不同的筛选条件，筛选出特定的目标对象类型，同时将开始帧和独帧的图像筛选显示出来，不显示结束帧和中间帧的图像。因此，在一条完整的轨迹段上，只会显示一个目标对象。但是，在进行窜跟切断后，会多出来很多不完整的跟踪关联片段，且新产生的跟踪关联片段在分配标号时，只能从后面选择一个数字，通常比较大，这导致时空距离相近的两个跟踪关联片段，其跟踪关联标号差的比较大，在目标对象图片样本库的显示界面上离得可能比较远，不利于找到两个相同的目标对象。因此在进行断跟拼接前，可以先按目标对象的入场顺序重新排列一下跟踪关联标号。本申请实施例中，目标对象图片样本库的显示界面上，每个目标对象图片代表一个跟踪关联片段，选中相同的目标对象图片进行组合，将它们合并成相同的标号，并补充相应的关联指针，通过关联指针自动将它们的父级目标对象图片、子级目标对象图片关联起来。

根据上述一些示例性实施例的记载，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给一个或多个目标对象添加关联指针；关联指针包括以下至少之一：指向父级图像框的指针(parent指针)、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针(before指针)、指向后一个跟踪关联目标对象的指针(after指针)。通过增加关联指针，可以形成跟踪关联树数据结构，同时在跟踪关联树上对目标对象进行观察、搜索、定位、编辑、效率会更高。

在一示例性实施例中，还包括在一帧或多帧图片的显示界面中显示跟踪关联一个或多个目标对象的轨迹线；根据轨迹线确定是否存在错误跟踪关联；并根据轨迹线修改对应的错误跟踪关联。本申请实施例中，虽然通过在目标对象图片样本库的显示界面可以修改绝大多数窜跟和一部分断跟，也能够高效率地修改错误跟踪关联；但是，它牺牲了场景信息、空间信息；所以，对于部分遗漏和因偶然的误操作带来的新的窜跟问题，就需要回到视频播放界面来进行补充。比如通过显示目标的轨迹线，可以发现轨迹的缺失(丢帧)、中断(断跟)、异常路线(窜跟)。具体地，显示的轨迹线包括正向轨迹线和逆向轨迹线；以当前帧目标图像框的左上顶点为起点，向前(或向后)遍历目标对象。由于本申请在具有跟踪关联关系的目标对象间添加了before指针和after指针，所以按时间顺序遍历同标号、同类型的目标对象是很容易的。将目标的左上顶点位置以点的形式画出，颜色同当前帧的目标对象。在两帧图片中对应的左上顶点位置之间画上连线，如果是连续帧，则连线的颜色同目标对象的颜色；如果不是连续帧(存在丢帧)，则连线段的颜色是黑色。同时，若轨迹线终止于图片边缘位置，则可能是该目标对象自然退出图片(目标对象真实消失)；但如果轨迹线终结于图像中间区域，则可能是目标发生了断跟；若轨迹线在某个位置突然出现了不合理的转向，则可能是发生了窜跟。因此，本申请实施例通过轨迹线就确定是否存在跟踪关联错误，以及可以看到丢帧的位置。通过观察异常的轨迹线，就可以将鼠标移至轨迹线上某个点的附近，通过按键选中该点，快速定位到对应的位置进行查看和修改。其中，图5和图6中的水平方向为帧间图片的跟踪关联。

根据上述记载，还可以在视频播放界面或多帧图片播放界面编辑标签信息，并根据对应的标签信息修改窜跟、断跟、丢帧和框形不准等错误。作为示例，利用两两关联法在视频播放界面或多帧图片播放界面进行断跟切断，则有：先选择第N帧图片，按下shift键将第N帧图片中的目标对象A设为关联前点；然后切换到第M帧，通过长按鼠标左键选中第M帧图片中的目标对象B，再将目标对象B设为关联后点。如果A，B是同类型目标对象且无关联，就会自动创建跟踪关联关系；如果A，B已经存在跟踪关联关系，就会自动切断它。当两帧之间隔得比较远时，还可以通过“前溯”、“后溯”、“书签”等按键功能进行切断。例如，要切断A和B之间的跟踪关联；其中A在第100帧，B在第500帧(中间为遮挡或无标注)；则先在第100帧将A选中，然后按shift键将A设为关联前点，再按“后溯”键，直接跳转到第500帧的B，将B设为关联后点，由于A、B间已存在跟踪关联关系，此时会切断它。本申请实施例采用键盘上的上、下、左、右四个按键来实现“上溯”、“下溯”、“前溯”、“后溯”的功能，用“＜”、“＞”分别来实现“前断点”、“后断点”的功能。其中，“上溯”：切换到与目标对象对应的父节点目标对象。“下溯”：切换到与目标对象对应的子节点目标对象。“前溯”：切换到目标对象前面的跟踪关联目标对象。“后溯”：切换到目标对象后面的跟踪关联目标对象。“前断点”：目标对象向前搜索，定位到出现中断的位置。“后断点”：目标对象向后搜索，定位到出现中断的位置。“首目标对象”：目标对象向前搜索，定位到首次出现的位置。“末目标对象”：目标对象向后搜索，定位到消失前最后出现的位置。由于设计了书签功能，添加书签时，若对某一帧图片添加书签；点击该书签，就可以回到该帧图片。

作为另一个示例，利用叠帧技术在视频播放界面或多帧图片播放界面处理连续断跟问题。具体地，当目标对象出现连续碎片化断跟情况，比如在第一帧标记的ID号是1，第二帧标记的ID号是2，第三帧标记的ID号是3；如果用上述两两关联法来进行关联，速度会比较慢。如果此时目标对象附近没有其他目标对象干扰的情况下，可以连续多帧一次性串联。即从第一帧开始，按住Ctrl键的同时，依次按前进键。由于按住的Ctrl键有保留功能，每前进一帧，旧的目标不会消失，新的目标会叠加上来。当叠加了若干帧之后，鼠标移至第一帧目标图像框的内部，然后沿着目标运动方向，拖一条曲线或直线，直到最后一帧那个目标框的内部区域为止；自动将这些碎片目标对象拼接成一个统一的跟踪关联ID号。

在一示例性实施例中，还包括获取进行框标注后的一个或多个目标图像框；基于一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，错误包括以下至少之一：超框、侵入框。若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。作为示例，如图4所示，若人员X的人头框10与对应的人体框20标注正确，但其人头框10的框形区域不完全位于人体框的框形区域20内，且该人头框10的顶点与对应的人体框20之间连接有虚线，则认为预标注后的图像框存在超框。作为另一示例，如图5所示，若人员X的人脸框30与对应的人头框10标注正确，但其人脸框30的框形区域不完全位于人头框的框形区域10内，且该人脸框30的顶点与对应的人头框10之间连接有虚线，则认为预标注后的图像框存在超框。本申请实施例可以通过拖顶点法修改超框，具体地，通过移动鼠标将移动光标移动至父级图像框或子级图像框的关键点附近，按住鼠标左键直接拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。而传统方法一般需要先选中对应的父级图像框或子级图像框，然后再拖动其顶点，这多出来的一个步骤会比较浪费时间。与传统方法相比，本申请能够减少一个操作步骤，也能够节约对应的时间。如果出现超框，可以通过锚点修改法修改超框。具体地，当锚点位于图像框的外部时，按下鼠标左键，发出按键指令，响应对应的按键指令，直接将图像框对应的边扩展到该点处。当锚点位于图像框的内部，则只能选择其中一条边收缩至该锚点处，具体是那条边，选择面积损失最小的那条边。如果同时按住上下左右四个快捷键中的一个，则是指定上下左右某条边收缩至该锚点处。一般情况下，用锚点法修改框形比拖顶点法修改框形更加高效；且在操作密集型的框标注/修改任务中，锚点法比托顶点法更具有优势。

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜层，则标注后的图像框存在侵入框。作为示例，如图6所示，人员X的人头框10的框形区域完全位于人员Y的人体框200的框形区域内，且两个图像框的接触面呈现有保护膜层40。本申请实施例中，当不属于某个人体框的人头框进入到该人体框的框形区域内，会在人体框与人头框的接触边外围附上一层显眼的“接触层”。这个设计模拟了细胞被微生物入侵时，会在与微生物的接触面上形成一层蛋白质保护外膜的免疫反应过程。它能直观的反映出被包裹的那个头框不属于下面的那个人体框，是“外来物”，“入侵物”。

本申请实施例还在视频播放界面(即一帧或多帧图片的显示界面)设置控制按键，通过控制按键控制这一帧或多帧图片的显示。其中，控制按键包括有前进键、后退键、暂停/播放键，通过这三个基本按键辅助基于视频播放界面的的操作。其中，暂停/播放键：当视频播放时，按一下转为暂停；当视频暂停时，按一下转为播放状态。前进键：当视频暂停时，按一下前进一帧，如果持续按住不放，等待一定时间(400ms)后，会转为临时的播放状态，当松开此键后，又会恢复暂停。后退键：当视频暂停时，按一下后退一帧，如果持续按住不放，等待一定时间(400ms)后，会转为临时的倒播状态，当松开此键后，又会恢复暂停。这三个键可以按照后退键，暂停/播放键，前进键的顺序并排在一起，通过左手的无名指、中指、食指来操控。在电脑键盘上，我们用按键A、按键S、按键D这三个键来实现这三个功能，让小拇指可以空出来按shift键和ctrl键，大拇指可以空出来按空格键。

当需要修改的目标图像框不局限前后若干帧时，而是成批量的、成大段的，这时可以回调到批量小图界面(即目标对象图片样本库显示界面)进行处理。此时的批量小图界面不再是针对所有目标对象的，而是针对该选中目标对象的小规模批量。具体地，

对于单轨迹窜跟切断，当发现某目标图像框窜跟时，可以在视频播放界面中选择对应的目标对象，根据所选择的目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；然后找到窜跟的位置，将相应目标对象对应的帧位属性设置为“结束帧”即可。

对于单目标对象断跟拼接，当发现某个目标对象存在多个碎片化的跟踪视频片段时，由于显示的片段太多，难免会漏掉很多应该拼接的情况。此时可以针对选中的包含目标对象的跟踪视频片段，进入选定目标对象的批量小图界面。如果把所有的目标对象跟踪视频片段当成一个整体对象的话，此时可以计算所有的目标对象跟踪片段与选中的这个目标对象跟踪片段的跟踪距离，然后按照从小到大的顺序，将它们显示在批量小图界面中。其中，时间距离采用的是两个跟踪片段的最近时间距离。空间距离则采用最靠近的那两帧中的两个目标图像框的相对距离(即目标图像框中心的距离除以最大的那个框的对角线长度)。如果两个跟踪片段在同一帧都有目标对象存在，那么它们的跟踪距离为无穷大，否则跟踪距离＝MAX(时间距离，空间距离)。当两个隔得比较远的跟踪片段，直接计算它们的跟踪距离会比较大，但可以通过其他的跟踪片段作为中介，来计算跟踪距离，这有点类似于两个距离较远的条形磁铁，之间的吸力很小，但是在它们之间放上另一个条形磁铁后，两个磁铁的吸力增大了一样：跟踪片段R与跟踪片段S的跟踪距离＝MIN(跟踪片段R与跟踪片段S的跟踪距离，跟踪片段R与跟踪片段T的跟踪距离+跟踪片段T与跟踪片段S的跟踪距离)，跟踪片段T可以是任意一个跟踪片段。通过这种方式，最终计算所有的跟踪片段到我们选中的跟踪片段的跟踪距离，按从小到大排序后放到批量小图界面中，将来自相同对象的目标图像框选中，点击组合按键，将它们拼接起来，融合为一个跟踪标号。这里提出的跟踪片段的距离算法，是为了尽量让来自同一对象的跟踪片段之间的距离更小，排序时会排在前面，因而更容易找到。

对于单轨迹批量补框，则在视频播放界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；对于丢帧的情况，即当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；并将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。作为示例，例如，在视频播放界面选中目标对象，进入选定目标对象的批量小图界面。此时不仅载入轨迹上的所有目标对象，对于那些丢帧的情况，会根据它们前后帧中已标注的图像框进行拟合，生成一个虚框载入进来。界面会默认筛选只显示那些被拟合出来的虚框。鼠标点击虚框目标，可以将它确认为一个实框目标，同时在相应位置添加一个真实的目标。按输入键盘中的“R”键的同时点击目标，将它恢复成初始的虚框状态。

对于单轨迹批量修框，则在视频播放界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；基于批量小图界面修改目标对象图片的边框。作为示例，例如在批量小图界面批量激活一段连续的目标对象图片，然后统一调整它们的上下左右边框，或整体的平移、缩放它们。另外，由于每个目标对象图片需要调整的幅度可能会有微小的差异；因此，本申请支持从左边和右边删减激活的目标对象图片队列。当最左边的目标框修整到位后，将最左边的目标去掉，然后继续批量调整，使次左边的那个目标调整到位，再将它去掉，依次类推。由于目标图像框的偏差很多都是连续的，本申请所做的微调会累积，当激活队列的左侧头达到某个目标时，误差已经没有那么大了，通常只需要做一些微调就可以了。

根据上述记载，本申请实施例在修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的覆盖范围如表1所示。

表1修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的覆盖范围

覆盖能力	丢帧	窜跟	短间隔的断跟	长间隔的断跟
					视频播放界面	100％	90％	90％	50％
全体目标对象的批量小图界面	0％	99％	50％	50％
					针对选定目标对象的批量小图界面	80％	100％	95％	95％

根据上述记载，本申请实施例在修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的操作效率如表2所示。

表2修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的操作效率

覆盖能力	丢帧	窜跟	短间隔的断跟	长间隔的断跟
					视频播放界面	0.5	0.5	0.9	0.3
全体目标对象的批量小图界面	0	1.0	0.9	0.9
					针对选定目标对象的批量小图界面	0.7	0.8	0.5	0.5

根据上表可知，批量小图界面(即目标对象图片的样本库显示界面)操作效率高，但覆盖范围有限；视频播放界面(即单帧或多帧图片播放界面)操作效率低，但覆盖范围广。

从时间跨度来看：当同一目标不同跟踪关联片段之间时间跨度比较小时，在视频播放界面操作比较方便，且安全性更高。当时间跨度比较大时，此时在视频播放界面不容易进行拼接，此时在视频播放界面不容易进行拼接，在批量小图界面操作有更高的保障。

从目标表观特征来看：视频播放界面保留了更多的时空信息，而批量小图界面更依赖于目标对象的表观特征。当目标对象的表观特征的区分度不强时，比如不同人之间的局部脸部形象、光线不好时的背影形象的区别可能没那么大，此时更适合在视频播放界面进行操作。

针对特定目标的批量小图界面因为是定制化的，在解决单个目标的断跟问题上优势明显。相比于全体目标的批量小图界面，它找丢帧更容易；相比于视频播放界面，它处理长间隔的断跟问题的能力更强。

本发明提供一种图像跟踪关联方法，通过对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；对属于同一目标对象的一个或多个目标图像框标记相同标号；以及对属于同一目标对象的一个或多个目标图像框分配相同颜色；根据一个或多个目标图像框对应的标号、颜色跟踪关联多帧图片中的一个或多个目标对象。对于从安防、智能交通等领域获得的大量视频图像，可以先通过预设算法对单帧或多帧图片中的目标对象预先进行框标注，得到多个目标图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。由于从安防、智能交通等领域获得的是视频图像，而预先进行框标注是针对帧图片进行的，可能就会导致对视频中所有单帧图片进行预标注时，帧图片与帧图片之间的目标图像框没有关联上；因此本方法通过为预标注后的目标图像框标记标号、分配颜色，并基于对应的标号和颜色来跟踪关联视频图像中所有帧图片的目标对象，找出跟踪关联目标对象时出现的错误(例如丢帧、断跟、窜跟等错误)，并修改对应的错误。同时，基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

如图4至图9所示，一种图像跟踪关联系统，包括有：

预标注模块M10，用于对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

标记模块M20，用于对属于同一目标对象的一个或多个目标图像框标记相同标号；

分配模块M30，用于对属于同一目标对象的一个或多个目标图像框分配相同颜色；

跟踪关联模块M40，用于根据一个或多个目标图像框对应的标号、颜色跟踪关联多帧图片中的一个或多个目标对象。

本系统对于从安防、智能交通等领域获得的大量视频图像，可以先通过预设算法对单帧或多帧图片中的目标对象预先进行框标注，得到多个目标图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。由于从安防、智能交通等领域获得的是视频图像，而预先进行框标注是针对帧图片进行的，可能就会导致对视频中所有单帧图片进行预标注时，帧图片与帧图片之间的目标图像框没有关联上；因此本系统通过为预标注后的目标图像框标记标号、分配颜色，并基于对应的标号和颜色来跟踪关联视频图像中所有帧图片的目标对象，找出跟踪关联目标对象时出现的错误(例如丢帧、断跟、窜跟等错误)，并修改对应的错误。同时，基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

在一示例性实施例中，还包括识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。若存在错误跟踪关联，则识别结果包括以下至少之一：当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

本申请实施例中，若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则可能是出现了丢帧。即在当前帧图片中检测到目标图像框的标号或颜色后，在后面的某一帧或某几帧没有被检测到，间隔一帧或多帧后，目标图像框的标号和颜色再次被检测到，则将没有检测到目标图像框标号或颜色的那几帧图片称为丢帧。若同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中，则出现了断跟。例如，目标图像框在某一帧更换了标号，且原来的标号不存在了，同时该目标图像框在该帧图片中具有新的标号，则可能出现了断跟。若同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中，则可能出现了窜跟。例如，当目标图像框在某一帧丢掉了原有的标号，且原有的标号跳到了另一个图像框上，称为窜跟。窜跟最常见的是相互窜跟，即两个图像框在某一帧互换了标号。对于多级目标对象，还可能存在复杂窜跟。例如，对于多级目标对象(人体、人头、人脸)，可能在某一帧甲的人体框窜跟到了乙的身上；在另一帧，甲的人头框又窜跟到了丙的身上；或者人体框、人头框都没有窜跟，但是人脸框窜跟到了丙的身上。

在一示例性实施例中，还包括获取进行框标注后的多个目标图像框；按照预设从属关系将某一目标图像框作为父级图像框，从属于父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。本申请实施例中的预设从属关系根据实际目标源进行设置，例如，若目标源为人，则目标对象包括以下至少之一：人体、人头、人脸；目标图像框包括以下至少之一：人体框、人头框、人脸框。作为示例，预设从属关系可以进行如下设置，将人体框作为父级图像框，人头框作为子级图像框，建立人体框与人头框的从属关系；和将人头框作为父级图像框，人脸框作为子级图像框，建立人头框与人脸框的从属关系。本申请实施例中，若将人体框作为父级图像框，人头框作为子级图像框的同时再将人脸框作为人头框的子级图像框，则人体框、人头框、人脸框之间形成祖孙关联；即人体框和人头框是父子从属关系，人头框与人脸框是父子从属关系。在本申请实施例中，人体框、人头框、人脸框之间的从属关系唯一，人头框是人体框的子节点、人脸框是人头框的子节点；同一个人员的人体框不会有两个人头框作为子节点，同一个人员的人头框也不会有两个人脸框作为子节点。在本申请实施例中，为了表示人体框、人头框、人脸框之间的唯一性，可以将同一人员的人体框、人头框、人脸框设置为同一个编号。其中，编号的设定根据图像画面中的人员进行设置，本申请不做具体的数值限制。例如，可以将某一帧图像画面中某个人员对应的人体框、人头框、人脸框的编号设置为23。其中，图8和图9中的垂直方向为父子从属关联。

根据上述记载，在一示例性实施例中，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，即将该人员的人头框标注为不属于该人员的人体框的子节点，使该人员的人头框没有与该人员的人体框进行关联；或者，将其他人员的人头框标注为属于该人员的人体框，即将其他人员的人头框标注为属于该人员的人体框，使其他人员的人头框与该人员的人体框进行了关联；则认为预标注后的图像框存在错误从属。作为另一示例，对于某一帧图像画面中的某一人员，若将该人员的人脸框标注为不属于该人员的人头框，即将该人员的人脸框标注为不属于该人员的人头框的子节点，使该人员的人脸框没有与该人员的人头框进行关联；或者，将其他人员的人脸框标注为属于该人员的人头框，即将其他人员的人脸框标注为属于该人员的人头框，使其他人员的人脸框与该人员的人头框进行了关联；则认为预标注后的图像框存在错误从属。若从属于某一父级图像框的子级图像框被标注为不属于该父级图像框；则以该父级图像框内的任意位置为起点，绘制一条曲线或直线穿过对应的子级图像框，创建该父级图像框和对应子级图像框的关联，修改对应的错误从属。作为示例，对于某一帧图像画面中的某一人员，若将该人员的人头框标注为不属于该人员的人体框，则可以通过划线关联法修改这种错误标注。具体地，以人体框内的任意位置为起点，画一条直线或曲线穿过对应的人头框，通过预设的算法自动将该人员的人体框和人头框关联，从而修改这种错误标注。通过划线关联法来修改错误标注，能够重新快速地创建新的关联，建立新的从属全系，并且能够同时将人体、人头、人脸这种多级目标对象进行关联。

由于安防、智能交通视频中的目标源(人、车)很多，其中，属于同一目标源的一个或多个目标对象之间的颜色、标号相同。通过给每个目标源分配一个标号和一种颜色，使得同标号的目标对象(人体、人头、人脸、人体关键点等)、同标号的目标图像框(人体框、人头框、人脸框)都会显示同一种颜色，这样才能保证出现匹配错误时容易被发现。若利用随机分配算法对颜色进行随机分配，对于两个位置相近而标号不同的目标对象而言，有一定概率会被分配到两个相近的颜色；如果这两个目标对象实际上来自同一目标源，那么由于颜色相近，就很难发现这个标注错误。另外就是帧间的跟踪关联情况，比如某个人发生断跟，在这一帧的标号是ID1，在下一帧变成ID2，那这个人就会用两种颜色进行显示；从而在帧间跟踪关联时就会出现错误跟踪关联。由于随机分配算法可能会为这前后帧的目标图像框分配两种相近的颜色，导致观察者无法发现这个断跟问题。因此，本申请实施例利用时空最小最大差异颜色分配算法为目标源、目标对象、目标图像框分配颜色。具体地，在当前帧图片出现新标号时，获取新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；以及获取新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；选择空间距离与时间距离中的最大值，并将最大值作为新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。基于时空距离确定颜色分配权重；根据颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给新标号对应的目标源，使属于该目标源的一个或多个目标对象都具有相同颜色，同时每个目标对象对应的一个或多个目标图像框具有相同颜色。

作为示例，首先定义三维离散的颜色空间，比如R(0-25-255)*G(0-25-255)*B(0-25-255)。其中，中间的25是采样间隔，即以25为一个采样周期；通过这种定义方式能够让离散颜色空间表示出1000种颜色。通常视频中单帧及其临近帧的图像内不会出现这么多目标，因此颜色是够用的。其次，定义目标图像框之间的时空距离；本申请实施例中，来自同一目标对象且标号相同的图像框之间的时空距离为0；不同标号的目标图像框之间的时空距离＝Max(空间距离，时间距离)。其中，如果两个图像框相互有重叠，则空间距离为0；如果无重叠，将X轴方向最短距离/两个图像框的最大宽度，和Y轴方向最短距离/两个图像框的最大高度，中的最大值作为空间距离。而两个图像框之间的时间距离以秒为单位，并根据视频帧率进行设置；例如视频帧率为30FPS(Frame Per Second)，那么相隔一帧的时间距离就是1/30。再基于时空距离确定颜色分配权重，如coef(A，B)＝sigmoid(dist(A，B))。其中，A、B均为目标对象。当某一帧出现一个新的跟踪关联标号，需要为它分配一个新的颜色时，在离散颜色空间里遍历搜索所有候选颜色，并计算每个候选颜色与当前已分配出去的所有颜色之间的加权距离，即加权距离＝像素距离*coef(A，B)。选择最小加权距离作为该候选颜色的采纳度，同时获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给新标号对应的目标源，使属于该目标源的一个或多个目标对象都具有相同颜色，同时每个目标对象对应的一个或多个目标图像框具有相同颜色。本申请实施例同时考虑了时间和空间两个维度，让从属关联错误和跟踪关联错误都更容易被发现。另外它是动态的，只为当前活跃的对象分配颜色，一段时间内不活跃的对象会回收其颜色，保证颜色的稀疏性。其中，当某个标号在某一帧消失了(可能是目标对象的消失在图片中、也可能是断跟、也可能是遗漏标注)，此时不会立刻回收该标号的颜色，而是将它作为一种记忆目标，保留30帧。记忆目标的帧号/时间会停留在消失前的最后一帧。若需要计算新出现的目标框与记忆目标的时间距离时，就是计算当前帧时间与记忆目标时间的差值。当某个标号消失后，短时间内在同一位置出现一个新标号的目标对象时，此情况可能是断跟，此时新目标与记忆目标的时空距离会因为空间位置近和时间间隔短而比较小。而小的时空距离带来较大的颜色差异，较大的颜色差异更容易发现对应的错误。

在一示例性实施例中，还包括对每帧图片进行编号，获取每帧图片对应的帧号；将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。本申请实施例还基于目标对象图片样本库的显示界面或一帧或多帧图片的显示界面建立标签；作为示例，标签包括以下至少之一：目标对象类型、图片帧位、关键帧。目标对象类型可以包括以下至少之一：人体、人头、人脸；图片帧位可以包括以下至少之一：开始帧、结束帧、独帧、中间帧、起始帧。本申请实施例中，将目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；将目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧；将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；将起始帧和结束帧中间的那一帧作为关键帧。对于每个标号、每种目标对象类型而言只有一个关键帧，其他都是非关键帧。

根据上述记载，将属性栏调整到帧位属性上，可以在目标对象图片样本库的显示界面查看和编辑每个目标的帧位属性。对于属于同一个目标源且具有同一个标号的目标对象，通常从开始帧开始显示，到结束帧结束显示，然后换成下一批目标对象进行显示。如果目标对象图片从某个位置发生了替换，变成别的目标对象图像了，但是替换处并没有标记为结束帧和开始帧，则说明这里发生了窜跟。所以，本申请实施例可以基于目标对象图片样本库的显示界面来修改窜跟错误，即在目标对象图片样本库的显示界面进行窜跟切断。具体地，若识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于目标对象图片样本库的显示界面修改对应的错误跟踪关联；将目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；从结束帧或开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，同时自动切断这两个目标图像框之间的关联指针，并给开始帧中与该目标图像框对应的目标对象分配一个新标号，同时，该目标对象在后面的所有帧图片都以该新标号进行标记。如果是多级目标对象(如人体、人头、人脸)，可以对三类目标对象分别做一次窜跟检查和切断。每次切断时，会连同父节点、子节点一起切断。本申请实施例中，分辨率越低，检查窜跟越不容易；比如在分辨率较低的情况下，不同人脸的近似率就很高，不容易判断是否发生了窜跟。所以可以尽量选择辨识度更高的人体框或人头框来判断是否发生窜跟。通过在目标对象图片样本库的显示界面进行切断窜跟，可以及时避免后面一帧或多帧图片进行的错误跟踪关联；同时为后面的目标对象分配新标号，解决了对应的错误跟踪关联问题。

根据上述记载，在一示例性实施例中，还可以基于目标对象图片样本库的显示界面来修改断跟错误，即在目标对象图片样本库的显示界面进行断跟拼接。具体地，将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为新的目标对象图片补充关联指针，分配对应的标号。本申请实施例通过设置不同的筛选条件，筛选出特定的目标对象类型，同时将开始帧和独帧的图像筛选显示出来，不显示结束帧和中间帧的图像。因此，在一条完整的轨迹段上，只会显示一个目标对象。但是，在进行窜跟切断后，会多出来很多不完整的跟踪关联片段，且新产生的跟踪关联片段在分配标号时，只能从后面选择一个数字，通常比较大，这导致时空距离相近的两个跟踪关联片段，其跟踪关联标号差的比较大，在目标对象图片样本库的显示界面上离得可能比较远，不利于找到两个相同的目标对象。因此在进行断跟拼接前，可以先按目标对象的入场顺序重新排列一下跟踪关联标号。本申请实施例中，目标对象图片样本库的显示界面上，每个目标对象图片代表一个跟踪关联片段，选中相同的目标对象图片进行组合，将它们合并成相同的标号，并补充相应的关联指针，通过关联指针自动将它们的父级目标对象图片、子级目标对象图片关联起来。

根据上述一些示例性实施例的记载，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给一个或多个目标对象添加关联指针；关联指针包括以下至少之一：指向父级图像框的指针(parent指针)、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针(before指针)、指向后一个跟踪关联目标对象的指针(after指针)。通过增加关联指针，可以形成跟踪关联树数据结构，同时在跟踪关联树上对目标对象进行观察、搜索、定位、编辑、效率会更高。

在一示例性实施例中，还包括在一帧或多帧图片的显示界面中显示跟踪关联一个或多个目标对象的轨迹线；根据轨迹线确定是否存在错误跟踪关联；并根据轨迹线修改对应的错误跟踪关联。本申请实施例中，虽然通过在目标对象图片样本库的显示界面可以修改绝大多数窜跟和一部分断跟，也能够高效率地修改错误跟踪关联；但是，它牺牲了场景信息、空间信息；所以，对于部分遗漏和因偶然的误操作带来的新的窜跟问题，就需要回到视频播放界面来进行补充。比如通过显示目标的轨迹线，可以发现轨迹的缺失(丢帧)、中断(断跟)、异常路线(窜跟)。具体地，显示的轨迹线包括正向轨迹线和逆向轨迹线；以当前帧目标图像框的左上顶点为起点，向前(或向后)遍历目标对象。由于本申请在具有跟踪关联关系的目标对象间添加了before指针和after指针，所以按时间顺序遍历同标号、同类型的目标对象是很容易的。将目标的左上顶点位置以点的形式画出，颜色同当前帧的目标对象。在两帧图片中对应的左上顶点位置之间画上连线，如果是连续帧，则连线的颜色同目标对象的颜色；如果不是连续帧(存在丢帧)，则连线段的颜色是黑色。同时，若轨迹线终止于图片边缘位置，则可能是该目标对象自然退出图片(目标对象真实消失)；但如果轨迹线终结于图像中间区域，则可能是目标发生了断跟；若轨迹线在某个位置突然出现了不合理的转向，则可能是发生了窜跟。因此，本申请实施例通过轨迹线就确定是否存在跟踪关联错误，以及可以看到丢帧的位置。通过观察异常的轨迹线，就可以将鼠标移至轨迹线上某个点的附近，通过按键选中该点，快速定位到对应的位置进行查看和修改。其中，图8和图9中的水平方向为帧间图片的跟踪关联。

根据上述记载，还可以在视频播放界面或多帧图片播放界面编辑标签信息，并根据对应的标签信息修改窜跟、断跟、丢帧和框形不准等错误。作为示例，利用两两关联法在视频播放界面或多帧图片播放界面进行断跟切断，则有：先选择第N帧图片，按下shift键将第N帧图片中的目标对象A设为关联前点；然后切换到第M帧，通过长按鼠标左键选中第M帧图片中的目标对象B，再将目标对象B设为关联后点。如果A，B是同类型目标对象且无关联，就会自动创建跟踪关联关系；如果A，B已经存在跟踪关联关系，就会自动切断它。当两帧之间隔得比较远时，还可以通过“前溯”、“后溯”、“书签”等按键功能进行切断。例如，要切断A和B之间的跟踪关联；其中A在第100帧，B在第500帧(中间为遮挡或无标注)；则先在第100帧将A选中，然后按shift键将A设为关联前点，再按“后溯”键，直接跳转到第500帧的B，将B设为关联后点，由于A、B间已存在跟踪关联关系，此时会切断它。本申请实施例采用键盘上的上、下、左、右四个按键来实现“上溯”、“下溯”、“前溯”、“后溯”的功能，用“＜”、“＞”分别来实现“前断点”、“后断点”的功能。其中，“上溯”：切换到与目标对象对应的父节点目标对象。“下溯”：切换到与目标对象对应的子节点目标对象。“前溯”：切换到目标对象前面的跟踪关联目标对象。“后溯”：切换到目标对象后面的跟踪关联目标对象。“前断点”：目标对象向前搜索，定位到出现中断的位置。“后断点”：目标对象向后搜索，定位到出现中断的位置。“首目标对象”：目标对象向前搜索，定位到首次出现的位置。“末目标对象”：目标对象向后搜索，定位到消失前最后出现的位置。由于设计了书签功能，添加书签时，若对某一帧图片添加书签；点击该书签，就可以回到该帧图片。

作为另一个示例，利用叠帧技术在视频播放界面或多帧图片播放界面处理连续断跟问题。具体地，当目标对象出现连续碎片化断跟情况，比如在第一帧标记的ID号是1，第二帧标记的ID号是2，第三帧标记的ID号是3；如果用上述两两关联法来进行关联，速度会比较慢。如果此时目标对象附近没有其他目标对象干扰的情况下，可以连续多帧一次性串联。即从第一帧开始，按住Ctrl键的同时，依次按前进键。由于按住的Ctrl键有保留功能，每前进一帧，旧的目标不会消失，新的目标会叠加上来。当叠加了若干帧之后，鼠标移至第一帧目标图像框的内部，然后沿着目标运动方向，拖一条曲线或直线，直到最后一帧那个目标框的内部区域为止；自动将这些碎片目标对象拼接成一个统一的跟踪关联ID号。

在一示例性实施例中，还包括获取进行框标注后的一个或多个目标图像框；基于一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，错误包括以下至少之一：超框、侵入框。若两个图像框具有父子从属关系，其中子级图像框的框形区域不完全位于父级图像框的框形区域内，且子级图像框的关键点与父级图像框的关键点之间连接有虚线；则预标注后的图像框存在超框。作为示例，如图4所示，若人员X的人头框10与对应的人体框20标注正确，但其人头框10的框形区域不完全位于人体框的框形区域20内，且该人头框10的顶点与对应的人体框20之间连接有虚线，则认为预标注后的图像框存在超框。作为另一示例，如图5所示，若人员X的人脸框30与对应的人头框10标注正确，但其人脸框30的框形区域不完全位于人头框的框形区域10内，且该人脸框30的顶点与对应的人头框10之间连接有虚线，则认为预标注后的图像框存在超框。本申请实施例可以通过拖顶点法修改超框，具体地，通过移动鼠标将移动光标移动至父级图像框或子级图像框的关键点附近，按住鼠标左键直接拖动父级图像框的关键点或子级图像框的关键点，改变父级图像框或子级图像框的框形区域，使子级图像框的框形区域完全位于父级图像框的框形区域内。而传统系统一般需要先选中对应的父级图像框或子级图像框，然后再拖动其顶点，这多出来的一个步骤会比较浪费时间。与传统系统相比，本申请能够减少一个操作步骤，也能够节约对应的时间。如果出现超框，可以通过锚点修改法修改超框。具体地，当锚点位于图像框的外部时，按下鼠标左键，发出按键指令，响应对应的按键指令，直接将图像框对应的边扩展到该点处。当锚点位于图像框的内部，则只能选择其中一条边收缩至该锚点处，具体是那条边，选择面积损失最小的那条边。如果同时按住上下左右四个快捷键中的一个，则是指定上下左右某条边收缩至该锚点处。一般情况下，用锚点法修改框形比拖顶点法修改框形更加高效；且在操作密集型的框标注/修改任务中，锚点法比托顶点法更具有优势。

若两个图像框不具有父子从属关系，其中一个图像框的框形区域完全位于另一个图像框的框形区域内，且两个图像框的接触面呈现有保护膜层，则标注后的图像框存在侵入框。作为示例，如图6所示，人员X的人头框10的框形区域完全位于人员Y的人体框200的框形区域内，且两个图像框的接触面呈现有保护膜层40。本申请实施例中，当不属于某个人体框的人头框进入到该人体框的框形区域内，会在人体框与人头框的接触边外围附上一层显眼的“接触层”。这个设计模拟了细胞被微生物入侵时，会在与微生物的接触面上形成一层蛋白质保护外膜的免疫反应过程。它能直观的反映出被包裹的那个头框不属于下面的那个人体框，是“外来物”，“入侵物”。

本申请实施例还在视频播放界面(即一帧或多帧图片的显示界面)设置控制按键，通过控制按键控制这一帧或多帧图片的显示。其中，控制按键包括有前进键、后退键、暂停/播放键，通过这三个基本按键辅助基于视频播放界面的的操作。其中，暂停/播放键：当视频播放时，按一下转为暂停；当视频暂停时，按一下转为播放状态。前进键：当视频暂停时，按一下前进一帧，如果持续按住不放，等待一定时间(400ms)后，会转为临时的播放状态，当松开此键后，又会恢复暂停。后退键：当视频暂停时，按一下后退一帧，如果持续按住不放，等待一定时间(400ms)后，会转为临时的倒播状态，当松开此键后，又会恢复暂停。这三个键可以按照后退键，暂停/播放键，前进键的顺序并排在一起，通过左手的无名指、中指、食指来操控。在电脑键盘上，我们用按键A、按键S、按键D这三个键来实现这三个功能，让小拇指可以空出来按shift键和ctrl键，大拇指可以空出来按空格键。

当需要修改的目标图像框不局限前后若干帧时，而是成批量的、成大段的，这时可以回调到批量小图界面(即目标对象图片样本库显示界面)进行处理。此时的批量小图界面不再是针对所有目标对象的，而是针对该选中目标对象的小规模批量。具体地，

对于单轨迹窜跟切断，当发现某目标图像框窜跟时，可以在视频播放界面中选择对应的目标对象，根据所选择的目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；然后找到窜跟的位置，将相应目标对象对应的帧位属性设置为“结束帧”即可。

对于单目标对象断跟拼接，当发现某个目标对象存在多个碎片化的跟踪视频片段时，由于显示的片段太多，难免会漏掉很多应该拼接的情况。此时可以针对选中的包含目标对象的跟踪视频片段，进入选定目标对象的批量小图界面。如果把所有的目标对象跟踪视频片段当成一个整体对象的话，此时可以计算所有的目标对象跟踪片段与选中的这个目标对象跟踪片段的跟踪距离，然后按照从小到大的顺序，将它们显示在批量小图界面中。其中，时间距离采用的是两个跟踪片段的最近时间距离。空间距离则采用最靠近的那两帧中的两个目标图像框的相对距离(即目标图像框中心的距离除以最大的那个框的对角线长度)。如果两个跟踪片段在同一帧都有目标对象存在，那么它们的跟踪距离为无穷大，否则跟踪距离＝MAX(时间距离，空间距离)。当两个隔得比较远的跟踪片段，直接计算它们的跟踪距离会比较大，但可以通过其他的跟踪片段作为中介，来计算跟踪距离，这有点类似于两个距离较远的条形磁铁，之间的吸力很小，但是在它们之间放上另一个条形磁铁后，两个磁铁的吸力增大了一样：跟踪片段R与跟踪片段S的跟踪距离＝MIN(跟踪片段R与跟踪片段S的跟踪距离，跟踪片段R与跟踪片段T的跟踪距离+跟踪片段T与跟踪片段S的跟踪距离)，跟踪片段T可以是任意一个跟踪片段。通过这种方式，最终计算所有的跟踪片段到我们选中的跟踪片段的跟踪距离，按从小到大排序后放到批量小图界面中，将来自相同对象的目标图像框选中，点击组合按键，将它们拼接起来，融合为一个跟踪标号。这里提出的跟踪片段的距离算法，是为了尽量让来自同一对象的跟踪片段之间的距离更小，排序时会排在前面，因而更容易找到。

对于单轨迹批量补框，则在视频播放界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；对于丢帧的情况，即当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；并将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。作为示例，例如，在视频播放界面选中目标对象，进入选定目标对象的批量小图界面。此时不仅载入轨迹上的所有目标对象，对于那些丢帧的情况，会根据它们前后帧中已标注的图像框进行拟合，生成一个虚框载入进来。界面会默认筛选只显示那些被拟合出来的虚框。鼠标点击虚框目标，可以将它确认为一个实框目标，同时在相应位置添加一个真实的目标。按输入键盘中的“R”键的同时点击目标，将它恢复成初始的虚框状态。

对于单轨迹批量修框，则在视频播放界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在批量小图界面中加载位于同一轨迹线上的所有目标对象图片；基于批量小图界面修改目标对象图片的边框。作为示例，例如在批量小图界面批量激活一段连续的目标对象图片，然后统一调整它们的上下左右边框，或整体的平移、缩放它们。另外，由于每个目标对象图片需要调整的幅度可能会有微小的差异；因此，本申请支持从左边和右边删减激活的目标对象图片队列。当最左边的目标框修整到位后，将最左边的目标去掉，然后继续批量调整，使次左边的那个目标调整到位，再将它去掉，依次类推。由于目标图像框的偏差很多都是连续的，本申请所做的微调会累积，当激活队列的左侧头达到某个目标时，误差已经没有那么大了，通常只需要做一些微调就可以了。

根据上述记载，本申请实施例在修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的覆盖范围如表3所示。

表3修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的覆盖范围

覆盖能力	丢帧	窜跟	短间隔的断跟	长间隔的断跟
					视频播放界面	100％	90％	90％	50％
全体目标对象的批量小图界面	0％	99％	50％	50％
					针对选定目标对象的批量小图界面	80％	100％	95％	95％

根据上述记载，本申请实施例在修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的操作效率如表4所示。

表4修改丢帧、窜跟、短间隔的断跟、长间隔的断跟时的操作效率

覆盖能力	丢帧	窜跟	短间隔的断跟	长间隔的断跟
					视频播放界面	0.5	0.5	0.9	0.3
全体目标对象的批量小图界面	0	1.0	0.9	0.9
					针对选定目标对象的批量小图界面	0.7	0.8	0.5	0.5

根据上表可知，批量小图界面(即目标对象图片的样本库显示界面)操作效率高，但覆盖范围有限；视频播放界面(即单帧或多帧图片播放界面)操作效率低，但覆盖范围广。

从时间跨度来看：当同一目标不同跟踪关联片段之间时间跨度比较小时，在视频播放界面操作比较方便，且安全性更高。当时间跨度比较大时，此时在视频播放界面不容易进行拼接，此时在视频播放界面不容易进行拼接，在批量小图界面操作有更高的保障。

从目标表观特征来看：视频播放界面保留了更多的时空信息，而批量小图界面更依赖于目标对象的表观特征。当目标对象的表观特征的区分度不强时，比如不同人之间的局部脸部形象、光线不好时的背影形象的区别可能没那么大，此时更适合在视频播放界面进行操作。

针对特定目标的批量小图界面因为是定制化的，在解决单个目标的断跟问题上优势明显。相比于全体目标的批量小图界面，它找丢帧更容易；相比于视频播放界面，它处理长间隔的断跟问题的能力更强。

本发明提供一种图像跟踪关联系统，通过对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；对属于同一目标对象的一个或多个目标图像框标记相同标号；以及对属于同一目标对象的一个或多个目标图像框分配相同颜色；根据一个或多个目标图像框对应的标号、颜色跟踪关联多帧图片中的一个或多个目标对象。对于从安防、智能交通等领域获得的大量视频图像，可以先通过预设算法对单帧或多帧图片中的目标对象预先进行框标注，得到多个目标图像框。与人工直接标注相比，通过预设算法先进行预标注，能够提高标注效率，降低标注成本。由于从安防、智能交通等领域获得的是视频图像，而预先进行框标注是针对帧图片进行的，可能就会导致对视频中所有单帧图片进行预标注时，帧图片与帧图片之间的目标图像框没有关联上；因此本系统通过为预标注后的目标图像框标记标号、分配颜色，并基于对应的标号和颜色来跟踪关联视频图像中所有帧图片的目标对象，找出跟踪关联目标对象时出现的错误(例如丢帧、断跟、窜跟等错误)，并修改对应的错误。同时，基于对视频中的目标对象进行正确的标注来训练图像检测算法，可以提高图像检测算法在安防、智能交通等领域的准确率。

本申请实施例还提供了一种图像跟踪关联设备，包括有：

对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

对属于同一目标对象的一个或多个目标图像框标记相同标号；

对属于同一目标对象的一个或多个目标图像框分配相同颜色；

根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象。

在本实施例中，该图像跟踪关联设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图10为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图11为本申请的一个实施例提供的终端设备的硬件结构示意图。图11是对图10在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图11实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图10实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (36)

1.一种图像跟踪关联方法，其特征在于，包括有：

对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

对属于同一目标对象的一个或多个目标图像框标记相同标号；

对属于同一目标对象的一个或多个目标图像框分配相同颜色；

根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象；

对属于同一目标对象的一个或多个目标图像框分配相同颜色，包括：

在当前帧图片出现新标号时，确定所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离；

基于所述时空距离确定颜色分配权重；

根据所述颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；

获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给所述新标号对应的目标对象，使属于该目标对象的一个或多个目标图像框具有相同颜色。

2.根据权利要求1所述的图像跟踪关联方法，其特征在于，还包括：

识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；

根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。

3.根据权利要求2所述的图像跟踪关联方法，其特征在于，若存在错误跟踪关联，则识别结果包括以下至少之一：

当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

4.根据权利要求3所述的图像跟踪关联方法，其特征在于，还包括：

获取进行框标注后的多个目标图像框；

按照预设从属关系将某一目标图像框作为父级图像框，从属于所述父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。

5.根据权利要求4所述的图像跟踪关联方法，其特征在于，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。

6.根据权利要求1所述的图像跟踪关联方法，其特征在于，在当前帧图片出现新标号时，还包括：

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；

选择所述空间距离与所述时间距离中的最大值，并将所述最大值作为所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。

7.根据权利要求3所述的图像跟踪关联方法，其特征在于，还包括：

对每帧图片进行编号，获取每帧图片对应的帧号；

将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；

根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。

8.根据权利要求7所述的图像跟踪关联方法，其特征在于，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将所述目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将所述目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；

从所述结束帧或所述开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，并给所述开始帧中与该目标图像框对应的目标对象分配一个新标号。

9.根据权利要求7所述的图像跟踪关联方法，其特征在于，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从所述目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；

将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为所述新的目标对象图片补充关联指针，分配对应的标号。

10.根据权利要求7所述的图像跟踪关联方法，其特征在于，还基于所述目标对象图片样本库的显示界面或所述一帧或多帧图片的显示界面建立标签；所述标签包括以下至少之一：目标对象类型、图片帧位、关键帧。

11.根据权利要求1所述的图像跟踪关联方法，其特征在于，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给所述一个或多个目标对象添加关联指针；所述关联指针包括以下至少之一：指向父级图像框的指针、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针、指向后一个跟踪关联目标对象的指针。

12.根据权利要求7所述的图像跟踪关联方法，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中显示跟踪关联所述一个或多个目标对象的轨迹线；

根据所述轨迹线确定是否存在错误跟踪关联；并根据所述轨迹线修改对应的错误跟踪关联。

13.根据权利要求12所述的图像跟踪关联方法，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；

将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。

14.根据权利要求12所述的图像跟踪关联方法，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

基于所述目标对象图片样本库的显示界面修改所述目标对象图片的边框。

15.根据权利要求1至14中任一所述的图像跟踪关联方法，其特征在于，还包括：

获取进行框标注后的一个或多个目标图像框；

基于一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，所述错误包括以下至少之一：超框、侵入框。

16.根据权利要求15所述的图像跟踪关联方法，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中设置控制按键，通过所述控制按键控制所述一帧或多帧图片的显示。

17.根据权利要求1至14中任一所述的图像跟踪关联方法，其特征在于，所述目标对象包括以下至少之一：人体、人头、人脸；

所述目标图像框包括以下至少之一：人体框、人头框、人脸框。

18.一种图像跟踪关联系统，其特征在于，包括有：

预标注模块，用于对多帧图片中的一个或多个目标对象进行框标注，获取对应的一个或多个目标图像框；

标记模块，用于对属于同一目标对象的一个或多个目标图像框标记相同标号；

分配模块，用于对属于同一目标对象的一个或多个目标图像框分配相同颜色；

跟踪关联模块，用于根据所述一个或多个目标图像框对应的标号、颜色跟踪关联所述多帧图片中的一个或多个目标对象；

对属于同一目标对象的一个或多个目标图像框分配相同颜色，包括：

在当前帧图片出现新标号时，确定所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离；

基于所述时空距离确定颜色分配权重；

根据所述颜色分配权重、以及颜色空间中所有候选颜色之间的像素距离计算每个候选颜色与已分配颜色之间的加权距离；并将计算出的每个候选颜色对应的最小加权距离作为该候选颜色的采纳度；

获取所有候选颜色的采纳度，将采纳度最高的候选颜色分配给所述新标号对应的目标对象，使属于该目标对象的一个或多个目标图像框具有相同颜色。

19.根据权利要求18所述的图像跟踪关联系统，其特征在于，还包括：

识别当前帧图片与其余帧图片中的同一目标图像框是否为相同标号、相同颜色；

根据识别结果确定是否存在错误跟踪关联，并修改对应的错误跟踪关联。

20.根据权利要求19所述的图像跟踪关联系统，其特征在于，若存在错误跟踪关联，则识别结果包括以下至少之一：

当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到、同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同、同一目标图像框在当前帧图片中的颜色与相邻的一帧或多帧图片中的颜色不同、具有从属关系的目标图像框在一帧或多帧图片中存在错误从属。

21.根据权利要求20所述的图像跟踪关联系统，其特征在于，还包括：

获取进行框标注后的多个目标图像框；

按照预设从属关系将某一目标图像框作为父级图像框，从属于所述父级图像框的另一目标图像框作为子级图像框，确定目标图像框的从属关系。

22.根据权利要求21所述的图像跟踪关联系统，其特征在于，若将从属于某一父级图像框的子级图像框标注为不属于该父级图像框；和/或，将不从属于某一父级图像框的子级图像框标注为从属于该父级图像框；则具有从属关系的目标图像框存在错误从属。

23.根据权利要求19所述的图像跟踪关联系统，其特征在于，在当前帧图片出现新标号时，还包括：

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的空间距离；

获取所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时间距离；

选择所述空间距离与所述时间距离中的最大值，并将所述最大值作为所述新标号对应的一个或多个目标图像框与所有目标图像框之间的时空距离。

24.根据权利要求20所述的图像跟踪关联系统，其特征在于，还包括：

对每帧图片进行编号，获取每帧图片对应的帧号；

将每帧图片中的单个目标图像框切割为单个目标对象图片，并对切割后的所有目标对象图片进行编号；

根据图片帧号和目标对象图片编号排列显示所有目标对象图片，建立目标对象图片样本库。

25.根据权利要求23所述的图像跟踪关联系统，其特征在于，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将所述目标对象图片样本库中该目标图像框发生标号变更前的最后一个目标对象图片作为结束帧，或将所述目标对象图片样本库中该目标图像框发生标号变更后的第一个目标对象图片作为开始帧；

从所述结束帧或所述开始帧开始，切断对与该目标图像框对应的目标对象的跟踪关联，并给所述开始帧中与该目标图像框对应的目标对象分配一个新标号。

26.根据权利要求24所述的图像跟踪关联系统，其特征在于，若所述识别结果中同一目标图像框在当前帧图片中的标号与相邻的一帧或多帧图片中的标号不同，且该目标图像框在当前帧图片的标号不存在于相邻的一帧或多帧图片中；则基于所述目标对象图片样本库的显示界面修改对应的错误跟踪关联；

将首次出现包含该目标图像框的目标对象图片标记为起始帧；将不存在跟踪关联关系的目标对象图片作为独帧；从所述目标对象图片样本库中筛选出包含该目标图像框的所有起始帧、以及包含该目标图像框的所有独帧；

将筛选出的开始帧、独帧组合成一个新的目标对象图片，并为所述新的目标对象图片补充关联指针，分配对应的标号。

27.根据权利要求24所述的图像跟踪关联系统，其特征在于，还基于所述目标对象图片样本库的显示界面或所述一帧或多帧图片的显示界面建立标签；所述标签包括以下至少之一：目标对象类型、图片帧位、关键帧。

28.根据权利要求18所述的图像跟踪关联系统，其特征在于，在对多帧图片中的一个或多个目标对象进行框标注时，还包括给所述一个或多个目标对象添加关联指针；所述关联指针包括以下至少之一：指向父级图像框的指针、指向子级图像框的指针、指向前一个跟踪关联目标对象的指针、指向后一个跟踪关联目标对象的指针。

29.根据权利要求18所述的图像跟踪关联系统，其特征在于，还包括：

在一帧或多帧图片的显示界面中显示跟踪关联所述一个或多个目标对象的轨迹线；

根据所述轨迹线确定是否存在错误跟踪关联；并根据所述轨迹线修改对应的错误跟踪关联。

30.根据权利要求29所述的图像跟踪关联系统，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

若当前帧图片中某一目标图像框的标号或颜色在间隔一帧或多帧图片后被重新检测到，则基于当前帧图片、当前帧的前一帧图片和当前帧的后一帧图片中对所选择的一个或多个目标对象对应的目标图像框进行拟合，生成对应的虚框；

将对应的虚框作为所选择的一个或多个目标对象的实框，并添加至间隔的一帧或多帧图片中进行补充。

31.根据权利要求29所述的图像跟踪关联系统，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中选择一个或多个目标对象，根据所选择的一个或多个目标对象在所述目标对象图片样本库的显示界面中加载位于同一轨迹线上的所有目标对象图片；

基于所述目标对象图片样本库的显示界面修改所述目标对象图片的边框。

32.根据权利要求18至31中任一所述的图像跟踪关联系统，其特征在于，还包括：

获取进行框标注后的一个或多个目标图像框；

基于一帧或多帧图片的显示界面修改存在错误或重叠的目标图像框；其中，所述错误包括以下至少之一：超框、侵入框。

33.根据权利要求32所述的图像跟踪关联系统，其特征在于，还包括：

在所述一帧或多帧图片的显示界面中设置控制按键，通过所述控制按键控制所述一帧或多帧图片的显示。

34.根据权利要求18至31中任一所述的图像跟踪关联系统，其特征在于，所述目标对象包括以下至少之一：人体、人头、人脸；

所述目标图像框包括以下至少之一：人体框、人头框、人脸框。

35.一种图像跟踪关联设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-17中任意一项所述的方法。

36.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-17中任意一项所述的方法。

Images