CN107680100A - 一种图像检测与跟踪并行协同工作的方法和装置 - Google Patents

Abstract

本发明提供一种图像检测与跟踪并行协同工作方法和装置，检测模块、跟踪模块和移动终端，所述检测模块和跟踪模块通过并行协同工作实现实时、准确的目标图像检测。本发明提出的物体检测与跟踪并行协同工作的方法和装置，通过检测和跟踪模块并行协同工作，并通过对检测和跟踪结果的比较对跟踪目标进行校正，不仅能够解决检测算法因大计算开销引起的检测延迟问题，并且能够进一步提高检测和跟踪的结果准确性。

Description

一种图像检测与跟踪并行协同工作的方法和装置

技术领域

本发明涉及计算机视觉领域，具体涉及图像检测与跟踪并行协同工作的方法和装置。

背景技术

图像的检测和跟踪是计算机视觉领域的一个重要任务。图像检测是指在输入图像中查找并定位出目标图像的大小位置信息。近年来，深度神经网络算法的快速发展使得图像检测的准确度得到大幅度的提升，但同时也产生大量的计算开销。这使得深度神经网络算法的现场部署，尤其是在嵌入式平台上，难以达到实时性。目标跟踪是对一帧图像中某一指定位置区域的图像内容在后续的连续图像中进行持续的定位。常用目标跟踪算法，如基于相关滤波的算法，能够准确地对图像进行跟踪，并且计算开销小，容易满足实时性的需求。

目标跟踪需要通过图像检测算法来提供跟踪的对象，并且在已有目标消失、新目标出现以及多个相似目标出现重叠交错时，也需要图像检测的结果进行校正。另一方面，难以实时完成的图像检测过程，可以通过对已检测的目标进行实时跟踪来实现对目标图像大小信息的实时监测，同时跟踪算法也可以对目标检测算法结果进行一定的补充验证。所以有效地使图像的检测和跟踪算法协同工作，是实现准确实时目标图像监测的一个重要手段。

发明内容

本发明提供一种一种图像检测与跟踪并行协同工作的方法和装置，能够有效地使图像的检测和跟踪算法协同工作，实现准确实时目标图像监测。

本发明的技术方案：一种图像检测与跟踪并行协同工作的装置，包括检测模块、跟踪模块和移动终端，其特征在于，

所述移动终端用于存储帧图像，并将所述帧图像通过数据总线传输至跟踪模块；

所述跟踪模块包括追踪区，帧缓存区和补偿区，所述跟踪模块用于对移动终端传输的帧图像进行实时目标跟踪并输出目标图像的边框大小和位置信息；

所述检测模块包括检测区和检测与追踪结果校正区，所述检测模块用于对帧图像进行图像检测，并将检测结果与对应的跟踪结果进行对比，校正跟踪模块当前的跟踪目标；

所述检测模块与跟踪模块电连接。

一种利用所述的图像检测与跟踪并行协同工作装置的工作方法，所述工作方法包括跟踪模块的工作内容S1和检测模块的工作内容S2，其特征在于，所述跟踪模块的工作内容S1包括如下步骤：

S11:输入当前帧图像；并对当前跟踪目标进行目标跟踪；

S12:将跟踪结果中的图像边框大小和位置信息输出，并将当前帧图像存入帧缓存区；

S13:检测检测模块是否处于等待状态，如果检测模块仍处于运行状态，则步骤S11继续处理下一帧图像；如果检测模块处于等待状态，则通知检测模块，并进行步骤S14；

S14:与检测模块交换数据；

S15:清空帧缓存区，回到步骤S11继续处理下一帧图像。

优选的，所述检测模块的工作内容S2包括如下步骤：

S21:保持等待状态，处于等待状态下的检测模块如果收到跟踪模块的通知，则进入步骤S22；

S22:与跟踪模块交换数据；

S23:对读取的帧图像进行图像检测；

S24:将检测结果与跟踪结果进行对比和校正，校正结束后进入步骤S21。

优选的，所述步骤S14和步骤S22中跟踪模块与检测模块之间进行交换数据的子步骤包括：

a1：跟踪模块读取检测模块的校对结果；

a2：如果出现了新的跟踪目标，则对新的跟踪目标进行补偿跟踪；

a3：检测模块读取新的跟踪结果。

优选的，所述步骤S23中图像检测结果包括图像的边框大小和位置信息以及该边框检测结果正确性的概率大小。

优选的，所述概率包括判定概率阈值，检测算法中预先设置的判定概率阈值为Pr_L，其中正确性的概率检测结果的概率应为不小于判定概率阈值Pr_L。

优选的，所述a2步骤中的补偿跟踪是指对帧缓存区中的每一帧图像按时间顺序逐一实施目标跟踪算法。

优选的，所述步骤S24中校正的具体子步骤包括：

a)校正算法中预先设置目标置信概率阈值Pr_H，满足Pr_H≥Pr_L；

b)对于所有跟踪结果逐一寻找是否存在与之匹配的检测结果，如果存在，则保留该跟踪结果，同时删除相匹配的检测结果；如果不存在，则删除该跟踪结果；

c)对余下的检测结果，逐一判定其检测概率是否小于目标置信概率阈值Pr_H，如果小于，则删除该检测结果；如果不小于，则添加该检测结果为新的跟踪目标。

本发明的有益效果：本发明提出一种物体检测与跟踪并行协同工作的方法和装置，通过检测和跟踪模块并行协同工作，并通过对检测和跟踪结果的比较对跟踪目标进行校正，不仅能够解决检测算法因大计算开销引起的检测延迟问题，并且能够进一步提高检测和跟踪的结果准确性。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出本发明图像检测与跟踪的方法和装置的结构框图；

图2示意性示出本发明图像检测与跟踪并行协同工作流程图；

图3a～图3d示意性示出本发明图像检测与跟踪并行协同工作方法的第一实施例示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

图1所示为本发明图像检测与跟踪的装置的结构框图，如图1所示，根据本发明图像检测与跟踪装置的结构框图，包括移动终端101，跟踪模块102和检测模块103。

所述移动终端101用于存储帧图像，并将所述帧图像通过数据总线传输至跟踪模块102。

所述跟踪模块102包括追踪区102a，帧缓存区102b和补偿区102c，所述跟踪模块102用于对移动终端传输的帧图像进行实时目标跟踪并输出目标图像的边框大小和位置信息。

所述追踪区102a用于目标追踪。

所述帧缓存区102b用于存储缓存图像。

所述补偿区102c用于目标补偿跟踪。

所述检测模块103包括检测区103a和检测与追踪结果校正区103b，所述检测模块用于对帧图像进行图像检测，并将检测结果与对应的跟踪结果进行对比，校正跟踪模块当前的跟踪目标。

所述检测区103a用于图像检测。

所述检测与追踪结果校正区103b用于对图像的校正。

所述检测模块103与跟踪模块102电连接。

在检测与校正过程中，输入的连续帧图像均存储于帧缓存区102b。校正后出现的新目标通过对帧缓存区102b的图像按时间顺序逐一实施跟踪算法来实现补偿跟踪。

图2所示为本发明图像检测与跟踪并行协同工作流程图，根据图2所示的图像检测与跟踪并行协同工作流程图，所述图像检测与跟踪并行协同工作装置的工作方法，所述工作方法包括跟踪模块的工作内容S1和检测模块的工作内容S2。

其中跟踪模块的工作内容S1包括如下步骤：

S11:输入当前帧图像；并对当前跟踪目标进行目标跟踪。

S12:将跟踪结果中的图像边框大小和位置信息输出，并将当前帧图像存入帧缓存区。

S13:检测检测模块是否处于等待状态，如果检测模块仍处于运行状态，则步骤S11继续处理下一帧图像；如果检测模块处于等待状态，则通知检测模块，并进行步骤S14。

S14:与检测模块交换数据。

S15:清空帧缓存区，回到步骤S11继续处理下一帧图像。

其中，所述图像检测与跟踪并行协同工作的装置在运行初始，并没有跟踪目标。

其中所述检测模块的工作内容S2包括如下步骤：

S21:保持等待状态，处于等待状态下的检测模块如果收到跟踪模块的通知，则进入步骤S22。

S22:与跟踪模块交换数据。

S23:对读取的帧图像进行图像检测；

S24:将检测结果与跟踪结果进行对比和校正。校正结束后进入步骤S21。

其中，所述在初始状态下，检测模块处于等待状态。

其中，所述步骤S23中图像检测结果包括图像的边框大小和位置信息以及该边框检测结果正确性的概率大小。检测算法中预先设置的判定概率阈值为Pr_L，那么所有检测结果的概率都不小于Pr_L。

其中，所述步骤S24中校正的具体子步骤包括：

a)校正算法中预先设置目标置信概率阈值Pr_H，满足Pr_H≥Pr_L；

b)对于所有跟踪结果逐一寻找是否存在与之匹配的检测结果，如果存在，则保留该跟踪结果，同时删除相匹配的检测结果；如果不存在，则删除该跟踪结果；

c)对余下的检测结果，逐一判定其检测概率是否小于目标置信概率阈值Pr_H，如果小于，则删除该检测结果；如果不小于，则添加该检测结果为新的跟踪目标。

其中，所述步骤S14和步骤S22中跟踪模块与检测模块之间进行交换数据的子步骤包括：

a1：在交换数据过程中，跟踪模块首先读取检测模块的校对结果，根据校对结果更新跟踪目标。

a2：如果出现了新的跟踪目标，则对新的跟踪目标进行补偿跟踪。

a3：补偿跟踪完成后，更新后的所有目标的跟踪结果均更新到了当前帧。然后将当前帧图像与所有的跟踪结果提交给检测模块。

其中所述跟踪模块与检测模块交换数据的子步骤的a2步骤中所述的补偿跟踪是指对帧缓存区中的每一帧图像按时间顺序逐一实施目标跟踪算法。

实施例1

图3a～图3d所示为本发明图像检测与跟踪并行协同工作方法的第一实施例示意图。

图3a所示为检测模块对图像I₁进行物体检测得到检测结果a1,b1,c1。

图3b所示为检测模块对图像I₁校正结果示例图。

图3c所示为检测模块对图像I_i进行物体检测，并将检测结果a2,b2,c2与图像I_i的跟踪结果进行校正示例图。

图3d所示为检测模块对图像I_i校正结果示例图。

本发明并不针对特定的某种目标追踪算法或物体检测算法，具体实施时可根据具体场景下所需要的实时性程度和硬件支持来选择适合的追踪和检测算法。

本发明的实施并不针对特定的硬件平台。其中一种方案是采用配备有多核CPU和GPU的嵌入式系统来实现本发明中的方法和装置，其中跟踪模块和检测模块的并行工作通过多线程方式实施，一个线程用于实施跟踪模块功能，另一条线程用于实施检测模块功能，并且检测模块中的物体检测部分的实施通过调用GPU来加速物体检测算法。其他实现方案也可以采用但不限于SoC芯片、FPGA、其他嵌入式系统、电脑主机或服务器。

表1显示了一个物体检测与跟踪并行协同工作过程的时间序列示例，其中帧图像缓存区的存储内容是指跟踪模块完成当前帧的所有处理过程后的存储内容。相应的具体运行过程示例如下：

表1物体检测与跟踪并行协同工作过程的时间序列表

初始状态下的跟踪模块没有跟踪目标，检测模块处于等待状态，并且无校正结果。本实施例中，预设的检测判定概率阈值为Pr_L＝0.80，目标置信概率阈值Pr_H＝0.85，具体实施时应根据算法特点和场景精度需求进行相应的阈值设定。

跟踪模块读取第一帧图像I₁时，不执行目标跟踪，将图像存入I₁帧缓存区。跟踪模块与检测模块交换数据。交换数据过程中，由于没有新的跟踪目标，跟踪模块不执行补偿跟踪，检测模块读取图像I₁。完成数据交换后，跟踪模块清空帧缓存区。检测模块对图像I₁进行物体检测。

检测模块对图像I₁进行物体检测得到检测结果a1,b1,c1示例如图3a。由于没有跟踪结果，进行跟踪与检测结果校正时，只需判断检测结果是否小于目标置信概率阈值Pr_H。具体地，如图3a，本实施例中c1的检测结果Pr_c1＝0.812，小于目标置信概率阈值Pr_H＝0.85，所以删除小于目标置信概率阈值Pr_H的检测结果c1，保存不小于目标置信概率阈值Pr_H的检测结果a1和b1为新的跟踪目标T_A,T_B，校正结果示例如图3b。检测模块完成结果校正后，进入等待状态。

本实施例中，假设检测模块完成对图像I₁的检测及校正发生在跟踪模块读取并处理完图像I_i-1之后。

跟踪模块读取并处理图像I₂至图像I_i-1的过程中检测模块处于运行状态。跟踪模块没有跟踪目标，所执行的内容只是将当前帧图像存入帧缓存区。

跟踪模块读取图像I_i，将当前帧图像存入帧缓存区，然后与处于等待状态的检测模块进行数据交换。

数据交换过程中，跟踪模块读取新的跟踪目标T_A,T_B，并进行补偿跟踪。补偿跟踪是根据目标T_A,T_B对帧缓存区中的所有图像I₂,I₃,…,I_i-1,I_i按时间顺序逐一实施目标跟踪算法，最终得到目标T_A,T_B在图像I_i的跟踪结果。跟踪结果包括目标T_A,T_B在图像I_i中的边框位置和大小信息。

在本实施例中，分别使用P_tl_A,P_tl_B表示目标T_A,T_B的追踪结果边框的左上角点，P_br_A,P_br_B分别表示目标T_A,T_B的追踪结果边框的右下角点，而各点的横、纵像素坐标点分别用形如P_tl_A.x和P_tl_A.y的方式表示，边框的宽和高分别用形如P_tl_A.width和P_tl_A.height的方式表示。

跟踪模块完成补偿跟踪后，检测模块读取当前帧图像I_i和对应的跟踪结果，数据交换过程结束。跟踪模块清空帧缓存区，进入下一帧的读取和处理。

检测模块对图像I_i进行物体检测，并将检测结果a2,b2,c2与图像I_i的跟踪结果进行校正，如图3c所示。先寻找与跟踪结果T_A,T_B的相匹配检测结果。本实施例所使用的匹配方法如下，以跟踪结果T_A与检测结果a2为例，分别计算左上角点和右下角点的坐标偏移量，

ΔP_tl.x＝P_tl_A.x-P_tl_a2.x

ΔP_tl.y＝P_tl_A.y-P_tl_a2.y

ΔP_br.x＝P_br_A.x-P_br_a2.x

ΔP_br.y＝P_br_A.y-P_br_a2.y

跟踪结果T_A与检测结果a2相匹配的条件为下列不等式均满足：

ΔP_tl.x≤θ·min(P_tl_A.width,P_tl_a2.width)

ΔP_tl.y≤θ·min(P_tl_A.height,P_tl_a2.height)

ΔP_br.x≤θ·min(P_br_A.width,P_br_a2.width)

ΔP_br.y≤θ·min(P_br_A.height,P_br_a2.height)

其中θ为偏移比例，用于限制相匹配的边框所允许的位置和大小偏差，一般取值0.05～0.20，可根据具体的精度需要进行设置。

本实施例中，T_A与a2相匹配，保留跟踪结果T_A，并删除检测结果a2；不存在检测结果与T_B相匹配，删除跟踪结果T_B。

本实施例中所采用的匹配判定方法并不是本发明范围的限制，可根据实际需要选择适合的匹配方法。

匹配结束后，对余下的检测结果进行逐一判定其检测概率是否小于目标置信概率阈值Pr_H。删除小于目标置信概率阈值Pr_H的检测结果b2，保存不小于目标置信概率阈值Pr_H的检测结果c2为新的跟踪目标T_C，最终校正结果示例如图3d所示。检测模块完成结果校正后，进入等待状态。

本实施例中，假设检测模块完成对图像I_i的检测及校正发生在跟踪模块读取并处理完图像I_j-1之后。

跟踪模块读取并处理图像I_i+1至图像I_j-1的过程中，检测模块处于运行状态。跟踪模块的执行内容包括对目标T_A,T_B进行跟踪，并将当前帧图像存入帧缓存区。

跟踪模块读取图像I_j后，对目标T_A,T_B进行跟踪并当前帧图像存入帧缓存区，然后与处于等待状态的检测模块进行数据交换。数据交换过程中，跟踪模块删除目标T_B，增加目标T_C，并对新增目标T_C进行补偿跟踪。

检测模块读取当前帧图像I_j和对应的T_A,T_C跟踪结果，数据交换过程结束。跟踪模块清空帧缓存区，进入下一帧的读取和处理，检测模块开始对图像I_j进行物体检测。

后续的处理过程与前文所述大体相同，不再赘述。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (8)

1.一种图像检测与跟踪并行协同工作的装置，包括检测模块、跟踪模块和移动终端，其特征在于，

所述移动终端用于存储帧图像，并将所述帧图像通过数据总线传输至跟踪模块；

所述跟踪模块包括追踪区，帧缓存区和补偿区，所述跟踪模块用于对移动终端传输的帧图像进行实时目标跟踪并输出目标图像的边框大小和位置信息；

所述检测模块包括检测区和检测与追踪结果校正区，所述检测模块用于对帧图像进行图像检测，并将检测结果与对应的跟踪结果进行对比，校正跟踪模块当前的跟踪目标；

所述检测模块与跟踪模块电连接。

2.一种利用权利要求1所述的图像检测与跟踪并行协同工作装置的工作方法，所述工作方法包括跟踪模块的工作内容S1和检测模块的工作内容S2，其特征在于，所述跟踪模块的工作内容S1包括如下步骤：

S11:输入当前帧图像；并对当前跟踪目标进行目标跟踪；

S12:将跟踪结果中的图像边框大小和位置信息输出，并将当前帧图像存入帧缓存区；

S13:检测检测模块是否处于等待状态，如果检测模块仍处于运行状态，则步骤S11继续处理下一帧图像；如果检测模块处于等待状态，则通知检测模块，并进行步骤S14；

S14:与检测模块交换数据；

S15:清空帧缓存区，回到步骤S11继续处理下一帧图像。

3.根据权利要求2所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述检测模块的工作内容S2包括如下步骤：

S21:保持等待状态，处于等待状态下的检测模块如果收到跟踪模块的通知，则进入步骤S22；

S22:与跟踪模块交换数据；

S23:对读取的帧图像进行图像检测；

S24:将检测结果与跟踪结果进行对比和校正，校正结束后进入步骤S21。

4.根据权利要求2所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述步骤S14和步骤S22中跟踪模块与检测模块之间进行交换数据的子步骤包括：

a1：跟踪模块读取检测模块的校对结果；

a2：如果出现了新的跟踪目标，则对新的跟踪目标进行补偿跟踪；

a3：检测模块读取新的跟踪结果。

5.根据权利要求3所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述步骤S23中图像检测结果包括图像的边框大小和位置信息以及该边框检测结果正确性的概率大小。

6.根据权利要求5所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述概率包括判定概率阈值，检测算法中预先设置的判定概率阈值为Pr_L，其中正确性的概率检测结果的概率应为不小于判定概率阈值Pr_L。

7.根据根据权利要求4所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述a2步骤中的补偿跟踪是指对帧缓存区中的每一帧图像按时间顺序逐一实施目标跟踪算法。

8.根据权利要求3所述的图像检测与跟踪并行协同工作装置的工作方法，其特征在于，所述步骤S24中校正的具体子步骤包括：

a)校正算法中预先设置目标置信概率阈值Pr_H，满足Pr_H≥Pr_L；

b)对于所有跟踪结果逐一寻找是否存在与之匹配的检测结果，如果存在，则保留该跟踪结果，同时删除相匹配的检测结果；如果不存在，则删除该跟踪结果；

c)对余下的检测结果，逐一判定其检测概率是否小于目标置信概率阈值Pr_H，如果小于，则删除该检测结果；如果不小于，则添加该检测结果为新的跟踪目标。