CN115439509A

CN115439509A - 一种多目标跟踪方法、装置、计算机设备及存储介质

Info

Publication number: CN115439509A
Application number: CN202211381474.6A
Authority: CN
Inventors: 吴世洲; 黄武
Original assignee: Chengdu Techman Software Co Ltd
Current assignee: Chengdu Techman Software Co Ltd
Priority date: 2022-11-07
Filing date: 2022-11-07
Publication date: 2022-12-06
Anticipated expiration: 2042-11-07
Also published as: CN115439509B

Abstract

本发明涉及图像跟踪技术领域，尤其涉及一种多目标跟踪方法、装置、计算机设备及存储介质，该方法包括：获取目标帧图像，该目标帧图像中包括待跟踪的N个目标，N个目标的颜色均不同；基于N个目标，生成与每个目标的颜色相同的纯色图像；对目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及纯色图像中每个像素点的像素值；将目标帧图像中每个像素点的像素值分别于每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；获取像素点差运算结果小于第一预设值的区域，将所述区域确定为目标帧图像中的目标，进而通过颜色来区分不同的目标，提高了识别准确性。

Description

一种多目标跟踪方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像跟踪技术领域，尤其涉及一种多目标跟踪方法、装置、计算机设备及存储介质。

背景技术

多目标跟踪可以通过多种技术手段，如绑定特定识别传感器在目标上来判断目标的位置，或通过机器视觉处理图像识别目标的位置，使用机器视觉分析不需要再目标上绑定传感器，应用比较方便，但是，现有的机器视觉方法容易受到光线等干扰，进而影响识别准确性。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多目标跟踪方法、装置、计算机设备及存储介质。

第一方面，本发明提供了一种多目标跟踪方法，包括：

获取目标帧图像，所述目标帧图像中包括待跟踪的N个目标，所述N个目标的颜色均不相同；

基于所述N个目标，生成与每个目标的颜色相同的纯色图像；

对所述目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及所述纯色图像中每个像素点的像素值；

将所述目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；

获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标。

优选地，所述纯色图像的尺寸与所述目标帧图像的尺寸相同。

优选地，所述对所述目标帧图像和纯色图像进行处理，得到目标帧图像每个像素点的像素值以及所述纯色图像中每个像素点的像素值，包括：

获取目标帧图像中每个像素点的RGB像素值以及所述纯色图像中每个像素点的RGB像素值；

将所述目标帧图像中每个像素点的RGB像素值以及所述纯色图像中每个像素点的RGB像素值分别转换到XYZ颜色空间，得到所述目标帧图像中每个像素点的XYZ颜色空间像素值以及所述纯色图像中每个像素点的XYZ颜色空间像素值；

将所述目标帧图像中每个像素点的XYZ颜色空间像素值以及所述纯色图像中每个像素点的XYZ颜色空间像素值分别转换到Lab颜色空间，得到所述目标帧图像中每个像素点的Lab颜色空间像素值以及所述纯色图像中每个像素点的Lab颜色空间像素值。

优选地，在所述获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标之后，还包括：

判断所述目标帧图像中的N个目标中是否存在消失目标，所述消失目标为未跟踪识别到的目标；

若是，从所述目标帧图像的前一帧图像中确定消失目标；

获取所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离；

基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，确定在所述目标帧图像中所述消失目标的位置。

优选地，判断所述目标帧图像中的N个目标中是否存在消失目标，包括：

判断所述目标帧图像中的目标数量与所述前一帧图像中的目标数量是否相同；

若是，确定所述目标帧图像中不存在消失目标；

若否，确定所述目标帧图像中存在消失目标。

优选地，基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，确定在所述目标帧图像中所述消失目标的位置，包括：

基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，在所述距离小于第二预设值时，将对应的目标确定为遮挡所述消失目标的前景目标，将所述前景目标的位置确定为在所述目标帧图像中所述消失目标的位置。

基于所述目标帧图像中所确定的N个目标的颜色，对下一帧图像中的N个目标进行跟踪。

第二方面，本发明还提供了一种多目标跟踪装置，包括：

目标帧图像获取模块，用于获取目标帧图像，所述目标帧图像中包括待跟踪的N个目标，所述N个目标的颜色均不相同；

纯色图像生成模块，用于基于所述N个目标，生成与每个目标的颜色相同的纯色图像；

像素处理模块，用于对所述目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及所述纯色图像中每个像素点的像素值；

像素点差运算结果获得模块，用于将所述目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；

位置确定模块，用于获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标。

第三方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现第一方面中所述的方法步骤。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中所述的方法步骤。

本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提供了一种多目标跟踪方法，包括：获取目标帧图像，该目标帧图像中包括待跟踪的N个目标，N个目标的颜色均不同；基于N个目标，生成与每个目标的颜色相同的纯色图像；对目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及纯色图像中每个像素点的像素值；将目标帧图像中每个像素点的像素值分别于每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；获取像素点差运算结果小于第一预设值的区域，将所述区域确定为目标帧图像中的目标，进而通过颜色来区分不同的目标，提高了识别准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：

图1示出了本发明实施例中多种跟踪方法的步骤流程示意图；

图2示出了本发明实施例中多种跟踪装置的结构示意图；

图3示出了本发明实施例中实现多种跟踪方法的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

本发明的实施例提供了一种多目标跟踪方法，如图1所示，包括：

S101，获取目标帧图像，该目标帧图像中包括待跟踪的N个目标，N个目标的颜色均不相同；

S102，基于N个目标，生成于每个目标的颜色相同的纯色图像；

S103，对目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及纯色图像中每个像素点的像素值；

S104，将目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；

S105，获取像素点差运算结果小于第一预设值的区域，将该区域确定为目标帧图像中的目标。

该多目标跟踪方法可以应用在安防领域或者自动驾驶领域等等。

首先，S101中，获取目标帧图像，该目标帧图像即为当前待识别的图像，其中，该目标帧图像中包括待跟踪的N个目标，且N个目标的颜色均不相同。

比如，监控视频中的一帧图像中，包括：一条狗、一个小孩以及一个外卖人员这三个目标，这三个目标的颜色均不相同。

接着，S102，基于N个目标，生成与每个目标的颜色相同的纯色图像。

在一种可选的实施方式中，该纯色图像的尺寸与该目标帧图像的尺寸相同。采用相同的尺寸的图像，以便于后续的识别。

针对上述的例子，根据监控视频的一帧图像中，目标1：一条狗对应的颜色为黑色，生成目标1对应的纯色图像为全黑图像；目标2，一个小孩，小孩的上衣为红色，生成目标2对应的纯色图像为全红图像；目标3，一个外卖人员，外卖人员的衣服为黄色，生成目标3对应的纯色图像为全黄图像。

然后，执行S103，对目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及纯色图像中每个像素点的像素值。

具体地，获取目标帧图像中每个像素点的RGB像素值以及纯色图像上每个像素点的RGB像素值；

将目标帧图像中每个像素点的RGB像素值以及纯色图像中每个像素点的RGB像素值分别转换到XYZ颜色空间，得到目标帧图像中每个像素点的XYZ颜色空间像素值以及纯色图像中每个像素点的XYZ颜色空间像素值。

接着，将目标帧图像中每个像素点的XYZ颜色空间像素值以及纯色图像中每个像素点的XYZ颜色空间像素值分别转换到Lab颜色空间，得到目标帧图像中每个像素点的Lab颜色空间像素值以及纯色图像中每个像素点的Lab颜色空间像素值。

由于目标帧图像中的每个像素点的像素值是RGB像素值，每幅纯色图像中每个像素点的像素值也是RGB像素值，由于RGB像素值为对于机器视觉识别来说，识别准确度并不高，因此，为了提高识别准确度，将其转换空间，具体的做法，就是先将其转换至XYZ颜色空间，接着，在转换至Lab颜色空间。在Lab颜色空间的像素值能够便于机器视觉识别。

将RGB像素值转换到XYZ颜色空间像素值的关系如下：

(1)

（2）

XYZ颜色空间像素值转换到Lab颜色空间像素值

X_n，Y_n，Z_n分别指参照白点CIE XYZ三色刺激值。（下标n表示“normalized”)。计算时，X_n = 96.4221,Y_n = 100.0000，Z_n = 82.5221。

由此得到目标帧图像中每个像素点的Lab颜色空间像素值以及纯色图像中每个像素点的Lab颜色空间像素值。Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]，b表示从黄色到蓝色的范围，取值范围是[127,-128]。该Lab颜色空间像素值能够将不同颜色区分地更清晰。

接下来，执行S104，将目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果。

由于按照上述像素空间的转换之后，得到目标帧图像中每个像素点的像素值以及每幅纯色图像中每个像素点的像素值，通过将目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，具体就是将目标帧图像与任意一幅纯色图像中相同位置的像素点的像素值做差，得到该位置像素点差运算结果。

接着，对每个像素点的像素点差运算结果进行分析，执行S105，获取像素点差运算结果小于第一预设值的区域，将该区域确定为目标帧图像中的目标。

比如，将目标帧图像中每个像素点的像素值与上述案例中的全黄图像中每个像素点的像素值进行比较，由此得到，其中某个位置区域的像素点差运算结果小于第一预设值，该第一预设值可根据实际情况来定，且该第一预设值越小则识别准确率越高，从而说明该位置区域为目标，在该案例中应当为黄色所代表的外卖人员目标。

在确定所追踪的目标之后，该方法还包括：

判断目标帧图像中的N个目标是否存在消失目标，该消失目标为未跟踪识别到的目标；

若是，从目标帧图像的前一帧图像中确定消失目标；

获取前一帧图像中的N-1个目标分别于该消失目标之间的距离；

基于前一帧图像中的N-1个目标分别于该消失目标之间的距离，确定在目标帧图像中消失目标的位置。

由于追踪的目标在一瞬间会突然消失，那么，如何确定该消失目标的位置则通过上述方式来确定。

其中，判断目标帧图像中的N个目标中是否存在消失目标，包括：判断目标帧图像中的目标数量于前一帧图像中的目标数量是否相同；

若是，确定目标帧图像中不存在消失目标；若否，确定目标帧图像中存在消失目标。

当然，不存在消失目标则不用考虑，若存在消失目标，则需要对消失目标的位置进行确定。

由于前一帧图像中该消失目标并没有消失，因此，从前一帧图像中可以确定该消失目标的位置。接着，在前一帧图像中获取N-1个目标分别与该消失目标之间的距离，具体是根据该距离来确定消失目标的位置。

具体地，基于前一帧图像中的N-1个目标分别与该消失目标之间的距离，在距离小于第二预设值时，将对应的目标确定为遮挡消失目标的前景目标，将前景目标的位置确定为目标帧图像中消失目标的位置。

也就是说，将在前一帧图像中距离消失目标最近的目标确定在目标帧图像中遮挡消失目标的前景目标，而该前景目标的位置确定为目标帧图像中消失目标的位置。

因此，采用这种方式，可以避免遮挡目标造成的识别不到的问题。

由于光照条件影响可能会对颜色的确定上造成影响，因此，在获取像素点差运算结果小于第一预设值的区域，将该区域确定为目标帧图像中的目标之后，还包括：

基于目标帧图像中所确定的N个目标的颜色，对下一帧图像中N个目标进行跟踪。

也就是说，将上一帧图像中跟踪的目标所确定的颜色，作为下一帧图像中目标的颜色，这样就可以避免由于光线原因造成的干扰。

实施例二

基于相同的发明构思，本发明实施例还提供了一种多目标跟踪装置，如图2所示，包括：

目标帧图像获取模块201，用于获取目标帧图像，所述目标帧图像中包括待跟踪的N个目标，所述N个目标的颜色均不相同；

纯色图像生成模块202，用于基于所述N个目标，生成与每个目标的颜色相同的纯色图像；

像素处理模块203，用于对所述目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及所述纯色图像中每个像素点的像素值；

像素点差运算结果获得模块204，用于将所述目标帧图像中每个像素点的像素值分别与每幅纯色图像中每个像素点的像素值进行像素点差运算，获得像素点差运算结果；

位置确定模块205，用于获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标。

在一种可选的实施方式中，所述纯色图像的尺寸与所述目标帧图像的尺寸相同。

在一种可选的实施方式中，像素处理模块203，用于获取目标帧图像中每个像素点的RGB像素值以及所述纯色图像中每个像素点的RGB像素值；将所述目标帧图像中每个像素点的RGB像素值以及所述纯色图像中每个像素点的RGB像素值分别转换到XYZ颜色空间，得到所述目标帧图像中每个像素点的XYZ颜色空间像素值以及所述纯色图像中每个像素点的XYZ颜色空间像素值；将所述目标帧图像中每个像素点的XYZ颜色空间像素值以及所述纯色图像中每个像素点的XYZ颜色空间像素值分别转换到Lab颜色空间，得到所述目标帧图像中每个像素点的Lab颜色空间像素值以及所述纯色图像中每个像素点的Lab颜色空间像素值。

在一种可选的实施方式中，还包括：

判断模块，用于判断所述目标帧图像中的N个目标中是否存在消失目标，所述消失目标为未跟踪识别到的目标；

第一确定模块，用于若是，从所述目标帧图像的前一帧图像中确定消失目标；

获取模块，用于获取所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离；

第二确定模块，用于基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，确定在所述目标帧图像中所述消失目标的位置。

在一种可选的实施方式中，判断模块，用于判断所述目标帧图像中的目标数量与所述前一帧图像中的目标数量是否相同；若是，确定所述目标帧图像中不存在消失目标；若否，确定所述目标帧图像中存在消失目标。

在一种可选的实施方式中，第二确定模块，基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，在所述距离小于第二预设值时，将对应的目标确定为遮挡所述消失目标的前景目标，将所述前景目标的位置确定为在所述目标帧图像中所述消失目标的位置。

在一种可选的实施方式中，还包括：

跟踪模块，用于基于所述目标帧图像中所确定的N个目标的颜色，对下一帧图像中的N个目标进行跟踪。

实施例三

基于相同的发明构思，本发明实施例提供了一种计算机设备，如图3所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现上述多目标跟踪方法的步骤。

其中，在图3中，总线架构（用总线300来代表），总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

实施例四

基于相同的发明构思，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多目标跟踪方法的步骤。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的多目标跟踪装置、计算机设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种多目标跟踪方法，其特征在于，包括：

基于所述N个目标，生成与每个目标的颜色相同的纯色图像；

2.如权利要求1所述的方法，其特征在于，所述纯色图像的尺寸与所述目标帧图像的尺寸相同。

3.如权利要求1所述的方法，其特征在于，所述对所述目标帧图像和纯色图像进行处理，得到目标帧图像中每个像素点的像素值以及所述纯色图像中每个像素点的像素值，包括：

4.如权利要求1所述的方法，其特征在于，在所述获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标之后，还包括：

若是，从所述目标帧图像的前一帧图像中确定消失目标；

5.如权利要求4所述的方法，其特征在于，判断所述目标帧图像中的N个目标中是否存在消失目标，包括：

若是，确定所述目标帧图像中不存在消失目标；

若否，确定所述目标帧图像中存在消失目标。

6.如权利要求4所述的方法，其特征在于，基于所述前一帧图像中的N-1个目标分别与所述消失目标之间的距离，确定在所述目标帧图像中所述消失目标的位置，包括：

7.如权利要求1所述的方法，其特征在于，在所述获取像素点差运算结果小于第一预设值的区域，将所述区域确定为所述目标帧图像中的目标之后，还包括：

8.一种多目标跟踪装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~7中任一权利要求所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1~7中任一权利要求所述的方法步骤。