CN114063098A - 多目标跟踪方法、装置、计算机设备和存储介质 - Google Patents

多目标跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114063098A
CN114063098A CN202010777506.9A CN202010777506A CN114063098A CN 114063098 A CN114063098 A CN 114063098A CN 202010777506 A CN202010777506 A CN 202010777506A CN 114063098 A CN114063098 A CN 114063098A
Authority
CN
China
Prior art keywords
point cloud
dimensional
point
target
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010777506.9A
Other languages
English (en)
Inventor
王邓江
黄超
王亚军
邓永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202010777506.9A priority Critical patent/CN114063098A/zh
Publication of CN114063098A publication Critical patent/CN114063098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种多目标跟踪方法、装置、计算机设备和存储介质，通过根据当前帧点云数据对应的二维图像获取各检测对象在二维图像中的第一特征，并获取各检测对象的第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度，以及相似度小于预设相似度阈值的检测对象在当前帧点云数据中的三维检测框与预测的除相似度大于预设相似度阈值的目标之外的剩余目标在当前帧点云数据中的轨迹之间的交并比，然后对相似度大于预设相似度阈值的各检测对象和交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。该方法可以使得跟踪过程每个待跟踪的目标都可以稳定地被跟踪。

Description

多目标跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及跟踪技术领域，特别是涉及一种多目标跟踪方法、装置、计算机设备和存储介质。
背景技术
随着跟踪技术的发展，目标跟踪在越来越多的领域得到了广泛应用，例如，智能监控、人机交互、视频检索等领域。
目标跟踪包括单目标跟踪和多目标跟踪。通常大多数领域使用的是单目标跟踪，但对于部分领域是需要使用到多目标跟踪，多目标跟踪，顾名思义，就是在一段视频中同时跟踪多个目标，例如安防监控和自动驾驶等应用场景，这些场景中往往需要对多个目标同时进行跟踪。多目标跟踪时会碰到很多问题，例如，目标被频繁遮挡等，这些问题会导致各目标的跟踪不够稳定。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高多目标跟踪稳定性的多目标跟踪方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供一种多目标跟踪方法，该方法包括：
根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征；
获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
在其中一个实施例中，上述根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征，包括：
将预设范围内的当前帧点云数据转换为对应的二维图像；
从二维图像中提取各检测对象的第一特征。
在其中一个实施例中，从二维图像中提取各检测对象的第一特征，包括：
通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框；
将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框；
提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在其中一个实施例中，上述将当前帧点云数据中的预设范围转换为对应的二维图像，包括：
将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标；
根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；
根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；
根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图；
将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
在其中一个实施例中，上述根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图，包括：
对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
在其中一个实施例中，上述根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图，包括：
对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
在其中一个实施例中，上述根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图，包括：
根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；
将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
在其中一个实施例中，上述将鸟瞰图、强度图和密度图进行合并处理，得到二维图像，包括：
将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，得到二维图像。
在其中一个实施例中，在获取第二特征与剩余目标的预测轨迹之间的交并比之前，该方法还包括：
通过预设的跟踪算法模型基于各剩余目标在上一帧点云数据中的轨迹，预测各剩余目标在当前帧点云数据中的轨迹。
在其中一个实施例中，在对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪之后，该方法还包括：
确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
第二方面，本申请实施例提供一种多目标跟踪装置，该装置包括：
特征获取模块，用于根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征；
相似度获取模块，用于获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
交并比获取模块，用于获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
跟踪模块，对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
在其中一个实施例中，上述特征获取模块包括：转换单元和提取单元，其中，
转换单元，用于将预设范围内的当前帧点云数据转换为对应的二维图像；
提取单元，用于从二维图像中提取各检测对象的第一特征。
在其中一个实施例中，上述提取单元还包括：
三维检测框获取子单元，用于通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框；
二维检测框获取子单元，用于将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框；
提取子单元，用于提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在其中一个实施例中，上述二维检测框获取子单元包括：
转换子单元，用于将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标；
第一获取子单元，用于根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；
第二获取子单元，用于根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；
第三获取子单元，用于根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图；
合并子单元，用于将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
在其中一个实施例中，上述第一获取子单元，具体用于对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
在其中一个实施例中，上述第二获取子单元，具体用于对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
在其中一个实施例中，上述第三获取子单元，具体用于根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
在其中一个实施例中，上述合并子单元，具体用于将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，得到二维图像。
在其中一个实施例中，该装置还包括：预测模块，用于通过预设的跟踪算法模型基于各目标在上一帧点云数据中的轨迹，预测各在当前帧点云数据中的轨迹。
在其中一个实施例中，该装置还包括：跟踪标记单元，用于确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例提供的任一方法的步骤。
本申请实施例提供的一种多目标跟踪方法、装置、计算机设备和存储介质，通过根据当前帧点云数据对应的二维图像获取各检测对象在二维图像中的第一特征，并获取各检测对象的第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度，以及相似度小于预设相似度阈值的检测对象在当前帧点云数据中的三维检测框与预测的除相似度大于预设相似度阈值的目标之外的剩余目标在当前帧点云数据中的轨迹之间的交并比，然后对相似度大于预设相似度阈值的各检测对象和交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。由于先基于相似度对当前帧中检测对象的第一特征与待跟踪的各目标在上一帧已确定的轨迹特征进行匹配，然后将没有匹配成功的检测对象的第一特征与待跟踪的各目标在当前帧预测的轨迹进行交并比匹配，整个过程采用不同的匹配方式混合匹配，从不同的维度进行匹配，可以有效地将当前帧中检测对象都匹配得到的对应的目标，避免目标作为检测对象时因被遮挡时导致的该目标未匹配成功而丢失跟踪，使得跟踪过程每个待跟踪的目标都可以稳定地被跟踪；另外，该方法中在进行匹配时，是将点云数据从三维转换为二维图像后，通过二维图像对三维点云数据中多目标进行跟踪的，基于二维图像进行减少了运算量，提高了目标的跟踪效率。
附图说明
图1为一个实施例中多目标跟踪方法的应用环境图；
图1a为一个实施例中计算机设备的内部结构图；
图2为一个实施例中多目标跟踪方法的流程示意图；
图3为另一个实施例中多目标跟踪方法的流程示意图；
图4为另一个实施例中多目标跟踪方法的流程示意图；
图5为另一个实施例中多目标跟踪方法的流程示意图；
图6为一个实施例中转换二维图像的示意图；
图7为另一个实施例中多目标跟踪方法的流程示意图；
图8为另一个实施例中多目标跟踪方法的流程示意图；
图9为另一个实施例中多目标跟踪方法的流程示意图；
图10为一个实施例中多目标跟踪方法的示意图；
图11为一个实施例中多目标跟踪装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的多目标跟踪方法，可以应用于如图1所示的应用环境中。其中，计算机设备通过网络与激光雷达进行通信。其中，计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，激光雷达包括但不限于是脉冲雷达、连续波雷达、米波雷达、分米波雷达、厘米波雷达等等。
其中，计算机设备的内部结构图请参见图1a。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多目标跟踪的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多目标跟踪方法。
本申请实施例提供一种多目标跟踪方法、装置、计算机设备和存储介质，能够提高多目标跟踪稳定性。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种多目标跟踪方法，图2-图10的执行主体为计算机设备。其中，该图2-图10的执行主体还可以是多目标跟踪装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
在一个实施例中，如图2所示，提供了一种多目标跟踪方法，该实施例涉及的是计算机设备根据点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征，然后获取各检测对象的第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度，再获取相似度小于预设相似度阈值的检测对象的第一特征在当前帧点云数据中的三维检测框与预测的剩余目标在当前帧点云数据的轨迹之间的交并比后，对相似度大于预设相似度阈值的和交并比大于预设的交并比阈值的各检测对象分别进行跟踪标记的具体过程，该实施例包括以下步骤：
S101，根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征。
其中，点云数据是采用激光雷达采集的某一空间场景中包括待跟踪的各目标的三维点云数据，当前帧点云数据即为当前时刻采集的该空间场景中包括待跟踪的各目标的三维点云数据，目标处于该空间场景中，例如，目标为车辆，车辆行驶在某一道路上，路侧设置的激光雷达对该道路一定范围进行扫描，得到该空间场景中的三维点云数据。
二维图像是将采集的该空间场景的三维点云数据转换的对应二维图像。其中，该当前帧点云数据对应的二维图像可以是计算机设备获取到激光雷达采集的三维点云数据后，通过预设的转换关系将三维点云数据转换为二维图像。
在得到当前帧点云数据对应的二维图像后，计算机设备基于该二维图像获取各检测对象在二维图像中的第一特征。例如，该第一特征是从二维图像中的各检测对象的检测框中提取的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征等，也可以是其他特征，本实施例对此不作限定。这里需要说明的是，多目标跟踪即需要同时跟踪多个目标，即在每帧点云数据中都存在多个目标需要跟踪；以本申请实施例当前帧点云数据为例进行说明，就是需要确定出当前帧点云数据中每个检测对象分别属于哪一个待跟踪的目标，确定了当前帧点云数据中各检测对象的所属目标后，就可以确定出各待跟踪的目标在当前帧点云数据中的轨迹。所以在本申请所有实施例中，跟踪过程(还未跟踪成功)的称为检测对象，跟踪成功的称为目标(或待跟踪的目标)，后续不再赘述。
其中，获取各检测对象在二维图像中的第一特征的方式，可以是通过预先训练好的特征提取网络模型，将该二维图像输入至特征提取网络模型中，得到二维图像中每一个检测对象的第一特征。
S102，获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度。
实际应用中，在进行目标跟踪时，是以视频流中一帧一帧图像确定出图像中目标的轨迹，从而实现对目标的跟踪。
本实施例获取的是当前帧点云数据对应的二维图像中各检测对象的第一特征，而上一帧点云数据中待跟踪的各目标的轨迹是已经确定了的，所以以上一帧点云数据中各目标的轨迹为标准，判断当前帧点云数据对应的二维图像中各检测对象的第一特征与上一帧点云数据中各目标的轨迹特征之间是否匹配，具体地，通过获取当前帧点云数据对应的二维图像中各检测对象的第一特征与上一帧点云数据中各目标的轨迹特征之间的相似度的方式确定是否匹配。
需要说明的是，本申请实施例中的上一帧包括：与当前帧相邻的上一帧和与当前帧不相邻的上一帧，也就是说，这里的上一帧只要是在当前帧之前的即可，不是必须与当前帧相邻的，例如，若是在一段视频流中，当前帧n中的某一个目标a在n-1帧中丢失，但是在n-2中跟踪成功，那么对于目标a来说这里的上一帧就是指的n-2帧。后续实施例中也以此为准，不再赘述。
其中，获取各检测对象的第一特征与各目标在上一帧点云数据中的轨迹特征之间的相似度的方式，可以是获取两者之间的余弦相似度，也可以通过距离度量，例如计算欧式距离等方式，本实施例对此不作限定。可以理解的是，由于每帧图像中待跟踪的目标都不止一个，所以在当前帧中的每个检测对象都需要和上一帧中已确定的各待跟踪的目标的轨迹之间计算相似度。
获取了各检测对象的第一特征与各目标在上一帧点云数据中的轨迹特征之间的相似度后，相似度高于预设的相似度阈值的表示两者之间非常相似，可确定两者匹配成功，而相似度低于预设的相似度阈值的表示两者之间相差较大，两者匹配失败。
S103，获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框。
将上述步骤中相似度小于预设的相似度阈值的第一特征的检测对象在当前帧点云数据中对应的三维检测框作为第二特征，即第二特征其实是多个三维检测框，获取各第二特征与剩余目标的预测轨迹之间的交并比，其中，剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标，即在上述步骤中相似度匹配中未匹配成功的目标，而预测轨迹表示的是预测的各剩余目标在当前帧点云数据中的轨迹，即获取的是各第二特征与预测的各剩余目标在当前帧点云数据中的轨迹之间的交并比。这里需要说明的是，每个目标的轨迹在点云数据中是以立体矩形框的形式展示的，但实际的目标的轨迹并不限制在该立体矩形框内。
可选地，通过预设的跟踪算法模型基于各剩余目标在上一帧点云数据中的轨迹，预测各剩余目标在当前帧点云数据中的轨迹。
即本步骤中预测的各剩余目标在当前帧点云数据的轨迹指的是通过预先构建的跟踪算法模型，预测出的当前帧点云数据中各剩余目标的轨迹，例如，卡尔曼滤波器，基于上一帧点云数据中已确定的各剩余目标的轨迹。然后以该预测的当前帧点云数据中各剩余目标的轨迹作为标准，通过计算第二特征分别与预测的该当前帧点云数据中各剩余目标的轨迹之间的交并比，来判断两者是否匹配。
其中，计算第二特征与预测的该当前帧点云数据中各剩余目标的轨迹之间的交并比的方式，可以为：计算第二特征中的每一个第一特征的检测对象在当前帧点云数据中的三维检测框，与当前帧点云数据中各剩余目标的轨迹的立体矩形框之间的交集与并集的比值。
获取了第二特征与预测的该当前帧点云数据中各目标的轨迹之间的交并比后，交并比高于预设的交并比阈值的表示两者之间非常相似，可确定两者匹配成功，而交并比低于预设的交并比阈值的表示两者之间相差较大，两者匹配失败。
S104，对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
上述步骤中相似度大于预设相似度阈值以及交并比大于预设的交并比阈值均表示匹配成功的，对于所有匹配成功的各第一特征对应的检测对象，可确定出该检测对象的标识就是与其匹配成功的上一帧点云数据中的轨迹对应的已知目标的标识，或者，是与其匹配成功的当前帧点云数据的预测轨迹对应的已知目标的标识。在确定了匹配成功的各第一特征的检测对象的标识之后，将检测对象与该标识进行关联，关联以后，就可以根据关联的标识确定检测对象是哪一个目标，这样就完成对匹配成功的检测对象的标记并跟踪。
可选地，在对匹配成功的检测对象进行了标记跟踪后，确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
得到了检测对象的标识，就可以确定检测对象所属的目标，依次确定了当前帧点云数据中每一个检测对象所属的目标后，就实现了对当前帧点云数据中目标的跟踪，同时也需要对当前帧点云数据中的各目标的轨迹进行更新，具体地，更新的方式是直接将各检测对象的第一特征和第一特征对应的三维检测框共同作为该检测对象所属的目标在当前帧点云数据中的轨迹特征。可以理解的是，更新后的当前帧点云数据中目标的轨迹特征就可以作为下一帧点云数据的上一帧点云数据中已确定的目标的轨迹特征。
本实施例提供的一种多目标跟踪方法，通过根据当前帧点云数据对应的二维图像获取各检测对象在二维图像中的第一特征，并获取各检测对象的第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度，以及相似度小于预设相似度阈值的检测对象在当前帧点云数据中的三维检测框与预测的除相似度大于预设相似度阈值的目标之外的剩余目标在当前帧点云数据中的轨迹之间的交并比，然后对相似度大于预设相似度阈值的各检测对象和交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。由于先基于相似度对当前帧中检测对象的第一特征与待跟踪的各目标在上一帧已确定的轨迹特征进行匹配，然后将没有匹配成功的检测对象的第一特征与待跟踪的各目标在当前帧预测的轨迹进行交并比匹配，整个过程采用不同的匹配方式混合匹配，从不同的维度进行匹配，可以有效地将当前帧中检测对象都匹配得到的对应的目标，避免目标作为检测对象时因被遮挡时导致的该目标未匹配成功而丢失跟踪，使得跟踪过程每个待跟踪的目标都可以稳定地被跟踪；另外，该方法中在进行匹配时，是将点云数据从三维转换为二维图像后，通过二维图像对三维点云数据中多目标进行跟踪的，基于二维图像进行减少了运算量，提高了目标的跟踪效率。
在获取上述各检测对象在二维图像中的第一特征时，需要基于当前帧点云数据对应的二维图像进行获取，基于此，下面提供一些实施例对计算机设备基于当前帧点云数据对应的二维图像获取各检测对象在二维图像中的第一特征的过程进行说明。如图3所示，在一个实施例中，上述S101包括以下步骤：
S201，将预设范围内的当前帧点云数据转换为对应的二维图像。
由于实际应用中，激光雷达本身能够扫描的范围可达360度，但待跟踪的目标所出现的场景可能只是其中的部分范围，所以可以根据实际需求，先定义要跟踪的空间范围，例如，该预设范围可以是以激光雷达为原点，x轴、y轴为±70m的范围。然后基于该预定义的范围，计算机设备对该预设范围内的激光雷达扫描的点云数据进行转换，以得到该预设范围的点云数据对应的二维图像。
其中，计算机设备将预设范围的点云数据转换为对应的二维图像的方式，可以是将当前帧点云数据作为输入数据作为预先训练好的转换网络模型的输入数据，输出结果即为得到该当前帧点云数据中的预设范围对应的二维图像。也可以是，通过预设的步骤进行转换，例如，先基于预设的三维坐标系和二维坐标系之间的映射关系，将预设范围内的点云数据中的每一个点云点的三维坐标转换为二维坐标后，得到该预设范围中每个点云点的二维坐标，然后确定每个二维坐标对应的点云点上对应的像素值，确定的每个二维坐标位置的像素值后，得到该预设范围对应的二维图像。这样，得到的二维图像中每个点的二维坐标位置处该点的像素值也不相同，也保留了三维点云点的特征。本实施例对从当前帧点云数据中获取预设范围对应的二维图像的方式不作限制。
S202，从二维图像中提取各检测对象的第一特征。
在得到二维图像后，提取该二维图像中各检测对象的第一特征。其中，提取各检测对象的第一特征的前提是需要先确定各检测对象在该二维图像中的位置，例如，可以采用一些目标检测算法从二维图像中检测各检测对象，得到各检测对象的检测框；也可以是从三维点云数据中检测出各检测对象的三维检测框后，将三维检测框转换为二维检测框，该二维检测框即为检测对象在二维图像中的检测结果。
得到各检测对象在二维图像中的二维检测框后，可以将各二维检测框的特征作为对应检测对象的第一特征，例如，提取二维检测框的方向梯度直方图(Histogram ofOriented Gradient，HOG)特征作为对应检测对象的第一特征。其中，需要说明的是，本实施例中得到的检测框至少可以表示出各目标的位置和尺寸信息，但不能确定各检测对象的标识。
本实施例提供的一种多目标跟踪方法，将预设范围内的当前帧点云数据转换为对应的二维图像后，从二维图像中提取各检测对象的第一特征，将点云数据转换为二维图像，然后基于二维图像提取各检测对象的特征，减少了运算量，提高了特征提取效率。
在一个实施例中，以从三维点云数据中检测出各检测对象的三维检测框后，将三维检测框转换为二维检测框的方式为例，对从二维图像中提取各检测对象的第一特征的过程进行说明，如图4所示，上述S302包括以下步骤：
S301，通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框。
在获取点云数据中各检测对象的三维检测框时，也是从与上述转换的对应二维图像的预设范围中检测各检测对象，并确定出该预设范围内各检测对象的三维检测框。
其中，检测方式也是采用预设的三维目标检测器进行，即将当前帧点云数据输入至该预设的三维目标检测器中，得到预设范围中各检测对象的三维检测框。对于三维目标检测器的训练信息不作限定，只要其可以实现训练三维目标检测即可。
S302，将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框。
在各检测对象的三维检测框确定后，每个三维检测框上的点的三维坐标也是确定的，将每个点的三维坐标转换为二维坐标，即得到每个三维检测框对应的二维检测框。
其中，转换三维坐标到二维坐标可以基于三维坐标系和二维坐标系之间的映射关系进行，例如，三维坐标系和二维坐标系之间的映射关系可以如下公式(1)所示：
Figure BDA0002618994120000171
上述公式(1)中a、b表示点云点在三维坐标系中的坐标，at、bt表示点云点映射后在二维坐标系中的坐标，h表示点云边界到y轴的距离，w表示点云边界到x轴的距离，其中，x轴和y轴是以激光雷达为原点的坐标轴。
S303，提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在得到预设范围内各检测对象的二维检测框之后，提取二维检测框的特征，例如，提取HOG特征，将提取各二维检测框的特征作为对应检测对象的第一特征。
本实施例提供的目标检测方法，通过预设的三维目标检测器获取当前帧点云数据的预设范围内各检测对象的三维检测框，然后将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框，并提取各检测对象的二维检测框的特征作为各检测对象的第一特征，以从点云数据中检测的三维检测框作为基础，可以保证各检测对象三维检测框的准确性，从而使得提取的二维检测框的特征可以更加准确地反映各检测对象的特征。
下面以一种实施例，对上述获取当前帧点云数据中的预设范围对应的二维图像的过程进行说明，如图5所示，在一个实施例中，上述S201包括以下步骤：
S401，将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标。
请参见上述公式(1)，基于公式(1)的映射关系，转换当前帧点云数据在预设范围中的点云点的三维坐标为二维坐标。
S402，根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图。
本步骤中分别获取了预设范围对应的鸟瞰图、强度图和密度图，这三个图都是二维图像。
获取预设范围对应的鸟瞰图是根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标确定的。其中，点云点的二维图像坐标是上述S401步骤中转换得到的，每个点云点在二维坐标决定了该点云点在二维平面上的位置。其中，点云点在三维坐标中的z轴坐标是点云点在点云数据所在的三维坐标中的Z坐标，Z坐标也可以看做是该点云点在二维坐标中的高度。基于预设范围中，每个点云点在二维平面上的位置和该点云点在二维坐标中的高度，可以得到该预设范围对应的鸟瞰图。
在一个实施例中，如图6所示和图7所示，根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标确定预设范围对应的鸟瞰图，包括：
S501，对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值。
先根据点云点在三维坐标中的z轴坐标确定出每个点云点在鸟瞰图中像素值，因为像素值的范围是0-255，所以要先对点云点在三维坐标中的z轴坐标，做归一化处理，归一化到0～255之间，归一化后的值即为各点云点在鸟瞰图中像素值。
S502，以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
得到各点云点在鸟瞰图中像素值后，结合各点云点在二维坐标可确定到每个点云点的坐标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最终的鸟瞰图。
获取强度图是根据各点云点的二维图像坐标和各点云点的强度确定的，其中，点云点的强度是激光雷达采集点云数据时每个点云的强度也可得到。基于预设范围中每个点云点在二维平面上的位置和该点云点的强度，可以得到该预设范围对应的强度图。
在一个实施例中，如图6和图8所示，根据各点云点的二维图像坐标和各点云点的强度确定预设范围对应的强度图，包括：
S601，对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值。
先根据点云点的强度确定出每个点云点在鸟瞰图中像素值，同样，像素值的范围是0-255，所以要先对点云点的强度做归一化处理，归一化到0～255之间，归一化后的值即为各点云点在强度图中像素值。
S602，以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
得到各点云点在强度图中像素值后，结合各点云点在二维坐标可确定到每个点云点的坐标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最终的强度图。
在一个实施例中，如图6所示和图9所示，根据鸟瞰图中各点云点在z轴方向的密度确定预设范围对应的密度图，包括：
S701，根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度。
获取密度图是根据鸟瞰图中各点云点在z轴方向的密度确定的，其中，点云点在z轴方向的密度指的是在点云三维坐标时，每个x轴和y轴决定的位置处在z轴方向上点云点的数量的密度。
以x坐标和y坐标决定一个像素点的二维坐标位置，那么预设范围中每个点云点都对应一个二维坐标位置，获取每个二维坐标位置在z轴方向上的点云点的数量，那么对于其中一个点云点来说，根据该点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，就可以确定该点云点在z轴方向的密度。
例如，点云点在z轴方向的密度可通过下述公式(2)确定。
Figure BDA0002618994120000201
其中，ρi为第i个像素点(即二维坐标位置)的密度，ci为第i个像素点的点云数量，cmin为各像素点中点云数量的最小值，cmax表示各像素点中点云数量的最大值。
S702，将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
得到各点云点的密度后，将该密度作为该点云点的像素点，结合各点云点在二维坐标可确定到每个点云点的坐标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最终的密度图。
S403，将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
得到点云数据中预设范围对应的鸟瞰图、强度图和密度图后，将这三个二维的图像进行合并，可选地，将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，即可得到该预设范围对应的二维图像。
本实施例中，先根据坐标映射关系，将三维点云数据中预设范围内的点云点从三维坐标系映射到二维坐标系，然后根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图，根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图，以及根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图。最后将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。由于是先获取了鸟瞰图、强度图和密度图，该三个图中每个点的像素值都是基于点云数据的实际数据转换的，即将点云点在点云中的该有的信息均做了保留，当将这三个图合并得到的二维图像中各点的像素值也可以准确反映出点云点在三维点云中的信息，从而使得从二维图像中提取的各检测对象的第一特征也更加精确，进而使得各检测对象与待跟踪的各目标的匹配更加准确，可以有效地对每一个目标进行跟踪。
在一个实施例中，如图10所示，提供了一种多目标跟踪方法的实施例，该实施例包括：
S801，开始；
S802，获取当前帧点云数据；
S803，通过三维目标检测器获取当前帧点云数据中各检测对象的三维检测框；
S804，根据各检测对象的三维检测框和当前帧点云数据对应的二维图像，确定出二维图像中各检测对象的特征；
S805，计算当前帧点云数据对应的二维图像中各检测对象的特征与上一帧点云数据中待跟踪的各目标的轨迹特征的相似度；
S806，相似度是否高于相似度阈值，若是，执行S809，若否，执行S807；
S807，获取相似度低于相似度阈值的二维图像中的检测对象的特征与预测的当前帧点云数据中剩余目标的轨迹之间的交并比；
S808，交并比是否高于交并比阈值，若是，执行S809，若否，执行S812；
S809，匹配成功，对匹配成功的检测对象关联对应目标的id；
S810，对匹配成功的检测对象，根据该检测对象的特征和三维检测框更新其关联的目标在当前帧点云数据中的轨迹；
S811，采用三维卡尔曼滤波器根据当前帧点云数据中各目标的轨迹预测下一帧点云数据中各目标的轨迹；执行S807；
S812，结束。
本实施例提供的多目标跟踪方法中各步骤，其实现原理和技术效果与前面各多目标跟踪方法实施例中类似，在此不再赘述。图10实施例中各步骤的实现方式只是一种举例，对各实现方式不作限定，各步骤的顺序在实际应用中可进行调整，只要可以实现各步骤的目的即可。
应该理解的是，虽然图2-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种多目标跟踪装置，该装置包括：特征获取模块10、相似度获取模块11、交并比获取模块12和跟踪模块13，其中：
特征获取模块10，用于根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征；
相似度获取模块11，用于获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
交并比获取模块12，用于获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
跟踪模块13，用于对对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
在一个实施例中，上述特征获取模块10包括：转换单元和提取单元，其中，
转换单元，用于将预设范围内的当前帧点云数据转换为对应的二维图像；
提取单元，用于从二维图像中提取各检测对象的第一特征。
在一个实施例中，上述提取单元还包括：
三维检测框获取子单元，用于通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框；
二维检测框获取子单元，用于将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框；
提取子单元，用于提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在一个实施例中，上述二维检测框获取子单元包括：
转换子单元，用于将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标；
第一获取子单元，用于根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；
第二获取子单元，用于根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；
第三获取子单元，用于根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图；
合并子单元，用于将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
在一个实施例中，上述第一获取子单元，具体用于对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
在一个实施例中，上述第二获取子单元，具体用于对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
在一个实施例中，上述第三获取子单元，具体用于根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
在一个实施例中，上述合并子单元，具体用于将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，得到二维图像。
在一个实施例中，该装置还包括：预测模块，用于通过预设的跟踪算法模型基于各剩余目标在上一帧点云数据中的轨迹，预测各剩余目标在当前帧点云数据中的轨迹。
在一个实施例中，该装置还包括：跟踪标记单元，用于确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
关于多目标跟踪装置的具体限定可以参见上文中对多目标跟踪方法的限定，在此不再赘述。上述多目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1a所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1a中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征；
获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将预设范围内的当前帧点云数据转换为对应的二维图像；
从二维图像中提取各检测对象的第一特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框；
将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框；
提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标；
根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；
根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；
根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图；
将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；
将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，得到二维图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设的跟踪算法模型基于各剩余目标在上一帧点云数据中的轨迹，预测各剩余目标在当前帧点云数据中的轨迹。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据当前帧点云数据对应的二维图像，获取各检测对象在二维图像中的第一特征；
获取各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
获取第二特征与剩余目标的预测轨迹之间的交并比；剩余目标为待跟踪的各目标中除相似度大于预设相似度阈值的目标之外的目标；预测轨迹表示预测的剩余目标在当前帧点云数据中的轨迹；第二特征为相似度小于预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
对相似度大于预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
将预设范围内的当前帧点云数据转换为对应的二维图像；
从二维图像中提取各检测对象的第一特征。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
通过预设的三维目标检测器根据预设范围从当前帧点云数据中获取各检测对象的三维检测框；
将各检测对象的三维检测框映射到二维图像中，得到各检测对象在二维图像中的二维检测框；
提取各检测对象的二维检测框的特征作为各检测对象的第一特征。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
将当前帧点云数据在预设范围中的点云点的三维坐标转换为二维坐标；
根据各点云点的二维图像坐标和各点云点在三维坐标中的z轴坐标，获取预设范围对应的鸟瞰图；
根据各点云点的二维图像坐标和各点云点的强度，获取预设范围对应的强度图；
根据鸟瞰图中各点云点在z轴方向的密度，获取预设范围对应的密度图；
将鸟瞰图、强度图和密度图进行合并处理，得到二维图像。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到鸟瞰图。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；
以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到强度图。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：
根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；
将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到密度图。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：将鸟瞰图、强度图和密度图分别作为R、G、B三个通道的图像进行合并处理，得到二维图像。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：通过预设的跟踪算法模型基于各剩余目标在上一帧点云数据中的轨迹，预测各剩余目标在当前帧点云数据中的轨迹。
在一个实施例中，计算机程序被处理器执行时实现以下步骤：确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种多目标跟踪方法，其特征在于，所述方法包括：
根据当前帧点云数据对应的二维图像，获取各检测对象在所述二维图像中的第一特征；
获取所述各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
获取第二特征与剩余目标的预测轨迹之间的交并比；所述剩余目标为所述待跟踪的各目标中除所述相似度大于预设相似度阈值的目标之外的目标；所述预测轨迹表示预测的所述剩余目标在所述当前帧点云数据中的轨迹；所述第二特征为所述相似度小于所述预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
对相似度大于所述预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
2.根据权利要求1所述的方法，其特征在于，所述根据当前帧点云数据对应的二维图像，获取各检测对象在所述二维图像中的第一特征，包括：
将预设范围内的当前帧点云数据转换为对应的二维图像；
从所述二维图像中提取所述各检测对象的第一特征。
3.根据权利要求2所述的方法，其特征在于，所述从所述二维图像中提取所述各检测对象的第一特征，包括：
通过预设的三维目标检测器根据所述预设范围从所述当前帧点云数据中获取所述各检测对象的三维检测框；
将所述各检测对象的三维检测框映射到所述二维图像中，得到所述各检测对象在所述二维图像中的二维检测框；
提取所述各检测对象的二维检测框的特征作为所述各检测对象的第一特征。
4.根据权利要求2或3所述的方法，其特征在于，所述将当前帧点云数据中的预设范围转换为对应的二维图像，包括：
将所述当前帧点云数据在所述预设范围中的点云点的三维坐标转换为二维坐标；
根据各所述点云点的二维图像坐标和各所述点云点在三维坐标中的z轴坐标，获取所述预设范围对应的鸟瞰图；
根据各所述点云点的二维图像坐标和各所述点云点的强度，获取所述预设范围对应的强度图；
根据所述鸟瞰图中各所述点云点在z轴方向的密度，获取所述预设范围对应的密度图；
将所述鸟瞰图、所述强度图和所述密度图进行合并处理，得到所述二维图像。
5.根据权利要求4所述的方法，其特征在于，所述根据各所述点云点的二维图像坐标和各所述点云点在三维坐标中的z轴坐标，获取所述预设范围对应的鸟瞰图，包括：
对各所述点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定为各所述点云点的像素值；
以各所述点云点对应的像素值作为对应的二维坐标位置的像素值，得到所述鸟瞰图。
6.根据权利要求4所述的方法，其特征在于，所述根据各所述点云点的二维图像坐标和各所述点云点的强度，获取所述预设范围对应的强度图，包括：
对各所述点云点的强度进行归一化处理，将归一化处理后强度确定为各所述点云点的像素值；
以各所述点云点对应的像素值作为对应的二维坐标位置的像素值，得到所述强度图。
7.根据权利要求4所述的方法，其特征在于，所述根据所述鸟瞰图中各所述点云点在z轴方向的密度，获取所述预设范围对应的密度图，包括：
根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴方向的密度；
将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到所述密度图。
8.根据权利要求4所述的方法，其特征在于，所述将所述鸟瞰图、所述强度图和所述密度图进行合并处理，得到所述二维图像，包括：
将所述鸟瞰图、所述强度图和所述密度图分别作为R、G、B三个通道的图像进行合并处理，得到所述二维图像。
9.根据权利要求1-3任一项所述的方法，其特征在于，在获取第二特征与剩余目标的预测轨迹之间的交并比之前，所述方法还包括：
通过预设的跟踪算法模型基于所述各剩余目标在上一帧点云数据中的轨迹，预测所述各剩余目标在当前帧点云数据中的轨迹。
10.根据权利要求1-3任一项所述的方法，其特征在于，在对相似度大于所述预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪之后，所述方法还包括：
确定每一个进行标记跟踪的检测对象所属的目标，并根据各检测对象的第一特征和第一特征对应的三维检测框，更新各检测对象所属的目标在当前帧点云数据中的轨迹。
11.一种多目标跟踪装置，其特征在于，所述装置包括：
特征获取模块，用于根据当前帧点云数据对应的二维图像，获取各检测对象在所述二维图像中的第一特征；
相似度获取模块，用于获取所述各第一特征与待跟踪的各目标在上一帧点云数据中的轨迹特征之间的相似度；
交并比获取模块，用于获取第二特征与剩余目标的预测轨迹之间的交并比；所述剩余目标为所述待跟踪的各目标中除所述相似度大于预设相似度阈值的目标之外的目标；所述预测轨迹表示预测的所述剩余目标在所述当前帧点云数据中的轨迹；所述第二特征为所述相似度小于所述预设相似度阈值的第一特征的检测对象在当前帧点云数据中的三维检测框；
跟踪模块，对相似度大于所述预设相似度阈值的各检测对象分别进行标记跟踪，以及对交并比大于预设的交并比阈值的各检测对象分别进行标记跟踪。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202010777506.9A 2020-08-05 2020-08-05 多目标跟踪方法、装置、计算机设备和存储介质 Pending CN114063098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010777506.9A CN114063098A (zh) 2020-08-05 2020-08-05 多目标跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010777506.9A CN114063098A (zh) 2020-08-05 2020-08-05 多目标跟踪方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114063098A true CN114063098A (zh) 2022-02-18

Family

ID=80231980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010777506.9A Pending CN114063098A (zh) 2020-08-05 2020-08-05 多目标跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114063098A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN116168062A (zh) * 2023-04-21 2023-05-26 深圳佑驾创新科技有限公司 一种3d目标跟踪方法及装置
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统
CN117593685A (zh) * 2024-01-19 2024-02-23 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202335A1 (zh) * 2022-04-20 2023-10-26 深圳市普渡科技有限公司 目标跟踪方法、机器人、计算机设备和存储介质
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN116168062A (zh) * 2023-04-21 2023-05-26 深圳佑驾创新科技有限公司 一种3d目标跟踪方法及装置
CN116168062B (zh) * 2023-04-21 2023-09-29 深圳佑驾创新科技股份有限公司 一种3d目标跟踪方法及装置
CN117111019A (zh) * 2023-10-25 2023-11-24 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统
CN117111019B (zh) * 2023-10-25 2024-01-09 深圳市先创数字技术有限公司 一种基于雷达探测的目标跟踪监控方法和系统
CN117593685A (zh) * 2024-01-19 2024-02-23 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质
CN117593685B (zh) * 2024-01-19 2024-04-26 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质

Similar Documents

Publication Publication Date Title
CN114063098A (zh) 多目标跟踪方法、装置、计算机设备和存储介质
EP3581890B1 (en) Method and device for positioning
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
US20180189577A1 (en) Systems and methods for lane-marker detection
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN110490902B (zh) 应用于智慧城市的目标跟踪方法、装置、计算机设备
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
CN112947419B (zh) 避障方法、装置及设备
CN112270709B (zh) 地图构建方法及装置、计算机可读存储介质和电子设备
CN114092720A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
WO2021056339A1 (zh) 定位方法、系统及可移动平台
CN110889818A (zh) 低空无人机影像拼接方法、系统、计算机设备及存储介质
He et al. An improved approach for generating globally consistent seamline networks for aerial image mosaicking
Al-Azizi et al. DeepAutoMapping: low-cost and real-time geospatial map generation method using deep learning and video streams
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN113763468B (zh) 一种定位方法、装置、系统及存储介质
CN115797438A (zh) 目标定位方法、装置、计算机设备、存储介质和程序产品
de Lima et al. Toward a smart camera for fast high-level structure extraction
CN113436256A (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination