CN115236687A - 物体跟踪方法、装置、设备及存储介质 - Google Patents

物体跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115236687A
CN115236687A CN202210810083.5A CN202210810083A CN115236687A CN 115236687 A CN115236687 A CN 115236687A CN 202210810083 A CN202210810083 A CN 202210810083A CN 115236687 A CN115236687 A CN 115236687A
Authority
CN
China
Prior art keywords
laser
point set
target
laser point
kalman filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210810083.5A
Other languages
English (en)
Inventor
傅何杰
时新宇
陈元吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Co Ltd filed Critical Hangzhou Hikrobot Co Ltd
Priority to CN202210810083.5A priority Critical patent/CN115236687A/zh
Publication of CN115236687A publication Critical patent/CN115236687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供一种物体跟踪方法、装置、设备及存储介质，涉及多目标物体跟踪领域。该方法包括：获取激光雷达数据；激光雷达数据包括第一激光点集合和第二激光点集合；当第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合；目标激光点集合和目标物体具有对应关系；根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征；目标物体的第一特征包括所述目标物体的形状、位置以及速度等特征中的一项或多项。该方法适用于利用激光雷达对物体进行追踪的过程中，用于解决无法根据碎片化的激光雷达数据进行物体跟踪的问题。

Description

物体跟踪方法、装置、设备及存储介质
技术领域
本申请涉及多目标物体跟踪领域，尤其涉及一种物体跟踪方法、装置、设备及存储介质。
背景技术
激光雷达系统是指以发射激光来探测目标物体的形状、位置以及速度等特征量的雷达系统。
激光雷达在进行探测时，可以首先向周围发射激光，接收周围物体反射回来的光束，对反射回来的光束进行处理，获得包括多个激光点集合的激光点云，根据激光点云获得目标物体的形状、位置、以及速度等特征量。例如，根据激光点云计算出周围物体的三维数字模型，根据周围物体的三维数字模型预测周围物体中的目标物体的形状、位置、以及速度等特征。
但是，当某个目标物体的表面光滑时，激光点云中该目标物体的激光点集合通常呈现为多个破碎的碎片，根据破碎的碎片无法准确预测该目标物体的形状、位置、以及速度等特征。
发明内容
本申请提供一种物体跟踪方法、装置、设备及存储介质，可以对满足预设条件的激光点集合进行融合，从而准确预测物体的确切特征。
第一方面，本申请提供一种物体跟踪方法，该方法包括：获取激光雷达数据；激光雷达数据包括第一激光点集合和第二激光点集合；当第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合；目标激光点集合和目标物体具有对应关系；根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征。其中，第一特征包括目标物体的形状、位置、以及速度等的特征中的一项或多项。
一种可能的实现方式中，当第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合，包括：分别计算第一激光点集合的平均速度和第二激光点集合的平均速度；当第一激光点集合的平均速度和第二激光点集合的平均速度之间的差值小于预设的速度阈值时，将第一激光点集合和第二激光点集合融合为目标激光点集合。
另一种可能的实现方式中，当第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合，包括：分别计算第一激光点集合和第二激光点集合的平均点；当第一激光点集合的平均点和第二激光点集合的平均点之间的距离小于预设的距离阈值时，将第一激光点集合和第二激光点集合融合为目标激光点集合。
又一种可能的实现方式中，预设的卡尔曼滤波器包括多个。根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征，包括：从多个预设的卡尔曼滤波器中确定目标激光点集合对应的目标卡尔曼滤波器。
又一种可能的实现方式中，从多个预设的卡尔曼滤波器中确定目标激光点集合对应的目标卡尔曼滤波器，包括:计算目标激光点集合的平均点；将目标激光点集合的平均点输入每个卡尔曼滤波器中，利用迭代最邻近点ICP算法确定目标激光点集合对应的候选卡尔曼滤波器；计算目标激光点集合的外接矩形框尺寸和特征点信息；对目标激光点集合的特征点信息和候选卡尔曼滤波器中存储的激光点集合的特征点信息进行ICP配准，得到配准残差；对每一个候选卡尔曼滤波器，当目标激光点集合的外接矩形框尺寸和候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值小于预设的第一阈值，且目标激光点集合的特征点信息和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差小于预设的第二阈值时，确定候选卡尔曼滤波器为目标激光点集合对应的目标卡尔曼滤波器；根据目标激光点集合和目标卡尔曼滤波器，预测目标物体的第一特征。
又一种可能的实现方式中，对每一个候选卡尔曼滤波器，当目标激光点集合的外接矩形框尺寸和候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值小于预设的第一阈值，且目标激光点集合和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差小于预设的第二阈值时，确定候选卡尔曼滤波器为目标激光点集合对应的目标卡尔曼滤波器之后，该方法还包括：根据目标激光点集合对目标卡尔曼滤波器中的参数进行更新。
又一种可能的实现方式中，当所有的候选卡尔曼滤波器均未被确定为目标卡尔曼滤波器时，该方法还可以包括：根据目标激光点集合，创建目标卡尔曼滤波器并初始化参数。
又一种可能的实现方式中，对每一个候选卡尔曼滤波器，当该候选卡尔曼滤波器未被确定为目标卡尔曼滤波器的次数大于预设的第三阈值时，删除该候选卡尔曼滤波器。
又一种可能的实现方式中，获取激光雷达数据之后，该方法还包括：获取激光雷达数据对应的分辨率和激光雷达数据中的激光点的强度信息；根据激光雷达数据对应的分辨率，将激光雷达数据转换为车体坐标系下的坐标；根据车体坐标系下的坐标计算激光点之间的相对距离差；根据激光点之间的相对距离差和激光点的强度信息，去除激光雷达数据中的飞点。
又一种可能的实现方式中，获取的激光雷达数据包括多帧；获取激光雷达数据之后，该方法还包括：将多帧激光雷达数据中的每一帧转换为世界坐标系下的坐标；获取栅格化地图；栅格化地图包括多个栅格；当多帧激光雷达数据中存在世界坐标系下的坐标落入栅格化地图中的第一栅格的次数大于预设的第四阈值时，将该坐标从激光雷达数据中删除；第一栅格为栅格化地图包括多个栅格中的任意一个。本申请提供的物体追踪方法，可以获取激光雷达数据。当激光雷达数据中的第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合，融合后的目标激光点集合与第一激光点集合、或者第二激光点集合相比，形状更加完整，准确表征目标物体的概率更高，根据形状更加完整的激光点集合对目标物体进行追踪，可以更加准确地获取目标物体的形状、位置、以及速度等的特征。
第二方面，本申请提供一种物体追踪装置，该物体追踪装置包括用于之上第一方面或第一方面中任一种可能的实现方式所述的方法的各个模块。
第三方面，本申请提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所述相关方法的步骤，以实现上述第一方面所述的方法。
第四方面，本申请提供一种电子设备，该电子设备包括：处理器和存储器；存储器存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面所述的方法。
第五方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在电子设备中运行时，使得电子设备实现上述第一方面所述的方法。
上述第二方面至第五方面的有益效果可以参考第一方面所述，不再赘述。
附图说明
图1为本申请实施例提供的物体跟踪方法所涉及的实施环境示意图；
图2为本申请实施例提供的物体追踪方法的流程示意图；
图3为本申请实施例提供的物体追踪方法的另一种流程示意图；
图4为本申请实施例提供的物体追踪方法的又一种流程示意图；
图5为本申请实施例提供的物体追踪方法的又一种流程示意图；
图6为本申请实施例提供的物体追踪的又一种流程示意图；
图7为本申请实施例提供的物体追踪装置的组成示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下，术语“第一”、“第二”和“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”或“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。
首先对本申请实施例涉及到的一些概念进行介绍。
激光点：激光雷达系统发射的激光在周围物体上形成的激光点。
激光点集合：激光点集合可以包括多个激光点。每个激光点集合对应表征一个周围物体。
激光点云：激光雷达系统在某一时刻接收周围物体反射回来的所有光束所形成的一帧激光雷达数据。一帧激光点云可以包括多个激光点集合。
世界坐标系：世界坐标系为绝对坐标系，可以任意选择，在被指定后随即不变且唯一。
车体坐标系：车体坐标系为相对坐标系。例如，以移动平台的中心为原点的坐标系。
栅格化地图：栅格化地图是指对世界地图栅格化处理之后的地图，包括多个栅格。
下面将结合附图对本申请实施例提供的物体跟踪方法进行详细描述。
图1为本申请实施例提供的物体跟踪方法所涉及的实施环境示意图。如图1所示，该实施环境可以包括：激光雷达10和计算处理设备20。激光雷达10可以和计算处理设备20通过有线网络或者无线网络连接。
激光雷达10可以是单线激光雷达、多线激光雷达、三维全向激光雷达等。本申请实施例对激光雷达的具体种类不作限制。
激光雷达10可以安装在移动平台上。例如，安装在履带机器人、无人机、汽车、或者飞机上等。本申请实施例对移动平台的具体种类不作限制。
激光雷达10可以向周围发射激光，接收周围物体反射回来的光束，生成激光雷达数据。
计算处理设备20可以是计算机、服务器等具有计算功能的设备，其中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本申请实施例对计算处理设备20的具体形态不作限制。
计算处理设备20可以安装在和激光雷达10相同的移动平台上，也可以安装在固定场所，例如机房。
计算处理设备20可以通过有线网络或者无线网络接收激光雷达10发送激光雷达数据(又可以称作激光点云)，激光雷达数据可以包括多个激光点集合。当某个激光点集合和另一个激光点集合满足预设条件时，计算处理设备20可以将这两个激光点集合融合为目标激光点集合，目标激光点集合是激光雷达10发射的激光在目标物体上形成的所有激光点的集合。目标激光点集合和目标物体具有对应关系，例如目标激光点集合和目标物体一一对应。目标物体可以是周围物体中的任意一个或多个。
计算处理设备20还可以根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的形状、位置以及速度等特征。
需要说明的是，本申请实施例提供的物体追踪方法可以应用于上述计算处理设备20，也可以应用于上述激光雷达10和计算处理设备20，该激光雷达10和计算处理设备20可以统称为电子设备。本申请实施例提供的物体追踪方法的执行主体为物体追踪装置，该装置可以是上述电子设备；或者，该装置可以是上述电子设备安装的提供物体追踪功能的应用程序(application，APP)；再或者，该装置可以是上述电子设备中的中央处理器(centralprocessing unit，CPU)；又或者，该装置可以是上述电子设备中的用于执行物体追踪方法的功能模块。下面以电子设备为例，对本申请实施例提供的物体追踪方法进行详细说明。
图2为本申请实施例提供的物体追踪方法的流程示意图。如图2所示，该方法可以包括S101至S103。
S101、电子设备获取激光雷达数据。
其中，激光雷达数据(又可以称作激光点云)可以包括多个激光点集合。每个激光点集合可以包括多个激光点。
S102、当第一激光点集合和第二激光点集合满足预设条件时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合。
其中，第一激光点集合是激光雷达数据中的多个激光点集合中的任意一个。第二激光点集合是激光雷达数据中的多个激光点集合中除第一激光点集合之外的任意一个激光点集合。目标激光点集合和电子设备追踪的目标物体具有对应关系。例如，目标激光点集合和目标物体可以一一对应。电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合是指，电子设备将第一激光点集合和第二激光点集合合并为目标激光点集合。
需要说明的是，当第一激光点集合和第二激光点集合不满足预设条件时，电子设备可以对第一激光点集合和第二激光点集合不作处理。也即，在电子设备获取到激光雷达数据之后，可以判断激光雷达数据中的多个激光点集合之间是否满足预设条件。若满足，则融合为目标激光点集合；若不满足，则不作处理。
一种可能的实现方式中，上述预设条件可以包括：两个激光点集合的平均速度之间的差值小于预设的速度阈值。也即，当第一激光点集合和第二激光点集合满足预设条件时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合，可以包括：电子设备分别计算第一激光点集合的平均速度和第二激光点集合的平均速度；当第一激光点集合的平均速度和第二激光点集合的平均速度之间的差值小于预设的速度阈值时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合。
例如，激光雷达数据可以包括至少两帧数据，至少两帧激光雷达数据中的每一帧分别可以包括第一激光点集合和第二激光点集合。根据至少两帧激光雷达数据中的第一激光点集合中的每个激光点，确定至少两帧的激光雷达数据中的第一激光点集合中每个激光点的位移。根据至少两帧的激光雷达数据中的第一激光点集合中每个激光点的位移以及预设的激光雷达数据的帧率，计算得到第一激光点集合中的激光点的平均速度。根据至少两帧激光雷达数据中的第二激光点集合中的每个激光点，确定至少两帧的激光雷达数据中的第二激光点集合中每个激光点的位移。根据不同帧的激光雷达数据中的第二激光点集合中每个激光点的位移以及预设的激光雷达数据的帧率，计算得到第二激光点集合中的激光点的平均速度。
另一种可能的实现方式中，上述预设条件可以包括：两个激光点集合的平均点之间的距离小于预设的距离阈值。也即，当第一激光点集合和第二激光点集合满足预设条件时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合，可以包括：分别计算第一激光点集合和第二激光点集合的平均点；当第一激光点集合的平均点和第二激光点集合的平均点之间的距离小于预设的距离阈值时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合。
其中，第一激光点集合和第二激光点集合的平均点可以根据第一激光点集合和第二激光点集合中的激光点的坐标的平均值得到。
示例性地，以第一激光点集合为例，假设第一激光点集合包括激光点1和激光点2，激光点1的坐标是(x1，y1)，激光点2的坐标是(x2，y2)，则第一激光点集合的平均点的坐标可以根据激光点1和激光点2的坐标的平均值得到，即第一激光点集合的平均点的坐标为
Figure BDA0003740430070000051
可选地，当第一激光点集合的平均点和第二激光点集合的平均点之间的距离小于预设的距离阈值时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合，可以包括：利用聚类算法对第一激光点集合和第二激光点集合的平均点进行聚类处理；当第一激光点集合和第二激光点集合的平均点被聚为一类时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合。
可选地，聚类算法可以是带噪声的基于密度的空间聚类应用(density-basedspatial clustering of applications with noise，DBSCAN)算法。
S103、电子设备根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征。
其中，卡尔曼滤波器中可以存储有状态变量、激光点集合的外接矩形框尺寸以及激光点集合的特征点信息等。目标物体的第一特征可以包括目标物体的形状、位置以及速度等特征中的一项或多项。
例如，状态变量可以包括目标物体的坐标和目标物体的速度等。激光点集合的外接矩形框尺寸可以包括激光点集合的外接矩形框的长和宽中的最大值。激光点集合的外接矩形框的长可以由激光点集合的横坐标的最大值减去最小值确定。激光点集合的外接矩形框的宽可以由激光点集合的纵坐标的最大值减去最小值确定。激光点集合的特征点信息可以包括激光点集合的轮廓线上的激光点和关键特征部分的激光点等的激光点的坐标。
一种可能的实现方式中，预设的卡尔曼滤波器只有一个。电子设备根据目标激光点集合和预设的卡尔曼滤波器，确定目标物体的第一特征，可以包括：电子设备将目标激光点集合输入预设的卡尔曼滤波器，预测目标物体的第一特征。
另一种可能的实现方式中，预设的卡尔曼滤波器可以包括多个，电子设备可以从多个卡尔曼滤波器中为目标激光点集合匹配目标激光点集合对应的目标卡尔曼滤波器。图3为本申请实施例提供的物体追踪方法的另一种流程示意图。如图3所示，S103可以具体包括S201至S206。
S201、电子设备计算目标激光点集合的平均点。
其中，目标激光点集合的平均点的计算方法可以参照上述第一激光点集合的平均点或者第二激光点集合的平均点的计算方法，此处不再赘述。
S202、电子设备将目标激光点集合的平均点输入每个卡尔曼滤波器中，利用迭代最邻近点(iterative closest point，ICP)算法，从多个预设的卡尔曼滤波器中确定目标激光点集合对应的候选卡尔曼滤波器。
其中，候选卡尔曼滤波器可以包括一个或多个。
S203、电子设备计算目标激光点集合的外接矩形框尺寸和特征点信息。
其中，目标激光点集合的外接矩形框尺寸可以参照上述卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸所述，此处不再赘述。如上所述，激光点集合的特征点信息可以包括激光点集合的轮廓线上的激光点和关键特征部分的激光点等的激光点的坐标。电子设备在将第一激光点集合和第二激光点集合融合为目标激光点集合之后，可以提取目标激光点集合的轮廓线上的激光点和关键特征部分的激光点等的激光点的坐标作为目标激光点集合的特征点信息，该提取过程也可以称作计算。
S204、电子设备对目标激光点集合的特征点信息和候选卡尔曼滤波器中存储的激光点集合的特征点信息进行ICP配准，得到配准残差。
需要说明的是，S204可以在S203之后执行，或者，在S203之前执行，又或者，S204和S203同时执行。本申请实施例对电子设备执行S203和S204的时序关系不作限制。
S205、对每一个候选卡尔曼滤波器，当目标激光点集合的外接矩形框尺寸和该候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值小于预设的第一阈值，且目标激光点集合的特征点信息和候选卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差小于预设的第二阈值时，确定该候选卡尔曼滤波器为目标激光点集合对应的目标卡尔曼滤波器。
其中，第一阈值和第二阈值可以由管理人员在电子设备中预先设置。例如，以第一阈值为例，第一阈值为1毫米、或者1厘米、又或者5厘米等。本申请实施例对第一阈值和第二阈值的具体数值不作限制。
需要说明的是，对每一个候选卡尔曼滤波器，当目标激光集合的外接矩形框尺寸和该候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值大于或等于预设的第一阈值，和/或，目标激光点集合和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差大于或等于预设的第二阈值时，该候选卡尔曼滤波器不能作为目标激光点集合对应的目标卡尔曼滤波器。也即，计算得到目标激光点集合的外接矩形框尺寸、以及目标激光点集合和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差之后，对每一个候选卡尔曼滤波器，电子设备可以判断目标激光点集合的外接矩形框尺寸和该候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值是否小于预设的第一阈值，还可以判断目标激光点集合和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差是否小于预设的第二阈值。
同样需要说明的是，当有多个候选卡尔曼滤波器符合上述目标卡尔曼滤波器的筛选条件时，可以选择满足符合筛选条件的多个候选卡尔曼滤波器中，存储了和目标激光点集合的外接矩形框尺寸相差最小的外接矩形框尺寸的候选卡尔曼滤波器，或者匹配残差最小的候选卡尔曼滤波器作为目标卡尔曼滤波器。本申请实施例对此不作限制。
S206、电子设备根据目标激光点集合和目标卡尔曼滤波器，预测目标物体的第一特征。
本申请实施例提供的物体追踪方法中，电子设备可以获取激光雷达数据。当激光雷达数据中的第一激光点集合和第二激光点集合满足预设条件时，电子设备可以将第一激光点集合和第二激光点集合融合为目标激光点集合，相比于第一激光点集合或者第二激光点集合，融合后的目标激光点集合的形状更加完整，准确表征目标物体的概率更高，根据形状更加完整的激光点集合对目标物体进行追踪，可以更加准确地获取目标物体的形状、位置以及速度等的特征。
一些可能的实施例中，在从多个候选卡尔曼滤波器中确定出目标卡尔曼滤波器之后，还可以根据目标激光点集合对目标卡尔曼滤波器中的参数进行更新。也即，在S204之后，该方法还可以包括：电子设备根据目标激光点集合对目标卡尔曼滤波器中的参数进行更新。
示例性地，电子设备根据目标激光点集合对目标卡尔曼滤波器中的参数进行更新可以参照下述公式(1)至公式(5)所示进行。
Figure BDA0003740430070000061
公式(1)中，
Figure BDA0003740430070000062
表示k时刻得到的状态向量(包括目标物体的坐标和目标物体的速度等)的预测值，状态向量的内容和上述卡尔曼滤波器中存储的物体的状态变量一致。A表示已知的系统矩阵。
Figure BDA0003740430070000071
表示k-1时刻状态向量的最优估计值。
Figure BDA0003740430070000072
公式(2)中，
Figure BDA0003740430070000073
表示k时刻预测状态向量的协方差矩阵。Pk-1表示k-1时刻最佳估计状态向量的协方差矩阵。Q表示系统方差矩阵。
Figure BDA0003740430070000074
公式(3)中，Kk表示k时刻的卡尔曼增益矩阵。H表示已知的观测矩阵，也即将观测量转化为状态向量的矩阵。R表示测量系统的协方差矩阵。
Figure BDA0003740430070000075
公式(4)中，
Figure BDA0003740430070000076
表示k时刻状态向量的最优估计值。zk表示观测向量。
Figure BDA0003740430070000077
公式(5)中，Pk表示k时刻最佳估计状态向量的协方差矩阵。
另一些可能的实施例中，当所有的候选卡尔曼滤波器均未被电子设备作为目标卡尔曼滤波器时，也即从多个候选卡尔曼滤波器中确定出的目标卡尔曼滤波器为空时，该方法还可以包括：电子设备根据目标激光点集合，创建目标卡尔曼滤波器并初始化参数，进而根据创建的目标卡尔曼滤波器预测目标物体的第一特征。
例如，如上所述，卡尔曼滤波器中可以存储有状态变量、激光点集合的外接矩形框尺寸、以及激光点集合的特征点信息等。其中，状态变量可以包括目标物体的坐标和目标物体的速度。初始化参数可以包括：将目标激光点集合的平均点的坐标作为目标物体的坐标；将目标物体的速度初始化为0；将目标激光点集合的外接矩形框尺寸作为目标卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸。获取目标激光点集合的特征点信息，并将该特征点信息作为目标卡尔曼滤波器中存储的激光点集合的特征点信息。
本申请实施例提供的物体追踪方法中，当目标激光点集合无法匹配到对应的目标卡尔曼滤波器时，电子设备根据目标激光点集合新建目标卡尔曼滤波器，并根据新创建的目标卡尔曼滤波器预测目标物体的第一特征，提高了物体追踪时的灵活性。
又一些可能的实施例中，对每一个候选卡尔曼滤波器，当该候选卡尔曼滤波器未被确定为目标卡尔曼滤波器的次数大于预设的第三阈值时，说明该候选卡尔曼滤波器失效的可能性较大，不再适合继续进行预测，因此，电子设备可以从预设的卡尔曼滤波器中删除该候选卡尔曼滤波器。
其中，第三阈值可以由管理人员预设在电子设备中。例如，第三阈值为10次、20次、或者50次等。本申请实施例对第三阈值的具体数值不作限制。
例如，当某个候选卡尔曼滤波器被确定为目标卡尔曼滤波器时，电子设备可以更新除了该候选卡尔曼滤波器之外的其他候选卡尔曼滤波器的未匹配次数；当未匹配次数大于预设的第三阈值时，电子设备可以删除未匹配次数大于预设的第三阈值的候选卡尔曼滤波器。
本申请实施例提供的物体追踪方法中，当某一个候选卡尔曼滤波器长时间未被作为目标卡尔曼滤波器进行预测时，该候选卡尔曼滤波器失效的可能性较大，删除该失效的候选卡尔曼滤波器，可以提高电子设备中的卡尔曼滤波器的有效性。
一些实施例中，电子设备在获取到激光雷达数据之后，还可以对激光雷达数据进行预处理，去除无实际对应目标物体的激光点(又可以称作飞点)。图4为本申请实施例提供的物体追踪方法的又一种流程示意图。如图4所示，在S101之后，该方法还可以包括S301至S304。
S301、电子设备获取激光雷达数据对应的分辨率和激光雷达数据中的激光点的强度信息。
其中，激光点的强度信息可以包括激光雷达10接收到反射的光束的光强。
S302、电子设备根据激光雷达数据对应的分辨率，将激光雷达数据转换为车体坐标系下的坐标。
其中，如上所述，电子设备可以包括激光雷达10，激光雷达10可以安装在移动平台上。车体坐标系可以包括以移动平台为中心的坐标系。
S303、电子设备根据车体坐标系下的坐标计算激光点之间的相对距离差。
S304、电子设备根据激光点之间的相对距离差和激光点的强度信息，去除激光雷达数据中的飞点。
其中，飞点是指激光雷达数据中无实际对应目标物体的激光点，即不是目标物体所对应的激光点。
另一些实施例中，电子设备在获取到多帧激光雷达数据之后，还可以去除静止物体对应的激光点。图5为本申请实施例提供的物体追踪方法的又一种流程示意图。如图5所示，在S101之后，该方法还可以包括S401至S403。
S401、电子设备将多帧激光雷达数据中的每一帧转换为世界坐标系下的坐标。
S402、电子设备获取栅格化地图。
其中，栅格化地图可以包括多个栅格。
例如，电子设备可以获取世界地图，然后对世界地图进行栅格化处理。
S403、当多帧激光雷达数据中存在世界坐标系下的坐标落入栅格化地图中的第一栅格的次数大于预设的第四阈值时，电子设备将该坐标从激光雷达数据中删除。
其中，第一栅格是栅格化地图包括的多个栅格中的任意一个栅格。第四阈值可以由管理人员预设在电子设备中。例如，第四阈值为5次、10次、或者20次等。本申请实施例对第四阈值的具体数值不作限制。
本申请实施例提供的物体追踪方法中，电子设备在获取到多帧激光雷达数据之后，还可以将多帧激光雷达数据中的每一帧转换为世界坐标系下的坐标，并获取栅格化地图。当激光雷达数据中的世界坐标系下的坐标落入栅格化地图中的某一个栅格的次数过多(大于预设的第四阈值)时，可以认为该坐标下的激光雷达数据为静止物体的激光雷达数据，删除静止物体的激光雷达数据，可以减少对物体追踪时的干扰。
又一些实施例中，电子设备在获取到激光雷达数据之后，还可以对激光雷达数据中的激光点做聚类处理，得到多个激光点集合。
例如，激光雷达数据可以包括第一激光点和第二激光点，第一激光点属于第一激光点集合。当第二激光点和第一激光点之间的距离小于预设的第五阈值时，电子设备可以将第二激光点加入第一激光点所在的第一激光点集合。
其中，第五阈值可以由管理人员预设在电子设备中。例如，第五阈值为5厘米、8厘米、或者10厘米等。本申请实施例对第五阈值的实际数值不作限制。
需要说明的是，当第二激光点和第一激光点之间的距离大于预设的第五阈值时，电子设备可以将第二激光点加入第一激光点集合之外的激光点集合。也即，在获取到激光雷达数据之后，电子设备可以判断激光雷达数据中的第一激光点和第二激光点之间的距离是否小于预设的第五阈值。当第二激光点和第一激光点之间的距离小于预设的第五阈值时，电子设备可以将第二激光点加入第一激光点所在的第一激光点集合。当第二激光点和第一激光点之间的距离大于或等于预设的第五阈值时，电子设备可以将第二激光点和第一激光点分别加入不同的激光点集合。示例性地，以激光雷达数据包括激光点1和激光点2，激光点1属于激光点集合1为例，假设激光点2和激光点1之间的距离为1厘米，预设的第五阈值为5厘米。则电子设备可以根据激光点2和激光点1之间的距离1厘米小于预设的5厘米，将激光点2加入激光点1所在的激光点集合1。
可选地，图6为本申请实施例提供的物体追踪的又一种流程示意图。如图6所示，该方法可以包括S501至S507。
S501、电子设备获取激光雷达数据。
S501可以参照上述S101所述，此处不再赘述。
S502、电子设备对激光雷达数据进行预处理，去除激光雷达数据中的飞点。
S502可以参照上述S301至S304所述，此处不再赘述。
S503、电子设备删除激光雷达数据中静止物体对应的激光点。
S503可以参照上述S401至S403所述，此处不再赘述。
S504、电子设备对激光雷达数据中距离相近的激光点融合到一个激光点集合中。
S504可以参照上述将第二激光点加入第一激光点所在的第一激光点集合所述，此处不再赘述。
S505、当激光雷达数据中的第一激光点集合和第二激光点集合满足预设条件时，电子设备将第一激光点集合和第二激光点集合融合为目标激光点集合。
S505可以参照上述S102所述，此处不再赘述。
S506、电子设备选择目标激光点对应的目标卡尔曼滤波器。
S506可以参照上述S201至S205所述，此处不再赘述。
S507、电子设备根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征。
S507可以参照上述S103所述，此处不再赘述。
在示例性的实施例中，本申请实施例还提供一种物体追踪装置。图7为本申请实施例提供的物体追踪装置的组成示意图。如图7所示，该物体追踪装置可以包括：获取模块701和处理模块702，获取模块701和处理模块702连接。获取模块701，用于获取激光雷达数据；激光雷达数据包括第一激光点集合和第二激光点集合。处理模块702，用于当第一激光点集合和第二激光点集合满足预设条件时，将第一激光点集合和第二激光点集合融合为目标激光点集合；目标激光点集合和目标物体具有对应关系；根据目标激光点集合和预设的卡尔曼滤波器，预测目标物体的第一特征。其中，第一特征可以包括目标物体的形状、位置、以及速度等的特征中的一项或多项。
一些可能的实施例中，处理模块702，具体用于分别计算第一激光点集合的平均速度和第二激光点集合的平均速度；当第一激光点集合的平均速度和第二激光点集合的平均速度之间的差值小于预设的速度阈值时，将第一激光点集合和第二激光点集合融合为目标激光点集合。
另一些可能的实施例中，处理模块702，具体用于分别计算第一激光点集合和第二激光点集合的平均点；当第一激光点集合的平均点和第二激光点集合的平均点之间的距离小于预设的距离阈值时，将第一激光点集合和第二激光点集合融合为目标激光点集合。
又一些可能的实施例中，预设的卡尔曼滤波器包括多个。处理模块702，具体用于从多个预设的卡尔曼滤波器中确定目标激光点集合对应的目标卡尔曼滤波器。
又一些可能的实施例中，处理模块702，具体用于计算目标激光点集合的平均点；将目标激光点集合的平均点输入每个卡尔曼滤波器中，利用迭代最邻近点ICP算法确定目标激光点集合对应的候选卡尔曼滤波器；计算目标激光点集合的外接矩形框尺寸和特征点信息；对目标激光点集合的特征点信息和候选卡尔曼滤波器中存储的激光点集合的特征点信息进行ICP配准，得到配准残差；对每一个候选卡尔曼滤波器，当目标激光点集合的外接矩形框尺寸和候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值小于预设的第一阈值，且目标激光点集合的特征点信息和卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差小于预设的第二阈值时，确定候选卡尔曼滤波器为目标激光点集合对应的目标卡尔曼滤波器；根据目标激光点集合和目标卡尔曼滤波器，预测目标物体的第一特征。
又一些可能的实施例中，处理模块702，还用于根据目标激光点集合对目标卡尔曼滤波器中的参数进行更新。
又一些可能的实施例中，处理模块702，还用于当所有的候选卡尔曼滤波器均未被确定为目标卡尔曼滤波器时，根据目标激光点集合，创建目标卡尔曼滤波器并初始化参数。
又一些可能的实施例中，处理模块702，还用于对每一个候选卡尔曼滤波器，当该候选卡尔曼滤波器未被确定为目标卡尔曼滤波器的次数大于预设的第三阈值时，删除该候选卡尔曼滤波器。
又一些可能的实施例中，获取模块701，还用于获取激光雷达数据对应的分辨率和激光雷达数据中的激光点的强度信息。处理模块702，还用于根据激光雷达数据对应的分辨率，将激光雷达数据转换为车体坐标系下的坐标；根据车体坐标系下的坐标计算激光点之间的相对距离差；根据激光点之间的相对距离差和激光点的强度信息，去除激光雷达数据中的飞点。
又一些可能的实施例中，获取模块701获取的激光雷达数据包括多帧。处理模块702，还用于将多帧激光雷达数据中的每一帧转换为世界坐标系下的坐标；获取栅格化地图；栅格化地图包括多个栅格；当多帧激光雷达数据中存在世界坐标系下的坐标落入栅格化地图中的第一栅格的次数大于预设的第四阈值时，将该坐标从激光雷达数据中删除；第一栅格为栅格化地图包括多个栅格中的任意一个。
在示例性的实施例中，本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关方法步骤，以实现前述方法实施例所述的方法。
在示例性的实施例中，本申请实施例还提供了一种电子设备。图8为本申请实施例提供的电子设备的结构示意图。如图8所示，该电子设备可以包括：处理器801和存储器802；存储器802存储有处理器801可执行的指令；处理器801被配置为执行指令时，使得电子设备实现如前述方法实施例中所述的方法。
在示例性的实施例中，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令；当所述计算机程序指令被网络设备执行时，使得网络设备实现如前述实施例中所述的方法。计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种物体跟踪方法，其特征在于，所述方法包括：
获取激光雷达数据；所述激光雷达数据包括第一激光点集合和第二激光点集合；
当所述第一激光点集合和所述第二激光点集合满足预设条件时，将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合；所述目标激光点集合和目标物体具有对应关系；
根据所述目标激光点集合和预设的卡尔曼滤波器，预测所述目标物体的第一特征；所述目标物体的第一特征包括所述目标物体的形状、位置以及速度等特征中的一项或多项。
2.根据权利要求1所述的方法，其特征在于，所述当所述第一激光点集合和所述第二激光点集合满足预设条件时，将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合，包括：
分别计算所述第一激光点集合的平均速度和所述第二激光点集合的平均速度；
当所述第一激光点集合的平均速度和所述第二激光点集合的平均速度之间的差值小于预设的速度阈值时，将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合。
3.根据权利要求1所述的方法，其特征在于，所述当所述第一激光点集合和所述第二激光点集合满足预设条件时，将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合，包括：
分别计算所述第一激光点集合和所述第二激光点集合的平均点；
当所述第一激光点集合的平均点和所述第二激光点集合的平均点之间的距离小于预设的距离阈值时，所述将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合。
4.根据权利要求1所述的方法，其特征在于，所述预设的卡尔曼滤波器包括多个；所述根据所述目标激光点集合和预设的卡尔曼滤波器，预测所述目标物体的第一特征，包括：
从多个所述预设的卡尔曼滤波器中确定所述目标激光点集合对应的目标卡尔曼滤波器。
5.根据权利要求4所述的方法，其特征在于，所述从多个所述预设的卡尔曼滤波器中确定所述目标激光点集合对应的目标卡尔曼滤波器，包括:
计算所述目标激光点集合的平均点；
将所述目标激光点集合的平均点输入每个卡尔曼滤波器中，利用迭代最邻近点ICP算法确定所述目标激光点集合对应的候选卡尔曼滤波器；
计算所述目标激光点集合的外接矩形框尺寸和特征点信息；
对所述目标激光点集合的特征点信息和所述候选卡尔曼滤波器中存储的激光点集合的特征点信息进行ICP配准，得到配准残差；
对每一个候选卡尔曼滤波器，当所述目标激光点集合的外接矩形框尺寸和所述候选卡尔曼滤波器中存储的激光点集合的外接矩形框尺寸之间的差值小于预设的第一阈值，且所述目标激光点集合的特征点信息和所述卡尔曼滤波器中存储的激光点集合的特征点信息的配准残差小于预设的第二阈值时，确定所述候选卡尔曼滤波器为所述目标激光点集合对应的目标卡尔曼滤波器；
根据所述目标激光点集合和所述目标卡尔曼滤波器，预测所述目标物体的第一特征。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取激光雷达数据之后，所述方法还包括：
获取所述激光雷达数据对应的分辨率和所述激光雷达数据中的激光点的强度信息；
根据所述激光雷达数据对应的分辨率，将所述激光雷达数据转换为车体坐标系下的坐标；
根据车体坐标系下的坐标计算激光点之间的相对距离差；
根据所述激光点之间的相对距离差和所述激光点的强度信息，去除所述激光雷达数据中的飞点。
7.根据权利要求1至5任一项所述的方法，其特征在于，获取的所述激光雷达数据包括多帧；所述获取激光雷达数据之后，所述方法还包括：
将多帧激光雷达数据中的每一帧转换为世界坐标系下的坐标；
获取栅格化地图；所述栅格化地图包括多个栅格；
当多帧激光雷达数据中存在世界坐标系下的坐标落入所述栅格化地图中的第一栅格的次数大于预设的第四阈值时，将所述坐标从所述激光雷达数据中删除；所述第一栅格为所述栅格化地图包括多个栅格中的任意一个。
8.一种物体追踪装置，其特征在于，所述装置包括：获取模块和处理模块；
所述获取模块，用于获取激光雷达数据；所述激光雷达数据包括第一激光点集合和第二激光点集合；
所述处理模块，用于当所述第一激光点集合和所述第二激光点集合满足预设条件时，将所述第一激光点集合和所述第二激光点集合融合为目标激光点集合；所述目标激光点集合和目标物体具有对应关系；根据所述目标激光点集合和预设的卡尔曼滤波器，预测所述目标物体的第一特征。
9.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
所述存储器存储有所述处理器可执行的指令；
所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；
当所述计算机软件指令在电子设备中运行时，使得所述电子设备实现如权利要求1-7任一项所述的方法。
CN202210810083.5A 2022-07-11 2022-07-11 物体跟踪方法、装置、设备及存储介质 Pending CN115236687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810083.5A CN115236687A (zh) 2022-07-11 2022-07-11 物体跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810083.5A CN115236687A (zh) 2022-07-11 2022-07-11 物体跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115236687A true CN115236687A (zh) 2022-10-25

Family

ID=83670568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810083.5A Pending CN115236687A (zh) 2022-07-11 2022-07-11 物体跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115236687A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117428788A (zh) * 2023-12-13 2024-01-23 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117428788A (zh) * 2023-12-13 2024-01-23 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质
CN117428788B (zh) * 2023-12-13 2024-04-05 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
CN109509210B (zh) 障碍物跟踪方法和装置
CN110858076B (zh) 一种设备定位、栅格地图构建方法及移动机器人
CN110472553B (zh) 图像和激光点云融合的目标追踪方法、计算装置和介质
CN111060888A (zh) 一种融合icp和似然域模型的移动机器人重定位方法
CN112166458B (zh) 目标检测与跟踪方法、系统、设备及存储介质
CN112466103B (zh) 航空器飞行威胁演化预警方法、装置、设备及存储介质
CN112505671B (zh) Gnss信号缺失环境下毫米波雷达目标定位方法及装置
CN112001309A (zh) 基于无人机集群的目标搜索方法、装置、设备及存储介质
CN115236687A (zh) 物体跟踪方法、装置、设备及存储介质
CN111354022A (zh) 基于核相关滤波的目标跟踪方法及系统
CN111736167B (zh) 一种获取激光点云密度的方法和装置
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
CN114066773A (zh) 一种基于点云特征与蒙特卡洛扩展法的动态物体去除
WO2020248118A1 (zh) 点云处理方法、系统、设备及存储介质
KR102468927B1 (ko) Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
CN113920273B (zh) 图像处理方法、装置、电子设备和存储介质
CN114779207A (zh) 噪声数据识别方法、装置及存储介质
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
KR20230015658A (ko) 그리드 맵 생성 장치 및 방법
CN113256574A (zh) 一种三维目标检测方法
CN117392000B (zh) 一种噪点去除方法、装置、电子设备及存储介质
CN113219486B (zh) 一种定位方法及装置
WO2024116817A1 (ja) 情報処理方法、情報処理装置、およびプログラム
CN114758000A (zh) 一种终端重定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination