CN114091561A - 目标跟踪方法、装置、服务器和可读存储介质 - Google Patents
目标跟踪方法、装置、服务器和可读存储介质 Download PDFInfo
- Publication number
- CN114091561A CN114091561A CN202010777637.7A CN202010777637A CN114091561A CN 114091561 A CN114091561 A CN 114091561A CN 202010777637 A CN202010777637 A CN 202010777637A CN 114091561 A CN114091561 A CN 114091561A
- Authority
- CN
- China
- Prior art keywords
- target
- space information
- point cloud
- information
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Abstract
本申请涉及一种目标跟踪方法、装置、服务器和可读存储介质。该方法包括:获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。该方法可减少因遮挡物带来的影响,大大提高目标跟踪结果的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种目标跟踪方法、装置、服务器和可读存储介质。
背景技术
在当前的交通领域中,通常需要对道路目标进行跟踪,如跟踪车辆是否违规行驶等,以减轻交通执勤人员的执勤压力。随着激光雷达技术的不断发展,其以分辨率高、隐蔽性好、抗有源干扰能力强等优点,广泛应用于目标跟踪的过程。
传统技术中,使用道路一侧的激光雷达以固定时间间隔采集一定范围的点云数据,并对点云数据进行目标检测,对相邻时刻所检测出的目标进行分析,以达到跟踪目标的目的。
但是,传统技术中的目标跟踪方法,在具有遮挡物时跟踪效果不佳。
发明内容
基于此,有必要针对传统技术中的目标跟踪方法在具有遮挡物时跟踪效果不佳的问题,提出一种目标跟踪方法、装置、服务器和可读存储介质。
一种目标跟踪方法,该方法包括:
获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
在其中一个实施例中,根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息,包括:
从多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;其中,第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据;
对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。
在其中一个实施例中,根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息,包括:
分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;
从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息;
对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在其中一个实施例中,对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息,包括:
采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在其中一个实施例中,将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,包括:
针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征;
针对每个预测空间信息对应的目标,识别目标的第二特征;
若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
在其中一个实施例中,上述方法还包括:
若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;其中,候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息;
若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识。
在其中一个实施例中,将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,包括:
采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应;
针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
在其中一个实施例中,上述方法还包括:
若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征;其中,第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标;
计算第三特征与第四特征的相似度,若相似度大于相似度阈值,将第二目标的标识确定为第一目标的标识。
在其中一个实施例中,上述方法还包括:
若当前时刻存在未确定标识的目标,对未确定标识的目标分配随机标识,并将未确定标识的目标和随机标识存储于目标集合中;其中,随机标识与目标集合中其他目标的标识均不相同。
一种目标跟踪装置,其特征在于,该装置包括:
获取模块,用于获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
确定模块,用于根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
比较模块,用于将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到的,目标集合包括上一时刻检测区域中的目标。
一种服务器,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
上述目标跟踪方法、装置、服务器和可读存储介质,能够获取多个激光雷达扫描检测区域得到的点云数据;再根据该多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息,该三维空间信息包括目标的位置信息和大小信息;然后将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪。其中,多个激光雷达布置于检测区域的不同方位,则可以使得多激光雷达之间进行相互弥补,即一个激光雷达的扫描盲区可由另一个激光雷达扫描得到相应的点云数据,减少了因遮挡物带来的影响;另外,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标,即根据上一时刻目标的三维空间信息预测当前时刻目标的三维空间信息,并与当前时刻目标的真实三维空间信息进行对比匹配,由此充分考虑目标的历史信息以完成目标跟踪过程,可大大提高目标跟踪结果的准确性。
附图说明
图1为一个实施例中目标跟踪方法的应用场景图;
图2为一个实施例中目标跟踪方法的流程示意图;
图3为另一个实施例中目标跟踪方法的流程示意图;
图4为又一个实施例中目标跟踪方法的流程示意图;
图5为又一个实施例中目标跟踪方法的流程示意图;
图6为又一个实施例中目标跟踪方法的流程示意图;
图7为又一个实施例中目标跟踪方法的流程示意图;
图8为一个实施例中目标跟踪装置的结构框图;
图9为一个实施例中服务器的内部结构图。
附图标记说明:
11:基站; 12:服务器。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的目标跟踪方法,可以适用于图1所示的应用场景中。其中,多个基站11布置于检测区域的不同方位,如道路十字路口的斜对角,并将扫描得到的点云数据发送至服务器12;服务器12可以根据不同时刻的各点云数据对检测区域内的目标进行跟踪。可选地,基站11可以包括激光雷达或毫米波雷达等传感器,由激光雷达或毫米波雷达扫描得到点云数据;服务器12可以用独立的服务器或多个服务器组成的服务集群来实现。
在一个实施例中,如图2所示,提供了一种目标跟踪方法,以该方法应用于图1中的服务器为例进行说明,涉及的是服务器根据多个激光雷达扫描得到的点云数据,以进行目标跟踪的具体过程。该方法包括以下步骤:
S101,获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位。
其中,多个激光雷达(或基站激光雷达)布置于检测区域的不同方位,用于从不同角度扫描检测区域,这样假设从一个激光雷达的扫描角度不能扫描到被遮挡物时,可由另一个激光雷达的扫描角度进行弥补。多个激光雷达可以以固定时间间隔连续扫描检测区域,得到不同时刻的点云数据,并将各点云数据发送至服务器,则服务器可以获取到多个激光雷达扫描检测区域得到的点云数据。
S102,根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息。
具体地,服务器根据获取到的多个点云数据,可以从中选取当前时刻的点云数据,假设检测区域布置有2个激光雷达A和B,则服务器可以选取当前时刻A的点云数据和B的点云数据。然后服务器分别对A的点云数据和B的点云数据进行目标检测,确定各点云数据中每个目标的三维空间信息,该三维空间信息包括目标的位置信息和大小信息;其中,位置信息即目标当前所在的地理位置,可以用大地坐标系下的经纬度信息表示,大小信息可以用能够包围该目标的检测框尺寸来表示,如检测框的长宽高等。
可选地,若2个激光雷达的扫描区域没有重叠部分,则服务器可以直接分别对A的点云数据和B的点云数据进行目标检测;若2个激光雷达的扫描区域具有重叠部分,则服务器可以将重叠部分的点云数据进行叠加,使得重叠部分的点云密度更大,再进行目标检测过程,可提高得到的重叠部分目标的三维空间信息的准确性。
S103,将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
其中,目标跟踪过程通常是将一个目标上一时刻的行驶状态(可以包括位置信息等)与当前时刻的行驶状态进行关联,以获得目标整个行驶状态的过程。本实施例中,服务器将上一时刻检测到的目标以及各目标对应的三维空间信息进行存储,各目标可以位于目标集合中,该目标集合可以以列表形式进行存储。
具体地,服务器可以将当前时刻检测到的各目标的三维空间信息和目标集合中各目标的预测空间信息进行比较,该预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,即由上一时刻的三维空间信息预测的当前时刻的三维空间信息。若当前时刻中存在一目标(a)的三维空间信息与预测空间信息匹配,则可以将匹配到的预测空间信息对应的目标的标识作为当前时刻目标(a)的标识,由此对于目标(a)便可以确定其上一时刻的位置信息及当前时刻的位置信息,完成该目标的跟踪过程。
可选地,服务器可以将当前时刻目标的位置信息与预测空间信息中的位置信息进行比较,若存在位置信息相同或相近的两个目标,再比较两者之间的大小信息;若大小信息也相同或相近,则可认为当前时刻的该目标与预测空间信息对应的目标为同一个目标,为当前时刻的该目标确定标识。
本实施例提供的目标跟踪方法,服务器首先获取多个激光雷达扫描检测区域得到的点云数据;再根据该多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息,该三维空间信息包括目标的位置信息和大小信息;然后将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪。其中,多个激光雷达布置于检测区域的不同方位,则可以使得多激光雷达之间进行相互弥补,即一个激光雷达的扫描盲区可由另一个激光雷达扫描得到相应的点云数据,减少了因遮挡物带来的影响;另外,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标,即根据上一时刻目标的三维空间信息预测当前时刻目标的三维空间信息,并与当前时刻目标的真实三维空间信息进行对比匹配,由此充分考虑目标的历史信息以完成目标跟踪过程,可大大提高目标跟踪结果的准确性。
通常情况下,不同激光雷达(或基站激光雷达)都具有自身的坐标系,那么其扫描得到的点云数据可能是处于不同坐标系下的数据,即位于不同的空间域下;那么服务器需要先将各点云数据转换至同一坐标系下,再检测目标的三维空间信息,才可使得得到的三维空间信息也处于同一坐标系下,以减小后续匹配过程的误差。可选地,如图3所示,上述S102可以包括:
S201,从多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;其中,第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据。
其中,服务器可以从上述多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,将其他的点云数据都转换至该参考坐标系下,则实现多个点云数据位于同一坐标系下,且一个激光雷达通常在一个时刻扫描得到一个点云数据。具体地,服务器可以根据预设的转换矩阵,将第二点云数据转换至上述参照坐标系下,该第二点云数据为多个点云数据中除第一点云数据外的其他点云数据。可选地,转换矩阵可以表征参照坐标系与第二点云数据所在的坐标系之间的相对关系;可选地,可以根据迭代最近点法(Iterative Closest Points Algorithm,ICP)确定该转换矩阵,以将第二点云数据转换至第一点云数据所在的参照坐标系下。然后对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据,该融合操作可以为将两个点云数据进行的叠加操作。
S202,对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。
具体地,得到融合点云数据后,服务器可以对该融合点云数据进行目标检测处理,可选地,可以采用基于深度学习的目标检测算法执行该目标检测处理过程,得到当前时刻检测区域中每个目标的三维空间信息。
本实施例提供的目标跟踪方法,服务器可以根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;然后对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。通过将不同点云数据转换至同一坐标系下,以使在进行目标检测处理时是在同一空间域下执行的,提高了目标检测结果的准确性,进而提高了目标跟踪结果的准确性。
通常,激光雷达扫描得到的点云数据的数据量都较大,若将全部点云数据进行坐标系转换难免会增加计算量。因此,本实施例中可以先进行目标检测,只将得到的三维空间信息进行坐标系转换,以提高计算效率。可选地,如图4所示,上述S102可以包括:
S301,分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息。
具体地,服务器可以先分别对各激光雷达的点云数据进行目标检测处理,可选地,可以采用基于深度学习的目标检测算法执行该目标检测处理过程,得到每个点云数据中目标的三维空间信息。
S302,从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息。
其中,服务器可以从上述多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,将其他的三维空间信息都转换至该参考坐标系下,则实现多个三维空间信息位于同一坐标系下,且一个点云数据通常对应多个三维空间信息,即一个点云数据对应的场景中包括多个目标。具体地,服务器可以根据预设的转换矩阵,将第二三维空间信息转换至上述参照坐标系下,该第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,即第一三维空间信息与第二三维空间信息是由不同点云数据得到的。可选地,转换矩阵可以表征参照坐标系与第二三维空间信息所在的坐标系之间的相对关系;可选地,可以根据ICP算法确定该转换矩阵,以将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下。然后对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息,该融合操作可以为两个三维空间信息的取并集操作。
S303,对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
具体地,对于多基站的扫描区域存在重叠部分的场景,融合三维空间信息中可能会存在一个目标具有多个空间信息,即多个基站同时检测到了该目标,那么服务器需要对该场景进行去冗处理,使得每个目标仅对应一个三维空间信息,即得到当前时刻检测区域中每个目标唯一的三维空间信息。可选地,服务器可以采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。可以理解为,从多个三维空间信息中选取最优的(如位置信息精度最高或检测框尺寸为能够将目标包围的最小框)作为最终的三维空间信息。
本实施例提供的目标跟踪方法,服务器首先分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;然后根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;最后对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。通过将不同三维空间信息转换至同一坐标系下,使各三维空间信息处于同一空间域下,以提高后续目标跟踪结果的准确性;同时,仅将三维空间信息进行转换,还提高了转换效率;并且,目标检测处理是针对一个点云数据执行的,相较于对融合点云数据执行也减少了数据处理量,提高了处理效率。
在一个实施例中,涉及了服务器将每个目标的三维空间信息与预测空间信息进行比较,为当前时刻检测区域中的目标确定标识的具体过程。可选地,如图5所示,上述S103可以包括:
S401,针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征。
S402,针对每个预测空间信息对应的目标,识别目标的第二特征。
具体地,针对当前时刻每个三维空间信息对应的目标,服务器可以基于深度学习的目标识别算法识别目标的第一特征,以及针对每个预测空间信息对应的目标,也识别目标的第二特征。可选地,服务器还可以采用点云重识别网络来识别目标特征。
S403,若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
具体地,在当前时刻所对应的所有目标中,若存在第一特征与第二特征的相似度大于相似度阈值的目标,即当前时刻的该目标在目标集合中存在,也即该目标在上一时刻也被扫描到;则服务器可以将第二特征对应的目标的标识(该目标在目标集合中的标识),作为第一特征对应的目标的标识,即当前时刻的目标的标识,由此实现为当前时刻的目标确定标识的目的,并与上一时刻的目标进行了关联。
当然,在当前时刻的所有目标中,也必然会有第一特征与第二特征的相似度不大于相似度阈值的目标,即其通过相似度匹配未通过。可选地,服务器可以再计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比,该候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息,即计算当前时刻与目标集合的目标中,相似度匹配未通过的目标的空间信息的交并比。若有交并比大于交并比阈值的情况,则将满足该条件的候选预测空间信息对应的目标的标识,作为当前时刻该三维空间信息对应的目标的标识。
本实施例提供的目标跟踪方法,服务器识别当前时刻每个三维空间信息对应的目标的第一特征以及每个预测空间信息对应的目标的第二特征,若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识;若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,则计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比,若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识。由此,通过目标特征和三维空间信息交并比的双重匹配,为当前时刻检测到的目标确定对应的标识,可大大提高确定的标识的准确性,进而提高目标跟踪结果的准确性。
在一个实施例中,涉及了服务器将每个目标的三维空间信息与预测空间信息进行比较,为当前时刻检测区域中的目标确定标识的另一具体过程。可选地,如图6所示,上述S103可以包括:
S501,采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应。
具体地,针对目标集合中的每个目标,服务器采用卡尔曼滤波器对其三维空间信息进行预测,预测每个目标在当前时刻的预测空间信息,则每个预测空间信息对应的目标的标识即为对应的目标集合中目标的标识。
S502,针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
具体地,针对当前时刻检测到的每个目标,服务器计算其三维空间信息与所有预测空间信息之间的交并比,该交并比可以为目标检测框尺寸的重合度;若存在交并比大于交并比阈值(如90%)的三维空间信息,则将与其匹配上的预测空间信息对应的目标的标识,作为该三维空间信息对应目标的标识。
当然,在当前时刻的所有目标中,也必然会存在交并比不大于交并比阈值的三维空间信息,即交并比匹配未通过,则服务器可以识别第一目标的第三特征和第二目标的第四特征,该第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标,即当前时刻和目标集合中交并比匹配未通过的目标。可选地,可以采用点云重识别网络分别提取第三特征和第四特征。然后计算第三特征与第四特征的相似度,若存在相似度大于相似度阈值的情况,则将对应第二目标的标识作为匹配的第一目标的标识。
本实施例提供的目标跟踪方法,针对当前时刻的每个目标,服务器计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识;若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征,计算第三特征与第四特征的相似度,若相似度大于相似度阈值,将第二目标的标识确定为第一目标的标识。由此,同样通过目标特征和三维空间信息交并比的双重匹配,为当前时刻检测到的目标确定对应的标识,可大大提高确定的标识的准确性,进而提高目标跟踪结果的准确性。
在一个实施例中,会存在当前时刻未确定标识的目标,如新进入检测区域的目标,不在目标集合中存在,则服务器可以对该未确定标识的目标分配随机标识,并将该目标和随机标识存储于目标集合中,且该随机标识与目标集合中其他目标的标识均不相同。由此,目标集合中的各目标可用于对下一时刻检测区域的目标进行匹配以确定标识。可选地,对于目标集合中的目标,还可能存在在下一时刻离开检测区域的情况,则服务器可以将不再位于检测区域的目标从目标集合中移除。
在实际多基站系统的应用中,上述目标跟踪过程还可应用于多基站系统的环境感知过程,下面详细对多基站系统的环境感知过程进行介绍,其中,以多基站系统中的路侧基站(包括激光雷达传感器)采集的单基站感知数据(包括点云数据)为例进行说明:
A,分别获取各路侧基站的单基站感知数据,根据多基站系统的标定参数,对各路侧基站的单基站感知数据进行时空同步处理。
其中,单基站感知数据可以为路侧基站所采集的当前检测范围内的采集数据,如点云数据或相机数据等。服务器可以分别从各路侧基站中获取采集到的单基站感知数据。因各路侧基站都具有自身的基站坐标系,则所采集的单基站感知数据是处于各自的基站坐标系下的;为使得到的单基站感知数据处于同一基准下,从而得到同一基准下全局场景的感知信息,服务器需先对各单基站感知数据进行时空同步处理。具体地,服务器可以根据多基站系统的标定参数,对各路侧基站的单基站感知数据进行时空同步处理,可选地,服务器可以根据标定参数(该标定参数可以包括平移向量和旋转矩阵等参数),将各单基站感知数据配准至同一时空。
B,基于时空同步处理后的单基站感知数据获取各个路侧基站的目标检测结果。
具体地,服务器可以对得到的时空处理后的单基站感知数据进行目标检测,得到各路侧基站检测范围内目标的位置、速度、航向角、加速度及类别(如行人、车辆等)等信息,作为目标检测结果。可选地,服务器可以基于深度学习算法(如神经网络)对单基站感知数据进行目标检测,以得到目标检测结果。
C,将各个路侧基站的目标检测结果映射至全局场景,生成全局场景下的感知信息;其中,全局场景基于多基站系统的感知范围确定。
具体地,各个路侧基站的目标检测结果都是基于单个路侧基站的,为得到整个多基站系统的目标检测结果,服务器可以将各目标检测结果映射至全局场景,即将各路侧基站的目标检测结果映射为全局感知数据,得到全局场景下的感知信息。其中,全局场景为基于多基站系统的感知范围所确定的,则服务器可以将各个目标检测结果“标记”至全局场景上,得到全局场景下的感知信息。由此,使用多基站系统覆盖整个交通场景的检测范围,并基于单个路侧基站的单基站感知数据得到整个全局场景的感知信息,即得到了整个交通场景的感知信息,大大提高了感知环境的范围。
为方便理解上述根据多基站系统的标定参数,对各路侧基站(也可称之为基站)的单基站感知数据进行时空同步处理的过程,下面对该过程进行详细介绍。该过程可以包括以下步骤:
A1,利用测量仪测量各个路侧基站的经纬度信息,并根据经纬度信息确定初始标定参数。
其中,基站内部具有可以测量自身经纬度信息的测量仪,该经纬度信息为大地坐标系下基站的定位信息。每个基站具有自身的基站坐标系,通常不同基站的基站坐标系不同,因此不同基站采集的单基站感知数据是位于不同基站坐标系下的(以下以点云数据为例进行说明,以下的点云数据即单基站感知数据,第一点云数据即第一单基站感知数据,待配准点云数据即待配准感知数据)。
具体地,利用上述测量仪测量各个基站的经纬度信息后,服务器可以根据各个基站的经纬度信息确定初始标定参数,该初始标定参数用于对各个基站采集的点云数据进行粗配准。可选地,服务器可以根据各个基站的经纬度信息确定基站之间的距离,并根据基站之间的距离以及自身的基站坐标系确定初始标定参数;其中,该初始标定参数可以包括配准时所需的平移向量和旋转矩阵。
A2,利用初始标定参数处理各路侧基站的单基站感知数据得到各路侧基站对应的第一单基站感知数据。
具体地,服务器可以根据上述确定的初始标定参数处理各基站的点云数据,将各基站的点云数据同步至同一空间,得到各基站对应的第一点云数据。可选地,该同一空间可以为各基站中某个基站的基站坐标系空间,也可以为服务器选取的某个基准坐标系空间(如大地坐标系)。可选地,假设初始标定参数中平移向量为T、旋转矩阵为R,则服务器可以采用包含P0*R+T的关系式对基站的点云数据P0进行转换,得到第一点云数据。
A3,根据预设条件从各路侧基站对应的第一单基站感知数据中,分别选取各路侧基站对应的待配准感知数据,并利用预设配准算法处理待配准感知数据,得到多基站系统的标定参数;预设条件用于表征所选取的待配准感知数据的数据范围。
其中,因上述粗配准过程是依据基站的经纬度信息所执行的,经纬度信息的准确度取决于基站自身的硬件因素,因此,为了进一步提高各基站点云数据在同一空间上的同步精度,则本实施例对各基站点云数据再进行一次精配准过程。
具体地,针对各基站对应的第一点云数据,服务器可以根据预设条件分别从各第一点云数据选取各基站对应的待配准点云数据,该预设条件用于表征所选取的待配准点云数据的数据范围。可选地,可以选取第一点云数据中距离点云中心Xm(如10m)范围内的数据作为待配准点云数据,即只选取点云密度较大的点云数据,以减少配准过程的数据量。然后服务器利用预设配准算法处理所选取的待配准点云数据,以得到多基站系统精配准时的标定参数,进而采用该标定参数对待配准数据进行配准。可选地,上述预设配准算法可以为最近点迭代算法(Iterative Closest Point,ICP),也可以为其他类型的点云配准算法,本实施例对此不做限制。由此,对于多个基站采集的点云数据,本实施例通过粗配准和精配准两个过程确定多基站系统的精确标定参数,进而根据该标定参数对基站的点云数据进行配准,大大提高了多个基站点云数据的空间同步性。
在一个实施例中,上述多个基站的检测范围存在一定的交叠区域,多个基站在该交叠区域中可检测到共同目标,为提高检测到的共同目标信息的统一性,则服务器可以选取交叠区域所对应的点云数据进行配准。上述根据预设条件从各路侧基站对应的第一单基站感知数据中,分别选取各路侧基站对应的待配准感知数据的过程,可以包括以下步骤:
A31,根据各基站的检测范围,确定基站间的交叠区域。
A32,针对各基站,从第一点云数据中获取交叠区域对应的点云数据,作为待配准点云数据。
具体地,通过各基站的检测范围,服务器可以确定基站之间的交叠区域,例如,假设基站A和基站B的检测范围都是半径50m的圆形,基站A和基站B的距离为80m,则可以确定基站A的检测范围和基站B的检测范围的交叠区域为宽度20m的区域。
然后,针对各个基站,服务器可以从第一点云数据中,获取交叠区域所对应的那部分点云数据,作为待配准点云数据。可选地,服务器可以将第一点云数据中非交叠区域的点云数据删除,以得到待配准点云数据。通过选取基站间交叠区域对应的点云数据作为待配准点云数据,首先可减少配准时的点云数据量,提高配准效率,其次可提高基站检测范围内共同目标信息的统一性。
在一个实施例中,上述根据经纬度信息确定初始标定参数的过程,可以包括以下步骤:
A11,根据各个基站的经纬度信息获取原始标定参数。
A12,利用各基站检测范围内的共同目标对原始标定参数进行评估,根据评估结果获取初始标定参数。
具体地,根据各个基站的经纬度信息获取原始标定参数的过程可以参见上述实施例的描述,在此不再赘述。而得到原始标定参数后,服务器进一步对该原始标定参数进行评估,以得到精度较高的标定参数,提高粗配准的结果精度。在得到原始标定参数之后,服务器可以利用原始标定参数处理各基站的点云数据,然后对处理后的点云数据进行目标检测,利用各基站检测范围内的共同目标对上述原始标定参数进行评估,以获取初始标定参数。可选地,服务器可以分别计算共同目标到各基站的距离,根据各距离的差值对原始标定参数进行评估,若距离差值小于预设的差值阈值,则将原始标定参数作为初始标定参数,若距离误差不小于差值阈值,则需重新利用测量仪测量各个基站的经纬度信息,并根据经纬度信息重新获取原始标定参数,以此重复执行,直至共同目标到各基站的距离差值小于差值阈值。可选地,服务器还可以根据各基站检测到的共同目标的坐标之间的差异,对原始标定参数进行评估,以获取初始标定参数。
在另一种可实现的方式中,服务器还可以获取各基站检测范围内共同目标的检测框,并确定共同目标的各检测框之间的重叠度;若各检测框之间的重叠度大于重叠度阈值,则将原始标定参数作为初始标定参数。可选地,可以采用基于深度学习的目标检测算法对各处理后的点云数据进行目标检测,确定各基站检测范围内的共同目标的检测框,该检测框可以为能够包围目标的最小三维框,具有长宽高等信息。然后根据共同目标的各检测框确定各检测框之间的重叠度,若重叠度大于预设的重叠度阈值(如90%),则说明得到的原始标定参数的精度已较高,可将原始标定参数作为初始标定参数;若重叠度不大于重叠度阈值,则说明得到的原始标定参数的精度还较低,需重新利用测量仪测量各个基站的经纬度信息,并根据经纬度信息重新获取原始标定参数,以此重复执行,直至共同目标的各检测框之间的重叠度大于重叠度阈值。由此,在保证粗配准具有一定精度的前提下再执行精配准过程,可以进一步提高进行点云配准的准确性。
在一个实施例中,服务器还可以利用基站检测范围内目标的经纬度信息和基站的经纬度信息共同确定上述原始标定参数。上述A11的过程可以包括:
A111,获取各个基站检测范围内目标的经纬度信息。
A112,根据各个基站的经纬度信息和目标的经纬度信息,确定各个基站之间的夹角和距离。
具体地,基站检测范围内目标的经纬度信息也可以为在大地坐标系下的位置信息,可以利用基站内部的测量仪进行测量;然后选取大地坐标系为基准坐标系,服务器根据各个基站的经纬度信息、各个基站检测范围内目标的经纬度信息和每个基站的基站坐标系,确定每个基站坐标系中预设坐标轴与大地坐标系下基准方向的夹角,并根据各基站坐标系中预设坐标轴与基准方向的夹角确定各个基站之间的夹角。
示例性的,基站坐标系可以为一个三维坐标系,包括X轴、Y轴和Z轴,基准方向可以为正北方向,则服务器可以确定基站坐标系中Y轴与大地坐标系下正北方向的夹角。假设基站A的经度为Aj、纬度为Aw,目标的经度为Bj、纬度为Bw,可选地,服务器可以根据的关系式计算一个参考角度F;当然,服务器也可以根据包含的其他关系式计算该参考角度。若目标在基站的基站坐标系的第一象限及Y轴正半轴,则基站坐标系中Y轴与正北方向的夹角Azimuth=F;若目标在基站坐标系的第二象限,则Azimuth=360°+A;若目标在基站坐标系的第三象限、第四象限及Y轴负半轴,则Azimuth=180°+A。由此,可计算得到基站A坐标系中Y轴与大地坐标系下正北方向的夹角Azimuth1,基站B坐标系中Y轴与大地坐标系下正北方向的夹角Azimuth2,通过将夹角Azimuth1和夹角Azimuth2进行求差操作,即得到基站A和基站B之间的夹角ΔA=Azimuth1-Azimuth2。
另外,服务器还可以根据每个基站的经纬度信息确定两个基站之间的距离,如通过计算两个基站之间的经度差、以及计算两个基站之间的纬度差,再根据包含的距离公式确定两个基站之间的距离,其中为ΔJ经度差,ΔW为纬度差;可选地,服务器还可以直接将ΔJ作为两个基站在经度方向上的距离,将ΔW作为纬度方向上的距离。
A113,根据各个基站之间的夹角和距离,确定原始标定参数。
具体地,服务器可以将基站之间的夹角作为旋转矩阵、将基站之间的距离作为平移向量,并将该旋转矩阵和平移向量作为原始标定参数。由此,基于基站的经纬度信息和目标的经纬度信息确定原始标定参数,可以提高得到的原始标定参数的精度,进而提高多个基站点云数据的空间同步性。
为方便理解上述利用预设配准算法处理待配准点云数据的过程,本实施例采用两个基站进行解释说明,假设一个基站的待配准点云数据为第二点云数据,另一个基站的待配准点云数据为第三点云数据,上述利用预设配准算法处理待配准感知数据,得到多基站系统的标定参数的过程,可以包括:
A33,根据第二点云数据的点云点和第三点云数据的点云点之间的距离值,获取第二点云数据与第三点云数据中匹配的点对。
具体地,假设第二点云数据为P0,第三点云数据为Q,针对点云数据P0中的各个点云点,从点云数据Q中搜索与P0点云点距离最近的点云点,组成多个点对。
A34,采用误差函数计算各点对的均方误差,确定均方误差的值最小时所对应的旋转转换参数,并利用旋转转换参数处理第二点云数据和第三点云数据,得到第一候选点云数据和第二候选点云数据。
具体地,每个点对包括一个P0的点云点和一个Q的点云点(pi,qi),其中,初始点对中的对应关系并不一定都是正确的,错误的对应关系会影响最终的配准结果,本实施例还可以采用方向向量阈值剔除错误的点对。然后,采用误差函数计算该多个点对的均方误差,确定该均方误差最小时的旋转转换参数,并采用旋转转换参数将第二点云数据P0转换为第一候选点云数据P1,需要是说明的是,此时可不必对第三点云数据进行转换,直接将第三点云数据Q作为第二候选点云数据;可选地,该误差函数的表达式可以为其中n为点对的个数,R为旋转转换参数中的旋转矩阵,t为旋转转换参数中的平移向量,当前确定的是均方误差最小时的R和t的取值,并根据pi'={Rpi+t,pi∈P0}的转换关系式将点云数据P0转换为P1。
A35,计算第一候选点云数据和第二候选点云数据的均方误差,若均方误差小于误差阈值,将旋转转换参数作为多基站系统的标定参数。
然后,计算第一候选点云数据P1和第二候选点云数据Q之间的均方误差,可选地,可以采用的关系式计算该均方误差,需要说明的是,pi’为与qi位于同一个点对的pi转换而来的。若该均方误差小于误差阈值,则将上述得到的旋转转换参数作为多基站系统的标定参数。若该均方误差不小于预设误差,则再确定点云数据P1和Q之间的点对,重新执行计算点对的均方误差的过程,直至均方误差小于预设误差或者迭代次数达到预设次数为止。由此迭代获得精配准过程的标定参数,可大大提高得到的标定参数的精度。
在一个实施例中,服务器得到上述各基站对应的待配准点云数据(如交叠区域对应的点云数据)之后,还可以基于待配准点云数据的数据精度和精度阈值,确定待配准点云数据中数据精度不大于精度阈值的待剔除数据,例如一些特征不明显的数据,并从待配准点云数据中剔除该待剔除数据。继而服务器可以利用预设配准算法处理所述待配准点云数据,得到多基站系统的标定参数。由此,可保留各待配准点云数据中精度较高的数据,为后续的精配准过程提供高精度数据,以进一步提高点云配准结果的准确性。可选地,服务器还可以对待配准点云数据进行地面点的滤除,即滤除待配准点云数据中的地面点数据,以减少地面点对数据配准过程的影响。
在一个实施例中,除了将多个基站的单基站感知数据进行空间同步之外,还可以将实现时间同步。可选地,时间同步的过程可以包括:接收各基站发送的基站时间轴;根据各基站的基站时间轴以及基准时间轴,将各基站时间轴同步至同一时间轴。具体地,首先选取一个基准时间轴,可选地,该基准时间轴可以为GPS时间轴;然后计算各基站的基站时间轴与基准时间轴之间的时间差ΔT1、ΔT2等等。若以两个基站为例,则将ΔT1与ΔT2之间的差值作为第一基站的基站时间轴与第二基站的基站时间轴之间的时间差,那么根据该时间差,第二基站可以将自身的基站时间轴同步至第一基站的基站时间轴上。由此,便实现了各基站之间的时间同步。
在一个实施例中,涉及了基于时空同步处理后单基站感知数据,获取各个路侧基站的目标检测结果的具体过程。可选地,上述B步骤可以包括:
B1,若各路侧基站存在感知重叠区域,则对感知重叠区域对应的单基站感知数据进行数据增强处理,得到增强单基站感知数据。
B2,利用目标检测算法处理增强单基站感知数据,得到各个路侧基站的目标检测结果。
具体地,如图1所示的场景图,路侧基站的检测范围会具有感知重叠区域,那么各路侧基站采集的单基站感知数据也会存在交叠数据。例如,基站A和基站B检测区域的范围都是半径50m的圆形,基站A和基站B的距离为80m,则可以确定基站A和基站B的检测区域的感知重叠区域宽度为20m,感知重叠区域对应的单基站感知数据为该20m对应的采集数据。然后服务器可以对该部分的单基站感知数据数据增强处理,得到增强单基站感知数据。例如进行稠密化处理,若单基站感知数据为点云数据,则可以采用插值算法增加该部分数据的点云密度,以提升其中目标的特征维度;若单基站感知数据为相机数据(图像数据),则可以采用差值算法增加像素点信息维度,进而得到增强单基站感知数据。
然后,服务器可以利用目标检测算法处理上述增强单基站感知数据,该目标检测算法可以为基于深度学习的检测算法,如基于神经网络模型的算法,对增强单基站感知数据进行检测后得到各个路侧基站的目标检测结果。通过对单基站感知数据进行增强,可大大提高得到的目标检测结果的准确性。
可选地,当上述单基站感知数据为点云数据时,各路侧基站还可以共享其他基站基于增强单基站感知数据检测到的感知重叠区域内的目标检测结果。例如,基站A基于增强单基站感知数据检测到了重叠区域内一个目标的一部分(如检测到了一辆车的车头),基站B基于增强单基站感知数据检测到了该目标的另一部分(如检测到了该车的车身),那么基站B便可以共享到基站A的车头信息,使得所获得的目标检测结果具有完整性,也同时提高了基站B的检测能力。
在一个实施例中,上述全局场景下的感知信息包括全局场景下的目标移动轨迹,即实现目标的跟踪过程,可选地,上述C可以包括:将映射至全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到全局场景下的目标移动轨迹;其中,在先目标检测结果包括在当前时刻之前的时刻所对应的目标检测结果。
具体地,目标检测结果中可以包括目标在当前时刻的位置,那么在先目标检测结果中也包括目标在当前时刻之间的时刻的位置;其中,服务器还可以对检测到的目标分配一个目标标识,以区分不同的目标,而相同的目标则使用相同的目标标识。因此,服务器可以通过目标标识以及目标的位置,将目标检测结果和在先目标检测结果进行关联,得到全局场景下的目标移动轨迹。
需要说明的是,服务器需要先判断当前的目标检测结果中的目标和在先目标检测结果中的目标是同一个目标时,才可为其分配相同的目标标识,以实现目标的跟踪过程。下面详细介绍一下实现目标跟踪的具体过程:
在一个实施例中,上述目标检测结果可以包括目标的位置、目标的速度以及目标的航向角,在先目标检测结果还包括目标的预测信息;可选地,上述C步骤可以包括:
C1,根据各路侧基站的目标检测结果以及各路侧基站之间的相对位置计算对应目标在预设时长之后的位置和方向,得到各目标的预测信息。
具体地,服务器可以根据当前时刻的目标的位置、速度和航向角,以及各路侧基站之间的相对位置,预测目标在预设时长(可以为多个预设时长)之后的位置和方向。例如,当前时刻为16:00:00,服务器根据基站A与基站B之间的距离和相对角度,预测目标在16:00:05、16:00:10、16:00:15、16:00:20等十个后续时刻的预测信息,需要说明的是,所预测后续时刻的数量可以根据实际场景的需要进行设定。可选地,服务器可以根据包含的关系式计算目标在Δt时间间隔后的位置,其中,(Xi,Yi)为目标在当前时刻的经度和纬度,Vi为目标在当前时刻的速度,ψi为目标在当前时刻的航向角;根据包含Vi+aiΔt的关系式计算目标在Δt时间间隔后的后续时刻的速度,其中ai为目标在当前时刻的加速度。
另外,各路侧基站在预设时长内也会不断的进行数据采集,并对每个时刻采集到的目标检测结果进行预测,将后一个时刻所得到的预测信息覆盖前一个时刻所得到的预测信息。示例性的,在16:00:00时刻预测了目标在16:00:05、16:00:10、16:00:15、16:00:20等十个时刻的预测信息;在16:00:05时仍检测到了该目标,则继续预测目标在16:00:10、16:00:15、16:00:20、16:00:25等十个时刻的预测信息,并将新预测的16:00:10、16:00:15、16:00:20时刻的预测信息覆盖第一次预测的预测信息。
C2,根据各目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到全局场景下的目标移动轨迹。
具体地,服务器可以将各目标的预测信息与当前时刻的目标检测结果进行匹配,若匹配上则表明该目标在当前时刻仍处于路侧基站的检测区域内,则将预测信息所对应的目标的目标标识赋予目标检测结果所对应的目标,根据该目标上一时刻的位置和当前时刻的位置即得到该目标的移动轨迹。
可选地,服务器还可以根据得到的预测信息判断全局场景下是否存在安全隐患;若存在安全隐患,则输出安全预警信息。可选地,服务器可以获取多个目标的预测信息,若多个目标的预测信息中的位置信息存在重叠,则确定全局场景下存在安全隐患。例如若两个或多个目标的预测信息中,存在位置信息重叠的情况,说明可能这两个或多个目标可能会发生碰撞,即存在安全隐患,则可以输出安全预警信息。
可选地,目标检测结果还可以包括目标的大小信息,而根据全局场景中的目标检测结果(包括三维空间信息)和各目标的预测信息(包括预测空间信息)实现目标跟踪的过程,可以参见上述实施例中的描述。
上述详细介绍了在整个多基站系统中,服务器对检测区域内的目标进行跟踪以得到目标移动轨迹的过程,下面以多基站系统中的一个路侧基站为例,介绍该路侧基站的检测跟踪过程。
在一个实施例中,上述C2步骤可以包括:
C21,基于候选预测信息中的位置信息从多个路侧基站中确定目标路侧基站;其中,候选预测信息为任一一个所述目标基于当前时刻的预测信息。
具体地,服务器根据候选预测信息中的位置信息可以获知目标将要达到哪里,并根据该位置信息和路侧基站的检测范围可以获知该位置是处于哪个路侧基站的检测范围内,则将该路侧基站作为目标路侧基站。
C22,在预设时长之后,获取目标路侧基站的当前单基站感知数据,并对当前单基站感知数据进行目标检测,得到目标路侧基站的当前目标检测结果。
C23,若当前目标检测结果与候选预测信息匹配,则将候选预测信息对应的目标与当前目标检测结果中的目标进行关联。
具体地,确定了目标路侧基站之后,可以获取该目标路侧基站在预设时长之后的当前单基站感知数据,并对当前单基站感知数据进行目标检测,得到当前目标检测结果。然后对该目标检测结果和上述候选预测信息进行匹配,匹配过程可以参见上述实施例的描述(如根据目标特征、检测框交并比等方式),若匹配成功,则将候选预测信息对应的目标与该当前目标检测结果中的目标进行关联,即将候选预测信息对应的目标标识赋予当前目标检测结果中的目标。
可选地,若当前目标检测结果与候选预测信息不匹配,则目标路侧基站未检测到候选预测信息对应的目标,则判断当前目标检测结果对应的目标是否为新增目标,例如该目标在目标路侧基站之前都未检测到过,则认为是新增目标,则在全局场景的感知信息中增加该新增目标的感知信息,以提高全局场景感知信息的全面性。
可选地,服务器还可以获取候选预测信息中的位置信息,若目标路侧基站未检测到与该位置信息对应的当前目标检测结果,即所预测的这个位置上目标路侧基站未检测到目标,表明目标路侧基站在此位置的感知能力较弱;则服务器可以确定后续时刻中目标检测结果与预测信息匹配的目标后续时刻,即确定目标路侧基站检测到该目标的时刻;然后将目标后续时刻之前所对应的候选预测信息作为该目标路侧基站的目标检测结果。
示例性的,对于16:00:05时刻的当前目标检测结果,服务器可以该检测结果与候选预测信息进行匹配,若匹配成功,则该候选预测信息对应的目标即为目标路侧基站在当前时刻检测到的目标,时刻(16:00:05)为目标后续时刻,即可以认为该目标在(16:00:05)被目标路侧基站检测到了。若不存在匹配的位姿数据,则说明目标路侧基站在16:00:05还未检测到该目标,服务器再根据16:00:10时刻的当前目标检测结果与16:00:10时刻的候选预测信息进行对比,若此时匹配上,则该候选预测信息对应的目标即为目标路侧基站在当前时刻检测到的目标,时刻(16:00:10)为目标后续时刻;并且将(16:00:10)之前的候选预测信息作为目标路侧基站的目标检测结果,则即使目标路侧基站在未检测目标时也可获取到对应的目标检测结果,提高了目标路侧基站的感知能力。若仍不存在匹配的位姿数据,则继续以后一个后续时刻的候选预测信息进行对比,直至确定目标后续时刻。
为更好的理解上述目标跟踪方法的整个过程,下面以一个整体实施例方式对该方法再次进行介绍。如图7所示,该方法包括:
S601,获取多个激光雷达扫描检测区域得到的点云数据;
S602,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;
S603,对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息;
S604,针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征;针对每个预测空间信息对应的目标,识别目标的第二特征;
S605,判断当前时刻中第一特征与第二特征的相似度是否大于相似度阈值的目标;
S606,若是,将第二特征对应的目标的标识,作为第一特征对应的目标的标识;
S607,若否,计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;
S608,若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识;
S609,若交并比不大于交并比阈值,对未确定标识的目标分配随机标识。
关于各步骤的实现过程可以参见上述实施例的描述,其实现原理和技术效果类似,在此不再赘述。
应该理解的是,虽然图2-图7的流程图中各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种目标跟踪装置,包括:获取模块21、确定模块22和比较模块23。
具体地,获取模块21,用于获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
确定模块22,用于根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
比较模块23,用于将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到的,目标集合包括上一时刻检测区域中的目标。
本实施例提供的目标跟踪装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在一个实施例中,上述确定模块22,具体用于从多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;其中,第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据;对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,上述确定模块22,具体用于分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息;对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,确定模块22,具体用于采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,比较模块23,具体用于针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征;针对每个预测空间信息对应的目标,识别目标的第二特征;若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
在一个实施例中,比较模块23,还用于若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;其中,候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息;若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识。
在一个实施例中,比较模块23,具体用于采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应;针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
在一个实施例中,比较模块23,还用于若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征;其中,第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标;计算第三特征与第四特征的相似度,若相似度大于相似度阈值,将第二目标的标识确定为第一目标的标识。
在一个实施例中,上述装置还包括随机分配模块,用于若当前时刻存在未确定标识的目标,对未确定标识的目标分配随机标识,并将未确定标识的目标和随机标识存储于目标集合中;其中,随机标识与目标集合中其他目标的标识均不相同。
本实施例提供的目标跟踪装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定,在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种服务器,该服务器的内部结构图可以如图9所示。该服务器包括通过系统总线连接的处理器、存储器和网络接口。其中,该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的数据库用于存储激光雷达所扫描的点云数据及上一时刻目标集合中目标的三维空间信息。该服务器的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标跟踪方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种服务器,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
本实施例提供的服务器,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;其中,第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据;
对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;
从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息;
对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征;
针对每个预测空间信息对应的目标,识别目标的第二特征;
若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;其中,候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息;
若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应;
针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征;其中,第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标;
计算第三特征与第四特征的相似度,若相似度大于相似度阈值,将第二目标的标识确定为第一目标的标识。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若当前时刻存在未确定标识的目标,对未确定标识的目标分配随机标识,并将未确定标识的目标和随机标识存储于目标集合中;其中,随机标识与目标集合中其他目标的标识均不相同。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取多个激光雷达扫描检测区域得到的点云数据;多个激光雷达布置于检测区域的不同方位;
根据多个激光雷达扫描得到的点云数据,确定当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息;
将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和第一点云数据进行融合,得到融合点云数据;其中,第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据;
对融合点云数据进行目标检测处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
分别对多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;
从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息;
对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征;
针对每个预测空间信息对应的目标,识别目标的第二特征;
若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;其中,候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息;
若交并比大于交并比阈值,将候选预测空间信息对应的目标的标识,作为三维空间信息对应的目标的标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应;
针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征;其中,第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标;
计算第三特征与第四特征的相似度,若相似度大于相似度阈值,将第二目标的标识确定为第一目标的标识。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若当前时刻存在未确定标识的目标,对未确定标识的目标分配随机标识,并将未确定标识的目标和随机标识存储于目标集合中;其中,随机标识与目标集合中其他目标的标识均不相同。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取多个激光雷达扫描检测区域得到的点云数据;所述多个激光雷达布置于所述检测区域的不同方位;
根据所述多个激光雷达扫描得到的点云数据,确定当前时刻所述检测区域中每个目标的三维空间信息;所述三维空间信息包括所述目标的位置信息和大小信息;
将所述当前时刻所述检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与所述预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,所述预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,所述目标集合包括上一时刻所述检测区域中的目标。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个激光雷达扫描得到的点云数据,确定当前时刻所述检测区域中每个目标的三维空间信息,包括:
从所述多个激光雷达扫描得到的多个点云数据中选定第一点云数据所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二点云数据转换至第一点云数据所在的参照坐标系下,并对转换后的第二点云数据和所述第一点云数据进行融合,得到融合点云数据;其中,所述第二点云数据为多个点云数据中除第一点云数据外的其他点云数据,一个激光雷达扫描得到一个点云数据;
对所述融合点云数据进行目标检测处理,得到当前时刻所述检测区域中每个目标的三维空间信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个激光雷达扫描得到的点云数据,确定当前时刻所述检测区域中每个目标的三维空间信息,包括:
分别对所述多个激光雷达的点云数据进行目标检测处理,得到每个点云数据中目标的三维空间信息;
从多个点云数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和所述第一三维空间信息进行融合,得到融合三维空间信息;其中,所述第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息;
对所述融合三维空间信息进行去冗处理,得到当前时刻所述检测区域中每个目标的三维空间信息。
4.根据权利要求3所述的方法,其特征在于,所述对所述融合三维空间信息进行去冗处理,得到当前时刻所述检测区域中每个目标的三维空间信息,包括:
采用非极大值抑制算法对所述融合三维空间信息进行去冗处理,得到当前时刻所述检测区域中每个目标的三维空间信息。
5.根据权利要求1所述的方法,其特征在于,所述将所述当前时刻所述检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与所述预测空间信息匹配的目标确定对应的标识,包括:
针对所述当前时刻每个三维空间信息对应的目标,识别所述目标的第一特征;
针对每个预测空间信息对应的目标,识别所述目标的第二特征;
若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,将所述第二特征对应的目标的标识,作为所述第一特征对应的目标的标识。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若当前时刻中存在第一特征与第二特征的相似度不大于相似度阈值的目标,计算所述当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比;其中,所述候选预测空间信息为所述目标集合中相似度不大于所述相似度阈值的目标的预测空间信息;
若所述交并比大于交并比阈值,将所述候选预测空间信息对应的目标的标识,作为所述三维空间信息对应的目标的标识。
7.根据权利要求1所述的方法,其特征在于,所述将所述当前时刻所述检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与所述预测空间信息匹配的目标确定对应的标识,包括:
采用卡尔曼滤波器对所述目标集合中目标的三维空间信息进行预测,得到所述目标集合中每个目标的预测空间信息;其中,所述预测空间信息对应的目标的标识与所述目标集合中目标的标识相对应;
针对所述当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为所述三维空间信息对应目标的标识。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若存在交并比不大于交并比阈值的三维空间信息,识别第一目标的第三特征和第二目标的第四特征;其中,所述第一目标为当前时刻对应的目标中三维空间信息交并比不大于所述交并比阈值的目标,所述第二目标为所述目标集合中预测空间信息交并比不大于所述交并比阈值的目标;
计算所述第三特征与所述第四特征的相似度,若所述相似度大于相似度阈值,将所述第二目标的标识确定为所述第一目标的标识。
9.根据权利要求6或8所述的方法,其特征在于,所述方法还包括:
若当前时刻存在未确定标识的目标,对所述未确定标识的目标分配随机标识,并将所述未确定标识的目标和所述随机标识存储于所述目标集合中;其中,所述随机标识与所述目标集合中其他目标的标识均不相同。
10.一种目标跟踪装置,其特征在于,所述装置包括:
获取模块,用于获取多个激光雷达扫描检测区域得到的点云数据;所述多个激光雷达布置于所述检测区域的不同方位;
确定模块,用于根据所述多个激光雷达扫描得到的点云数据,确定当前时刻所述检测区域中每个目标的三维空间信息;所述三维空间信息包括所述目标的位置信息和大小信息;
比较模块,用于将所述当前时刻所述检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与所述预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,所述预测空间信息为对目标集合中目标的三维空间信息进行预测所得到的,所述目标集合包括上一时刻所述检测区域中的目标。
11.一种服务器,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010777637.7A CN114091561A (zh) | 2020-08-05 | 2020-08-05 | 目标跟踪方法、装置、服务器和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010777637.7A CN114091561A (zh) | 2020-08-05 | 2020-08-05 | 目标跟踪方法、装置、服务器和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114091561A true CN114091561A (zh) | 2022-02-25 |
Family
ID=80295144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010777637.7A Pending CN114091561A (zh) | 2020-08-05 | 2020-08-05 | 目标跟踪方法、装置、服务器和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114091561A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115171378A (zh) * | 2022-06-28 | 2022-10-11 | 武汉理工大学 | 一种基于路侧雷达长距离多车辆高精度检测追踪方法 |
CN115187637A (zh) * | 2022-09-13 | 2022-10-14 | 北京控制工程研究所 | 目标运动参数实时辨识方法、轨迹预估方法及装置 |
CN115188195A (zh) * | 2022-07-21 | 2022-10-14 | 同济大学 | 一种城市全向交叉口的车辆轨迹实时提取方法和系统 |
CN117111019A (zh) * | 2023-10-25 | 2023-11-24 | 深圳市先创数字技术有限公司 | 一种基于雷达探测的目标跟踪监控方法和系统 |
CN117197443A (zh) * | 2023-11-07 | 2023-12-08 | 广州市德赛西威智慧交通技术有限公司 | 一种基于无共视区域的目标接力检测方法及装置 |
CN117252899A (zh) * | 2023-09-26 | 2023-12-19 | 探维科技(苏州)有限公司 | 目标跟踪方法和装置 |
CN117252899B (zh) * | 2023-09-26 | 2024-05-17 | 探维科技(苏州)有限公司 | 目标跟踪方法和装置 |
-
2020
- 2020-08-05 CN CN202010777637.7A patent/CN114091561A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115171378A (zh) * | 2022-06-28 | 2022-10-11 | 武汉理工大学 | 一种基于路侧雷达长距离多车辆高精度检测追踪方法 |
CN115171378B (zh) * | 2022-06-28 | 2023-10-27 | 武汉理工大学 | 一种基于路侧雷达长距离多车辆高精度检测追踪方法 |
CN115188195A (zh) * | 2022-07-21 | 2022-10-14 | 同济大学 | 一种城市全向交叉口的车辆轨迹实时提取方法和系统 |
CN115187637A (zh) * | 2022-09-13 | 2022-10-14 | 北京控制工程研究所 | 目标运动参数实时辨识方法、轨迹预估方法及装置 |
CN115187637B (zh) * | 2022-09-13 | 2022-11-22 | 北京控制工程研究所 | 目标运动参数实时辨识方法、轨迹预估方法及装置 |
CN117252899A (zh) * | 2023-09-26 | 2023-12-19 | 探维科技(苏州)有限公司 | 目标跟踪方法和装置 |
CN117252899B (zh) * | 2023-09-26 | 2024-05-17 | 探维科技(苏州)有限公司 | 目标跟踪方法和装置 |
CN117111019A (zh) * | 2023-10-25 | 2023-11-24 | 深圳市先创数字技术有限公司 | 一种基于雷达探测的目标跟踪监控方法和系统 |
CN117111019B (zh) * | 2023-10-25 | 2024-01-09 | 深圳市先创数字技术有限公司 | 一种基于雷达探测的目标跟踪监控方法和系统 |
CN117197443A (zh) * | 2023-11-07 | 2023-12-08 | 广州市德赛西威智慧交通技术有限公司 | 一种基于无共视区域的目标接力检测方法及装置 |
CN117197443B (zh) * | 2023-11-07 | 2024-02-02 | 广州市德赛西威智慧交通技术有限公司 | 一种基于无共视区域的目标接力检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114091561A (zh) | 目标跟踪方法、装置、服务器和可读存储介质 | |
CN109901139B (zh) | 激光雷达标定方法、装置、设备和存储介质 | |
US10909395B2 (en) | Object detection apparatus | |
US9069055B2 (en) | Wireless positioning method and apparatus using wireless sensor network | |
CN110133637B (zh) | 目标定位方法、装置及系统 | |
CN114067556B (zh) | 环境感知方法、装置、服务器和可读存储介质 | |
CN108596117B (zh) | 一种基于二维激光测距仪阵列的场景监控方法 | |
CN114449533B (zh) | 基站部署方法、环境感知方法、装置、计算机设备和存储介质 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
US11417204B2 (en) | Vehicle identification method and system | |
Cao et al. | A geometry-driven car-following distance estimation algorithm robust to road slopes | |
JP2022087821A (ja) | データ融合方法及び装置 | |
CN111353510B (zh) | 多传感器目标检测方法、装置、计算机设备和存储介质 | |
CN114067555B (zh) | 多基站数据的配准方法、装置、服务器和可读存储介质 | |
CN114371484A (zh) | 车辆定位方法、装置、计算机设备和存储介质 | |
CN114519845A (zh) | 多传感数据融合方法、装置、计算机设备和存储介质 | |
CN112689234A (zh) | 室内车辆定位方法、装置、计算机设备和存储介质 | |
CN113611112B (zh) | 一种目标关联方法、装置、设备及存储介质 | |
CN115272408A (zh) | 车辆静止检测方法、装置、计算机设备和存储介质 | |
CN113203424B (zh) | 多传感器的数据融合方法、装置及相关设备 | |
CN114078325B (zh) | 多感知系统配准方法、装置、计算机设备和存储介质 | |
CN114814810A (zh) | 行人检测方法 | |
Li et al. | FARFusion: A Practical Roadside Radar-Camera Fusion System for Far-Range Perception | |
Mikhalev et al. | Fusion of sensor data for source localization using the Hough transform | |
CN114359766A (zh) | 重叠区域的确定方法、目标检测方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |