CN117830994A - 目标检测方法、设备、驾驶设备和介质 - Google Patents
目标检测方法、设备、驾驶设备和介质 Download PDFInfo
- Publication number
- CN117830994A CN117830994A CN202311770235.4A CN202311770235A CN117830994A CN 117830994 A CN117830994 A CN 117830994A CN 202311770235 A CN202311770235 A CN 202311770235A CN 117830994 A CN117830994 A CN 117830994A
- Authority
- CN
- China
- Prior art keywords
- target
- fused
- sequences
- target detection
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 231
- 230000008447 perception Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 19
- 239000007787 solid Substances 0.000 description 17
- 238000004590 computer program Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请提供了一种目标检测方法、设备、驾驶设备和介质,包括确定初始感知序列中每个感知数据帧对应的采集特性;若至少两个采集特性不同,根据采集特性,对初始感知序列进行划分,得到多个子感知序列,并进行目标检测,得到多个待融合目标序列;对待融合目标序列进行融合,得到最终的目标检测序列。这样,可以从初始感知序列中有效提取近似线性变化的感知数据帧,以形成多个子感知序列,并以子感知序列中的感知数据帧进行目标检测,得到每个目标的待融合目标序列,避免受传感器工作特性的差异的影响,减少了每个子感知序列中出现目标分裂、丢失等现象,后续再经过对多个待融合目标序列进行融合,可以得到较为精准的目标检测结果。
Description
技术领域
本申请涉及目标检测技术领域,具体提供一种目标检测方法、设备、驾驶设备和介质。
背景技术
在自动驾驶功能中,传感器技术在实时环境感知和目标检测方面起着关键作用。例如,激光雷达传感器作为一种主动的距离传感器是一种非常重要的设备,可以用于获取环境中的点云数据,以检测和跟踪障碍物,确保系统的安全性和可靠性。
然而,不同传感器之间所采集的感知数据差异较大,即使相同类型传感器之间,也存在这不同的工作特性。例如,各式各样的激光雷达无论在扫描速度、分辨率、检测距离、扫描模式、覆盖范围等,均具有不同的工作特性。这些不同的工作特性导致了目标观测的差异,使得目标融合变得复杂和困难,导致目标检测结果准确性较差。
发明内容
为了克服上述缺陷,提出了本申请,以提供解决或至少部分地解决目标检测结果准确性较差的技术问题的目标检测方法、设备、驾驶设备和介质。
在第一方面,本申请提供一种目标检测方法,该目标检测方法包括:
确定初始感知序列中每个感知数据帧对应的采集特性;所述采集特性为所述感知数据帧对应的感知设备在采集所述感知数据帧时的工作特性;
若至少两个采集特性不同,根据所述采集特性,对所述初始感知序列进行划分,得到多个子感知序列;其中,所述多个子感知序列中每个子感知序列的多个感知数据帧对应相同的采集特性;
对所述多个子感知序列进行目标检测,得到多个待融合目标序列;
对所述待融合目标序列进行融合,得到最终的目标检测序列。
在第二方面,本申请提供一种智能设备,该目标检测设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的目标检测方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述任一项所述的目标检测方法。
方案1.一种目标检测方法,其特征在于,包括:
确定初始感知序列中每个感知数据帧对应的采集特性;所述采集特性为所述感知数据帧对应的感知设备在采集所述感知数据帧时的工作特性;
若至少两个采集特性不同,根据所述采集特性,对所述初始感知序列进行划分,得到多个子感知序列;其中,所述多个子感知序列中每个子感知序列的多个感知数据帧对应相同的采集特性;
对所述多个子感知序列进行目标检测,得到多个待融合目标序列;
对所述多个待融合目标序列进行融合,得到最终的目标检测序列。
方案2.根据方案1所述的目标检测方法,其特征在于,对所述多个待融合目标序列进行融合,得到最终的目标检测序列,包括:
基于所述多个待融合目标序列,生成至少一个第一目标序列对;其中,所述至少一个第一目标序列对中每个第一目标序列对包括所述多个待融合目标序列中的两个待融合目标序列;且所述每个第一目标序列对中两个待融合目标序列的相似度大于第一预设相似度;
对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列;其中,所述第二目标序列对为所述至少一个第一目标序列对中权重最大的第一目标序列对;
若已满足迭代停止条件,生成所述目标检测序列;所述目标检测序列仅包括所述融合目标序列,或者,同时包括所述融合目标序列和所述多个待融合目标序列中未被融合的待融合目标序列;
若未满足迭代停止条件,基于所述融合目标序列,更新所述多个待融合目标序列,并重新执行基于所述多个待融合目标序列,生成至少一个第一目标序列对的步骤。
方案3.根据方案2所述的目标检测方法,其特征在于,对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列之前,还包括:
根据所述相似度、所述每个第一目标序列对中的两个待融合目标序列的生命周期,确定所述每个第一目标序列对的权重。
方案4.根据方案2所述的目标检测方法,其特征在于,所述相似度的确定过程包括:
确定所述每个第一目标序列对中两个待融合目标序列存在第一交集;
获取至少一个第一目标检测框和所述第一目标检测框一一对应第二目标检测框;其中,所述第一目标检测框和所述第二目标检测框均位于所述第一交集内,且所述第一目标检测框属于所述每个第一目标序列对中一个待融合目标序列,所述第二目标检测框属于所述每个第一目标序列对中另一个待融合目标序列;所述第一目标检测框的时间戳与所述第二目标检测框的时间戳的差值位于预设误差范围内;
确定所述第一目标检测框与所述第二目标检测框之间的第一交并比;
根据所述第一交并比,确定所述相似度。
方案5.根据方案4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述相似度,包括:
若所述第一交并比的总数目为1个,根据预设的交并比与相似度的关联关系,得到所述第一交并比对应的相似度,作为所述第一目标序列对的相似度。
方案6.根据方案4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述第一目标序列对的相似度,包括:
若所述第一交并比的总数目为多个,确定多个所述第一交并比的均值;
根据预设的交并比与相似度的关联关系,得到所述均值对应的相似度,作为所述第一目标序列对的相似度。
方案7.根据方案4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述第一目标序列对的相似度,包括:
若所述第一交并比的总数目为多个,将每个所述第一交并比与预设比值进行比较,得到比较结果;
根据所述比较结果,得到第二交并比的数目;所述第二交并比为所述比较结果中大于预设比值的第一交并比;
根据所述数目和所述总数目,得到第二交并比的占比;
根据预设的占比与相似度的关联关系,得到所述占比对应的相似度,作为所述第一目标序列对的相似度。
方案8.根据方案2所述的目标检测方法,其特征在于,对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列,包括:
将所述第二目标序列对中两个待融合目标序列进行合并,并在合并第二交集中第三目标检测框和第四目标检测框时,按照预设合并方式进行合并,得到所述融合目标序列;
其中,所述第二交集为所述第二目标序列对中两个待融合目标序列之间的交集;
所述第三目标检测框和所述第四目标检测框均位于所述第二交集内,且所述第三标检测框属于所述第二目标序列对中一个待融合目标序列,所述第四目标检测框属于所述第二目标序列对中另一个待融合目标序列;所述第三目标检测框的时间戳与所述第四目标检测框的时间戳的差值位于预设误差范围内。
方案9.根据方案8所述的目标检测方法,其特征在于,所述第三目标检测框和所述第四目标检测框均包括观测框或预测框;
所述预设合并方式包括:
若所述第三目标检测框和所述第四目标检测框均为观测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的观测框;
若所述第三目标检测框和所述第四目标检测框均为预测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的预测框;
若所述第三目标检测框为观测框,所述第四目标检测框为预测框,保留所述第三目标检测框的观测框;
若所述第三目标检测框为预测框,所述第四目标检测框为观测框,保留所述第四目标检测框的观测框。
方案10.根据方案2所述的目标检测方法,其特征在于,还包括:
若所述多个待融合目标序列中任意两个待融合目标序列之间不存在第三交集;
确定所述任意两个待融合目标序列的相似度为第二预设相似度;所述第二预设相似度小于或等于所述第一预设相似度。
方案11.根据方案2所述的目标检测方法,其特征在于,所述迭代停止条件包括:
不存在所述未被融合的待融合目标序列;或者,基于所述融合目标序列和所述未被融合的待融合目标序列,无法生成任一第一目标序列对。
方案12.根据方案1所述的目标检测方法,其特征在于,所述感知数据帧包括多个第一点云数据;
确定初始感知序列中每个感知数据帧对应的采集特性,包括:
若所述感知设备在采集所述感知数据帧时的工作特性唯一,将所述工作特性作为所述采集特性;
若所述感知设备在采集所述感知数据帧时的工作特性不唯一,按照第一检测方式,确定所述采集特性;
所述第一检测方式包括:
从所述第一点云数据中选取第一时间戳对应的多个第二点云数据,以及,第二时间戳对应的多个第三点云数据;其中,所述第一时间戳小于所述第二时间戳;
确定所述第二点云数据在预设坐标轴下的第一坐标均值,以及,确定所述第三点云数据在所述预设坐标轴下的第二坐标均值;
若所述第一坐标均值小于所述第二坐标均值,确定所述采集特性为第一扫描方向;所述第一扫描方向为所述预设坐标轴上小数值到大数值的方向;
若所述第一坐标均值大于所述第二坐标均值,确定所述采集特性为第二扫描方向;所述第二扫描方向为所述预设坐标轴上大数值到小数值的方向。
方案13.根据方案1所述的目标检测方法,其特征在于,所述感知数据帧包括多个第一点云数据;
确定初始感知序列中每个感知数据帧对应的采集特性,包括:
若所述感知设备在采集所述感知数据帧时的工作特性唯一,将所述工作特性作为所述采集特性;
若所述感知设备在采集所述感知数据帧时的工作特性不唯一,按照第二检测方式,确定所述采集特性;
所述第二检测方式包括:
从所述第一点云数据中选取预设坐标轴上第一数值对应的多个第四点云数据,以及,所述预设坐标轴上第二数值对应的多个第五点云数据;其中,所述第一数值小于所述第二数值;
确定所述第四点云数据对应的第一时间戳均值,以及,确定所述第五点云数据对应的第二时间戳均值;
若所述第一时间戳均值小于所述第二时间戳均值,确定所述感知数据帧对应的采集特性为第三扫描方向;所述第三扫描方向为所述预设坐标轴上小数值到大数值的方向;
若所述第一时间戳均值大于所述第二时间戳均值,确定所述感知数据帧对应的采集特性为第四扫描方向;所述第四扫描方向为所述预设坐标轴上大数值到小数值的方向。
方案14.一种智能设备,其特征在于,包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行方案1至13中任一项所述的目标检测方法。
方案15.一种计算机可读存储介质,其特征在于,存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行方案1至13中任一项所述的目标检测方法。
本申请上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本申请的技术方案中,通过确定初始感知序列中每个感知数据帧对应的采集特性,并在至少两个采集特性不同时,根据所述采集特性,对初始感知序列进行划分,得到多个子感知序列,并对多个子感知序列进行目标检测,得到多个待融合目标序列,然后对待融合目标序列进行融合,得到最终的目标检测序列。这样,可以从初始感知序列中有效提取近似线性变化的感知数据帧,以形成多个子感知序列,并以子感知序列中的感知数据帧进行目标检测,得到每个目标的待融合目标序列,避免受传感器工作特性的差异的影响,减少了每个子感知序列中出现目标分裂、丢失等现象,后续再经过对多个待融合目标序列进行融合,可以得到较为精准的目标检测结果。
附图说明
参照附图,本申请的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本申请的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本申请的一个实施例的目标检测方法的主要步骤流程示意图;
图2是半固态激光雷达的一个点云数据帧的示意图;
图3是半固态激光雷达的另一个点云数据帧的示意图;
图4是半固态激光雷达的一个点云数据帧在时间与z轴上的关系示意图;
图5是半固态激光雷达的另一个点云数据帧在时间与z轴上的关系示意图;
图6是半固态激光雷达的一个点云数据帧的场景示意图;
图7是半固态激光雷达的另一个点云数据帧的场景示意图;
图8是全向机械式激光雷达的一个点云数据帧的示意;
图9是对初始感知序列进行划分的示意图;
图10是步骤104的具体实现流程示意图;
图11是检测两个待融合目标序列的交集的示意图;
图12是确定图11中两个待融合目标序列在空间上相似度的示意图;
图13是对图12进行融合的示意图;
图14是根据本申请的一个实施例的智能设备的主要结构框图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本申请的技术原理,并非旨在限制本申请的保护范围。
在本申请的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
自动驾驶系统(Automated Driving Systems,ADS),其是指系统在自身的设计运行范围(Operational Domain Design,ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task,DDT)。即,在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务,即车辆满足ODD条件时系统被激活,该系统代替人类驾驶员作为车辆的驾驶主体。其中,动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速,减速,匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件,其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。
在自动驾驶功能中,不同传感器之间所采集的感知数据差异较大,即使相同类型传感器之间,也存在这不同的工作特性。例如,各式各样的激光雷达无论在扫描速度、分辨率、检测距离、扫描模式、覆盖范围等,均具有不同的工作特性。这些不同的工作特性导致了目标观测的差异,使得目标融合变得复杂和困难,导致目标检测结果准确性较差。
因此,为了解决上述技术问题,本申请提供了以下技术方案:
参阅附图1,图1是根据本申请的一个实施例的目标检测方法的主要步骤流程示意图。如图1所示,本申请实施例中的目标检测方法主要包括下列步骤101-步骤104。
步骤101、确定初始感知序列中每个感知数据帧对应的采集特性;
在一个具体实现过程中,可以利用感知设备对当前场景进行感知,得到当前场景的感知数据帧,并对所有的感知数据帧按照感知时间戳进行排序,得到初始感知序列。
当感知设备包括至少一个具有不同工作特性的第一类传感器时,由于第一类传感器在不同工作特性下,采集的感知数据帧之间对相同的运动目标会有不同的点云形态,因此,初始感知序列中所有感知数据帧,在时间戳和空间均是非线性关系,联合检测时很难避免目标分裂、丢失等现象。
当感知设备包括至少一个具有不同工作特性的第一类传感器和至少一个仅有一种工作特性的第二类传感器时,除第一类传感器会引起初始感知序列中所有感知数据帧,在时间戳和空间均是非线性关系,联合检测时很难避免目标分裂、丢失等现象之外,第一类传感器与第二类传感器由于工作特性不同,也会引起初始感知序列中所有感知数据帧,在时间戳和空间均是非线性关系,联合检测时很难避免目标分裂、丢失等现象。
当感知设备包括多个仅有一种工作特性的第二类传感器时,每个第二类传感器之间的工作特性也会存在差异,同样,也会引起初始感知序列中所有感知数据帧,在时间戳和空间均是非线性关系,联合检测时很难避免目标分裂、丢失等现象。
因此,本实施例中,可以将任一感知数据帧对应的感知设备在采集该感知数据帧时的工作特性作为该感知数据帧对应的采集特性,并基于此,确定初始感知序列中每个感知数据帧对应的采集特性,以便后续对初始感知序列进行划分,将采集特性相同的感知数据划分为一个子感知序列,这样,该子感知序列中的感知数据帧则可以认为呈近似线性关系。
在一个具体实现过程中,每个感知数据帧包括多个第一点云数据。在确定初始感知序列中每个感知数据帧对应的采集特性时,若所述感知设备在采集所述感知数据帧时的工作特性唯一,将所述工作特性作为所述采集特性。若所述感知设备在采集所述感知数据帧时的工作特性不唯一,按照如下两种检测方式,确定所述采集特性。
第一检测方式可以包括如下步骤(1)至(4):
(1)从所述第一点云数据中选取第一时间戳对应的多个第二点云数据,以及,第二时间戳对应的多个第三点云数据;其中,所述第一时间戳小于所述第二时间戳;
在一个具体实现过程中,第一时间戳可以为感知数据帧的最小时间戳,第二时间戳可以为感知数据帧的最大时间戳。也就是说,可以确定最小时间戳下的点云数据后,扩大一定范围,得到最小时间戳对应的多个第二点云数据;确定最大时间戳下的点云数据后,扩大一定范围,得到最大时间戳对应的多个第三点云数据。
(2)确定所述第二点云数据在预设坐标轴下的第一坐标均值,以及,确定所述第三点云数据在所述预设坐标轴下的第二坐标均值;
在一个具体实现过程中,每个第二点云数据在预设坐标轴均有一个坐标值,对这些坐标值进行平均计算后,可以得到第二点云数据在预设坐标轴下的第一坐标均值。同理,每个第三点云数据在预设坐标轴均有一个坐标值,对这些坐标值进行平均计算后,可以得到第二点云数据在预设坐标轴下的第二坐标均值。
(3)若所述第一坐标均值小于所述第二坐标均值,确定所述采集特性为第一扫描方向;所述第一扫描方向为所述预设坐标轴上小数值到大数值的方向,也就是说,时间戳随着坐标值增大而增大,第一扫描方向可以为由下到上的扫描方向;
(4)若所述第一坐标均值大于所述第二坐标均值,确定所述采集特性为第二扫描方向;所述第二扫描方向为所述预设坐标轴上大数值到小数值的方向,也就是说,时间戳随着坐标值增大而减小,第二扫描方向可以为由上到下的扫描方向。
第二检测方式可以包括如下步骤(11)至(14):
(11)从所述第一点云数据中选取预设坐标轴上第一数值对应的多个第四点云数据,以及,所述预设坐标轴上第二数值对应的多个第五点云数据;
在一个具体实现过程中,所述第一数值小于所述第二数值;第一数值可以为任一感知数据帧的在z轴的最小数值,第二数值可以为任一感知数据帧的在z轴的最大数值。也就是说,可以确定最小数值下的点云数据后,扩大一定范围,得到最小数值对应的多个第四点云数据;确定最大数值下的点云数据后,扩大一定范围,得到最大数值对应的多个第五点云数据。
(12)确定所述第四点云数据对应的第一时间戳均值,以及,确定所述第五点云数据对应的第二时间戳均值;
在一个具体实现过程中,每个第四点云数据均有一个时间戳,对这些时间戳进行平均计算后,可以得到第四点云数据的第一时间戳均值。同理,每个第五点云数据均有一个时间戳,对这些时间戳进行平均计算后,可以得到第五点云数据的第二时间戳均值。
(13)若所述第一时间戳均值小于所述第二时间戳均值,确定所述感知数据帧对应的采集特性为第三扫描方向;所述第三扫描方向为所述预设坐标轴上小数值到大数值的方向;也就是说,时间戳随着坐标值增大而增大,第三扫描方向可以为由下到上的扫描方向;
(14)若所述第一时间戳均值大于所述第二时间戳均值,确定所述感知数据帧对应的采集特性为第四扫描方向;所述第四扫描方向为所述预设坐标轴上大数值到小数值的方向;也就是说,时间戳随着坐标值增大而减小,第四扫描方向可以为由上到下的扫描方向。
在一个具体实现过程中,以第一类传感器为前向非重复扫描模式的半固态激光雷达,第二类传感器为全向机械式激光雷达两种传感器作为示例进行说明。
具体地,半固态激光雷达在前向非重复扫描的模式下,连续帧对相同的运动目标会有不同的点云形态,具体而言,如果第T帧激光是从下而上扫描,那么第T+1帧的激光就是从上而下扫描,随着运动目标的相对运动点云形态将产生畸变,随着运动目标的相对运动剧烈程度的增加,畸变的形态也更明显。然而,因为采集、录制的过程不一定可靠,不单单用奇偶帧来判断当前帧的扫描方式,为了能够得到比较可靠的当前帧的扫描方式,可以根据时间戳与预设坐标轴(如z轴)的关系,并可以取点云帧在预设时间戳或预设z轴值前后1%的点云进行比较,从而可以比较鲁棒的判断当前帧的扫描方式。
图2是半固态激光雷达的一个点云数据帧的示意图。图3是半固态激光雷达的另一个点云数据帧的示意图。在图2和图3中,以不同粗细的线表示时间戳的大小(图2和图3中仅选取了部分点云扫描线进行了突出示意说明),其中,线越细表示时间戳越小,线越粗表示时间戳越大,即越细的线扫描的时间越靠前。坐标系的x轴,y轴和z轴如图中所示。如图2所示,图2中点云数据对应的扫描线由细到粗方向为由上到下,对应的z轴值由大到小,即图2的扫描方式为由上到下。如图3所示,图3中点云数据对应的扫描线由细到粗的方向为由下到大,对应的z轴值由小到大,即图3的扫描方式为由下到上。
图4是半固态激光雷达的一个点云数据帧在时间与z轴上的关系示意图。图5是半固态激光雷达的另一个点云数据帧在时间与z轴上的关系示意图。在图4和图5中,横轴为时间戳,纵轴为z轴。如图4所示,随着时间戳的增大,点云数据在z轴的坐标值也越大,可以确定图4的扫描方式为由下到上,即从z轴的小数值向大数值的方向。如图5所示,随着时间戳的增大,点云数据在z轴的坐标值越小,可以确定图5的扫描方式为由上到下,即从z轴的大数值向小数值的方向。
图6是半固态激光雷达的一个点云数据帧的场景示意图。图7是半固态激光雷达的另一个点云数据帧的场景示意图。在图6和图7中,仍以不同粗细的线表示时间戳的大小,其中,线越细表示时间戳越小,线越粗表示时间戳越大,即越细的线扫描的时间越靠前。坐标系的x轴,y轴和z轴如图中所示,图6和图7中的框为自车的真值框。如图6所示,如图6所示,图6中自车所采集的点云数据对应的扫描线由粗到细,对应的z轴值由小到大,即图6的扫描方式为由下到上。如图7所示,图7中点云数据对应的扫描线由细到粗,对应的z轴值由大到小,即图7的扫描方式为由上到下。
图8是全向机械式激光雷达的一个点云数据帧的示意图。其中,全向机械式激光雷达能够360°旋转进行扫描,图8中,仅示出了部分点云数据帧的扫描线,图8中时间戳越小对应扫描线越暗,时间戳越大对应扫描线越亮。如图8所示,点云数据对应的扫描线在360°方向上扫描线由暗变亮(由左到右的反向,扫描线由黑逐渐变白)。
步骤102、若至少两个所述采集特性不同,根据所述采集特性,对所述初始感知序列进行划分,得到多个子感知序列;
在一个具体实现过程中,若至少两个感知数据帧对应的采集特性不同,至少两个感知数据帧在时间戳和空间均是非线性关系,联合检测时无法避免目标分裂、丢失等现象,因此,本实施例中,可以根据所述采集特性,对所述初始感知序列进行划分,得到多个子感知序列。其中,所述多个子感知序列中每个子感知序列的多个感知数据帧对应相同的采集特性,这样,每个子感知序列的多个感知数据帧则近似呈线性关系,后续在进行目标检测时,可以减少每个子感知序列中出现目标分裂、丢失等现象。若所有感知数据帧对应的采集特性相同,则不再执行本申请的目标检测方法。
图9是对初始感知序列进行划分的示意图。仍以半固态激光雷达和全向机械式激光雷达获取的点云数据帧按照时间戳排序得到初始感知序列为例进行说明。可以将初始感知序列划分为3个子感知序列。如图9所示,初始感知序列包括12帧感知数据,t1帧感知数据至t12帧感知数据。通过划分后,半固态激光雷达由上到下的工作特性下,可以得到3帧感知数据形成第一个子感知序列,其中,第一个子感知序列可以包括t1帧感知数据、t5帧感知数据和t9帧感知数据。半固态激光雷达由下到上的工作特性下,可以得到3帧感知数据形成第二个子感知序列,其中,第二个子感知序列可以包括t3帧感知数据、t7帧感知数据和t11帧感知数据。全向机械式激光雷达可以得到6帧感知数据形成第三个子感知序列,其中,第三个子感知序列可以包括t2帧感知数据、t4帧感知数据、t6帧感知数据、t8帧感知数据、t10帧感知数据和t12帧感知数据。
步骤103、对所述多个子感知序列进行目标检测,得到多个待融合目标序列;
在一个具体实现过程中,可以对多个子感知序列中每个子感知序列单独进行目标检测,得到每个子感知序列中至少一个目标的序列,这样,对于多个子感知序列而言,则有多个目标的序列,可以将每个目标的序列作为一个待融合目标序列,这样,则得到多个待融合目标序列。如图9所示,图9中以第一个子感知序列至第三个子感知序列分别形成一个待融合目标序列为例进行说明的。
需要说明的是,由于每个子感知序列是基于初始感知序列划分得到的,因此,对于每个子感知序列中的多个感知数据帧而言是不连续的,这样,在对任一子感知序列进行目标检测时,可以根据实际存在的感知数据帧,得到该子感知序列的多个目标检测框作为观测框,并可以根据目标的运动信息等,计算出该子感知序列中实际存在的感知数据帧之后时帧对应的目标检测框作为预测框,这样,对于任一待融合目标序列其实际上是同时包括某个目标的观测框和预测框,以便构成一个大致完整、且合理的序列。
具体地,假如1号目标在第一个子感知序列是在第1、3、5、7感知数据帧观测到,在目标检测时,得到第1、3、5、7感知数据帧对应的观测框,以及,得到第2、4、6、8感知数据帧对应的预测框。1号目标在第二个子感知序列是在第2、4、6感知数据帧观测到,在目标检测时,得到第2、4、6感知数据帧对应的观测框,以及,得到第3、5、7感知数据帧对应的预测框,由此类推,每个子感知序列对一个目标的检测结果包括观测框和预测框,这样,构成一个大致完整、且合理的序列。
步骤104、对所述待融合目标序列进行融合,得到最终的目标检测序列。
在一个具体实现过程中,如图9所示,可以对所述待融合目标序列进行融合,得到最终的目标检测序列。具体地,可以根据图10所示的流程图实现步骤104。图10是步骤104的具体实现流程示意图。
步骤201、基于所述待融合目标序列,生成至少一个第一目标序列对;
在一个具体实现过程中,在得到多个待融合目标序列后,可以计算两两待融合目标序列之间的相似度,并选取相似度大于第一预设相似度的两两待融合目标序列,生成至少一个第一目标序列对。也就是说,至少一个第一目标序列对中每个第一目标序列对包括所述多个待融合目标序列中的两个待融合目标序列;且所述每个第一目标序列对中两个待融合目标序列的相似度大于第一预设相似度。
在一个具体实现过程中,确定每个第一目标序列对中两个待融合目标序列的相似度的过程可以包括如下步骤(21)至(24):
(21)、确定所述每个第一目标序列对中两个待融合目标序列存在第一交集;
在一个具体实现过程中,不同待融合目标序列的时序信息对这些待融合目标序列的融合至关重要,因此,可以根据每个第一目标序列对中两个待融合目标序列的时序信息,检测每个第一目标序列对中两个待融合目标序列是否存在第一交集,当二者在时序上存在重叠时序时,确定所述第二待融合目标序列与所述第三待融合目标序列存在第一交集。
(22)、获取至少一个第一目标检测框和所述第一目标检测框一一对应第二目标检测框;
在一个具体实现过程中,在确定所述第二待融合目标序列与所述第三待融合目标序列存在第一交集后,可以继续检测第二待融合目标序列与第三待融合目标序列在空间上的相似度。其中,可以在第一交集中,获取至少一个第一目标检测框和与第一目标检测框一一对应第二目标检测框。其中,所述第一目标检测框和所述第二目标检测框均位于所述第一交集内,且所述第一目标检测框属于所述每个第一目标序列对中一个待融合目标序列,所述第二目标检测框属于所述每个第一目标序列对中另一个待融合目标序列;所述第一目标检测框的时间戳与所述第二目标检测框的时间戳的差值位于预设误差范围内。
(23)、确定所述第一目标检测框与所述第二目标检测框之间的第一交并比;
(24)、根据所述第一交并比,确定第二待融合目标序列与第三待融合目标序列的相似度。
在一个具体实现过程中,可以根据如下三种方式实现“根据所述第一交并比,确定第二待融合目标序列与第三待融合目标序列的相似度”的步骤:
第一种,若所述第一交并比的总数目为1个,根据预设的交并比与相似度的关联关系,得到所述第一交并比对应的相似度,作为所述第一目标序列对的相似度。也就是说,可以针对不同的交并比,预先设置对应的相似度,得到交并比与相似度的关联关系,然后查找第一交并比所对应的相似度,作为第一目标序列对的相似度。
第二种,若所述第一交并比的总数目为多个,确定多个所述第一交并比的均值;根据预设的交并比与相似度的关联关系,得到所述均值对应的相似度,作为所述第一目标序列对的相似度。也就是说,若所述第一交并比的总数目为多个时,可以进行均值的求取,再获得第一目标序列对的相似度。
第三种,若所述第一交并比的总数目为多个,将每个所述第一交并比与预设比值进行比较,得到比较结果;根据所述比较结果,得到第二交并比的数目,并根据所述数目和所述总数目,得到第二交并比的占比;根据预设的占比与相似度的关联关系,得到所述占比对应的相似度,作为所述第一目标序列对的相似度。其中,所述第二交并比为所述比较结果中大于预设比值的第一交并比。
也就是说,可以针对大于预设比值的交并比在所有交并比中的占比,预先设置对应的相似度,得到占比与相似度的关联关系,然后查找第二交并比的所对应的相似度,作为第一目标序列对的相似度。
图11是检测两个待融合目标序列的交集的示意图。图12是确定图11中两个待融合目标序列在空间上相似度的示意图。
如图11所示,第一个待融合目标序列包括第一个第一目标检测框N1至第五个第一目标检测框N5,对应的时间戳为t1到t5。其中,第一个第一目标检测框N1、第三个第一目标检测框N3、第五个第一目标检测框N5均对应观测框(实线框表示),第二个第一目标检测框N2、第四个第一目标检测框N4均对应预测框(虚线线框表示)。第二个待融合目标序列包括第一个第二目标检测框M1至第五个第二目标检测框M5,对应的时间戳为t2到t6。其中,第一个第二目标检测框M1、第三个第二目标检测框M3、第五个第二目标检测框M5均对应观测框(实线框表示),第二个第二目标检测框M2、第四个第二目标检测框M4均对应预测框(虚线线框表示)。这样,第一个待融合目标序列与第二个待融合目标序列之间的第一交集为t2到t5对应的检测框,即第二个第一目标检测框N2至第五个第一目标检测框N5,以及,第一个第二目标检测框M1至第四个第二目标检测框M4。
如图12所示,分别计算图11中第二个第一目标检测框N2与第一个第二目标检测框M1的交并比,第三个第一目标检测框N3与第二个第二目标检测框M2的交并比,第四个第一目标检测框N3与第三个第二目标检测框M4的交并比,第五个第一目标检测框N5与第四个第二目标检测框M4的交并比,然后对所有交并比可以取均值,然后,根据预设的交并比与相似度的关联关系,得到所述均值对应的相似度,作为所述第二待融合目标序列与第三待融合目标序列的相似度。其中,交并比越大,相似度也越大。
也可以确定第三个第一目标检测框N3与第二个第二目标检测框M2的交并比大预设比值,第四个第一目标检测框N3与第三个第二目标检测框M4的交并比大预设比值,以及,第五个第一目标检测框N5与第四个第二目标检测框M4的交并比大预设比值,这样,可以得到的占比为0.75,然后根据预设的占比与相似度的关联关系,得到所述占比对应的相似度,作为所述第一目标序列对的相似度。其中,占比越大,相似度也越大。
需要说明的是,上述仅针对每个第一目标序列对中两个待融合目标序列存在第一交集时,如何确定二者的相似度为例进行说明的,实际上对于待融合目标序列中任意两个待融合目标序列存在第三交集的时候,均会按照上述相似度确定方法进行确定。而当待融合目标序列中任意两个待融合目标序列之间不存在第三交集时,可以直接确定所述任意两个待融合目标序列的相似度为第二预设相似度;所述第二预设相似度小于或等于所述第一预设相似度。也就是说,若不存在所述第三交集,说明任意两个待融合目标序列在时序上是不相似的,则无需再进行后续空间上相似度的检测,此时,可以确定任意两个待融合目标序列为第二预设相似度,这样,则可以表明当前第一目标序列是不相似的。
步骤202、对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列;
在一个具体实现过程中,可以选择权重最大的第一目标序列对作为第二目标序列对,以对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列。
在一个具体实现过程中,可以根据所述相似度、所述每个第一目标序列对中的两个待融合目标序列的生命周期,确定所述每个第一目标序列对的权重。其中,这里的生命周期可以指对应序列中目标的观测框从出现时刻到消失时刻之间时长。
具体地,某个待融合目标序列的生命周期越长,表明该待融合目标序列中的目标是可以确定实际存在的。因此,如果多个第一目标序列对包括的某个待融合目标序列的生命周期最长,其相对于其他第一目标序列对而言,权重较大,其他第一目标序列对为不包括生命周期最长的待融合目标序列的目标序列对。这时,再针对多个第一目标序列对,可以根据相似度进一步确定多个第一目标序列对之间的权重。
在一个具体实现过程中,假设包括生命周期由长到短依次的第一个待融合目标序列1,第二个待融合目标序列2,第三个待融合目标序列3。可以得到三个目标序列对,分别记为第一个目标序列对12、第二个目标序列对13和第三个目标序列对23。相似度由大到小依次为第二个目标序列对13、第一个目标序列对12和第三个标序列对23。第一个目标序列对12的生命周期与第二个目标序列对13的生命周期相同,但是由于第一个目标序列对12的相似度小于第二个目标序列对13的相似度,第一个目标序列对12的权重要大于第二个目标序列对13。在完成第三个标序列对23的权重设置后,可以确定权重大小依次为第二个目标序列对13、第一个目标序列对12和第三个标序列对23。
在一个具体实现过程中,在对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列时,可以将所述第二目标序列对中两个待融合目标序列进行合并,并在合并第二交集中第三目标检测框和第四目标检测框时,按照预设合并方式进行合并,得到所述融合目标序列。其中,所述第二交集为所述第二目标序列对中两个待融合目标序列之间的交集;所述第三目标检测框和所述第四目标检测框均位于所述第二交集内,且所述第四标检测框属于所述第二目标序列对中一个待融合目标序列,所述第四目标检测框属于所述第二目标序列对中另一个待融合目标序列;所述第三目标检测框的时间戳与所述第四目标检测框的时间戳的差值位于预设误差范围内,所述第三目标检测框和所述第四目标检测框均包括观测框或预测框。
所述预设合并方式包括:
若所述第三目标检测框和所述第四目标检测框均为观测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的观测框;
若所述第三目标检测框和所述第四目标检测框均为预测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的预测框;
若所述第三目标检测框为观测框,所述第四目标检测框为预测框,保留所述第三目标检测框的观测框;
若所述第三目标检测框为预测框,所述第四目标检测框为观测框,保留所述第四目标检测框的观测框。
在一个具体实现过程中,假设可以对图11中第二待融合目标序列与第三待融合目标序列进行融合,得到的融合目标序列可以为图13所示的序列。图13是对图12进行融合的示意图。如图13所示,依次可以包括第一个第一目标帧N1、第一个第二目标帧M1、第三个第一目标帧N3、第三个第二目标帧M3、第五个第一目标帧N5和第五个第二目标帧M5。
也就是说,可以通过“分而治之“的方法,有效提取近似线性变化的多个感知数据帧作为一个子感知序列,然后对每个子感知序列单独进行目标检测,再通过时序和空间上的相似度,以确定的目标到不确定的目标,逐级合并不同传感器的观测数据,确保最终融合结果更加可靠,从而有效解决多激光雷达系统中不同传感器工作特性导致的目标观测差异问题,从而提高了目标检测的准确性和稳定性。
步骤203、检测是否满足预设条件;若是,执行步骤204,若否,执行步骤205;
在一个具体实现过程中,在得到融合目标序列后,可以判断是否满足迭代停止条件。具体地,如果不存在未被融合的待融合目标序列,说明所有的待融合目标序列均被融合,此时,只剩下融合目标序列,则满足迭代停止条件。
如果存在未被融合的待融合目标序列,如果任意两个未被融合的待融合目标序列无法生成第一目标序列对,和/或,融合目标序列和未被融合的待融合目标序列无法生成第一目标序列对,则满足预设停止条件。
如果存在未被融合的待融合目标序列,且任意两个未被融合的待融合目标序列能够生成第一目标序列对,和/或,融合目标序列和未被融合的待融合目标序列能够生成第一目标序列对,则不满足预设停止条件。
步骤204、生成所述目标检测序列;
若已满足迭代停止条件,则可以生成所述目标检测序列。此时,所述目标检测序列仅包括所述融合目标序列,或者,同时包括所述融合目标序列和至少一个未被融合的待融合目标序列。
步骤205、基于所述融合目标序列,更新所述待融合目标序列。
若未满足迭代停止条件,基于所述融合目标序列,更新所述待融合目标序列,即,将融合目标序列作为一个待融合目标序列,并从多个待融合目标序列中删除第二目标序列中两个待融合目标序列,使得多个待融合目标序列进行更新后,返回步骤201,继续迭代。
需要说明的是,每次执行步骤201,生成至少一个第一目标序列对时,在进行两两待融合目标序列的相似度计算时,只需要进行融合目标序列与第六待融合目标序列的相似度即可,任意两个第六待融合目标序列的相似度从之前结算结果拿来即可。这样,减少了耗时。下面以具体示例对本申请的目标检测方法进行说明:
假设包括生命周期由长到短依次的第一个待融合目标序列1,第二个待融合目标序列2,第三个待融合目标序列3。可以得到三个目标序列对,分别记为第一个目标序列对12、第二个目标序列对13和第三个目标序列对23。相似度由大到小依次为第二个目标序列对13、第一个目标序列对12和第三个标序列对23,经过权重设置后,权重大小依次为第二个目标序列对13、第一个目标序列对12和第三个标序列对23。这样,先合并第二个目标序列对13中第一个待融合目标序列1和第三个待融合目标序列3,得到第一个融合目标序列1′。这样只剩下第一个融合目标序列1′和第二个待融合目标序列2,然后,将第一个融合目标序列1′与第二个待融合目标序列2配对,得到第四个目标序列对1′2,再次计算第四个目标序列对1′2的相似度,如果第四个目标序列对1′2的相似度大于第一预设相似度,且只剩第四个目标序列对1′2,剩第四个目标序列对1′2的权重也必然最大,则继续合并第四个目标序列对1′2,得到第一个融合目标序列1″,得到的目标检测序列为第一个融合目标序列1″。如果第四个目标序列对1′2的相似度小于或等于预设相似度,得到的目标检测序列为第一个融合目标序列1′和第二个待融合目标序列2。
本申请的目标检测方法,通过确定初始感知序列中每个感知数据帧对应的采集特性,并在至少两个采集特性不同时,根据所述采集特性,对初始感知序列进行划分,得到多个子感知序列,并对多个子感知序列进行目标检测,得到多个待融合目标序列,然后对待融合目标序列进行融合,得到最终的目标检测序列。这样,可以从初始感知序列中有效提取近似线性变化的感知数据帧,以形成多个子感知序列,并以子感知序列中的感知数据帧进行目标检测,得到每个目标的待融合目标序列,避免受传感器工作特性的差异的影响,减少了每个子感知序列中出现目标分裂、丢失等现象,后续再经过对多个待融合目标序列进行融合,可以得到较为精准的目标检测结果。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本申请的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本申请的保护范围之内。
本领域技术人员能够理解的是,本申请实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本申请还提供了一种智能设备。
参阅附图14,图14是根据本申请的一个实施例的智能设备的主要结构框图。如图14所示,本申请实施例中的智能设备可以包括处理器141和存储装置142。
存储装置142可以被配置成存储执行上述方法实施例的目标检测方法的程序,处理器141可以被配置成用于执行存储装置142中的程序,该程序包括但不限于执行上述方法实施例的目标检测方法的程序。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该智能设备可以是包括各种电子设备形成的控制设备。
在一个具体实现过程中,该存储装置142和处理器141的数目均可以为多个。而执行上述方法实施例的目标检测方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器141加载并运行以执行上述方法实施例的目标检测方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置142中,每个处理器141可以被配置成用于执行一个或多个存储装置142中的程序,以共同实现上述方法实施例的目标检测方法,即每个处理器141分别执行上述方法实施例的目标检测方法的不同步骤,来共同实现上述方法实施例的目标检测方法。
上述多个处理器141可以是部署于同一个设备上的处理器,例如上述设备可以是由多个处理器组成的高性能设备,上述多个处理器141可以是该高性能设备上配置的处理器。此外,上述多个处理器141也可以是部署于不同设备上的处理器,例如上述设备可以是服务器集群,上述多个处理器141可以是服务器集群中不同服务器上的处理器。
在一个具体实现过程中,该智能设备具体可以包括驾驶设备、自动驾驶车辆、智能车、机器人、无人飞机等。
在本申请的一些实施例中,所述智能设备还包括至少一个传感器,所述传感器用于感知信息。所述传感器与本申请提到的任何一种类型的处理器通信连接。可选地,所述智能设备还包括自动驾驶系统,自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。所述处理器与所述传感器和/或自动驾驶系统通信,用于完成上述任一实施例所述的方法。
进一步,本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的目标检测方法的程序,该程序可以由处理器加载并运行以实现上述目标检测方法。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本申请的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理,因此,拆分或合并之后的技术方案都将落入本申请的保护范围内。
需要说明的是,本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、行驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的实施方式描述了本申请的技术方案,但是,本领域技术人员容易理解的是,本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (10)
1.一种目标检测方法,其特征在于,包括:
确定初始感知序列中每个感知数据帧对应的采集特性;所述采集特性为所述感知数据帧对应的感知设备在采集所述感知数据帧时的工作特性;
若至少两个采集特性不同,根据所述采集特性,对所述初始感知序列进行划分,得到多个子感知序列;其中,所述多个子感知序列中每个子感知序列的多个感知数据帧对应相同的采集特性;
对所述多个子感知序列进行目标检测,得到多个待融合目标序列;
对所述多个待融合目标序列进行融合,得到最终的目标检测序列。
2.根据权利要求1所述的目标检测方法,其特征在于,对所述多个待融合目标序列进行融合,得到最终的目标检测序列,包括:
基于所述多个待融合目标序列,生成至少一个第一目标序列对;其中,所述至少一个第一目标序列对中每个第一目标序列对包括所述多个待融合目标序列中的两个待融合目标序列;且所述每个第一目标序列对中两个待融合目标序列的相似度大于第一预设相似度;
对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列;其中,所述第二目标序列对为所述至少一个第一目标序列对中权重最大的第一目标序列对;
若已满足迭代停止条件,生成所述目标检测序列;所述目标检测序列仅包括所述融合目标序列,或者,同时包括所述融合目标序列和所述多个待融合目标序列中未被融合的待融合目标序列;
若未满足迭代停止条件,基于所述融合目标序列,更新所述多个待融合目标序列,并重新执行基于所述多个待融合目标序列,生成至少一个第一目标序列对的步骤。
3.根据权利要求2所述的目标检测方法,其特征在于,对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列之前,还包括:
根据所述相似度、所述每个第一目标序列对中的两个待融合目标序列的生命周期,确定所述每个第一目标序列对的权重。
4.根据权利要求2所述的目标检测方法,其特征在于,所述相似度的确定过程包括:
确定所述每个第一目标序列对中两个待融合目标序列存在第一交集;
获取至少一个第一目标检测框和所述第一目标检测框一一对应第二目标检测框;其中,所述第一目标检测框和所述第二目标检测框均位于所述第一交集内,且所述第一目标检测框属于所述每个第一目标序列对中一个待融合目标序列,所述第二目标检测框属于所述每个第一目标序列对中另一个待融合目标序列;所述第一目标检测框的时间戳与所述第二目标检测框的时间戳的差值位于预设误差范围内;
确定所述第一目标检测框与所述第二目标检测框之间的第一交并比;
根据所述第一交并比,确定所述相似度。
5.根据权利要求4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述相似度,包括:
若所述第一交并比的总数目为1个,根据预设的交并比与相似度的关联关系,得到所述第一交并比对应的相似度,作为所述第一目标序列对的相似度。
6.根据权利要求4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述第一目标序列对的相似度,包括:
若所述第一交并比的总数目为多个,确定多个所述第一交并比的均值;
根据预设的交并比与相似度的关联关系,得到所述均值对应的相似度,作为所述第一目标序列对的相似度。
7.根据权利要求4所述的目标检测方法,其特征在于,根据所述第一交并比,确定所述第一目标序列对的相似度,包括:
若所述第一交并比的总数目为多个,将每个所述第一交并比与预设比值进行比较,得到比较结果;
根据所述比较结果,得到第二交并比的数目;所述第二交并比为所述比较结果中大于预设比值的第一交并比;
根据所述数目和所述总数目,得到第二交并比的占比;
根据预设的占比与相似度的关联关系,得到所述占比对应的相似度,作为所述第一目标序列对的相似度。
8.根据权利要求2所述的目标检测方法,其特征在于,对第二目标序列对中两个待融合目标序列进行融合,得到融合目标序列,包括:
将所述第二目标序列对中两个待融合目标序列进行合并,并在合并第二交集中第三目标检测框和第四目标检测框时,按照预设合并方式进行合并,得到所述融合目标序列;
其中,所述第二交集为所述第二目标序列对中两个待融合目标序列之间的交集;
所述第三目标检测框和所述第四目标检测框均位于所述第二交集内,且所述第三标检测框属于所述第二目标序列对中一个待融合目标序列,所述第四目标检测框属于所述第二目标序列对中另一个待融合目标序列;所述第三目标检测框的时间戳与所述第四目标检测框的时间戳的差值位于预设误差范围内。
9.根据权利要求8所述的目标检测方法,其特征在于,所述第三目标检测框和所述第四目标检测框均包括观测框或预测框;
所述预设合并方式包括:
若所述第三目标检测框和所述第四目标检测框均为观测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的观测框;
若所述第三目标检测框和所述第四目标检测框均为预测框,保留所述第二目标序列对中生命周期长的待融合目标序列对应的预测框;
若所述第三目标检测框为观测框,所述第四目标检测框为预测框,保留所述第三目标检测框的观测框;
若所述第三目标检测框为预测框,所述第四目标检测框为观测框,保留所述第四目标检测框的观测框。
10.根据权利要求2所述的目标检测方法,其特征在于,还包括:
若所述多个待融合目标序列中任意两个待融合目标序列之间不存在第三交集;
确定所述任意两个待融合目标序列的相似度为第二预设相似度;所述第二预设相似度小于或等于所述第一预设相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311770235.4A CN117830994A (zh) | 2023-12-20 | 2023-12-20 | 目标检测方法、设备、驾驶设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311770235.4A CN117830994A (zh) | 2023-12-20 | 2023-12-20 | 目标检测方法、设备、驾驶设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117830994A true CN117830994A (zh) | 2024-04-05 |
Family
ID=90512872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311770235.4A Pending CN117830994A (zh) | 2023-12-20 | 2023-12-20 | 目标检测方法、设备、驾驶设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830994A (zh) |
-
2023
- 2023-12-20 CN CN202311770235.4A patent/CN117830994A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10796201B2 (en) | Fusing predictions for end-to-end panoptic segmentation | |
CN103716687A (zh) | 使用指纹以在视频中追踪移动对象的系统和方法 | |
CN113291321A (zh) | 一种车辆轨迹预测方法、装置、设备及存储介质 | |
CN112166458B (zh) | 目标检测与跟踪方法、系统、设备及存储介质 | |
CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
CN114972911A (zh) | 自动驾驶感知算法模型的输出数据收集处理方法及设备 | |
CN115965943A (zh) | 目标检测方法、设备、驾驶设备和介质 | |
Ouyang et al. | PV-EncoNet: Fast object detection based on colored point cloud | |
CN117392181A (zh) | 运动信息的预测方法、计算机设备、存储介质及智能设备 | |
CN117830994A (zh) | 目标检测方法、设备、驾驶设备和介质 | |
CN116612638A (zh) | 交通碰撞事故检测方法、装置及可读介质 | |
Khalil et al. | Licanext: Incorporating sequential range residuals for additional advancement in joint perception and motion prediction | |
CN116129378A (zh) | 车道线检测方法、装置、设备、车辆和介质 | |
CN116358528A (zh) | 地图更新方法、地图更新装置、自移动设备及存储介质 | |
CN115327529A (zh) | 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法 | |
CN116724315A (zh) | 确定神经网络的编码器架构的方法 | |
CN113313654A (zh) | 激光点云滤波去噪方法、系统、设备及存储介质 | |
CN113705272A (zh) | 可行驶区域检测方法、装置、设备及存储介质 | |
CN117173693B (zh) | 3d目标检测方法、电子设备、介质以及驾驶设备 | |
CN117784798B (zh) | 目标跟踪方法、智能设备及计算机可读存储介质 | |
CN117765535A (zh) | 点云数据的标注方法、设备、智能设备和介质 | |
CN117991283A (zh) | 一种多目标跟踪检测方法、设备及介质 | |
CN117475397B (zh) | 基于多模态传感器的目标标注数据获取方法、介质及设备 | |
CN117197631B (zh) | 多模态传感器融合感知方法、计算机设备、介质及车辆 | |
CN116228820B (zh) | 一种障碍物检测方法、装置和电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |