CN112034432A - 一种雷达目标聚类方法以及相关装置 - Google Patents

一种雷达目标聚类方法以及相关装置 Download PDF

Info

Publication number
CN112034432A
CN112034432A CN201910477472.9A CN201910477472A CN112034432A CN 112034432 A CN112034432 A CN 112034432A CN 201910477472 A CN201910477472 A CN 201910477472A CN 112034432 A CN112034432 A CN 112034432A
Authority
CN
China
Prior art keywords
radar
trace
bounding box
target
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910477472.9A
Other languages
English (en)
Inventor
廖子龙
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910477472.9A priority Critical patent/CN112034432A/zh
Publication of CN112034432A publication Critical patent/CN112034432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请实施例公开了一种雷达目标聚类方法以及相关装置,包括:获取图像信息和雷达信号信息,其中,图像信息来自图像传感器,雷达信号信息来自雷达传感器;根据图像信息确定边界框集合;根据雷达信号信息确定雷达点迹集合;根据边界框集合和雷达点迹集合输出目标雷达点迹集合,目标雷达点迹集合中包括目标雷达点迹。利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。

Description

一种雷达目标聚类方法以及相关装置
技术领域
本申请涉及雷达技术领域,尤其涉及一种雷达目标聚类方法以及相关装置。
背景技术
毫米波雷达主要采用调频连续波的工作体制。其发射波是一束调频等幅波,通过检测回波信号的频率来探测目标的距离和速度信息,具有易于调制、所需发射功率低、带宽大、分辨率高、信号处理复杂程度低、成本低廉等优点。毫米波雷达接收周围环境的雷达信号回波时会输出大量的点迹。在这些点迹中,既有真实的目标雷达点迹,也有一些虚警目标雷达点迹,此外,同一个目标不同部位的反射回波可能导致多个点迹。因此,需要对毫米波雷达输出的点迹信息进行聚类及虚警消除,才能获得准确的环境感知信息。
目前,对雷达检测输出点迹进行聚类的常用算法为基于密度的带有噪声的空间聚类(density based spatial clustering of applications with noise,DBSCAN)算法。DBSCAN是一种基于密度的聚类算法,这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本,他们之间的紧密相连的,也就是说,在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类,这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别,则得到了最终的所有聚类类别结果。
将毫米波雷达应用于汽车时,当使用毫米波雷达对车辆目标进行检测时,对于公交车和大卡车等大型车辆,雷达输出的点迹数量通常多于1个。在实际应用中,需要对这些输出点迹进行聚类,以输出一个真实目标信息。在实际测试中发现,同一辆目标车辆的雷达回波产生的点迹在特征(距离、速度等)上有很大差异,难以聚类出一个置信度高的该目标雷达点迹。
发明内容
本申请实施例提供了一种雷达目标聚类方法以及相关装置,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
本申请实施例第一方面提供了一种雷达目标聚类方法:
获取图像信息和雷达信号信息,其中,图像信息来自图像传感器,雷达信号信息来自雷达传感器;
根据图像信息确定边界框集合;
根据雷达信号信息确定雷达点迹集合;
根据边界框集合中边界框的置信度和雷达点迹集合中雷达点迹的优先级输出目标雷达点迹集合,目标雷达点迹集合中包括目标雷达点迹,雷达点迹集合中雷达点迹的优先级由雷达点迹集合中雷达点迹与雷达传感器之间的距离,以及雷达点迹集合中雷达点迹的置信度确定。
本申请实施例中,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
结合第一方面,在第一方面实施例中,根据边界框集合中边界框的置信度和雷达点迹集合中雷达点迹的优先级输出目标雷达点迹集合,包括:
当边界框集合中包括第一边界框,且第一边界框的置信度为高置信度时,
确定第一边界框的范围内的雷达点迹为第一雷达点迹集合,第一雷达点迹集合从属于雷达点迹集合;
根据第一雷达点迹集合,输出第一目标雷达点迹,第一目标雷达点迹从属于目标雷达点迹集合,第一目标雷达点迹为第一边界框中的目标雷达点迹;
当边界框集合中还包括第二边界框,且第二边界框的置信度为高置信度时,
确定第二边界框的范围内的雷达点迹为第二雷达点迹集合,第二雷达点迹集合从属于雷达点迹集合;
根据第二雷达点迹集合,输出第二目标雷达点迹,第二目标雷达点迹从属于目标雷达点迹集合。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,且第一边界框与第二边界框为高置信度的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,还包括:
当边界框集合中包括第三子边界框,且第三子边界框的范围为第一边界框与第二边界框的交集时,
确定第一边界框减去第三子边界框的范围为第一子边界框;
确定第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,第一雷达点迹子集合从属于第一雷达点迹集合;
确定第二边界框减去第三子边界框的范围为第二子边界框;
确定第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,第二雷达点迹子集合从属于第二雷达点迹集合;
根据第二雷达点迹子集合,输出第二目标雷达点迹。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,第一边界框与第二边界框为高置信度,且第一边界框与第二边界框存在交集的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,第三子边界框的范围内的雷达点迹不输出目标雷达点迹。
结合第一方面,在第一方面实施例中,确定第二边界框减去第三子边界框的范围为第二子边界框之后,还包括:
当第二子边界框的范围内无雷达点迹时,
确定第三子边界框的范围内的雷达点迹为第二雷达点迹子集合;
根据第二雷达点迹子集合,输出第二目标雷达点迹。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,第一边界框与第二边界框为高置信度,且第一边界框与第二边界框存在交集,且第二边界框与第一边界框交集外没有雷达点迹的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,根据边界框集合中边界框的置信度和雷达点迹集合中雷达点迹的优先级输出目标雷达点迹集合,包括:
当边界框集合中包括第一边界框,且第一边界框的置信度为中置信度时,
确定第一边界框的范围内的雷达点迹为第一雷达点迹集合,第一雷达点迹集合从属于雷达点迹集合;
通过聚类算法计算第一雷达点迹集合,输出第一目标雷达点迹,第一目标雷达点迹从属于目标雷达点迹集合,第一目标雷达点迹为第一边界框中的目标雷达点迹。
当边界框集合中包括第二边界框,且第二边界框的置信度为中置信度时,
确定第二边界框的范围内的雷达点迹为第二雷达点迹集合,第二雷达点迹集合从属于雷达点迹集合;
通过聚类算法计算第二雷达点迹集合,输出第二目标雷达点迹,第二目标雷达点迹从属于目标雷达点迹集合。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,且第一边界框与第二边界框为中置信度的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,还包括:
当第二边界框的范围内的雷达点迹还包括第三雷达点迹集合时,
通过聚类算法计算第三雷达点迹集合,输出第三目标雷达点迹,第三目标雷达点迹从属于目标雷达点迹集合,其中,第二雷达点迹集合与第三雷达点迹集合没有交集。
结合第一方面,在第一方面实施例中,还包括:
当边界框集合中包括第三子边界框,且第三子边界框为第一边界框与第二边界框的交集时,
确定第一边界框减去第三子边界框的范围为第一子边界框;
确定第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,第一雷达点迹子集合从属于第一雷达点迹集合;
通过聚类算法计算第一雷达点迹子集合,输出第一目标雷达点迹。
结合第一方面,在第一方面实施例中,还包括:
当边界框集合中包括第三子边界框,且第三子边界框为第一边界框与第二边界框的交集时,
确定第二边界框减去第三子边界框的范围为第二子边界框;
确定第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,第二雷达点迹子集合从属于第二雷达点迹集合;
通过聚类算法计算第二雷达点迹子集合,输出第二目标雷达点迹。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,第一边界框与第二边界框为中置信度,且第一边界框与第二边界框存在交集的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,第三子边界框的范围内的雷达点迹不输出目标雷达点迹。
结合第一方面,在第一方面实施例中,确定第二边界框减去第三子边界框的范围为第二子边界框之后,还包括:
当第二子边界框的范围内无雷达点迹时,
确定第三子边界框的范围内的雷达点迹为第二雷达点迹子集合;
通过聚类算法计算第二雷达点迹子集合,输出第二目标雷达点迹。
本申请实施例中,提供了边界框集合中存在第一边界框与第二边界框,第一边界框与第二边界框为中置信度,且第一边界框与第二边界框存在交集,且第二边界框与第一边界框交集外没有雷达点迹的情况下,输出目标雷达点迹的方法,提升了本方案的可行性。
结合第一方面,在第一方面实施例中,根据边界框集合中边界框的置信度和雷达点迹集合中雷达点迹的优先级输出目标雷达点迹集合,包括:
当边界框集合中包括第一边界框,且第一边界框的置信度为低置信度时,
第一边界框的范围内的雷达点迹不输出目标雷达点迹。
结合第一方面,在第一方面实施例中,高置信度的范围为0.7-1;中置信度的范围为0.7-0.3;低置信度的范围为0.3-0。
第二方面提供了一种雷达目标聚类装置,该雷达目标聚类装置具有实现上述第一方面中雷达目标聚类方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面提供了一种雷达目标聚类装置,该雷达目标聚类装置包括:处理器、存储器、该处理器通过运行存储在该存储器内的软件程序、调用存储在该存储器内的数据,执行前述本申请实施例第一方面提供的各实施方式的方法。
第四方面提供了一种计算机程序产品,该计算机程序产品包括计算机程序指令,该计算机程序指令可通过处理器进行加载来实现上述第一方面及其各实现方式中的方法。
第五方面提供了一种计算机储存介质,用于储存计算机程序指令,其包含用于执行前述本申请实施例第一方面提供的各实施方式的步骤的程序。
从以上技术方案可以看出,本申请实施例具有以下优点:
利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
附图说明
图1为本申请实施例提供的一种应用场景示意图;
图2a为本申请实施例提供的一种应用场景示意图;
图2b为本申请实施例提供的另一种应用场景示意图;
图2c为本申请实施例提供的另一种应用场景示意图;
图3为本申请实施例提供的一种雷达目标聚类方法的实施例示意图;
图4为本申请实施例提供的一种边界框示意图;
图5为本申请实施例提供的另一种边界框示意图;
图6为本申请实施例提供的另一种边界框示意图;
图7为本申请实施例提供的另一种边界框示意图;
图8为本申请实施例中雷达目标聚类装置的一种实施例示意图;
图9为本申请实施例中雷达目标聚类装置的另一种实施例示意图。
具体实施方式
本申请实施例提供了一种雷达目标聚类方法以及相关装置,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
为了方便理解本申请的各个实施例,首先介绍本申请中可能出现的几个概念。应理解的是,以下的概念解释可能会因为本申请的具体情况有所限制,但并不代表本申请仅能局限于该具体情况,以下概念的解释伴随不同实施例的具体情况可能也会存在差异。
聚类:将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。以雷达信号信息为例,一个雷达点迹包含的信息包括:该目标距离雷达的切向方向(以雷达坐标为原点,雷达所在平面方向为径向)距离与径向方向(以雷达坐标为原点,雷达法线方向为径向)距离,该目标相对于雷达的速度与加速度等,这些信息称为雷达信号信息。由于同一个目标不同部位的反射回波可能导致多个点迹,因此需要将多个点迹的雷达信号信息聚类至同一个点迹,已使用该点迹代表目标,该点迹称为目标雷达点迹。
对雷达检测输出点迹进行聚类的常用算法为基于密度的带有噪声的空间聚类(density based spatial clustering of applications with noise,DBSCAN)算法。DBSCAN是一种基于密度的聚类算法,这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本,他们之间的紧密相连的,也就是说,在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类,这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别,则得到了最终的所有聚类类别结果。
虚警消除:虚警概率指雷达探测的过程中,采用门限检测的方法时由于噪声的普遍存在和起伏,实际不存在目标却判断为有目标的概率。采用门限检测的方法时,由于门限机制和噪声的普遍存在,使用雷达探测目标时,判断是否有回波信号时,会出现4种不同的情况,这4种情况分别可以用4个概率进行描述。
存在目标时,判为有目标,判断正确,这种情况称为“发现”,其概率称为“发现概率”;存在目标时,判为无目标,判断错误,这种情况称为“漏报”,其概率称为“漏报概率;不存在目标时,判为无目标,判断正确,这种情况称为“正确不发现”,其概率称为“正确不发现概率”;不存在目标时,判为有目标,判断错误,这种情况称为“虚警”,其概率称为“虚警概率”。
当存在虚警时,需要消除该虚警对应的点迹,这一过程称为虚警消除。
图1为本申请实施例提供的一种应用场景示意图。如图1所示,本申请实施例提供的雷达目标聚类方法以及相关装置部署于车辆中的场景。具体的,车辆前端部署有图像传感器以及雷达传感器,其中,图像传感器可以为下列图像传感器中的一种或多种,例如:
1)红外线图像传感器(infrared radiation-red green blue image sensor,IR-RGB image sensor),采用CCD单元(charge-coupled device,电荷耦合器件)或标准CMOS单元(complementary meta-oxide semiconductor,互补金属氧化物半导体),通过滤波片滤波,只允许透过彩色波长段和设定的红外波长段的光,在图像信号处理器中分离IR(infrared radiation,红外)图像数据流以及RGB(red green blue,三原色)图像数据流,IR图像数据流为微光环境下得到的图像数据流,分离得到的该两个图像数据流用做其他应用处理。
2)可见光图像传感器,采用CCD单元(charge-coupled device,电荷耦合器件)或标准CMOS单元(complementary meta-oxide semiconductor,互补金属氧化物半导体),获得可见光数据图像。
雷达传感器可以为下列雷达传感器中的一种或多种,例如:
1)毫米波雷达,是工作在毫米波波段(millimeter wav)探测的雷达。通常毫米波是指30~300吉赫(GHz)频域(波长为1~10毫米)的。毫米波的波长介于微波和厘米波之间,因此毫米波雷达兼有微波雷达和光电雷达的一些优点。
2)激光雷达,工作在红外和可见光波段的,以激光为工作光束的雷达称为激光雷达。而激光雷达的工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。
3)超声波雷达,超声波是指频率高于20千赫兹的机械波。为了以超声波作为检测手段,必须产生超生波和接收超声波。完成这种功能的装置就是超声波雷达。超声波雷达有发送器和接收器,但一个超声波雷达也可具有发送和接收声波的双重作用。超声波雷达是利用压电效应的原理将电能和超声波相互转化,即在发射超声波的时候,将电能转换,发射超声波;而在收到回波的时候,则将超声振动转换成电信号。
图1中,部署于车辆前端的图像传感器可感知如虚线框所示的扇形区域,该扇形区域为图像感知区域,当图像传感器感知到图像感知区域中存在目标时,将图像信息传输至处理模块,由处理模块进行进一步处理;部署于车辆前端的雷达传感器可感知如实线框所示的扇形区域,该扇形区域为雷达感知区域,当雷达传感器感知到雷达感知区域中存在目标时,将雷达信号信息传输至处理模块,由处理模块进行进一步处理。处理模块在接收到图像传感器与雷达传感器的信息后,输出具有高置信度的目标雷达点迹。
需要说明的是,图1中的处理模块既可以是独立于雷达传感器的计算机或计算机中的软件模块,还可以是部署于雷达传感器中的计算机或计算机中的软件模块,此处不作限定。
下面结合附图,进一步说明本申请实施例的应用场景。请参阅图2a,图2a为本申请实施例提供的一种应用场景示意图。本申请实施例提供的一种应用场景包括:
A1、发送图像信息。
步骤A1中,图像传感器采集到外界的图像数据后,生成图像信息,并向雷达传感器发送该图像信息。
A2、获取雷达信号信息。
步骤A2中,雷达传感器接收到来自图像传感器的图像信息后,获取雷达信号信息,该雷达信号信息,为雷达传感器发出的电磁波后,接收到的目标的回波。该雷达信号信息既可以是接收图像信息后采集到外界的雷达数据得到的;也可以是获取与图像传感器的图像信息采集时刻最接近的雷达数据,此处不作限定。
A3、确定边界框集合。
步骤A3中,雷达传感器接收到图像信息后,雷达传感器中的处理模块确定边界框(bounding box,BB)集合,边界框是一种像素坐标下的虚拟矩形框,它包围了图像上被检测到的物体,如道路上的行人和车辆等。若图像信息中,存在一个被检测到的物体,则确定一个边界框,若存在两个被检测到的物体,则确定两个边界框,以此类推。处理模块在确定边界框的同时,确定与边界框对应的置信度。该边界框的置信度为边界框内目标存在的置信度。具体的计算方法可以为:边界框的置信度=1-检测为背景的置信度。
具体的,检测为背景的置信度是处理模块根据图像传感器发送的图像数据生成得到。首先第一部分是AI算法,AI算法中包含有根据图像传感器采集得到的数据集合以及经过传感器处理器处理后的待处理数据集合,在线下训练得到神经网络模型。第二部分是根据AI算法运算的结果,生成检测为背景的置信度。对于图像数据,通常采用的是卷积神经网络(convolutional neural network,CNN),具体可以采用不同的深度神经网络算法,对具体的算法类型不作限制。
CNN是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。该CNN由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得CNN能够利用输入数据的二维结构。该CNN中的卷积层的卷积核会对图像进行卷积,卷积就是用一个特定参数的滤波器去扫描图像,提取图像的特征值。
线下训练是指在tensorflow、caffe(convolutional architecture for fastfeature embedding)等深度学习框架上进行模型设计与训练。
以可见光图像传感器为例。雷达目标聚类装置设备中可应用可见光图像数据的情景识别模型有多种,例如:扫描车辆识别模型、扫描行人识别模型以及扫描背景识别模型等,处理模块中可应用一种或多种的情景识别模型,下面分别进行介绍。
在扫描背景识别模型中,加载于处理模块中的线下训练所得到的神经网络模型,采用CNN算法,通过传感器采集10万张背景图像和10万张有障碍物图像,并分别标注(背景或有障碍物),在tensorflow上训练之后得到神经网络模型及相关参数,之后将可见光图像传感器采集得到的图像数据,输入至该神经网络模型中进行网络推导,就可得到该图像中是不是包含有障碍物的结果,具体的,障碍物可以为行人、车辆、列车、限高杆以及动物等。背景可以为天空、树木、桥梁以及隧道等。
A4、确定雷达点迹集合。
步骤A4中、处理模块在获取雷达信号信息后,需要这些雷达信号信息的坐标转换为平面上的二维图像坐标,目的是与图像传感器的边界框相关数据处于同一坐标系内。处理模块根据雷达信号信息确定雷达点迹集合,该雷达点迹集合中至少包括一个雷达点迹。这里的雷达点迹集合,既可以是根据雷达信号信息直接转换的雷达点迹集合,也可以是通过聚类算法经过初步聚类处理后的雷达点迹集合,该聚类算法可以是DBSCAN算法、自组织特征映射网络算法(self-organizing feature map,SOM)、BIRCH算法、CURE算法、ROCK算法或CHEMALOEN算法,此处不作限定。
需要说明的是步骤A3与步骤A4的先后顺序不作限定,既可以是先执行步骤A3再执行步骤A4,也可以先执行步骤A4再执行步骤A3。
A5、输出目标雷达点迹。
步骤A5中、根据边界框集合与雷达点迹集合,对雷达点迹集合中的雷达点迹进行聚类以及虚警消除,输出目标雷达点迹。
本申请实施例中,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
根据处理模块部署位置的不同,还存在其它类似的应用场景。当处理模块部署在独立于雷达传感器的计算机中时,请参阅图2b,图2b为本申请实施例提供的另一种应用场景示意图。本申请实施例提供的另一种应用场景包括:
B1、发送图像信息。
步骤B1中,图像传感器采集到外界的图像数据后,生成图像信息,并向处理模块发送该图像信息。
B2、发送雷达信号信息。
步骤B2中,雷达传感器向处理模块发送雷达信号信息,该雷达信号信息为雷达传感器发出的电磁波后,接收到的目标的回波。
需要说明的是,当先执行步骤B1后执行步骤B2时,该雷达信号信息既可以是处理模块接收图像信息后指示雷达传感器采集外界的雷达数据得到的;也可以是获取与图像传感器的图像信息采集时刻最接近的雷达数据,此处不作限定。当先执行步骤B2后执行步骤B1时,可以是获取与采集雷达信号信息的时刻最接近的图像数据;也可以是处理模块接收雷达信号信息后指示图像传感器采集外界的图像数据得到的,此处不作限定。
B3、确定边界框集合。
步骤B3中、独立于雷达传感器的处理模块,接收到来自图像传感器的图像信息后,确定边界框集合。具体方法与步骤A3类似,此处不再赘述。
B4、确定雷达点迹集合。
步骤B4中、独立于图像传感器的处理模块,接收到来自雷达传感器的雷达信号信息后,确定雷达点迹集合。具体方法与步骤A4类似,此处不再赘述。
B5、输出目标雷达点迹。
步骤B5中、具体方法与步骤B5类似,此处不再赘述。
本申请实施例中,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
请参阅图2c,图2c为本申请实施例提供的另一种应用场景示意图。本申请实施例提供的另一种应用场景包括:
C1、发送图像信息。
步骤C1中、具体方法与步骤B1类似,此处不再赘述。
C2、发送雷达信号信息。
步骤C2中、具体方法与步骤B2类似,此处不再赘述。
C3、确定边界框集合。
步骤C3中、具体方法与步骤B3类似,此处不再赘述。
C4、确定雷达点迹集合。
步骤C4中、具体方法与步骤B4类似,此处不再赘述。
C5、检测是否需要进行虚警消除。
步骤C5中,处理模块在确定边界框集合以及确定雷达点迹集合后,检测当前雷达信号信息对应的雷达点迹集合,是否需要进行虚警消除以及聚类。具体的检测方法为:
检测边界框集合范围内是否存在雷达点迹,若存在,则需要进行虚警消除以及聚类。进入步骤C6;若不存在,则不需要进行虚警消除以及聚类,并确定当前雷达点迹集合对应的环境中没有目标。
C6、发送指示信息。
步骤C6中,当处理模块检测雷达点迹集合需要进行虚警消除以及聚类后,处理模块向雷达传感器发送指示信息,该指示信息中还携带与雷达点迹集合对应的边界框集合,以指示雷达传感器对雷达点迹集合进行虚警消除以及聚类。
C7、输出目标雷达点迹。
步骤C7中,若在步骤C4中已进行了初步的虚警消除以及聚类,则在步骤C6中,雷达传感器根据边界框集合对雷达点迹集合进行进一步的虚警消除以及聚类。具体方法与步骤B5类似,此处不再赘述。
本申请实施例中,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
下面以实施例的方式,对本申请技术方案做进一步的说明,
请参阅图3,图3为本申请实施例提供的一种雷达目标聚类方法的实施例示意图。本申请实施例提供的一种雷达目标聚类方法包括:
301、获取图像信息和雷达信号信息。
本实施例中,图像传感器采集到外界的图像数据后,生成图像信息;雷达传感器采集雷达信号信息,该雷达信号信息,为雷达传感器发出的电磁波后,接收到的目标的回波。雷达目标聚类装置获取图像数据以及雷达信号信息。
302、确定边界框集合和雷达点迹集合。
本实施例中,雷达目标聚类装置根据图像信息确定边界框集合,根据图像信息中各个像素点对应的数据,在像素坐标系中生成对应的边界框,每个边界框都有对应的高度与宽度,将这些边界框统称为边界框集合。每个边界框根据一组端点坐标确定。
边界框集合中存在一个或多个边界框也可以不包含任何边界框,其中,当边界框中不包含任何一个边界框时,则图像传感器采集得到的图像数据中,不存在任何目标,此时无需对雷达传感器采集得到的雷达信号信息进行后续处理。本申请实施例中,为了便于理解,以边界框集合中包括第一边界框以及第二边界框的情况进行说明。
雷达目标聚类装置根据雷达信号信息确定雷达点迹集合,雷达点迹集合中包括一个或多个雷达点迹,雷达目标聚类装置根据雷达信号信息在像素坐标系中生成对应的雷达点迹,这些雷达点迹的集合称为雷达点迹集合。雷达点迹集合中的雷达点迹既可以是经过初步虚警消除处理与聚类处理后的雷达点迹,也可以是未经虚警消除处理与聚类处理的雷达点迹,此处不作限定。
303、根据边界框集合中边界框的置信度和雷达点迹集合中雷达点迹的优先级输出目标雷达点迹集合。
本实施例中,边界框集合中的边界框存在对应的置信度,雷达点迹集合中雷达点迹存在对应的优先级,其中,该边界框的置信度为边界框内目标存在的置信度。具体的计算方法可以为:边界框的置信度=1-检测为背景的置信度。置信度可分为三类:高置信度、中置信度以及低置信度。当置信度大于或等于第一阈值的置信度为高置信度,置信度小于或等于第二阈值的置信度为低置信度,置信度大于第二阈值且小于第一阈值的置信度为中置信度,第一阈值可取为0.7,第二阈值可取为0.3,此处不对第一阈值与第二阈值的具体取值做限定。
雷达点迹集合中雷达点迹的优先级可以通过下列方法确定,具体的:雷达点迹的优先级和该雷达点迹与雷达传感器的距离呈负相关,距离越小优先级越高;雷达点迹的优先级与该雷达点迹的置信度呈正相关,置信度越大优先级越高。需要说明的是,上述方法仅做示例说明,不对雷达点迹优先级确定的方法进行限定。
当边界框集合中存在第一边界框与第二边界框时,根据第一边界框的高度与宽度以及第二边界框的高度与宽度,确定第一边界框以及第二边界框在像素坐标系中的位置。雷达点迹集合中的雷达点迹同样采用像素坐标表述其位置,与边界框集合中边界框处于同一像素坐标系。
由于边界框集合中边界框之间位置关系存在多种可能情况,边界框的置信度也存在多种可能情况。为了便于理解,下面结合附图对不同情况下,如何输出目标雷达点迹集合进行说明。请参阅图4,图4为本申请实施例提供的一种边界框示意图。
如图4所示,当第一边界框与第二边界框没有交集时,即第一边界框的像素点与第二边界框的像素点不重合时,根据第一边界框与第二边界框的置信度进行后续操作。具体的,当第一边界框与第二边界框的置信度均为高置信度时,将第一边界框的范围内的雷达点迹确定为第一雷达点迹集合,将第二边界框的范围内的雷达点迹确定为第二雷达点迹集合。由于第一边界框与第二边界框均为高置信度,根据第一雷达点迹集合与第二雷达点迹集合输出第一目标雷达点迹与第二目标雷达点迹可以通过以下方法:1、在第一雷达点迹集合中筛选出距离雷达传感器最近的雷达点迹作为第一目标雷达点迹,在第二雷达点迹集合中筛选出距离雷达传感器最近的雷达点迹作为第二目标雷达点迹。2、在第一雷达点迹集合中筛选出优先级最高的雷达点迹作为第一目标雷达点迹,在第二雷达点迹集合中筛选出优先级最高的雷达点迹作为第二目标雷达点迹,该优先级由该雷达点迹与雷达传感器之间的距离以及该雷达点迹的置信度共同决定,距离越短优先级越高,置信度越高优先级越高。第一目标雷达点迹与第二目标雷达点迹统称为目标雷达点迹集合。
当第一边界框与第二边界框的置信度均为中置信度时,则第一雷达点迹集合与第二雷达点迹集合需要通过常规聚类算法输出第一目标雷达点迹与第二目标雷达点迹,该常规聚类算法包括但不限于欧式聚类算法。
当第二边界框的置信度为中置信度时,第二边界框内的雷达点迹可能存在多个雷达点迹集合,例如同时存在第二雷达点迹集合与第三雷达点迹集合,根据聚类算法,第二雷达点迹集合中可以输出第二目标雷达点迹,第三雷达点迹集合中可以输出第三目标雷达点迹。例如图5所示,图5为本申请实施例提供的另一种边界框示意图。
当第一边界框与第二边界框的置信度均为低置信度时,可视为第一边界框与第二边界框中不存在目标,第一边界框的范围内的第一雷达点迹集合与第二边界框的范围内的第二雷达点迹集合均是虚警输出,因此不输出目标雷达点迹。
当第一边界框与第二边界框存在交集,请参阅图6,图6为本申请实施例提供的另一种边界框示意图。如图6所示,当第一边界框与第二边界框存在交集,该交集的边界框范围称为第三子边界框,第一边界框的范围减去第三子边界框的范围称为第一子边界框,第二边界框的范围减去第三子边界框的范围称为第二子边界框。
当第一边界框与第二边界框均为高置信度时,确定第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,此时,第二子边界框的范围内存在两种情况:
第一、是第二子边界框的范围内存在雷达点迹,则确定第二子边界框的范围内的雷达点迹为第二雷达点迹子集合。根据第一雷达点迹子集合输出第一目标雷达点迹,根据第二雷达点迹子集合输出第二目标雷达点迹。这种情况如图6所示。
根据第一雷达点迹子集合与第二雷达点迹子集合输出第一目标雷达点迹与第二目标雷达点迹可以通过以下方法:1、在第一雷达点迹子集合中筛选出距离雷达传感器最近的雷达点迹作为第一目标雷达点迹,在第二雷达点迹子集合中筛选出距离雷达传感器最近的雷达点迹作为第二目标雷达点迹,并输出第一目标雷达点迹与第二目标雷达点迹。2、在第一雷达点迹子集合中筛选出优先级最高的雷达点迹作为第一目标雷达点迹,在第二雷达点迹子集合中筛选出优先级最高的雷达点迹作为第二目标雷达点迹,并输出第一目标雷达点迹与第二目标雷达点迹。该优先级由该雷达点迹与雷达传感器之间的距离以及该雷达点迹的置信度共同决定,距离越短优先级越高,置信度越高优先级越高。第一目标雷达点迹与第二目标雷达点迹统称为目标雷达点迹子集合。
第二、是第二子边界框的范围无雷达点迹,则确定第三子边界框的范围内的雷达点迹为第二雷达点迹子集合。根据第一雷达点迹子集合输出第一目标雷达点迹,根据第二雷达点迹子集合输出第二目标雷达点迹。这种情况如图7所示。
当第一边界框与第二边界框均为中置信度时,确定第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,此时,第二子边界框的范围内存在两种情况:
第一、是第二子边界框的范围内存在雷达点迹,则确定第二子边界框的范围内的雷达点迹为第二雷达点迹子集合。根据第一雷达点迹子集合输出第一目标雷达点迹,根据第二雷达点迹子集合输出第二目标雷达点迹。这种情况如图6所示。
根据第一雷达点迹子集合与第二雷达点迹子集合输出第一目标雷达点迹与第二目标雷达点迹可以通过以下方法:通过聚类算法在第一雷达点迹子集合中筛选出第一目标雷达点迹,通过聚类算法在在第二雷达点迹子集合中筛选出第二目标雷达点迹,并输出第一目标雷达点迹与第二目标雷达点迹。
第二、是第二子边界框的范围无雷达点迹,则确定第三子边界框的范围内的雷达点迹为第二雷达点迹子集合。根据第一雷达点迹子集合输出第一目标雷达点迹,根据第二雷达点迹子集合输出第二目标雷达点迹。这种情况如图7所示。
当第一边界框与第二边界框均为低置信度时,第一边界框与第二边界框内均不输出目标雷达点迹。
在第一边界框与第二边界框的范围外的雷达点迹,不输出目标雷达点迹。
需要说明的是,当第一边界框为高置信度,第二边界框为中置信度,或第一边界框为中置信度,第二边界框为低置信度,或第一边界框为中置信度,第二边界框为高置信度,或第一边界框为中置信度,第二边界框为低置信度等情况时,输出目标雷达点迹的方法与前述方法类似,此处不再赘述。当边界框集合中仅包括第一边界框或还包括多个边界框时,输出目标雷达点迹的方法与前述方法类似,此处不再赘述。
需要说明的是,本申请实施例中以边界框集合中存在第一边界框与第二边界框,这两个边界框的情况为例进行说明,当边界框集合中存在一个边界框或大于两个边界框的情况时,对雷达目标聚类的方法与前述方法类似,此处不再赘述。当边界框集合中无边界框时,不输出目标雷达点迹。
本申请实施例中,利用图像传感器获取的图像信息,对雷达传感器获取的雷达信号信息进行处理,提升雷达目标聚类的准确性及降低雷达检测的虚警率。
上述实施例介绍了本申请一种雷达目标聚类方法,下面将对实现该方法的雷达目标聚类装置进行介绍,请参阅图8,图8为本申请实施例中雷达目标聚类装置的一种实施例示意图。
本申请实施例还提供了一种雷达目标聚类装置800,包括:
获取模块801,用于获取图像信息和雷达信号信息,其中,该图像信息来自图像传感器,该雷达信号信息来自雷达传感器;
图像处理模块802,用于根据该图像信息确定边界框集合;
雷达处理模块803,用于根据该雷达信号信息确定雷达点迹集合;
处理模块804,用于根据该图像处理模块802确定的该边界框集合,和该雷达处理模块803确定的该雷达点迹集合输出目标雷达点迹集合,该目标雷达点迹集合中包括目标雷达点迹。
本申请的一些实施例中,
该处理模块804,具体用于根据该图像处理模块802确定的该边界框集合中边界框的置信度,和该雷达处理模块803确定的该雷达点迹集合中雷达点迹的优先级输出该目标雷达点迹集合。
本申请的一些实施例中,
当该边界框集合中包括第一边界框,且该第一边界框的置信度为高置信度时,
该处理模块804,具体用于确定该第一边界框的范围内的雷达点迹为第一雷达点迹集合,该第一雷达点迹集合从属于该雷达点迹集合;
该处理模块804,具体用于根据该第一雷达点迹集合,输出第一目标雷达点迹,该第一目标雷达点迹从属于该目标雷达点迹集合,该第一目标雷达点迹为该第一边界框中的该目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中还包括第二边界框,且该第二边界框的置信度为该高置信度时,
该处理模块804,具体用于确定该第二边界框的范围内的雷达点迹为第二雷达点迹集合,该第二雷达点迹集合从属于该雷达点迹集合;
该处理模块804,具体用于根据该第二雷达点迹集合,输出第二目标雷达点迹,该第二目标雷达点迹从属于该目标雷达点迹集合。
本申请的一些实施例中,
当该边界框集合中包括第三子边界框,且该第三子边界框的范围为该第一边界框与该第二边界框的交集时,
该处理模块804,具体用于确定该第一边界框减去该第三子边界框的范围为第一子边界框;
该处理模块804,具体用于确定该第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,该第一雷达点迹子集合从属于该第一雷达点迹集合;
该处理模块804,具体用于根据该第一雷达点迹子集合,输出该第一目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中包括该第三子边界框,且该第三子边界框为该第一边界框与该第二边界框的交集时,
该处理模块804,具体用于确定该第二边界框减去该第三子边界框的范围为第二子边界框;
该处理模块804,具体用于确定该第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,该第二雷达点迹子集合从属于该第二雷达点迹集合;
该处理模块804,具体用于根据该第二雷达点迹子集合,输出该第二目标雷达点迹。
本申请的一些实施例中,
该处理模块804,具体用于该第三子边界框的范围内的雷达点迹不输出该目标雷达点迹。
本申请的一些实施例中,
当该第二子边界框的范围内无雷达点迹时,
该处理模块804,具体用于确定该第三子边界框的范围内的雷达点迹为该第二雷达点迹子集合;
该处理模块804,具体用于根据该第二雷达点迹子集合,输出该第二目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中包括第一边界框,且该第一边界框的置信度为中置信度时,
该处理模块804,具体用于确定该第一边界框的范围内的雷达点迹为第一雷达点迹集合,该第一雷达点迹集合从属于该雷达点迹集合;
该处理模块804,具体用于通过聚类算法计算该第一雷达点迹集合,输出第一目标雷达点迹,该第一目标雷达点迹从属于该目标雷达点迹集合,该第一目标雷达点迹为该第一边界框中的该目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中包括第二边界框,且该第二边界框的置信度为中置信度时,
该处理模块804,具体用于确定该第二边界框的范围内的雷达点迹为第二雷达点迹集合,该第二雷达点迹集合从属于该雷达点迹集合;
该处理模块804,具体用于通过聚类算法计算该第二雷达点迹集合,输出第二目标雷达点迹,该第二目标雷达点迹从属于该目标雷达点迹集合。
本申请的一些实施例中,
当该第二边界框的范围内的雷达点迹还包括第三雷达点迹集合时,
该处理模块804,具体用于通过聚类算法计算该第三雷达点迹集合,输出第三目标雷达点迹,该第三目标雷达点迹从属于该目标雷达点迹集合,其中,该第二雷达点迹集合与该第三雷达点迹集合没有交集。
本申请的一些实施例中,
当该边界框集合中包括第三子边界框,且该第三子边界框为该第一边界框与该第二边界框的交集时,
该处理模块804,具体用于确定该第一边界框减去该第三子边界框的范围为第一子边界框;
该处理模块804,具体用于确定该第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,该第一雷达点迹子集合从属于该第一雷达点迹集合;
该处理模块804,具体用于通过聚类算法计算该第一雷达点迹子集合,输出该第一目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中包括该第三子边界框,且该第三子边界框为该第一边界框与该第二边界框的交集时,
该处理模块804,具体用于确定该第二边界框减去该第三子边界框的范围为第二子边界框;
该处理模块804,具体用于确定该第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,该第二雷达点迹子集合从属于该第二雷达点迹集合;
该处理模块804,具体用于通过聚类算法计算该第二雷达点迹子集合,输出该第二目标雷达点迹。
本申请的一些实施例中,
该处理模块804,具体用于该第三子边界框的范围内的雷达点迹不输出该目标雷达点迹。
本申请的一些实施例中,
当该第二子边界框的范围内无雷达点迹时,
该处理模块804,具体用于确定该第三子边界框的范围内的雷达点迹为该第二雷达点迹子集合;
该处理模块804,具体用于通过聚类算法计算该第二雷达点迹子集合,输出该第二目标雷达点迹。
本申请的一些实施例中,
当该边界框集合中包括第一边界框,且该第一边界框的置信度为低置信度时,
该处理模块804,具体用于该第一边界框的范围内的雷达点迹不输出该目标雷达点迹。
本申请的一些实施例中,
该处理模块804,具体用于该边界框集合的范围外的雷达点迹不输出该目标雷达点迹。
本申请的一些实施例中,该高置信度的范围为0.7-1。
本申请的一些实施例中,该中置信度的范围为0.7-0.3。
本申请的一些实施例中,该低置信度的范围为0.3-0。
本申请的一些实施例中,该雷达点迹集合中雷达点迹的优先级由该雷达点迹集合中雷达点迹与该雷达传感器之间的距离,以及该雷达点迹集合中雷达点迹的置信度确定。
本申请实施例提供的雷达目标聚类装置在实现雷达目标聚类方法的过程与前述图1至或图7所示的实施例中描述的方法流程类似,此处不再赘述
请参阅图9,本申请雷达目标聚类装置的另一个实施例示意图。
该雷达目标聚类装置900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)901(例如,一个或一个以上处理器)和存储器905,该存储器905中存储有一个或一个以上的应用程序或数据。
其中,存储器905可以是易失性存储或持久存储。存储在存储器905的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器901可以设置为与存储器905通信,在雷达目标聚类装置900上执行存储器905中的一系列指令操作。
雷达目标聚类装置900还可以包括一个或一个以上电源902,一个或一个以上有线或无线网络接口903,一个或一个以上输入输出接口904,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本实施例中雷达目标聚类装置900中的中央处理器901所执行的流程与前述图1至图7所示的实施例中描述的方法流程类似,此处不再赘述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上该,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (45)

1.一种雷达目标聚类方法,其特征在于,包括:
获取图像信息和雷达信号信息,其中,所述图像信息来自图像传感器,所述雷达信号信息来自雷达传感器;
根据所述图像信息确定边界框集合;
根据所述雷达信号信息确定雷达点迹集合;
根据所述边界框集合和所述雷达点迹集合输出目标雷达点迹集合,所述目标雷达点迹集合中包括目标雷达点迹。
2.根据权利要求1所述的方法,其特征在于,根据所述边界框集合和所述雷达点迹集合输出所述目标雷达点迹集合,包括:
根据所述边界框集合中边界框的置信度和所述雷达点迹集合中雷达点迹的优先级输出所述目标雷达点迹集合。
3.根据权利要求2所述的方法,其特征在于,根据所述边界框集合中边界框的置信度和所述雷达点迹集合中雷达点迹的优先级输出所述目标雷达点迹集合,包括:
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为高置信度时,
确定所述第一边界框的范围内的雷达点迹为第一雷达点迹集合,所述第一雷达点迹集合从属于所述雷达点迹集合;
根据所述第一雷达点迹集合,输出第一目标雷达点迹,所述第一目标雷达点迹从属于所述目标雷达点迹集合,所述第一目标雷达点迹为所述第一边界框中的所述目标雷达点迹。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中还包括第二边界框,且所述第二边界框的置信度为所述高置信度时,
确定所述第二边界框的范围内的雷达点迹为第二雷达点迹集合,所述第二雷达点迹集合从属于所述雷达点迹集合;
根据所述第二雷达点迹集合,输出第二目标雷达点迹,所述第二目标雷达点迹从属于所述目标雷达点迹集合。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中包括第三子边界框,且所述第三子边界框的范围为所述第一边界框与所述第二边界框的交集时,
确定所述第一边界框减去所述第三子边界框的范围为第一子边界框;
确定所述第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,所述第一雷达点迹子集合从属于所述第一雷达点迹集合;
根据所述第一雷达点迹子集合,输出所述第一目标雷达点迹。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中包括所述第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
确定所述第二边界框减去所述第三子边界框的范围为第二子边界框;
确定所述第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,所述第二雷达点迹子集合从属于所述第二雷达点迹集合;
根据所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
7.根据权利要求6所述的方法,其特征在于,所述第三子边界框的范围内的雷达点迹不输出所述目标雷达点迹。
8.根据权利要求6所述的方法,其特征在于,确定所述第二边界框减去所述第三子边界框的范围为所述第二子边界框之后,所述方法还包括:
当所述第二子边界框的范围内无雷达点迹时,
确定所述第三子边界框的范围内的雷达点迹为所述第二雷达点迹子集合;
根据所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
9.根据权利要求2所述的方法,其特征在于,根据所述边界框集合中边界框的置信度和所述雷达点迹集合中雷达点迹的优先级输出所述目标雷达点迹集合,包括:
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为中置信度时,
确定所述第一边界框的范围内的雷达点迹为第一雷达点迹集合,所述第一雷达点迹集合从属于所述雷达点迹集合;
通过聚类算法计算所述第一雷达点迹集合,输出第一目标雷达点迹,所述第一目标雷达点迹从属于所述目标雷达点迹集合,所述第一目标雷达点迹为所述第一边界框中的所述目标雷达点迹。
10.根据权利要求3或9中任一项所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中包括第二边界框,且所述第二边界框的置信度为中置信度时,
确定所述第二边界框的范围内的雷达点迹为第二雷达点迹集合,所述第二雷达点迹集合从属于所述雷达点迹集合;
通过聚类算法计算所述第二雷达点迹集合,输出第二目标雷达点迹,所述第二目标雷达点迹从属于所述目标雷达点迹集合。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当所述第二边界框的范围内的雷达点迹还包括第三雷达点迹集合时,
通过聚类算法计算所述第三雷达点迹集合,输出第三目标雷达点迹,所述第三目标雷达点迹从属于所述目标雷达点迹集合,其中,所述第二雷达点迹集合与所述第三雷达点迹集合没有交集。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中包括第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
确定所述第一边界框减去所述第三子边界框的范围为第一子边界框;
确定所述第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,所述第一雷达点迹子集合从属于所述第一雷达点迹集合;
通过聚类算法计算所述第一雷达点迹子集合,输出所述第一目标雷达点迹。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
当所述边界框集合中包括所述第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
确定所述第二边界框减去所述第三子边界框的范围为第二子边界框;
确定所述第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,所述第二雷达点迹子集合从属于所述第二雷达点迹集合;
通过聚类算法计算所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
14.根据权利要求13所述的方法,其特征在于,所述第三子边界框的范围内的雷达点迹不输出所述目标雷达点迹。
15.根据权利要求13所述的方法,其特征在于,确定所述第二边界框减去所述第三子边界框的范围为所述第二子边界框之后,所述方法还包括:
当所述第二子边界框的范围内无雷达点迹时,
确定所述第三子边界框的范围内的雷达点迹为所述第二雷达点迹子集合;
通过聚类算法计算所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
16.根据权利要求2所述的方法,其特征在于,根据所述边界框集合中边界框的置信度和所述雷达点迹集合中雷达点迹的优先级输出所述目标雷达点迹集合,包括:
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为低置信度时,
所述第一边界框的范围内的雷达点迹不输出所述目标雷达点迹。
17.根据权利要求1-16中任一项所述的方法,其特征在于,所述边界框集合的范围外的雷达点迹不输出所述目标雷达点迹。
18.根据权利要求3-8中任一项所述的方法,其特征在于,所述高置信度的范围为0.7-1。
19.根据权利要求9-14中任一项所述的方法,其特征在于,所述中置信度的范围为0.7-0.3。
20.根据权利要求16所述的方法,其特征在于,所述低置信度的范围为0.3-0。
21.根据权利要求1-14中任一项所述的方法,其特征在于,所述雷达点迹集合中雷达点迹的优先级由所述雷达点迹集合中雷达点迹与所述雷达传感器之间的距离,以及所述雷达点迹集合中雷达点迹的置信度确定。
22.一种雷达目标聚类装置,其特征在于,包括:
获取模块,用于获取图像信息和雷达信号信息,其中,所述图像信息来自图像传感器,所述雷达信号信息来自雷达传感器;
图像处理模块,用于根据所述图像信息确定边界框集合;
雷达处理模块,用于根据所述雷达信号信息确定雷达点迹集合;
处理模块,用于根据所述图像处理模块确定的所述边界框集合,和所述雷达处理模块确定的所述雷达点迹集合输出目标雷达点迹集合,所述目标雷达点迹集合中包括目标雷达点迹。
23.根据权利要求22所述的雷达目标聚类装置,其特征在于,
所述处理模块,具体用于根据所述图像处理模块确定的所述边界框集合中边界框的置信度,和所述雷达处理模块确定的所述雷达点迹集合中雷达点迹的优先级输出所述目标雷达点迹集合。
24.根据权利要求23所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为高置信度时,
所述处理模块,具体用于确定所述第一边界框的范围内的雷达点迹为第一雷达点迹集合,所述第一雷达点迹集合从属于所述雷达点迹集合;
所述处理模块,具体用于根据所述第一雷达点迹集合,输出第一目标雷达点迹,所述第一目标雷达点迹从属于所述目标雷达点迹集合,所述第一目标雷达点迹为所述第一边界框中的所述目标雷达点迹。
25.根据权利要求24所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中还包括第二边界框,且所述第二边界框的置信度为所述高置信度时,
所述处理模块,具体用于确定所述第二边界框的范围内的雷达点迹为第二雷达点迹集合,所述第二雷达点迹集合从属于所述雷达点迹集合;
所述处理模块,具体用于根据所述第二雷达点迹集合,输出第二目标雷达点迹,所述第二目标雷达点迹从属于所述目标雷达点迹集合。
26.根据权利要求25所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第三子边界框,且所述第三子边界框的范围为所述第一边界框与所述第二边界框的交集时,
所述处理模块,具体用于确定所述第一边界框减去所述第三子边界框的范围为第一子边界框;
所述处理模块,具体用于确定所述第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,所述第一雷达点迹子集合从属于所述第一雷达点迹集合;
所述处理模块,具体用于根据所述第一雷达点迹子集合,输出所述第一目标雷达点迹。
27.根据权利要求26所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括所述第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
所述处理模块,具体用于确定所述第二边界框减去所述第三子边界框的范围为第二子边界框;
所述处理模块,具体用于确定所述第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,所述第二雷达点迹子集合从属于所述第二雷达点迹集合;
所述处理模块,具体用于根据所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
28.根据权利要求27所述的雷达目标聚类装置,其特征在于,
所述处理模块,具体用于所述第三子边界框的范围内的雷达点迹不输出所述目标雷达点迹。
29.根据权利要求27所述的雷达目标聚类装置,其特征在于,
当所述第二子边界框的范围内无雷达点迹时,
所述处理模块,具体用于确定所述第三子边界框的范围内的雷达点迹为所述第二雷达点迹子集合;
所述处理模块,具体用于根据所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
30.根据权利要求23所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为中置信度时,
所述处理模块,具体用于确定所述第一边界框的范围内的雷达点迹为第一雷达点迹集合,所述第一雷达点迹集合从属于所述雷达点迹集合;
所述处理模块,具体用于通过聚类算法计算所述第一雷达点迹集合,输出第一目标雷达点迹,所述第一目标雷达点迹从属于所述目标雷达点迹集合,所述第一目标雷达点迹为所述第一边界框中的所述目标雷达点迹。
31.根据权利要求24或30中任一项所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第二边界框,且所述第二边界框的置信度为中置信度时,
所述处理模块,具体用于确定所述第二边界框的范围内的雷达点迹为第二雷达点迹集合,所述第二雷达点迹集合从属于所述雷达点迹集合;
所述处理模块,具体用于通过聚类算法计算所述第二雷达点迹集合,输出第二目标雷达点迹,所述第二目标雷达点迹从属于所述目标雷达点迹集合。
32.根据权利要求31所述的雷达目标聚类装置,其特征在于,
当所述第二边界框的范围内的雷达点迹还包括第三雷达点迹集合时,
所述处理模块,具体用于通过聚类算法计算所述第三雷达点迹集合,输出第三目标雷达点迹,所述第三目标雷达点迹从属于所述目标雷达点迹集合,其中,所述第二雷达点迹集合与所述第三雷达点迹集合没有交集。
33.根据权利要求31所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
所述处理模块,具体用于确定所述第一边界框减去所述第三子边界框的范围为第一子边界框;
所述处理模块,具体用于确定所述第一子边界框的范围内的雷达点迹为第一雷达点迹子集合,所述第一雷达点迹子集合从属于所述第一雷达点迹集合;
所述处理模块,具体用于通过聚类算法计算所述第一雷达点迹子集合,输出所述第一目标雷达点迹。
34.根据权利要求33所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括所述第三子边界框,且所述第三子边界框为所述第一边界框与所述第二边界框的交集时,
所述处理模块,具体用于确定所述第二边界框减去所述第三子边界框的范围为第二子边界框;
所述处理模块,具体用于确定所述第二子边界框的范围内的雷达点迹为第二雷达点迹子集合,所述第二雷达点迹子集合从属于所述第二雷达点迹集合;
所述处理模块,具体用于通过聚类算法计算所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
35.根据权利要求34所述的雷达目标聚类装置,其特征在于,
所述处理模块,具体用于所述第三子边界框的范围内的雷达点迹不输出所述目标雷达点迹。
36.根据权利要求34所述的雷达目标聚类装置,其特征在于,
当所述第二子边界框的范围内无雷达点迹时,
所述处理模块,具体用于确定所述第三子边界框的范围内的雷达点迹为所述第二雷达点迹子集合;
所述处理模块,具体用于通过聚类算法计算所述第二雷达点迹子集合,输出所述第二目标雷达点迹。
37.根据权利要求23所述的雷达目标聚类装置,其特征在于,
当所述边界框集合中包括第一边界框,且所述第一边界框的置信度为低置信度时,
所述处理模块,具体用于所述第一边界框的范围内的雷达点迹不输出所述目标雷达点迹。
38.根据权利要求22-36中任一项所述的雷达目标聚类装置,其特征在于,
所述处理模块,具体用于所述边界框集合的范围外的雷达点迹不输出所述目标雷达点迹。
39.根据权利要求24-29中任一项所述的雷达目标聚类装置,其特征在于,所述高置信度的范围为0.7-1。
40.根据权利要求30-35中任一项所述的雷达目标聚类装置,其特征在于,所述中置信度的范围为0.7-0.3。
41.根据权利要求36所述的雷达目标聚类装置,其特征在于,所述低置信度的范围为0.3-0。
42.根据权利要求22-35中任一项所述的雷达目标聚类装置,其特征在于,所述雷达点迹集合中雷达点迹的优先级由所述雷达点迹集合中雷达点迹与所述雷达传感器之间的距离,以及所述雷达点迹集合中雷达点迹的置信度确定。
43.一种雷达目标聚类装置,其特征在于,包括:
处理器、储存器、输入输出设备以及总线;
所述处理器、存储器、输入输出设备分别于所述总线相连;
所述存储器用于存储程序指令;
所述处理器用于执行所述程序指令以实现权利要求1-21中任一项所述的方法。
44.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至21中任一项所述的方法。
45.一种计算机可读存储介质,所述计算机可读存储介质用于存储程序指令,其特征在于,当所述程序指令在计算机上运行时,使得所述计算机执行如权利要求1至21中任一项所述的方法。
CN201910477472.9A 2019-06-03 2019-06-03 一种雷达目标聚类方法以及相关装置 Pending CN112034432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477472.9A CN112034432A (zh) 2019-06-03 2019-06-03 一种雷达目标聚类方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477472.9A CN112034432A (zh) 2019-06-03 2019-06-03 一种雷达目标聚类方法以及相关装置

Publications (1)

Publication Number Publication Date
CN112034432A true CN112034432A (zh) 2020-12-04

Family

ID=73576168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477472.9A Pending CN112034432A (zh) 2019-06-03 2019-06-03 一种雷达目标聚类方法以及相关装置

Country Status (1)

Country Link
CN (1) CN112034432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019511A (zh) * 2021-09-30 2022-02-08 南京市德赛西威汽车电子有限公司 一种基于毫米波车载雷达场景识别的航位修正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法
CN106093890A (zh) * 2016-08-26 2016-11-09 零八电子集团有限公司 建立剩余杂波图抑制雷达剩余杂波的方法
CN108254727A (zh) * 2017-12-08 2018-07-06 西安电子科技大学 一种基于轮廓跟踪的雷达点迹凝聚方法
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
CN109002616A (zh) * 2018-07-23 2018-12-14 中电科技(合肥)博微信息发展有限责任公司 雷达点迹凝聚方法、系统及存储介质
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN109633598A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于特征分析的阵列雷达目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226833A (zh) * 2013-05-08 2013-07-31 清华大学 一种基于三维激光雷达的点云数据分割方法
CN106093890A (zh) * 2016-08-26 2016-11-09 零八电子集团有限公司 建立剩余杂波图抑制雷达剩余杂波的方法
US20180348346A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Hybrid-View Lidar-Based Object Detection
CN108254727A (zh) * 2017-12-08 2018-07-06 西安电子科技大学 一种基于轮廓跟踪的雷达点迹凝聚方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109002616A (zh) * 2018-07-23 2018-12-14 中电科技(合肥)博微信息发展有限责任公司 雷达点迹凝聚方法、系统及存储介质
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN109633598A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于特征分析的阵列雷达目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019511A (zh) * 2021-09-30 2022-02-08 南京市德赛西威汽车电子有限公司 一种基于毫米波车载雷达场景识别的航位修正方法

Similar Documents

Publication Publication Date Title
US20210041555A1 (en) System and method for camera radar fusion
Gao et al. Ramp-cnn: A novel neural network for enhanced automotive radar object recognition
Ouaknine et al. Carrada dataset: Camera and automotive radar with range-angle-doppler annotations
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN111222395B (zh) 目标检测方法、装置与电子设备
KR20220119396A (ko) 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정
KR20210061597A (ko) 참조 데이터를 이용한 레이더 데이터 처리 장치 및 방법
KR20210001219A (ko) 국지적 분해능을 조정하는 레이더 데이터 처리 장치 및 방법
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN116027324B (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN111490848A (zh) 一种基于异构认知传感网的电子对抗侦察体系架构
CN111352111B (zh) 对象的定位和/或分类
CN115128594A (zh) 用于雷达跟踪中的速度估计的部分学习模型
CN112505050A (zh) 一种机场跑道异物检测系统及方法
Marvasti et al. Feature sharing and integration for cooperative cognition and perception with volumetric sensors
CN112034432A (zh) 一种雷达目标聚类方法以及相关装置
Guo et al. Feature‐based detection and classification of moving objects using LiDAR sensor
WO2018168182A1 (ja) 移動体検出装置、移動体検出方法および移動体検出プログラム
CN115131756A (zh) 一种目标检测方法及装置
CN114862952A (zh) 无人机检测与防御方法及系统
Akter et al. An explainable multi-task learning approach for rf-based uav surveillance systems
CN113960590A (zh) 雷视融合系统、终端
CN113822372A (zh) 基于YOLOv5神经网络的无人机检测方法
Wu et al. Precise UAV MMW-Vision Positioning: A Modal-Oriented Self-Tuning Fusion Framework
Flak et al. RF Drone Detection System Based on a Distributed Sensor Grid With Remote Hardware-Accelerated Signal Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination