CN118091655A - 雷达数据处理方法及装置 - Google Patents
雷达数据处理方法及装置 Download PDFInfo
- Publication number
- CN118091655A CN118091655A CN202410234904.4A CN202410234904A CN118091655A CN 118091655 A CN118091655 A CN 118091655A CN 202410234904 A CN202410234904 A CN 202410234904A CN 118091655 A CN118091655 A CN 118091655A
- Authority
- CN
- China
- Prior art keywords
- radar
- radar data
- pixel
- points
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明实施例公开了一种雷达数据处理方法及装置。其中，该方法包括：获取雷达数据；将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；对所述多个属性图分别执行连续化操作；以及基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。本实施例输出的图像数据，在用于深度学习模型时，能够提高模型的稳定性和确定性。
Description
技术领域
本发明涉及雷达数据的处理，尤其涉及一种雷达数据处理方法及装置。
背景技术
在车辆中，使用雷达，如毫米波雷达，来探测存在于车辆周围的人、车辆等物体，已越来越普遍。并且，随着深度学习技术的发展，越来越多的方案选择基于深度学习的方案来处理雷达数据，以实现目标检测与跟踪等功能。在当前的深度学习模型中，基于图像数据的目标检测与跟踪模型相对成熟，因此将雷达数据图像化，在算法模型相对成熟的图像领域进行目标检测与跟踪是一种主流方法。
发明内容
本发明实施例提供了一种雷达数据处理方法及装置，用于输出图像数据，当该图像数据用于深度学习模型时，能够提高模型的确定性和稳定性。
本发明实施例的一种雷达数据处理方法，包括：获取雷达数据；将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；对所述多个属性图分别执行连续化操作；以及基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。
其中，基于高斯核或者径向基函数来执行所述连续化操作。
其中，所述高斯核的方差σ(h,w)可变，且每个像素点对应的高斯核的方差为该像素点与其k近邻个非空像素点的距离的均值，其中非空像素点为至少包含1个雷达点的像素点。
其中，所述多个属性图包括：雷达密度图和雷达反射强度图；所述基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果，包括：利用所述雷达密度图对所述雷达反射强度图进行加权，并将加权后的结果处理为第一图像通道的数据。
其中，所述多个属性图还包括：径向相对速度图和高度图；所述基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果，还包括：将所述径向相对速度图和高度图分别处理为第二和第三图像通道的数据；对所述第一至第三图像通道的数据执行归一化处理，以生成所述雷达数据的图像化结果。
其中，所述多个属性图包括：雷达密度图、雷达反射强度图、径向相对速度图和高度图。
其中，每个像素点的密度为该像素点所包含的雷达点的数量；每个像素点的反射强度、径向相对速度、高度分别为该像素点所包含的雷达点的反射强度、径向相对速度和高度的均值、最大值或加权平均值。
本发明实施例的一种雷达数据处理装置，包括：获取模块，用于获取雷达数据；转换模块，用于将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；计算模块，用于基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；连续化模块，用于对所述多个属性图分别执行连续化操作；以及生成模块，用于基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。
本发明实施例的一种计算机设备，包括：存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本发明实施例所述的方法的步骤。
本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序/指令被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例的有益效果：
本实施例，基于雷达数据生成可用于深度学习模型的图像数据，并且在生成图像数据的过程中，通过对属性图执行连续化操作，以减少0值，使得生成的图像数据在用于深度学习模型时，能够提升模型的确定性和稳定性。
附图说明
本发明的其他细节及优点将通过下文提供的详细描述而变得显而易见。应理解的是，下列附图仅仅是示意性的，因而不能视为对本发明的限制，下文将参照附图来进行详细描述，其中：
图1是本发明的雷达数据处理方法的实施例的流程示意图；
图2是雷达的安装和数据坐标系的示意图；
图3是雷达图像的示意图；
图4是本发明的雷达数据处理装置的实施例的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
如图1所示，是本发明的雷达数据处理方法的实施例的流程示意图，该方法流程可以用于雷达产品中，例如毫米波雷达，例如4D(4维)毫米波雷达；或者，该方法流程也可以用于其他的电子设备。该方法流程包括如下步骤：
步骤S10：获取雷达数据。
其中，雷达数据由雷达采集。如图2所示，雷达例如可以安装于车辆的前端，用于对车辆前方的情况进行探测。具体地，以毫米波雷达为例，在工作时，毫米波雷达向前方发射毫米波，并接收目标(如其他车辆、行人等)反射回来的电磁波，以生成雷达数据。该雷达数据例如是以雷达表面中心为原点的直角坐标系点云数据集，参考图2，x方向为雷达前进方向，y方向为水平面上与x垂直的方向，z方向为垂直于xy所在水平面的方向。
其中，雷达数据(如，点云数据)中的每个点(雷达点)都具有多个属性，例如，x，y，z方向的纵向距离Rx，横向距离Ry，高度Rz，径向相对速度VrelRad，以及雷达反射强度RCS等。
步骤S12：将雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点。
在此步骤中，可以首先确定图像的大小，例如可以设定图像长和宽的像素点分别用h和w表示。其中，图像的大小与雷达的有效探测距离有关，为了提升数据处理性能，可以过滤掉有效探测距离之外和边界处的点。
接着，将各个雷达点划分至图像中的各个像素点中。例如，可以遍历雷达数据中的每个点Pi，并对每个点在x，y方向上进行离散化，计算其对应的像素点X(h,w)，并将该点加入该像素点包含的点集S(h,ω)中。
基于雷达数据的特点，将雷达点对应至图像中的像素点之后，有些像素点可能包括一个或多个雷达点，有些像素点可能不包含雷达点。
步骤S14：基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图。
其中，每个像素点的属性由该像素点中所包含的雷达点的属性决定，对于不包括雷达点的像素点，即雷达点数量为0，其属性值为0。各个像素点的属性共同构成了属性图。
在本实施例中，每个像素点涉及的属性例如可以包括：(雷达)密度、反射强度、径向相对速度和高度这四个参数，相应地，在步骤S14中生成的属性图例如可以包括：密度图、反射强度图、径向相对速度图和高度图。
下面举例说明，上述各个参数的计算方式。
对于每个像素点的密度，可以设置为该像素点所包含的雷达点的数量。
对于每个像素点的反射强度、径向相对速度、高度可以分别为该像素点所包含的雷达点的反射强度、径向相对速度和高度的均值。
举例而言，设像素点X(h,w)的点集S(h,ω)中包含m个雷达点，其中任一点的径向相对速度为vi，则定义像素点X(h,w)的径向相对速度φ(X(h,ω))为m个点的径向相对速度均值：其他属性类似，在此不赘述。
另外，除了采用均值之外，也可以选择最大值或加权平均值作为像素点的属性值。
在此步骤S14中，基于点集S(h,ω)而非单一点来确定像素点的属性，并且像素点的属性包括密度、反射强度、径向相对速度和高度这四个参数，因此能够很大程度地保留雷达数据的原始信息，为后续图像处理提供高质量的数据源，从而提升后续处理的效果。
步骤S16：对步骤S14的多个属性图分别执行连续化操作。
其中，基于雷达数据的特性，步骤S14得到的多个属性图是离散的，例如，当某个像素点不包括雷达点时，其对应的属性值为0。但是，在图像的深度学习模型的训练和推理过程中，过多的0值会影响模型的性能。因此，本实施例使用高斯核(如，积分为1的高斯核)或者其他径向基函数来对各个属性图执行连续化操作，以消除过多的0值。
举例而言，假设D(h,w)、V(h,w)、H(h,w)、I(h,w)分别表示密度图、径向相对速度图、高度图和反射强度图，高斯核为Gσ，其中，σ为高斯核的方差。则此步骤的连续化操作可以为：
其中，和/>分别表示连续化后的密度图、径向相对速度图、高度图和反射强度图。
在上述方式中，高斯核的方差σ为固定方差。在另一些实施方式中，高斯核的方差σ可以基于像素点而自适应地变化。例如，可以选择方差为σ(h,w)的高斯核来执行上述连续化操作，其中，其中γ为超参数，可根据实际应用调整。/>会基于像素点而变化，以如图3为例，假设x(0,0)、x(1,2)、x(2,4)和x(5,2)为包含雷达点的像素点，其余点为不包含雷达点的像素点。对于x(0,0)而言，在k＝3的情况下，其/>为x(0,0)分别与x(1,2)、x(2,4)和x(5,2)的距离(雷达探测的实际距离)的均值，其中，x(1,2)、x(2,4)和x(5,2)为与x(0,0)距离最近的三个非空像素点。
也就是说，在对每个像素点(不论该点是否包含雷达点)用高斯核执行连续化操作(如，卷积操作)时，所使用的高斯核的方差σ(h,w)为该像素点与其k近邻个非空像素点的距离的均值，其中非空像素点为至少包含1个雷达点的像素点，其中k的值可以基于实际需求而调整，并不局限于上述的k＝3。
通过此步骤的连续化操作，能够减少数据中的0值，因此在用于深度学习模型的训练和推理过程中，能够提升模型的确定性和稳定性。
步骤S18：基于连续化后的多个属性图，生成雷达数据的图像化结果。
在此步骤中，将各个属性图组织为图像中的“R”、“G”和“B”通道中的数据，并对各通道的数据执行归一化处理，从而得到雷达数据的图像化处理结果。
在一些实施例中，可以利用雷达密度图对雷达反射强度图进行加权，然后将加权后的结果处理为第一(如，“B”)图像通道的数据。另外，将径向相对速度图和高度图分别处理为第二(如，“R”)和第三(如，“G”)图像通道的数据。
在本实施例中，利用雷达密度图对雷达反射强度图进行加权，能更好地反映该像素点是否存在真实目标，从而提升后续的图像感知结果。
如图3所示，是本发明的雷达数据处理装置4的实施例的结构示意图，该雷达数据处理装置3包括：获取模块40，用于获取雷达数据；转换模块41，用于将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；计算模块42，用于基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；连续化模块43，用于对所述多个属性图分别执行连续化操作；以及生成模块44，用于基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。
另外，本发明实施例还提供了一种计算机设备，包括：存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本发明实施例所述的方法的步骤。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序/指令被处理器执行时实现本发明实施例所述方法的步骤。
另外，本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本发明实施例所述方法的步骤。
以上装置、存储介质和程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置、存储介质和程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述来理解。
上述处理器可以为专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(DigitalSignal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programma-ble Gate Array，FPGA)、中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器等中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
应指出的是，以上描述仅为示例，而不是对本发明的限制。在本发明的其他实施例中，该方法可具有更多、更少或不同的步骤，且各步骤之间的顺序、包含和功能等关系可以与所描述和图示的不同。例如，通常多个步骤可以合并为单个步骤，单个步骤也可以拆分为多个步骤。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，对各步骤的先后变化也在本发明的保护范围之内。
本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器或微控制器执行本发明各个实施方式所述方法的全部或部分步骤。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。
虽然本发明已以较佳实施例披露如上，但本发明并非限于此。任何本领域技术人员，在不脱离本发明的精神和范围内所作的各种更动与修改，均应纳入本发明的保护范围内，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (11)
1.一种雷达数据处理方法，其特征在于，包括：
获取雷达数据；
将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；
基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；
对所述多个属性图分别执行连续化操作；以及
基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。
2.如权利要求1所述的雷达数据处理方法，其特征在于，基于高斯核或者径向基函数来执行所述连续化操作。
3.如权利要求2所述的雷达数据处理方法，其特征在于，所述高斯核的方差σ(h,w)可变，且每个像素点对应的高斯核的方差为该像素点与其k近邻个非空像素点的距离的均值，其中非空像素点为至少包含1个雷达点的像素点。
4.如权利要求1所述的雷达数据处理方法，其特征在于，所述多个属性图包括：雷达密度图和雷达反射强度图；
所述基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果，包括：
利用所述雷达密度图对所述雷达反射强度图进行加权，并将加权后的结果处理为第一图像通道的数据。
5.如权利要求4所述的雷达数据处理方法，其特征在于，所述多个属性图还包括：径向相对速度图和高度图；
所述基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果，还包括：
将所述径向相对速度图和高度图分别处理为第二和第三图像通道的数据；
对所述第一至第三图像通道的数据执行归一化处理，以生成所述雷达数据的图像化结果。
6.如权利要求1所述的雷达数据处理方法，其特征在于，所述多个属性图包括：雷达密度图、雷达反射强度图、径向相对速度图和高度图。
7.如权利要求6所述的雷达数据处理方法，其特征在于，每个像素点的密度为该像素点所包含的雷达点的数量；每个像素点的反射强度、径向相对速度、高度分别为该像素点所包含的雷达点的反射强度、径向相对速度和高度的均值、最大值或加权平均值。
8.一种雷达数据处理装置，其特征在于，包括：
获取模块，用于获取雷达数据；
转换模块，用于将所述雷达数据中的雷达点对应至图像中的像素点，其中每个像素点包括：0个，1个或多个雷达点；
计算模块，用于基于各个像素点中所包含的雷达点，计算各个像素点的多个属性，以生成多个属性图；
连续化模块，用于对所述多个属性图分别执行连续化操作；以及
生成模块，用于基于连续化后的所述多个属性图，生成所述雷达数据的图像化结果。
9.一种计算机设备，包括：存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410234904.4A CN118091655A (zh) | 2024-02-29 | 2024-02-29 | 雷达数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410234904.4A CN118091655A (zh) | 2024-02-29 | 2024-02-29 | 雷达数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118091655A true CN118091655A (zh) | 2024-05-28 |
Family
ID=91155898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410234904.4A Pending CN118091655A (zh) | 2024-02-29 | 2024-02-29 | 雷达数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118091655A (zh) |
-
2024
- 2024-02-29 CN CN202410234904.4A patent/CN118091655A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI762860B (zh) | 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體 | |
| US10210418B2 (en) | Object detection system and object detection method | |
| Xiang et al. | Superpixel generating algorithm based on pixel intensity and location similarity for SAR image classification | |
| CN109272016B (zh) | 目标检测方法、装置、终端设备和计算机可读存储介质 | |
| CN111144242B (zh) | 一种三维目标检测方法、装置及终端 | |
| CN109613527B (zh) | 一种运动目标的检测门限生成方法及装置 | |
| WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
| US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
| CN111242122A (zh) | 一种轻量级深度神经网络旋转目标检测方法和系统 | |
| CN113486961A (zh) | 基于深度学习的低信噪比下雷达rd图像目标检测方法、系统及计算机设备 | |
| US20220114724A1 (en) | Image processing model generation method, image processing method and device, and electronic device | |
| CN108510478B (zh) | 肺气道图像分割方法、终端、存储介质 | |
| CN111507340A (zh) | 一种基于三维点云数据的目标点云数据提取方法 | |
| CN111765883B (zh) | 机器人蒙特卡罗定位方法、设备及存储介质 | |
| CN118091655A (zh) | 雷达数据处理方法及装置 | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| CN115542346A (zh) | 地面检测方法、装置、车辆及存储介质 | |
| CN114779209B (zh) | 一种激光雷达点云体素化方法及装置 | |
| CN113627310B (zh) | 一种背景与尺度感知的sar舰船目标检测方法 | |
| CN115131240A (zh) | 一种用于三维点云数据的目标识别方法和系统 | |
| CN113688655B (zh) | 干扰信号的识别方法、装置、计算机设备和存储介质 | |
| CN112766335B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111369425B (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN114663478A (zh) | 一种根据多参考点预测信息估计锚点位置的方法 | |
| Quan et al. | Segmentation of tumor ultrasound image via region-based Ncut method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |