CN115578608B - 一种基于毫米波雷达点云的抗干扰分类方法及装置 - Google Patents

一种基于毫米波雷达点云的抗干扰分类方法及装置 Download PDF

Info

Publication number
CN115578608B
CN115578608B CN202211590142.9A CN202211590142A CN115578608B CN 115578608 B CN115578608 B CN 115578608B CN 202211590142 A CN202211590142 A CN 202211590142A CN 115578608 B CN115578608 B CN 115578608B
Authority
CN
China
Prior art keywords
point cloud
cloud information
millimeter wave
classification
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211590142.9A
Other languages
English (en)
Other versions
CN115578608A (zh
Inventor
张军
陶征
章庆
王鹏立
程伟
宋清峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hurys Intelligent Technology Co Ltd
Original Assignee
Nanjing Hurys Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hurys Intelligent Technology Co Ltd filed Critical Nanjing Hurys Intelligent Technology Co Ltd
Priority to CN202211590142.9A priority Critical patent/CN115578608B/zh
Publication of CN115578608A publication Critical patent/CN115578608A/zh
Application granted granted Critical
Publication of CN115578608B publication Critical patent/CN115578608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，包括：获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。这样，将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。

Description

一种基于毫米波雷达点云的抗干扰分类方法及装置
技术领域
本申请涉及人工智能的技术领域，特别是涉及一种基于毫米波雷达点云的抗干扰分类方法及装置。
背景技术
自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，可以让电脑在没有任何人类主动的操作下，自动安全地操作机动车辆。而自动驾驶的过程中，最重要的是主动安全防撞功能实现，例如，前车防撞预警、变道辅助、自适应巡航控制以及盲点监测等功能实现。
传统的主动安全防撞功能，需要利用摄像头辅助进行目标种类的确认，例如确认目标物体是轿车、行人、自行车等分类中的哪一分类。由于在大雨、大雾天气下，摄像系统无法正常工作，所以，利用摄像头辅助进行目标种类的确认，很容易影响主动安全防撞的性能。为了减少天气对目标分类的影响，可以利用毫米波雷达点云进行目标分类。但是，毫米波雷达点云分辨率较低，且容易受到外界干扰，分类准确度较低。
因此，如何提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力，是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，旨在提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力。
第一方面，本申请实施例提供了一种基于毫米波雷达点云的抗干扰分类方法，包括：
获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；
利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；
将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
可选的，所述利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息，包括：
将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；
将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
可选的，所述将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，包括：
利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。
可选的，所述方法还包括：
获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；
利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；
利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
可选的，所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；
所述将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果，包括：
将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；
将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；
将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；
将所述多个池化点云信息输入所述全连接层，得到多个分类结果；
根据所述多个分类结果，得到所述抗干扰分类结果。
可选的，在所述将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息之后，所述方法还包括：
拼接所述多个第一升维点云信息，得到多个拼接点云信息；
将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；
将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；
将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；
在所述根据所述多个分类结果，得到所述抗干扰分类结果之后，所述方法还包括：
根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果。
可选的，所述根据所述多个分类结果，得到所述抗干扰分类结果，包括：
响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；
响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
第二方面，本申请实施例提供了一种基于毫米波雷达点云的抗干扰分类装置，包括：
获取模块，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；
染色模块，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；
分类模块，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
第三方面，本申请实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的基于毫米波雷达点云的抗干扰分类方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的基于毫米波雷达点云的抗干扰分类方法。
本申请实施例提供了一种基于毫米波雷达点云的抗干扰分类方法及装置，在执行所述方法时，先获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；后利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；最后将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。这样，将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种方法流程图；
图2为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的多个毫米波雷达点云信息示意图；
图3为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的染色示意图；
图4为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种方法流程图；
图5为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种神经网络示意图；
图6为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种特征拼接示意图；
图7为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种神经网络示意图；
图8为本申请实施例提供的基于毫米波雷达点云的抗干扰分类装置的一种结构示意图。
具体实施方式
传统的主动安全防撞功能，需要利用摄像头辅助进行目标种类的确认，例如确认目标物体是轿车、行人、自行车等分类中的哪一分类。由于在大雨、大雾天气下，摄像系统无法正常工作，所以，利用摄像头辅助进行目标种类的确认，很容易影响主动安全防撞的性能。为了减少天气对目标分类的影响，可以利用毫米波雷达点云进行目标分类。但是，毫米波雷达点云分辨率较低，且容易受到外界干扰，分类准确度较低。
本申请实施例提供的方法由计算机设备执行，用于提高基于毫米波雷达点云的抗干扰分类方法的抗干扰能力。
显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种方法流程图，包括：
步骤S101：获取多个毫米波点云信息和多个彩色图像信息。
毫米波雷达一般会在每个脉冲周期内都发射调频连续波，并在接收端对回波进行混频，最终得到的结果是多个目标回波的叠加。对叠加的一维回波信号进行傅里叶变化，会得到一维回波像，也称为一维距离像。进一步地，对多个连续发射的回波所得到的一维距离像在另一个维度进行傅里叶变换，最终可以得到观测空间中的目标在距离－多普勒速度图像上的分布，如图2所示，图2为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的多个毫米波雷达点云信息示意图。每个目标点在图上呈现为一个亮点，这个亮点的位置体现了目标自身的距离和速度，强度体现了目标的回波强度。多个目标点及其代表的信息共同组成了单个毫米波雷达点云信息。
毫米波雷达的波长一般在1-19mm之间，介于厘米波和光波之间，兼有微波制导和光电制导的优点，且其引导头具有体积小、质量轻和空间分辨率高的特点，穿透雾、烟、灰尘的能力强，不易受到恶劣天气或者光照条件的影响。
由于毫米波雷达无法直接分辨自己探测目标的种类，需要相机与之配合，进行目标种类的识别。多个彩色图像信息由相机获取，分别与所述多个毫米波点云信息对应。
步骤S102：利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息。
将相机拍摄的多个彩色图像信息的像素RGB赋值给毫米波雷达点云，可以实现对所述多个毫米波点云信息染色，产生多个染色点云信息，即XYRGB毫米波雷达点云。之后再与神经网络进行结合，可以极大地提高了目标分类的准确率，实现多传感器之间的信息交互，同时为抗干扰提供更加准确的信息。
作为一种可能的实施方式，参见图3，图3为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的染色示意图，可以先将毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；再将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
步骤S103：将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
目标分类神经网络可以包括卷积、升维、全连接等操作，用于对染色点云信息进行特征提取，再对提取的特征进行分析，进而得到毫米波雷达的分类。作为一种可能的实施方式，可以通过pytorch进行目标分类神经网络的搭建，再对其进行测试迭代，使其收敛，提高其分类的准确度。
作为一种可能的实施方式，在将所述多个染色点云信息输入目标分类神经网络前，可以先构建预训练神经网络；再利用训练样本训练所述预训练神经网络，得到所述目标分类神经网络。其中，训练样本是包括样本信息和结果信息的样本。作为一种可能的实施方式，样本信息可以是数据集是nuscence公开数据集的实测数据，结果信息可以是利用标准框对目标进行标注的信息。作为另一种可能的实施方式，训练样本也可以是通过autocad建模、仿真之后得到的毫米波雷达点云数据。需要说明的是，利用梯度下降法修正所述预训练神经网络的权值，以迭代目标分类神经网络，可以使得目标分类神经网络的分类更加精准。
综上所述，本实施例将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
在本申请实施例中，上述图1所述的步骤存在多种可能的实现方式，下面分别进行介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本申请实施例的全部实现方式。
参见图4，该图为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的另一种方法流程图，包括：
步骤S401：获取多个毫米波点云信息和多个彩色图像信息。
步骤S402：将多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息。
像素坐标系为所述多个彩色图像信息对应的坐标系，将毫米波点云信息投射至像素坐标系，便于后续将彩色图像和毫米波点云信息结合。
作为一种可能的实施方式，可以利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系，用公式表示为：
Figure 774716DEST_PATH_IMAGE001
其中，y为多个像素坐标点云信息，
Figure 957435DEST_PATH_IMAGE002
为相机内参，
Figure 2752DEST_PATH_IMAGE003
为毫米波雷达坐 标和相机坐标的偏移矩阵，x为多个毫米波点云信息。
需要说明的是，在具体的应用中，相机内参大多表示为3*3的矩阵，例如：
Figure 538906DEST_PATH_IMAGE004
毫米波点云坐标系和像素坐标系的偏移矩阵大多表示为4*4的矩阵，例如：
Figure 618858DEST_PATH_IMAGE005
毫米波点云坐标系和像素坐标系的偏移矩阵需要预先根据毫米波雷达和相机的位置生成，具体包括：
步骤S1：获取毫米波雷达和相机的相对位置信息。
毫米波雷达用于获取所述多个毫米波点云信息，相机用于获取所述多个彩色图像信息。通过获取二者的相对位置，可以结合物理原理将二者的坐标系转换为统一标准。
步骤S2：利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量。
旋转矩阵与平移向量共同决定了如何把点云信息从毫米波点云坐标系转换到像素坐标系，旋转矩阵描述了毫米波点云坐标系的坐标轴相对于相机坐标轴的方向，平移向量描述了在像素坐标系下空间原点的位置。因此，根据实际的毫米波雷达和相机的相对位置信息，很容易得到毫米波点云坐标系转换到像素坐标系的旋转矩阵与平移向量。
步骤S3：利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
毫米波点云坐标系和像素坐标系的偏移矩阵为4*4的矩阵，左上角三行三列为旋转矩阵，右上角第四列前三行为平移向量，左下角第四行前三列为0 0 0，右下角第四行第四列为1的矩阵。将旋转矩阵与平移向量代入以上形式，即可得到毫米波点云坐标系和像素坐标系的偏移矩阵。
步骤S403：将多个彩色图像信息的像素参数赋值至多个像素坐标点云信息，得到多个染色点云信息。
在将多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息后，可以将每个像素坐标点云信息的坐标对应的彩色图像信息的像素参数RGB赋值给该像素坐标点云信息，得到多个染色点云信息，即XYRGB的毫米波雷达点云信息。
步骤S404：将多个染色点云信息输入第一卷积层，得到多个第一升维点云信息。
作为一种可能的实施方式，目标分类神经网络可以如图5所示，图5为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种神经网络示意图。
其中，卷积网络可以包括多个卷积层，为了将不同的毫米波雷达点云信息结合起来，获取点与点之间的关系，可以先通过第一卷积层，将所述多个染色点云信息升维成多个第一升维点云信息，以便后续将其拼接到一起。
步骤S405：拼接多个第一升维点云信息，得到多个拼接点云信息。
将所述多个第一升维点云信息拼接到一起，可以得到多个拼接点云信息，对所述拼接点云信息进行后续操作，可以得到考虑到点与点之间关系的分类结果，进一步增加分类结果的抗干扰性能。例如，将卷积后的特征n*x与特征n*y进行拼接扩展，形成n*(x+y)的特征。
作为一种可能的实施方式，在进行拼接时，可以依据不同半径点云进行搜索，再将不同半径中的点云进行拼接。例如，参见图6，图6为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法的一种特征拼接示意图。如图，三个不同半径的圆将画面分成不同圆环，每个圆环内都有多个点云，将不同圆环内点云的第一升维点云信息拼接在一起，即可实现抗干扰的功能。
作为另一种可能的实施方式，可以通过kd-tree算法划分出不同的拼接方案。
步骤S406：将多个第一升维点云信息和多个拼接点云信息输入第二卷积层，得到多个第二升维点云信息和多个拼接升维点云信息。
第一升维点云信息和第二升维点云信息对应，拼接点云信息和拼接升维点云信息对应。将多个第一升维点云信息和多个拼接点云信息输入第二卷积层，可以利用第二卷积层对毫米波雷达点云信息进行特征提取。
作为一种可能的实施方式，当将输入的多个第一升维点云信息和多个拼接点云信息表示为(N，Cin，L)，将输出的多个第二升维点云信息和多个拼接升维点云信息表示为(N，Cout，Lout)时，所述特征提取可以用公式表示为：
Figure 706900DEST_PATH_IMAGE006
，
其中，N为第一升维点云信息和拼接点云信息或第二升维点云信息和拼接升维点云信息的数量，Cout为第二升维点云信息和拼接升维点云信息的通道数，bias为第二卷积层的偏移量，Cin为多个第一升维点云信息和拼接点云信息的通道数，weitght为第二卷积层的权重，input为输入的卷积形状。
Figure 973933DEST_PATH_IMAGE007
，
其中，Lout为多个第二升维点云信息和多个拼接升维点云信息数据长度，L为多个第一升维点云信息和多个拼接点云信息数据长度，Padding为多个第一升维点云信息和多个拼接点云信息的填充大小，dilation为卷积核之间的大小，kernel_size为卷积核大小，stride为卷积核移动步长。
步骤S407：将多个第二升维点云信息和多个拼接升维点云信息输入最大池化层，得到多个池化点云信息和多个拼接池化点云信息。
最大池化层可以借鉴本领域常用的池化网络，在此不作限定。
步骤S408：将多个池化点云信息和多个拼接池化点云信息输入所述全连接层，得到多个分类结果和多个拼接分类结果。
全连接层可以借鉴本领域常用的全连接网络，在此不作限定。
作为一种可能的实施方式，步骤S404到步骤S408可以合并表示为：
Figure 438412DEST_PATH_IMAGE008
，
其中，f表示目标分类神经网络对多个染色点云信息的计算，x1，x2，xn，
Figure 248236DEST_PATH_IMAGE009
，
Figure 241600DEST_PATH_IMAGE010
，
Figure 261509DEST_PATH_IMAGE011
分别为单个的染色点云信息，γ表示全连接层的计算，g表示最大池化层的计算，h表示 卷积层的计算。如图7，图7为本申请实施例提供的基于毫米波雷达点云的抗干扰分类方法 的另一种神经网络示意图。
需要说明的是，因为毫米波雷达点云信息具有无序性，所以将所述多个染色点云信息输入所述卷积层，并不会受到顺序的影响，用公式可以表示为：
Figure 264100DEST_PATH_IMAGE012
，
其中，x1，x2，xn，
Figure 53064DEST_PATH_IMAGE009
，
Figure 325652DEST_PATH_IMAGE010
，
Figure 832856DEST_PATH_IMAGE011
分别为单个的染色点云信息，f表示目标分类神 经网络对染色点云信息的计算。
步骤S409：根据多个分类结果，得到抗干扰分类结果。
通过对多个分类结果进行比对来得到完全相同的分类结果，作为可信的分类结果，予以采纳，实现分类结果抗干扰的目的。
即响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
步骤S410：根据多个分类结果和多个拼接分类结果，得到多级抗干扰分类结果。
只考虑各个染色点云信息无法考虑点云之间的关系。因此，将比对多个分类结果和多个拼接分类结果，当结果完全相同时，说明分类结果没有受到干扰，分类结果可信，否则认为分类结果不可信。
即响应于所述多个分类结果和所述多个拼接分类结果一致，确认所述多级抗干扰分类结果为所述多个分类结果和所述多个拼接分类结果中的任一分类结果；响应于所述多个分类结果和所述多个拼接分类结果不一致，确认所述多级抗干扰分类结果为结果不可信。
综上所述，本实施例通过对目标分类神经网络进行训练，可以得到分类效果较好的目标分类神经网络，提高分类结果的精准度和分类效率；通过将卷积后的特征拼接，考虑到不同点云之间的联系，可以得到更为精准的目标分类结果，充分提高分类模型的抗干扰能力；整个实施例将毫米波点云信息和图像信息结合，利用彩色图像对毫米波点云信息进行染色，基于多维度信息进行目标分类，充分增强了毫米波雷达的抗干扰能力，提升了目标分类的准确率。
以上为本申请实施例提供基于毫米波雷达点云的抗干扰分类方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图8所示的基于毫米波雷达点云的抗干扰分类装置800的结构示意图，该装置800包括获取模块801、染色模块802和分类模块803。
获取模块801，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；
染色模块802，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；
分类模块803，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果。
作为一种可能的实施方式，所述染色模块802，包括：
投射单元，用于将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；
赋值单元，用于将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息。
作为一种可能的实施方式，所述投射单元，包括：
投射组件，用于利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。
作为一种可能的实施方式，所述装置还包括：
相对位置获取组件，用于获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；
矩阵向量获取组件，用于利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；
偏移矩阵生成组件，用于利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
作为一种可能的实施方式，所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；
所述分类模块803，包括：
第一卷积单元，用于将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；
第二卷积单元，用于将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；
池化单元，用于将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；
全连接单元，用于将所述多个池化点云信息输入所述全连接层，得到多个分类结果；
分类结果单元，用于根据所述多个分类结果，得到所述抗干扰分类结果。
作为一种可能的实施方式，所述装置还包括：
拼接单元，用于拼接所述多个第一升维点云信息，得到多个拼接点云信息；
拼接卷积单元，用于将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；
拼接池化单元，用于将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；
拼接全连接单元，用于将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；
多级分类单元，用于根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果。
作为一种可能的实施方式，所述分类模块803，包括：
第一分类单元，用于响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；
第二分类单元，用于响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
本申请实施例还提供了对应的设备以及计算机存储介质，用于实现本申请实施例提供的方案。
其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本申请任一实施例所述的基于毫米波雷达点云的抗干扰分类方法。
所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本申请任一实施例所述的基于毫米波雷达点云的抗干扰分类方法。
本申请实施例中提到的 “第一”、“第二”（若存在）等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器（英文：read-only memory，ROM）/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者诸如路由器等网络通信设备）执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (6)

1.一种基于毫米波雷达点云的抗干扰分类方法，其特征在于，所述方法包括：
获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；
利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；
将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果；
所述利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息，包括：
将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；
将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息；
所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；
所述将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果，包括：
将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；
将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；
将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；
将所述多个池化点云信息输入所述全连接层，得到多个分类结果；
根据所述多个分类结果，得到所述抗干扰分类结果；
所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；
所述将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果，包括：
将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；
将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；
将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；
将所述多个池化点云信息输入所述全连接层，得到多个分类结果；
根据所述多个分类结果，得到所述抗干扰分类结果；
在所述将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息之后，所述方法还包括：
拼接所述多个第一升维点云信息，得到多个拼接点云信息；
将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；
将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；
将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；
在所述根据所述多个分类结果，得到所述抗干扰分类结果之后，所述方法还包括：
根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果；
所述根据所述多个分类结果，得到所述抗干扰分类结果，包括：
响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；
响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，包括：
利用毫米波点云坐标系和像素坐标系的偏移矩阵以及相机内参，将所述多个毫米波点云信息投射至所述像素坐标系，得到所述多个像素坐标点云信息，所述毫米波点云坐标系为所述多个毫米波点云信息对应的坐标系。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取毫米波雷达和相机的相对位置信息，所述毫米波雷达用于获取所述多个毫米波点云信息，所述相机用于获取所述多个彩色图像信息；
利用所述毫米波雷达和相机的相对位置信息，获取旋转矩阵与平移向量；
利用所述旋转矩阵与平移向量，生成所述毫米波点云坐标系和像素坐标系的偏移矩阵。
4.一种基于毫米波雷达点云的抗干扰分类装置，其特征在于，所述装置包括：
获取模块，用于获取多个毫米波点云信息和多个彩色图像信息，所述多个彩色图像信息分别与所述多个毫米波点云信息对应；
染色模块，用于利用所述多个彩色图像信息对所述多个毫米波点云信息染色，得到多个染色点云信息；
分类模块，用于将所述多个染色点云信息输入目标分类神经网络，得到抗干扰分类结果；
所述染色模块，包括：
投射单元，用于将所述多个毫米波点云信息投射至像素坐标系，得到多个像素坐标点云信息，所述像素坐标系为所述多个彩色图像信息对应的坐标系；
赋值单元，用于将所述多个彩色图像信息的像素参数赋值至所述多个像素坐标点云信息，得到所述多个染色点云信息；
所述目标分类神经网络包括第一卷积层、第二卷积层、最大池化层和全连接层；
所述分类模块，包括：
第一卷积单元，用于将所述多个染色点云信息输入所述第一卷积层，得到多个第一升维点云信息；
第二卷积单元，用于将所述多个第一升维点云信息输入所述第二卷积层，得到多个第二升维点云信息；
池化单元，用于将所述多个第二升维点云信息输入所述最大池化层，得到多个池化点云信息；
全连接单元，用于将所述多个池化点云信息输入所述全连接层，得到多个分类结果；
分类结果单元，用于根据所述多个分类结果，得到所述抗干扰分类结果；
所述装置还包括：
拼接单元，用于拼接所述多个第一升维点云信息，得到多个拼接点云信息；
拼接卷积单元，用于将所述多个拼接点云信息输入所述第二卷积层，得到多个拼接升维点云信息；
拼接池化单元，用于将所述多个拼接升维点云信息输入所述最大池化层，得到多个拼接池化点云信息；
拼接全连接单元，用于将所述多个拼接池化点云信息输入所述全连接层，得到多个拼接分类结果；
多级分类单元，用于根据所述多个分类结果和所述多个拼接分类结果，得到多级抗干扰分类结果；
所述分类模块，包括：
第一分类单元，用于响应于所述多个分类结果一致，确认所述抗干扰分类结果为所述多个分类结果中的任一分类结果；
第二分类单元，用于响应于所述多个分类结果不一致，确认所述抗干扰分类结果为结果不可信。
5.一种基于毫米波雷达点云的抗干扰分类设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行权利要求1至3任一项所述的基于毫米波雷达点云的抗干扰分类方法。
6.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的计算机存储设备实现权利要求1至3任一项所述的基于毫米波雷达点云的抗干扰分类方法。
CN202211590142.9A 2022-12-12 2022-12-12 一种基于毫米波雷达点云的抗干扰分类方法及装置 Active CN115578608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211590142.9A CN115578608B (zh) 2022-12-12 2022-12-12 一种基于毫米波雷达点云的抗干扰分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211590142.9A CN115578608B (zh) 2022-12-12 2022-12-12 一种基于毫米波雷达点云的抗干扰分类方法及装置

Publications (2)

Publication Number Publication Date
CN115578608A CN115578608A (zh) 2023-01-06
CN115578608B true CN115578608B (zh) 2023-02-28

Family

ID=84590203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211590142.9A Active CN115578608B (zh) 2022-12-12 2022-12-12 一种基于毫米波雷达点云的抗干扰分类方法及装置

Country Status (1)

Country Link
CN (1) CN115578608B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN113111978A (zh) * 2021-06-11 2021-07-13 之江实验室 一种基于点云和图像数据的三维目标检测系统和方法
CN114675275A (zh) * 2022-03-21 2022-06-28 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种基于4d毫米波雷达与激光雷达融合的目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114814827A (zh) * 2022-04-20 2022-07-29 江苏集萃深度感知技术研究所有限公司 基于4d毫米波雷达与视觉融合的行人分类方法及系统
US11455789B1 (en) * 2022-03-22 2022-09-27 Illuscio, Inc. Systems and methods for dynamically classifying point cloud data points

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111951306B (zh) * 2020-08-31 2024-06-07 华通科技有限公司 一种激光雷达与图像视频融合的目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN113111978A (zh) * 2021-06-11 2021-07-13 之江实验室 一种基于点云和图像数据的三维目标检测系统和方法
CN114675275A (zh) * 2022-03-21 2022-06-28 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种基于4d毫米波雷达与激光雷达融合的目标检测方法
US11455789B1 (en) * 2022-03-22 2022-09-27 Illuscio, Inc. Systems and methods for dynamically classifying point cloud data points
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114814827A (zh) * 2022-04-20 2022-07-29 江苏集萃深度感知技术研究所有限公司 基于4d毫米波雷达与视觉融合的行人分类方法及系统

Also Published As

Publication number Publication date
CN115578608A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US11720799B2 (en) Object detection neural networks
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
CN107341488B (zh) 一种sar图像目标检测识别一体化方法
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
US8836762B2 (en) Optronic system and method dedicated to identification for formulating three-dimensional images
Hassaan et al. Precision forestry: trees counting in urban areas using visible imagery based on an unmanned aerial vehicle
CN111753757B (zh) 一种图像识别处理方法及装置
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN112528781B (zh) 一种障碍物检测方法、装置、设备和计算机可读存储介质
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
Park et al. Active-passive data fusion algorithms for seafloor imaging and classification from CZMIL data
CN115586506B (zh) 一种抗干扰目标分类方法及装置
CN115578608B (zh) 一种基于毫米波雷达点云的抗干扰分类方法及装置
CN116468950A (zh) 一种类别引导中心点邻域搜索半径的三维目标检测方法
CN113624223B (zh) 一种室内停车场地图构建方法及装置
CN116310681A (zh) 基于多帧点云融合的无人车可通行区域预测方法及系统
Dao et al. Attention-based proposals refinement for 3D object detection
CN112651405B (zh) 目标检测方法及装置
Prasvita et al. Automatic detection of oil palm growth rate status with YOLOv5
CN118212512A (zh) 一种基于前视三维声纳的水下场景智能感知方法及系统
CN113033568A (zh) 一种基于AMVNet的LIDAR语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant