CN115953747A - 车端目标分类检测方法及车端雷视融合设备 - Google Patents

车端目标分类检测方法及车端雷视融合设备 Download PDF

Info

Publication number
CN115953747A
CN115953747A CN202211283715.3A CN202211283715A CN115953747A CN 115953747 A CN115953747 A CN 115953747A CN 202211283715 A CN202211283715 A CN 202211283715A CN 115953747 A CN115953747 A CN 115953747A
Authority
CN
China
Prior art keywords
vehicle
classification
millimeter wave
fusion
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211283715.3A
Other languages
English (en)
Inventor
李保江
冯博询
杨德钲
王明明
顾炎飚
岳玉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Original Assignee
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Depth Perception Technology Research Institute Co ltd filed Critical Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority to CN202211283715.3A priority Critical patent/CN115953747A/zh
Publication of CN115953747A publication Critical patent/CN115953747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体公开了一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备，包括：分别获取车端视觉图像和车端毫米波雷达点云数据；将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法提高了车端目标检测精度。

Description

车端目标分类检测方法及车端雷视融合设备
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备。
背景技术
近年来，自动驾驶成为了汽车行业发展的前沿与热点，主要通过传感器融合等技术手段，实现对行车过程中路况信息的全面感知，以实现交通安全和高效。目标检测与分类是精准感知的核心之一，也是一项重要的研究方向和极富挑战性的研究课题。
当前，车端目标检测与分类要解决的问题是：对行车过程中前方道路交通目标进行全天候感知，包括车辆行人等的位置、类别、距离信息，对精度要求极高。而传统的车端目标检测与分类多采用单一传感器的技术路线进行检测，不满足行业标准中全天候和高精度的要求。
例如，公开号为CN104573646B的中国专利公开了《基于深度学习的交通目标检测与测距方法》，其对交通图像数据先采用归一化方法再投入深度学习网络进行训练得到模型，并最终输出检测目标的类别、坐标、距离和置信度。但申请人发现，上述的目标检测方法只采用单一图像信息，其稳定性易受光照条件、雨雪等环境干扰。
又如，公开号为CN111898439A的中国专利申请公开了《基于深度学习的交通场景联合目标检测和语义分割方法》，其依然使用单一图像传感器，但是整个结构的计算复杂度较高，实时性较差。
因此，如何能够提升车端目标的检测精度成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备，解决相关技术中存在的车端目标检测精度低的问题。
作为本发明的第一个方面，提供一种基于毫米波雷达与视觉融合的车端目标分类检测方法，其中，包括：
分别获取车端视觉图像和车端毫米波雷达点云数据；
将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；
将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；
将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。
进一步地，将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像雷达融合模块，获得初步分类特征图，包括：
对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像；
将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图；
将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图。
进一步地，对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像，包括：
将每一帧车端毫米波雷达点云数据投影到前视图中；
在所述前视图中生成高度方向的线，并将不含有线的像素值整体设置为0，获得雷达图像，其中所述高度方向的线在所述前视图中的宽度占据1个像素以覆盖所有目标。
进一步地，将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图，包括：
将所述雷达图像通过激活函数后获得值域在[0,1]之间的权重矩阵；
将所述权重矩阵与所述车端视觉图像进行逐像素相乘操作，获得首次融合特征图。
进一步地，将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图，包括：
将所述首次融合特征图和所述车端视觉图像进行逐像素相加融合处理后，获得初步分类特征图。
进一步地，将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图，包括：
构建特征金字塔模块；
将所述初步分类特征图输入至所述特征金字塔模块进行小目标检测处理，获得精细化分类特征图。
进一步地，将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框，包括：
构建分类检测网络；
将所述精细化分类特征图输入至所述分类检测网络；
根据所述分类检测网络的检测损失函数获得检测结果输出，以及根据所述分类检测网络的分类损失函数获得分类结果输出。
进一步地，所述构建分类检测网络，包括：
准备跨模态数据集，其中所述跨模态数据集包括毫米波雷达点云数据集和视觉图像数据集，且所述跨模态数据集按照预设比例被划分为训练集和测试集；
将所述跨模态数据集根据Adam优化器进行反向传播训练以及测试，获得分类检测网络。
进一步地，所述基于毫米波雷达与视觉融合的车端目标分类检测方法还包括在所述分别获取车端视觉图像和车端毫米波雷达点云数据的步骤前进行的：
对毫米波雷达信息采集装置和视觉图像采集装置进行配准。
作为本发明的另一个方面，提供一种车端雷视融合设备，其中，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并执行所述计算机指令以实现前文所述的基于毫米波雷达与视觉融合的车端目标分类检测方法。
本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法，通过将车端毫米波雷达点云数据与车端视觉图像进行特征融合，在融合过程中将雷达点云生成的雷达图像作为门控模块，实现空间注意力功能，为视觉检测与分类提供指导，较大程度地提升了算法的鲁棒性和抗干扰性。另外，由于加入了即插即用的先进的通道注意力模块，与前述的雷达空间注意力模块进一步融合，使得算法精度进一步提升，在阴雨天气和夜晚条件下，精度相较单视觉算法有较大提升。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法的流程图。
图2为本发明提供的雷达注意力模块的工作流程图。
图3为本发明提供的通道注意力模块的工作流程图。
图4为本发明提供的目标从雷达坐标系转换为图像坐标系的示意图。
图5为本发明提供的VGG16+雷达注意力模型结构图。
图6为本发明提供的特征金字塔结构图。
图7为本发明提供的RetinaNet分类与检测网络结构图。
图8为本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法的总体工作流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于毫米波雷达与视觉融合的车端目标分类检测方法，图1是根据本发明实施例提供的基于毫米波雷达与视觉融合的车端目标分类检测方法的流程图，如图1所示，包括：
S100、分别获取车端视觉图像和车端毫米波雷达点云数据；
在本发明实施例中，通过毫米波雷达信息采集装置实时采集车端毫米波雷达点云数据，以及通过视觉图像采集装置实时采集车端视觉图像。
在一些实施方式中，所述毫米波雷达信息采集装置具体可以为毫米波雷达设备，所述视觉图像采集装置具体可以为摄像机。
S200、将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；
在本发明实施例中，如图1和图8所示，将雷达图像与视觉图像分别同时输入图像分类与雷达注意力模块(具体可以为VGG16+雷达注意力模型)中，此模型共含有五个模块，两传感器分支每模块的输出通过雷达注意力模块进行特征深度交互。
在一些实施方式中，获得初步分类特征图的具体步骤可以包括：
S210、对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像；
具体地，将每一帧车端毫米波雷达点云数据投影到前视图中；
在所述前视图中生成高度方向的线，并将不含有线的像素值整体设置为0，获得雷达图像，其中所述高度方向的线在所述前视图中的宽度占据1个像素以覆盖所有目标。
需要说明的是，在本发明实施例中，所述前视图具体可以指行车视角，即车内视角。
应当理解的是，由于毫米波雷达缺乏高度信息，故先将每一帧毫米波雷达点云投影到前视图中，并整体拉低50cm，作为对车内毫米波雷达设备架设高度的补偿，再将点云整体向上垂直方向生成3m的线，此线在前视图中宽度占据1个像素，以基本覆盖所有目标，不含有线的像素值整体设置为0，将处理后的图像作为雷达通道的输入图像，将原始的RGB图像直接作为视觉通道的输入图像。
S220、将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图；
在一些实施方式中，具体可以包括：
将所述雷达图像通过激活函数后获得值域在[0,1]之间的权重矩阵；
将所述权重矩阵与所述车端视觉图像进行逐像素相乘操作，获得首次融合特征图。
在本发明实施例中，如图2所示，对于雷达注意力模块，Softmax激活函数在雷达通道的特征输入上沿通道轴在每个特征图上逐像素操作，Softmax激活函数的具体公式可写为：
Figure BDA0003899029530000051
其中，zi表示特定像素值，c表示每个特征图中像素总数，经过此激活函数可生成值域[0,1]之间的权重矩阵。
由于逐像素相乘之后的值均位于[0,1]之间，以防止这样下去数值越乘越小，而无法实现特征区分，因此增加通道注意力模块，实现逐像素相加，从而使得前面位于[0,1]之间的每个值均增加一个值之后，能够实现特征的明显区分。
S230、将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图。
在本发明实施例中，具体可以包括：将所述首次融合特征图和所述车端视觉图像进行逐像素相加融合处理后，获得初步分类特征图。
需要说明的是，如图3所示，对于通道注意力模块，平均池化和最大池化为全局池化，两个池化过程完成后，同时分别经过两层的共享多层感知机，共享比率设置为16，具体结构为：
(1)先把池化后的特征图整体按像素顺序拉伸成一维序列，输入2。
(2)第一层采用Keras自带多层感知机函数Dense，激活函数为Relu，输出通道为一维序列元素数/共享比率，输入3。
(3)第二层采用Keras自带多层感知机函数Dense，激活函数为Relu，输出通道为一维序列元素数，作为交互特征。
最大池化后的特征经过共享多层感知机产生交互特征1，平均池化后的特征经过共享多层感知机产生交互特征2。
S300、将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；
在一些实施方式中，具体可以包括：
构建特征金字塔模块；
将所述初步分类特征图输入至所述特征金字塔模块进行小目标检测处理，获得精细化分类特征图。
应当理解是，将经过融合的视觉分支的VGG16模型最后三个模块产生的特征图投入特征金字塔处理模块，以实现对小目标的检测提升。
S400、将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。
具体地，构建分类检测网络；
将所述精细化分类特征图输入至所述分类检测网络；
根据所述分类检测网络的检测损失函数获得检测结果输出，以及根据所述分类检测网络的分类损失函数获得分类结果输出。
进一步具体地，所述构建分类检测网络，包括：
准备跨模态数据集，其中所述跨模态数据集包括毫米波雷达点云数据集和视觉图像数据集，且所述跨模态数据集按照预设比例被划分为训练集和测试集；
将所述跨模态数据集根据Adam优化器进行反向传播训练以及测试，获得分类检测网络。
应当理解的是，将所述精细化分类特征图(即上述特征金字塔处理模块输出的五个特征图)投入RetinaNet分类与检测网络输出目标框以及类别信息。
综上，本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法，通过将车端毫米波雷达点云数据与车端视觉图像进行特征融合，在融合过程中将雷达点云生成的雷达图像作为门控模块，实现空间注意力功能，为视觉检测与分类提供指导，较大程度地提升了算法的鲁棒性和抗干扰性。另外，由于加入了即插即用的先进的通道注意力模块，与前述的雷达空间注意力模块进一步融合，使得算法精度进一步提升，在阴雨天气和夜晚条件下，精度相较单视觉算法有较大提升。
在本发明实施例中，为了能够实现数据采集，所述基于毫米波雷达与视觉融合的车端目标分类检测方法还包括在所述分别获取车端视觉图像和车端毫米波雷达点云数据的步骤前进行的：
对毫米波雷达信息采集装置和视觉图像采集装置进行配准。
将训练好的模型部署到车端雷视融合设备，将每一帧对应的雷达点云和视觉图像投入模型，以生成实时检测框和分类结果。
具体地，毫米波雷达与相机坐标系配准标准：旋转和平移。
Figure BDA0003899029530000061
其中，(xc，yc，zc)为毫米波雷达坐标系，(xr，yr，zr)为图像坐标系，R为3×3的转换矩阵，(t1，t2，t3)为平移向量。
进行雷视坐标系转换，将雷达坐标系中的目标点位置映射到图像坐标系；其中(Xc，Yc，Zc)为雷达坐标系，(Xr，Yr，Zr)为图像坐标系，如下式所示：
Figure BDA0003899029530000062
空间转换矩阵T为：
Figure BDA0003899029530000063
Figure BDA0003899029530000071
如图4所示，为目标从雷达坐标系转换为图像坐标系的示意图。其中，示例了毫米波雷达和摄像头的相对位置，图4中o-xcyczc表示摄像头坐标系，o-xryrzr表示雷达坐标系，o-uv表示图像数组坐标系，原点为图像左上角。相机坐标系和雷达坐标系以米为测量单位，图像数组坐标系以像素数为基本单位。图4中点p代表目标点，p'为p对应的图像像素点。
在训练过程中漏检、误检的样本作为“难例”，利用“难例”数据集再次训练以得到最终的模型，然后利用该模型对实时场景进行交通目标检测。
下面对本发明实施例提供的VGG16+雷达注意力模型的具体构建原理进行详细描述。
如图5所示，雷达输入与视觉输入尺寸设置为360×640，雷达为2通道图像，每通道分别为点云投影后的RCS、距离的线投影，视觉为RGB 3通道图像。
对于所有卷积，卷积核设置为3×3，步幅为1，填充参数为same，激活函数为Relu。卷积公式如下：
Figure BDA0003899029530000072
f[x,y]表示卷积核尺寸内的像素值，h[x,y]表示卷积核，卷积核采用Keras默认的2D卷积核数值。
Relu激活函数公式如下：
f(x)＝max(0,x)。
对于最大池化，窗口设置为2×2，步幅设置为2，取每个窗口的最大像素，每经过一个阶段图像尺寸大小变为上一步的0.5倍。
每一阶段的输出通道数设置为(32，64，128，512，512)。
下面结合图6对本发明提供的特征金字塔模块进行详细说明。
卷积A设置核为1×1，步长1，无激活函数，对于特征输入2和3，输出通道数与特征输入1和2保持一致，对于输入特征1，输出通道数没有变化；卷积B设置与卷积A除核3×3外，输出通道数256，其余全部相同；卷积C设置核为3×3，步长2，内部无激活函数，输出通道256。
上采样处理过程中，对于上采样处理的特征，其上采样的输出分辨率应与指导特征输入保持一致。
如图7所示，为RetinaNet分类与检测网络结构图。
对于待分类特征输入，阶段1卷积核设置为3×3，滤波器数量256，激活函数Relu，阶段2卷积设置与卷积1基本相同，滤波器数量K×A，K和A为自定义的类别数量和锚框数量。
对于待检测特征输入，与上述流程基本相同，滤波器数量4A，4代表锚框点的坐标，对于每层特征，锚框的长宽比设置为[1:1,1:2,2:1]。
需要特别说明的是，在反向传播过程中，本算法对检测与分类采取不同的损失函数策略。
对于检测，采用Focal损失，公式为：
FL(Pt)＝-(1-Pt)γlog(Pt)，
调节因子γ＝0.2，Pt为t特定类别的分类置信度值，根据NuScenes类别样本差异情况，设置如下：汽车，1；公共汽车，30；摩托车，39；卡车，6；拖车，20；自行车，42；行人，2。
对于分类，采用L1平滑损失，公式为：
Figure BDA0003899029530000081
其中，Y代表真实值，f(x)代表预测值。
因此，本发明提供的基于毫米波雷达与视觉融合的车端目标分类检测方法，针对传统的单传感器检测精度差且置信度不高的问题，通过毫米波雷达与视觉图像的信息融合，且将雷达点云生成的雷达图像作为门控模块，实现空间注意力功能，并且添加为视觉检测与分类提供指导，较大程度地提升了算法的鲁棒性和抗干扰性，进而有效提升了车端目标的检测精度，在极端天气以及较暗的光照条件下，较单图像方法精度有较大提升，满足全天候需求。
作为本发明的另一实施例，提供一种车端雷视融合设备，其中，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并执行所述计算机指令以实现前文所述的基于毫米波雷达与视觉融合的车端目标分类检测方法。
关于本发明提供的车端雷视融合设备的具体工作原理可以参照前文的基于毫米波雷达与视觉融合的车端目标分类检测方法的描述，此处不再赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，包括：
分别获取车端视觉图像和车端毫米波雷达点云数据；
将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；
将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；
将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。
2.根据权利要求1所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像雷达融合模块，获得初步分类特征图，包括：
对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像；
将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图；
将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图。
3.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像，包括：
将每一帧车端毫米波雷达点云数据投影到前视图中；
在所述前视图中生成高度方向的线，并将不含有线的像素值整体设置为0，获得雷达图像，其中所述高度方向的线在所述前视图中的宽度占据1个像素以覆盖所有目标。
4.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图，包括：
将所述雷达图像通过激活函数后获得值域在[0,1]之间的权重矩阵；
将所述权重矩阵与所述车端视觉图像进行逐像素相乘操作，获得首次融合特征图。
5.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图，包括：
将所述首次融合特征图和所述车端视觉图像进行逐像素相加融合处理后，获得初步分类特征图。
6.根据权利要求1至5中任意一项所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图，包括：
构建特征金字塔模块；
将所述初步分类特征图输入至所述特征金字塔模块进行小目标检测处理，获得精细化分类特征图。
7.根据权利要求1至5中任意一项所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框，包括：
构建分类检测网络；
将所述精细化分类特征图输入至所述分类检测网络；
根据所述分类检测网络的检测损失函数获得检测结果输出，以及根据所述分类检测网络的分类损失函数获得分类结果输出。
8.根据权利要求7所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，所述构建分类检测网络，包括：
准备跨模态数据集，其中所述跨模态数据集包括毫米波雷达点云数据集和视觉图像数据集，且所述跨模态数据集按照预设比例被划分为训练集和测试集；
将所述跨模态数据集根据Adam优化器进行反向传播训练以及测试，获得分类检测网络。
9.根据权利要求1所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，所述基于毫米波雷达与视觉融合的车端目标分类检测方法还包括在所述分别获取车端视觉图像和车端毫米波雷达点云数据的步骤前进行的：
对毫米波雷达信息采集装置和视觉图像采集装置进行配准。
10.一种车端雷视融合设备，其特征在于，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并执行所述计算机指令以实现权利要求1至9中任意一项所述的基于毫米波雷达与视觉融合的车端目标分类检测方法。
CN202211283715.3A 2022-10-20 2022-10-20 车端目标分类检测方法及车端雷视融合设备 Pending CN115953747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211283715.3A CN115953747A (zh) 2022-10-20 2022-10-20 车端目标分类检测方法及车端雷视融合设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211283715.3A CN115953747A (zh) 2022-10-20 2022-10-20 车端目标分类检测方法及车端雷视融合设备

Publications (1)

Publication Number Publication Date
CN115953747A true CN115953747A (zh) 2023-04-11

Family

ID=87285056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211283715.3A Pending CN115953747A (zh) 2022-10-20 2022-10-20 车端目标分类检测方法及车端雷视融合设备

Country Status (1)

Country Link
CN (1) CN115953747A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN117593650A (zh) * 2024-01-18 2024-02-23 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统
CN117593650A (zh) * 2024-01-18 2024-02-23 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN117593650B (zh) * 2024-01-18 2024-04-26 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Similar Documents

Publication Publication Date Title
CN109100741B (zh) 一种基于3d激光雷达及图像数据的目标检测方法
CN111694010B (zh) 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CA3028653C (en) Methods and systems for color point cloud generation
CN111222396B (zh) 一种全天候多光谱行人检测方法
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
CN111046781B (zh) 一种基于三元注意力机制的鲁棒三维目标检测方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN107194343B (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN115082674A (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
Dong et al. Research on vehicle detection algorithm based on convolutional neural network and combining color and depth images
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN110197104B (zh) 基于车辆的测距方法及装置
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
CN115267756A (zh) 一种基于深度学习目标检测的单目实时测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination