CN112666553B - 一种基于毫米波雷达的道路积水识别方法及设备 - Google Patents
一种基于毫米波雷达的道路积水识别方法及设备 Download PDFInfo
- Publication number
- CN112666553B CN112666553B CN202011487153.5A CN202011487153A CN112666553B CN 112666553 B CN112666553 B CN 112666553B CN 202011487153 A CN202011487153 A CN 202011487153A CN 112666553 B CN112666553 B CN 112666553B
- Authority
- CN
- China
- Prior art keywords
- road
- point cloud
- cloud data
- ponding
- millimeter wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 4
- 238000007796 conventional method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000009825 accumulation Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种基于毫米波雷达的道路积水识别方法及设备,用以解决现有的道路积水识别方法需要投入大量人力或物力,或者在恶劣环境下无法进行识别的技术问题。方法包括:通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据,对第一点云数据进行坐标转换;从转换后的第一点云数据中获取若干样本序列,并对样本序列按目标类别进行标注,以得到训练集;其中,每个样本序列由连续若干帧第一点云数据组成;构建网络结构,将训练集输入至网络结构,训练道路积水识别模型;获取道路的第二点云数据,将第二点云数据输入至道路积水识别模型,判断道路是否积水。本申请通过上述方法能够高效识别道路是否积水,且在恶劣环境下也能保证识别精度。
Description
技术领域
本申请涉及城市内涝检测技术领域,尤其涉及一种基于毫米波雷达的道路积水识别方法及设备。
背景技术
日常生活中,路面凹陷、雨水聚集、设备损坏等因素易造成道路积水,对行人以及车辆出行造成不便,甚至会导致交通事故等安全问题,因此对道路积水的检测识别是城市建设的重要工作。
现有的道路积水识别方法,一是通过工作人员巡视对道路是否存在积水进行判断,但是这种方式需要大量人力,且检测效率低下;二是根据数据智能识别道路积水,这种方法大多基于历年降水数据、排水管线数据、地表高程、交通流量、车速等信息来进行分析,但是数据采集以及系统建立的难度大;三是通过液压水位传感器等设备识别道路积水,但是液压水位传感器需在积水下进行检测,安装时需要预留积水点和传感器位置,安装位置受限并且检测存在盲区,而且设备的布设与维护成本较高;此外也有基于视频图像数据通过人工智能和图像处理的方法识别道路积水,然而在阴影、遮挡、大雾天气等环境状况下较难获取清晰的图像,从而导致识别失败或识别效果不佳,且基于图像数据进行处理耗时较长,对设备性能要求高。
发明内容
本申请实施例提供了一种基于毫米波雷达的道路积水识别方法及设备,用以解决现有的道路积水识别方法在识别时需要投入大量人力或物力,或者在恶劣环境下无法进行识别的技术问题。
一方面,本申请实施例提供了一种基于毫米波雷达的道路积水识别方法,包括:通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据,对第一点云数据进行坐标转换;第一点云数据包括积水区域和非积水区域内的所有反射点数据;从转换后的第一点云数据中获取若干样本序列,并对样本序列按目标类别进行标注,以得到训练集;其中,每个样本序列由连续若干帧第一点云数据组成;构建网络结构,将训练集输入至网络结构,训练道路积水识别模型;获取道路的第二点云数据,将第二点云数据输入至道路积水识别模型,判断道路是否积水。
在本申请的一种实现方式中,通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据之后,方法还包括:根据预设速度阈值,对第一点云数据进行过滤;确定第一点云数据中的反射点数据的速度小于预设速度阈值的情况下,保留反射点数据。
在本申请的一种实现方式中,对第一点云数据进行坐标转换,具体包括:通过以下公式,对反射点数据进行坐标转换:
在本申请的一种实现方式中,将训练集输入至网络结构之前,方法还包括:确定第一点云数据中反射点数据小于预设数量的帧;对确定出的帧对应的第一点云数据中的反射点数据进行复制,直至反射点数据的数量达到预设数量。
在本申请的一种实现方式中,将训练集输入至网络结构之前,方法还包括:根据样本序列,构建输入矩阵,并对输入矩阵进行归一化;其中,输入矩阵的行数为样本序列中第一点云数据的帧数,输入矩阵的列数为预设数量。
在本申请的一种实现方式中,构建网络结构,具体包括:针对转换后的第一点云数据的各个属性,分别构建对应的第一卷积神经网络;属性包括三维坐标中的横坐标、三维坐标中的纵坐标、三维坐标中的竖坐标、速度、信噪比;构建第二卷积神经网络,并将第二卷积神经网络连接在第一卷积神经网络后。
在本申请的一种实现方式中,训练道路积水识别模型,具体包括:根据各属性对应的若干第一卷积神经网络,分别提取训练集中属性的特征;将属性的特征输入至第二卷积神经网络,融合属性特征,以提取训练集的整体特征;根据训练集的整体特征与对应的标注,学习训练集与相应标注之间的对应关系,直至道路积水识别模型的识别分类结果达到预期目标。
在本申请的一种实现方式中,训练道路积水识别模型,具体还包括:确定由样本序列组成的验证集;将验证集输入至道路积水识别模型,确定对应的识别分类结果;基于交叉熵损失函数,计算验证集的识别分类结果与相应标注之间的差值,判断道路积水识别模型是否训练完成。
在本申请的一种实现方式中,第一卷积神经网络包括一层卷积层、一层批归一化层、一层ReLU激活函数层、一层最大池化层、密集连接模块;第二卷积神经网络包括一层卷积层、一层批归一化层、一层ReLU激活函数层、一层均值池化层、全连接层。
另一方面,本申请实施例还提供了一种基于毫米波雷达的道路积水识别设备,设备包括:处理器;及存储器,其上存储有可执行代码,当可执行代码被执行时,使得处理器执行如上述的一种基于毫米波雷达的道路积水识别方法。
本申请实施例提供的一种基于毫米波雷达的道路积水识别方法及设备,至少包括以下有益效果:在阴影、遮挡、大雾天气等环境状况下,可以通过毫米波雷达获得准确的道路探测数据,确保在恶劣环境下仍可以对道路是否积水进行检测;采用了深度学习算法来识别道路积水,且在识别过程中直接对采集到的点云数据进行处理,使识别结果更加准确;通过道路积水识别模型对输入的点云数据进行处理和识别,而整个识别过程自动化进行,节约了人力和物力,有效提高了识别效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于毫米波雷达的道路积水识别方法流程图;
图2为本申请实施例提供的一种网络结构示意图;
图3为本申请实施例提供的一种基于毫米波雷达的道路积水识别设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于毫米波雷达的道路积水识别方法及设备,以实现对道路积水的高效识别,节省人力,同时也保证了在恶劣环境状况下的识别精度。
下面通过附图对本申请实施例提出的技术方案进行详细说明。
图1为本申请实施例提供的一种基于毫米波雷达的道路积水识别方法流程图。如图1所示,本申请实施例提供的一种基于毫米波雷达的道路积水识别方法主要包括以下步骤:
S101、通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据,对第一点云数据进行坐标转换。
毫米波雷达分别对多条道路上的积水区域和非积水区域进行探测,从而获得多帧第一点云数据。服务器对第一点云数据进行坐标转换,转换第一点云数据中的部分属性,以输入至道路积水识别模型中进行属性的特征提取。
本申请提供的实施例基于毫米波雷达对道路积水进行识别,不易受天气等环境的影响,在阴影、遮挡、大雾天气等环境状况下也可以获取到较为精准的道路探测数据。同时,毫米波雷达较传感器等设备来说,毫米波雷达可以架于高空或置于车辆上,安装位置更不受限,且设备布设和维护成本更低。此外,通过毫米波雷达获取探测数据,效率更高。
在本申请的一个实施例中,每帧第一点云数据包括探测范围内的所有反射点数据,反射点数据的属性包括:距离、速度、方位角、俯仰角和信噪比。其中,距离为毫米波雷达至反射点的欧几里得距离,速度为反射点在被探测时的瞬时速度,方位角为从方位参考方向到毫米波雷达与反射点之间的连线在参考平面上的投影的角度,俯仰角为毫米波雷达至反射点的连线与沿毫米波雷达竖直方向的夹角,信噪比为反射点功率和噪声的功率之比。
在本申请的一个实施例中,服务器在对第一点云数据进行坐标转换之前,设定速度阈值对第一点云数据进行过滤。当反射点数据的速度小于速度阈值时,保留该反射点数据,反之除去该反射点数据。毫米波雷达在探测非积水区域的时候,过路车辆、行人等运动物体会对积水识别造成影响,通过速度进行过滤可以避免非积水的运动物体对于识别结果的影响,确保识别准确度。其中,速度阈值可根据需要设置,本申请对此不做限定。
在本申请的一个实施例中,基于过滤后的反射点数据,服务器对反射点数据进行坐标转换,获得各点的三维坐标。
具体地,通过以下公式对反射点数据进行坐标转换:
S102、从转换后的第一点云数据中获取若干样本序列,并对样本序列按目标类别进行标注,以得到训练集。
服务器从转换后的第一点云数据中随机截取连续若干帧作为一个样本序列,得到若干样本序列后,对样本序列标注相应的目标类别,以得到训练集。其中,目标类别包括积水、非积水。
在本申请的一个实施例中,服务器随机截取连续t帧第一点云数据作为一个样本序列,并且根据数据来源的探测目标(即积水区域或非积水区域),对样本序列标注相应的目标类别,然后将各样本序列的标注映射为one-hot向量作为标签向量。标签向量由0和1构成,向量中的每个元素各自代表某种目标类别的正样本或负样本。例如,若样本序列来自于对道路积水区域进行探测得到的第一点云数据,则将此样本序列标注为“积水”,标签向量为(1,0);若样本序列来自于对道路非积水区域进行探测得到的第一点云数据,则将此样本序列标注为“非积水”,标签向量为(0,1)。
需要说明的是,标注后的若干样本序列划分为训练集和验证集,训练集输入至网络结构中进行道路积水识别模型的训练,验证集用于验证模型的训练效果。
S103、构建网络结构,将训练集输入至网络结构,训练道路积水识别模型。
服务器构建识别积水的网络结构,然后将训练集输入至该网络结构,完成对道路积水识别模型的训练。
在本申请的一个实施例中,服务器针对转换后的第一点云数据的各个属性,即三维坐标(X、Y、Z)、速度V、信噪比S,分别构建对应的第一卷积神经网络。然后,构建第二卷积神经网络,并将第二卷积神经网络连接在第一卷积神经网络后。具体的网络结构如图2所示。
图2为本申请实施例提供的一种网络结构示意图。如图2所示,网络结构共分为四个部分,分别是输入、第一卷积神经网络、第二卷积神经网络、输出。其中,输入网络结构的是转换后的第一点云数据的五个属性,因此共设有五个输入层,每一输入层后连接该属性对应的第一卷积神经网络,用于提取各属性的特征信息。在五个第一卷积神经网络后连接有一个第二卷积神经网络,用于对第一卷积神经网络提取到的属性特征进行融合,进而获得点云数据的整体特征,最后输出分类结果。
在本申请的一个实施例中,第一卷积神经网络包括一层卷积层、一层批归一化(batch normalization)层、一层ReLU激活函数层、一层最大池化层、一个密集连接模块,各层依次连接。卷积层1对点云数据去噪,提取各属性特征;批归一化层连接在卷积层后,对每个batch的数据进行归一化,缓解训练过程中梯度消失或爆炸的现象,加快模型的收敛速度;ReLU激活函数层对卷积层的输出结果做非线性映射,增加网络的非线性表达能力,而且使用ReLU作为激励函数还能够加快迭代速度;最大池化层对空间邻域取最大值,进行局部采样,对特征维数降维,进而防止过拟合;密集连接模块(dense block),包括六组卷积单元,每组卷积单元都包含1×1和3×3的卷积层,各卷积单元依次连接,且每组卷积单元的输出作为其后各组卷积单元的输入,也就是说,每个卷积单元都会接受其前面所有卷积单元作为其输入部分。由于密集连接方式,提升了梯度的反向传播,使得道路积水识别模型的训练更加容易。第二卷积神经网络包括一层卷积层、一层批归一化层、一层ReLU激活函数层、一层均值池化层、全连接层。卷积层2提取点云数据的整体特征;均值池化层是对空间邻域取平均值,对特征维数降维,防止过度拟合;全连接层对输入的数据进行分类得到目标类别,采用softmax函数得出各目标类别对应置信度。
需要说明的是,图2仅为网络结构的部分示意图,第一卷积神经网络和第二卷积神经网络包含的一些隐含层并未在图2中标出。
在本申请的一个实施例中,道路积水模型训练过程中的batch size为32,在训练集输入至网络结构后,各第一卷积神经网络分别提取对应的属性特征,并将属性的特征输入至第二卷积神经网络;然后,第二卷积神经网络融合属性特征,在此基础上提取训练集的整体特征;最后,服务器根据训练集的整体特征与对应的标注,学习训练集与相应标注之间的对应关系,并不断调整模型训练参数,在训练过程中,初始学习率lr设为0.01,每8个epoch后学习率衰减为之前的10%,迭代过程中不断降低学习率,直至道路积水识别模型的训练效果最优化。以上参数的选择仅以此举例,本申请不以此为限。
本申请提供的实施例在模型训练过程中,首先输入第一点云数据的五个属性,其次分别提取属性特征,然后又将其融合,进而提取第一点云数据的整体特征。这样,道路积水识别模型提取到的数据特征更加准确,能够加快模型的训练速度。
在本申请的一个实施例中,服务器将训练集输入至网络结构之前,需对训练集进行数据扩展。在实际的数据采集过程中,每帧第一点云数据包含的反射点数量一般达不到预设数量p,而且各帧第一点云数据中反射点的数量也不相同,因此在训练模型前,首先确定第一点云数据中反射点个数小于预设数量的帧,然后对这些帧对应的第一点云数据中的反射点数据进行复制,直至所有反射点的数量达到预设数量p。
需要说明的是,当第一点云数据中的反射点数量大于预设数量p时,可以对反射点进行剔除,直至每帧第一点云数据中的反射点数量为p个。
进一步地,服务器根据样本序列,构建与各属性相应的输入矩阵,并对输入矩阵进行归一化。每一个样本序列由连续t帧第一点云数据组成,而每一帧第一点云数据中反射点的数量为p个,在此基础上,构造五个与属性相对应的t×p输入矩阵,然后对输入矩阵进行归一化。将样本序列中第一点云数据的帧数作为输入矩阵的行数,将每一帧第一点云数据中的反射点的数量作为输入矩阵的列数,使得输入矩阵包含了该样本序列中的所有反射点数据,也使得道路积水识别模型能够同时提取数据的时间和空间信息。此外,对输入矩阵进行归一化能够消除毫米波雷达在收集数据过程中因调整高度、角度而造成的数值差异,提高了模型训练的速度和精度。
在本申请的一个实施例中,服务器在通过训练集,对道路积水识别模型进行训练后,将验证集输入至道路积水识别模型,利用交叉熵损失函数对道路积水识别模型预测的目标类别置信度和相应one-hot形式的标注进行差值计算,评估道路积水识别模型的训练效果。交叉熵的值越小,则模型的训练结果越好。
S104、获取道路的第二点云数据,将第二点云数据输入至道路积水识别模型,判断道路是否积水。
服务器对通过毫米波雷达获取到的第二点云数据进行处理,然后输入到完成训练的道路积水识别模型中去,判断路段是否积水。
在本申请的一个实施例中,毫米波雷达对某段道路进行探测,获取该道路的第二点云数据。服务器对第二点云数据进行过滤、坐标转换,然后截取连续t帧第二点云数据作为一个样本序列,在获取若干样本序列后,对样本序列中的数据进行数据扩展和归一化。以上具体处理步骤在S101-S103中进行了详细说明,本申请在此不再赘述。
进一步地,服务器将处理后的第二点云数据输入至道路积水识别模型中,获取各目标类别的置信度,即样本序列被预测为积水或非积水的置信度。然后比较置信度,若积水的置信度大于非积水的置信度,则识别结果为道路积水;若积水的置信度小于非积水的置信度,则道路不积水。
在本申请的一个实施例中,通过多台毫米波雷达对道路进行探测,获取道路积水区域和非积水区域的第二点云数据,并将第二点云数据进行拼接,以得到完整的道路探测数据;完成拼接后,去除重叠的第二点云数据;最后,对第二点云数据进行分割。毫米波雷达在进行探测时,受角度限制,一般只能获取到道路的一部分点云数据,探测范围并不能覆盖整条道路,因此在识别过程中,一般会架设多台毫米波雷达,从多方位对道路进行扫描,并将多台毫米波雷达获取到的第二点云数据进行拼接,以得到完整的道路数据。拼接后的第二点云数据会不可避免的存在重复数据,去除冗余的第二点云数据能够有效减小计算量,加快识别速度。此外,对第二点云数据进行拼接后,若直接对其进行处理和识别,数据量过大,识别难度较大,因此对第二点云数据进行分割,将复杂的数据简单化,便于输入道路积水识别模型完成道路积水的检测,同时,根据道路的有效探测范围对第二点云数据进行分割,使数据格式为t×p矩阵,能够保证数据格式和道路积水识别模型的输入格式一致,从而实现道路积水的正常识别。
在本申请的一个实施例中,在对道路积水情况进行识别时,根据第二点云数据的三维坐标得到目标类别占据的空间面积。毫米波雷达对某一路段进行积水探测并获取到第二点云数据后,输入至道路积水模型进行积水识别,输出的结果不仅包括积水或非积水的置信度,还包括积水区域和非积水区域的空间面积。通过积水区域内的反射点数据的三维坐标,计算积水区域的空间面积,若空间面积大于预设阈值,则发布内涝预警,提醒行人和车辆出行避让。此外,毫米波雷达在一定时间间隔后仍会对该道路进行探测,若此时的空间面积已经低于预设阈值,则撤销预警,恢复道路通行。
本申请实施例提供的基于毫米波雷达的道路积水识别方法,通过毫米波雷达采集道路探测数据,这样不易受天气等环境变化的影响,即使在恶劣环境状况下也能保证采集到道路数据,并且还减小了数据采集的难度。识别过程采用深度学习算法,识别精度更高,且参数量少,训练及识别速度快,同时,积水识别的整个过程都是自动化进行,识别时只需获取数据并输入模型便可以得出检测结果,节约了大量人力物力,且运行速度快,实现了道路积水的高效准确识别,有效提高了城建维护的工作效率。
以上为本申请提出的方法实施例。基于同样的发明构思,本申请实施例还提供了一种基于毫米波雷达的道路积水识别设备,如图3所示。
图3为本申请实施例提供的一种基于毫米波雷达的道路积水识别设备结构示意图。如图3所示,设备包括处理器301、及存储器302,其上存储有可执行代码,当可执行代码被执行时,使得处理器301执行如上的一种基于毫米波雷达的道路积水识别方法。
在本申请的一个实施例中,处理器301用于通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据,对第一点云数据进行坐标转换;第一点云数据包括积水区域和非积水区域内的所有反射点数据;从转换后的第一点云数据中获取若干样本序列,并对样本序列按目标类别进行标注,以得到训练集;其中,每个样本序列由连续若干帧第一点云数据组成;构建网络结构,将训练集输入至网络结构,训练道路积水识别模型;获取道路的第二点云数据,将第二点云数据输入至道路积水识别模型,判断道路是否积水。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种基于毫米波雷达的道路积水识别方法,其特征在于,所述方法包括:
通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据,对所述第一点云数据进行坐标转换;所述第一点云数据包括所述积水区域和所述非积水区域内的所有反射点数据;
从转换后的所述第一点云数据中获取若干样本序列,并对所述样本序列按目标类别进行标注,以得到训练集;其中,每个所述样本序列由连续若干帧所述第一点云数据组成;
构建网络结构,将所述训练集输入至所述网络结构,训练道路积水识别模型;
获取道路的第二点云数据,将所述第二点云数据输入至所述道路积水识别模型,判断所述道路是否积水;
获取道路的第二点云数据,具体包括:
通过多台毫米波雷达对道路进行探测,以获取所述道路中的道路积水区域和非积水区域分别对应的第二点云数据;
将所述第二点云数据进行拼接,以得到完整的道路探测数据;
从所述道路探测数据中,去除重叠的所述第二点云数据,并根据所述道路的有效探测范围,对去除重叠后的所述第二点云数据进行分割;
对所述第一点云数据进行坐标转换,具体包括:
通过以下公式,对所述反射点数据进行坐标转换:
构建网络结构,具体包括:
针对转换后的所述第一点云数据的各个属性,分别构建对应的第一卷积神经网络;所述属性包括三维坐标中的横坐标、三维坐标中的纵坐标、三维坐标中的竖坐标、速度、信噪比;
构建第二卷积神经网络,并将所述第二卷积神经网络连接在所述第一卷积神经网络后;
训练道路积水识别模型,具体包括:
根据各属性对应的若干所述第一卷积神经网络,分别提取所述训练集中所述属性的特征;
将所述属性的特征输入至所述第二卷积神经网络,融合所述属性特征,以提取所述训练集的整体特征;
根据所述训练集的整体特征与对应的标注,学习所述训练集与相应标注之间的对应关系,直至所述道路积水识别模型的识别分类结果达到预期目标。
2.根据权利要求1所述的一种基于毫米波雷达的道路积水识别方法,其特征在于,通过毫米波雷达获取道路积水区域和非积水区域的第一点云数据之后,所述方法还包括:
根据预设速度阈值,对所述第一点云数据进行过滤;
确定所述第一点云数据中的所述反射点数据的速度小于预设速度阈值的情况下,保留所述反射点数据。
3.根据权利要求1所述的一种基于毫米波雷达的道路积水识别方法,其特征在于,将所述训练集输入至所述网络结构之前,所述方法还包括:
确定所述第一点云数据中所述反射点数据小于预设数量的帧;
对确定出的帧对应的所述第一点云数据中的所述反射点数据进行复制,直至所述反射点数据的数量达到预设数量。
4.根据权利要求3所述的一种基于毫米波雷达的道路积水识别方法,其特征在于,将所述训练集输入至所述网络结构之前,所述方法还包括:
根据所述样本序列,构建输入矩阵,并对所述输入矩阵进行归一化;其中,所述输入矩阵的行数为所述样本序列中所述第一点云数据的帧数,所述输入矩阵的列数为所述预设数量。
5.根据权利要求1所述的一种基于毫米波雷达的道路积水识别方法,其特征在于,训练道路积水识别模型,具体还包括:
确定由样本序列组成的验证集;
将验证集输入至所述道路积水识别模型,确定对应的识别分类结果;
基于交叉熵损失函数,计算所述验证集的识别分类结果与相应标注之间的差值,判断所述道路积水识别模型是否训练完成。
6.根据权利要求1所述的一种基于毫米波雷达的道路积水识别方法,其特征在于,所述第一卷积神经网络包括卷积层、批归一化层、ReLU激活函数层、最大池化层、密集连接模块;
所述第二卷积神经网络包括卷积层、批归一化层、ReLU激活函数层、均值池化层、全连接层。
7.一种基于毫米波雷达的道路积水识别设备,其特征在于,所述设备包括:
处理器;
及存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-6任一项所述的一种基于毫米波雷达的道路积水识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487153.5A CN112666553B (zh) | 2020-12-16 | 2020-12-16 | 一种基于毫米波雷达的道路积水识别方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011487153.5A CN112666553B (zh) | 2020-12-16 | 2020-12-16 | 一种基于毫米波雷达的道路积水识别方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112666553A CN112666553A (zh) | 2021-04-16 |
CN112666553B true CN112666553B (zh) | 2023-04-18 |
Family
ID=75405698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011487153.5A Active CN112666553B (zh) | 2020-12-16 | 2020-12-16 | 一种基于毫米波雷达的道路积水识别方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112666553B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627562A (zh) * | 2021-08-20 | 2021-11-09 | 上海芯物科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
CN114199168A (zh) * | 2021-12-16 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种室内体积探测方法、装置、设备及介质 |
CN113978468A (zh) * | 2021-12-16 | 2022-01-28 | 诺博汽车系统有限公司 | 基于积水环境的车速控制方法、装置、设备以及介质 |
CN116051925B (zh) * | 2023-01-04 | 2023-11-10 | 北京百度网讯科技有限公司 | 训练样本采集方法、装置、设备以及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6035057A (en) * | 1997-03-10 | 2000-03-07 | Hoffman; Efrem H. | Hierarchical data matrix pattern recognition and identification system |
US6653971B1 (en) * | 1999-05-14 | 2003-11-25 | David L. Guice | Airborne biota monitoring and control system |
CN106800003A (zh) * | 2016-12-28 | 2017-06-06 | 智车优行科技(北京)有限公司 | 道路积水检测方法和系统、车辆 |
CN107092803A (zh) * | 2017-05-12 | 2017-08-25 | 长安大学 | 一种基于三维线激光技术的道路积水区识别方法 |
CN108050994A (zh) * | 2017-11-28 | 2018-05-18 | 河海大学 | 基于倾斜摄影三维重建技术的淤泥质潮滩地形演变方法 |
CN109726728A (zh) * | 2017-10-31 | 2019-05-07 | 高德软件有限公司 | 一种训练数据生成方法及装置 |
CN110298311A (zh) * | 2019-06-28 | 2019-10-01 | 北京智行者科技有限公司 | 路面积水检测方法及装置 |
CN110531340A (zh) * | 2019-08-22 | 2019-12-03 | 吴文吉 | 一种激光雷达点云数据的基于深度学习的识别处理方法 |
CN111445539A (zh) * | 2020-03-23 | 2020-07-24 | 九牧厨卫股份有限公司 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
WO2020206846A1 (zh) * | 2019-04-08 | 2020-10-15 | 日立楼宇技术(广州)有限公司 | 井道危险的预警方法、装置、计算机设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909070A (zh) * | 2017-11-24 | 2018-04-13 | 天津英田视讯科技有限公司 | 一种道路积水检测的方法 |
CN108182817A (zh) * | 2018-01-11 | 2018-06-19 | 北京图森未来科技有限公司 | 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统 |
US10761187B2 (en) * | 2018-04-11 | 2020-09-01 | Infineon Technologies Ag | Liquid detection using millimeter-wave radar sensor |
CN109858512B (zh) * | 2018-12-10 | 2021-08-03 | 北京百度网讯科技有限公司 | 点云数据的处理方法、装置、设备、车辆及存储介质 |
US20200189463A1 (en) * | 2018-12-13 | 2020-06-18 | Waymo Llc | Detecting puddles and standing water |
CN110414577A (zh) * | 2019-07-16 | 2019-11-05 | 电子科技大学 | 一种基于深度学习的激光雷达点云多目标地物识别方法 |
CN111024185B (zh) * | 2019-12-17 | 2021-07-16 | 南京浦和数据有限公司 | 一种城市道路积水监测装置和方法 |
CN111368635B (zh) * | 2020-02-05 | 2021-05-25 | 北京邮电大学 | 一种基于毫米波的多人步态识别方法及装置 |
CN111368846B (zh) * | 2020-03-19 | 2022-09-09 | 中国人民解放军国防科技大学 | 一种基于边界语义分割的道路积水识别方法 |
CN111507233B (zh) * | 2020-04-13 | 2022-12-13 | 吉林大学 | 一种多模态信息融合的智能车路面类型识别方法 |
CN111856447A (zh) * | 2020-07-28 | 2020-10-30 | 三一机器人科技有限公司 | 一种雷达定位方法、装置及存储介质 |
-
2020
- 2020-12-16 CN CN202011487153.5A patent/CN112666553B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6035057A (en) * | 1997-03-10 | 2000-03-07 | Hoffman; Efrem H. | Hierarchical data matrix pattern recognition and identification system |
US6653971B1 (en) * | 1999-05-14 | 2003-11-25 | David L. Guice | Airborne biota monitoring and control system |
CN106800003A (zh) * | 2016-12-28 | 2017-06-06 | 智车优行科技(北京)有限公司 | 道路积水检测方法和系统、车辆 |
CN107092803A (zh) * | 2017-05-12 | 2017-08-25 | 长安大学 | 一种基于三维线激光技术的道路积水区识别方法 |
CN109726728A (zh) * | 2017-10-31 | 2019-05-07 | 高德软件有限公司 | 一种训练数据生成方法及装置 |
CN108050994A (zh) * | 2017-11-28 | 2018-05-18 | 河海大学 | 基于倾斜摄影三维重建技术的淤泥质潮滩地形演变方法 |
WO2020206846A1 (zh) * | 2019-04-08 | 2020-10-15 | 日立楼宇技术(广州)有限公司 | 井道危险的预警方法、装置、计算机设备及存储介质 |
CN110298311A (zh) * | 2019-06-28 | 2019-10-01 | 北京智行者科技有限公司 | 路面积水检测方法及装置 |
CN110531340A (zh) * | 2019-08-22 | 2019-12-03 | 吴文吉 | 一种激光雷达点云数据的基于深度学习的识别处理方法 |
CN111445539A (zh) * | 2020-03-23 | 2020-07-24 | 九牧厨卫股份有限公司 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
Non-Patent Citations (4)
Title |
---|
Bao, Rina ; Palaniappan, Kannappan ; Zhao, Yunxin ; Seetharaman, Guna ; Zeng, Wenjun .GLSNet: Global and Local Streams Network for 3D Point Cloud Classification.《2019 IEEE Applied Imagery Pattern Recognition Workshop (AIPR)》.2019,全文. * |
张占文 ; .基于多普勒天气雷达的地物识别研究.现代电子技术.2017,(第19期),全文. * |
张成才 ; 黄河 ; 朱祖乐 ; 王金鑫 ; .基于高精度DEM的城市道路积水淹没计算方法研究.水利水电技术.2017,(第12期),全文. * |
罗海峰 ; 方莉娜 ; 陈崇成 ; 黄志文 ; .基于DBN的车载激光点云路侧多目标提取.测绘学报.2018,(第02期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112666553A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112666553B (zh) | 一种基于毫米波雷达的道路积水识别方法及设备 | |
Ai et al. | Computer vision framework for crack detection of civil infrastructure—A review | |
CN110619750B (zh) | 面向违停车辆的智能航拍识别方法及系统 | |
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN111832536B (zh) | 一种车道线检测方法及装置 | |
CN111368687A (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN106652468A (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
CN110532876B (zh) | 夜晚模式镜头附着物的检测方法、系统、终端和存储介质 | |
CN110544211A (zh) | 一种镜头付着物的检测方法、系统、终端和存储介质 | |
Choi et al. | Three-dimensional LiDAR data classifying to extract road point in urban area | |
CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
CN111753610B (zh) | 天气识别方法及装置 | |
CN113627299B (zh) | 一种基于深度学习的导线漂浮物智能识别方法及装置 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN110544232A (zh) | 一种镜头付着物的检测系统、终端和存储介质 | |
CN112464914A (zh) | 一种基于卷积神经网络的护栏分割方法 | |
CN115457358A (zh) | 一种图像与点云的融合的处理方法、装置和无人车 | |
CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
CN117953421A (zh) | 一种城市道路场景的积水检测方法、电子设备及存储介质 | |
CN112241004A (zh) | 物体识别装置 | |
CN112085101A (zh) | 一种高性能高可靠的环境融合感知方法及系统 | |
CN114779794B (zh) | 基于无人巡逻车系统的台风场景下的街道障碍识别方法 | |
CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
CN110414386A (zh) | 基于改进scnn网络的车道线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |