CN117930224A - 一种基于单目视觉深度估计的车辆测距方法 - Google Patents
一种基于单目视觉深度估计的车辆测距方法 Download PDFInfo
- Publication number
- CN117930224A CN117930224A CN202410310655.2A CN202410310655A CN117930224A CN 117930224 A CN117930224 A CN 117930224A CN 202410310655 A CN202410310655 A CN 202410310655A CN 117930224 A CN117930224 A CN 117930224A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- depth estimation
- ranging
- data
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000010845 search algorithm Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 206010034719 Personality change Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001094 effect on targets Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于单目视觉深度估计的车辆测距方法，属于自动驾驶技术领域，其步骤为：采集公路场景下的实验数据，通过安装有相机、毫米波雷达和六轴陀螺仪角度传感器的测距车辆进行数据采集，构建数据集；将数据集进行LightGBM训练，并采用网络搜索算法进行优化，生成单目视觉深度估计模型；在车辆实际行驶过程中，由安装在测距车辆上的相机和六轴陀螺仪角度传感器进行实时采集数据，并输入到单目视觉深度估计模型进行在线识别。本发明将车辆姿态的信息加入车辆深度估计中，进一步提升车辆深度估计的精度；提出基于数据驱动的单目视觉深度估计方法，不仅提升了深度估计的精度，而且减少了计算资源消耗，降低成本，提高实时性。
Description
技术领域
本发明属于自动驾驶技术领域，具体涉及一种基于单目视觉深度估计的车辆测距方法。
背景技术
自动驾驶车辆在提高行车的安全性与节约能源等方面具有显著优势。而现阶段常用的环境感知传感器是基于视觉的传感器，由于单目视觉相机本身不能提供深度信息，因此需要对单目视觉的深度信息进行估计，具有十分重要的研究意义和价值。
单目视觉深度估计的方法主要分为两类，第一类是基于传统方法的单目视觉深度估计包括几何法、等距映射以及拟合法。
基于几何法的单目视觉深度估计，通常会利用车辆在成像模型中的几何位置关系来推导图像坐标系和世界坐标系之间的对应关系。例如，鲁威威在论文《基于单目视觉的前方车辆检测与测距方法研究》中根据小孔成像模型，将单目视觉系统简化为摄像机投影模型，并利用几何关系，推导出路面坐标与图像坐标之间的对应关系。该方法需要进行复杂的相机标定并且深度估计精度不高；并且没有考虑车辆姿态改变的问题，当车辆行驶过程中发生姿态改变，基于几何法的单目视觉深度估计精度下降。
Meng Chaochao在论文《Visual Meterstick: Preceding Vehicle RangingUsing Mon-ocular Vision Based on the Fitting Method》中运用了拟合的方法，通过摄像头获取车辆前方的图像，并进行车辆检测，依据车辆边界框获得对应的像素值，最后根据边界框的像素值将拟合法用于车载单目相机进行测距。该方法需要车辆边界框对应的像素值，因此车辆姿态改变时，同一车距下，车辆目标在图像中的位置改变，车辆边界框对应的像素值容易改变，导致深度估计精度下降。
CN114659489A公布了一种基于凸透镜成像原理的前车距离检测方法和装置。所述方法包括：通过相机采集图像，获取图像中车牌宽度、车牌左下角坐标和车道线的函数方程，计算车道线宽度；基于凸透镜成像原理计算世界坐标系下的车道宽度，然后计算前车车距。该方法需要进行复杂的相机标定，并且忽视了车辆姿态改变的影响。由于需要检测图像中车牌宽度和车牌左下角坐标点，当车辆姿态改变，检测图像所获取的数据会改变，导致深度估计精度下降。
基于等距映射的单目视觉深度估计，需要进行等间距点测量及标定。例如，王战古在论文《大型客车环境感知系统设计及前方障碍物检测方法研究》中，进行了等间距点测量并标记；通过相机采集实验图像，并对图像中测量点所在的像素行进行标定。该方法需要进行复杂的相机标定，确保相机纵向对称面与水平地面垂直，并没有考虑到车辆姿态改变的影响；等距映射方法还需要控制间距的大小，过大或者偏小都会导致估计精度下降。
基于传统方法的单目视觉深度估计并没有考虑到车辆行驶过程中，若遇到障碍物，车辆姿态会发生改变的问题，当车辆姿态改变时，容易导致深度估计的精度下降。并且传统的方法需要进行复杂的相机标定，若标定不准，容易降低深度估计精度。
第二类是基于深度学习的单目视觉深度估计方法，该方法需要大量的图像以及对应的深度图，通过深度学习的方式处理大量数据，例如MohammadM.Haji-Esmaeili在论文《Large-scale Monocular Depth Estimation in the Wild》中，Fu JunWei在论文《Monocular Depth Estimation Based on Multi-Scale Graph Convolution Networks》中，需要通过大量的图像以及深度图来训练复杂模型，而获取大量的深度图比较困难，成本较高，目前只能利用已有的大型数据集训练深度估计模型，对计算力的需求非常高，实时性不高。并未考虑车辆姿态改变的问题。专利CN110414674A公开了一种单目视觉深度估计的方法，所述方法包括：获取深度估计原始图像及对应的已知深度的深度估计标签图像，将所有原始图像及其对应的深度估计标签图像构成训练集；构建神经网络模型；将训练集输入到神经网络模型进行训练，获得神经网络模型，实现单目图像深度估计。由于很难获取带有真实深度的数据集，现有方式大多依靠已有的数据集，训练复杂的模型，对算力要求较高，实时性不高。
CN116152323A公开了一种深度估计方法，所述方法包括：获取目标场景的多个视角的样本图像、对应图像的GT深度图和目标场景的几何约束；将图像作为训练数据，图像的GT深度图和几何约束作为监督信息，迭代训练初始单目视觉深度估计模型，得到单目视觉深度估计模型。该方法需要获取图像样本以及各所述图像样本对应的实际深度图，比较困难，并且复杂的模型对算力的要求较高，实时性不高。
CN110322499A公开了一种基于多层特征的单目图像深度估计方法，所述方法包括：选取原始单目视觉深度估计图像以及其对应已知的深度估计标签图并构成训练集，构建神经网络，将训练集输入到神经网络模型中进行训练，不断迭代训练，完成神经网络模型的训练。该方法没有考虑车辆姿态改变的影响，并且获取深度估计标签图比较困难，复杂的深度估计模型对算力要求高，实时性不高。
基于深度学习的方式需要处理大量的图像以及深度图，实时性不高；而且对算力的要求高，这意味着它需要在性能较强的硬件上运行，而不能在小型芯片上运行。实际中获取这些深度图，会用到较为昂贵的传感器，增加了成本。特别是在不考虑车辆姿态改变的情况下，深度估计的精度很容易降低。
针对现有的技术问题，本发明考虑到车辆姿态对深度估计的影响，提出一种单目视觉深度估计方法。第一，本发明将车辆姿态的信息加入车辆深度估计中，进一步提升车辆深度估计的精度；第二，本发明提出基于数据驱动的单目视觉深度估计方法，将多变量的复杂机理建模问题转化为数据驱动的回归问题，不仅提升了深度估计的精度，而且减少了计算资源消耗，降低成本，提高实时性。
发明内容
为了解决现有技术的不足，本发明提供了一种基于单目视觉深度估计的车辆测距方法，设计合理，解决了现有技术的不足，具有良好的效果。
本发明采用如下技术方案：
一种基于单目视觉深度估计的车辆测距方法，包括以下步骤：
S1、采集公路场景下的实验数据，通过安装有相机、毫米波雷达和六轴陀螺仪角度传感器的测距车辆进行数据采集，构建数据集；
S2、将数据集进行LightGBM训练，并采用网络搜索算法进行优化，生成单目视觉深度估计模型；
S3、在车辆实际行驶过程中，由安装在测距车辆上的相机和六轴陀螺仪角度传感器进行实时采集数据，并输入到S2中的单目视觉深度估计模型进行在线识别。
进一步地，所述S1中，包括以下子步骤：
S1.1、在数据采集前，设置时间戳，使相机、毫米波雷达和六轴陀螺仪角度传感器用相同的时间基准；
S1.2、通过相机采集前方图像进行目标车辆检测，获取目标车辆边界框4个顶点的坐标；
S1.3、利用毫米波雷达确定前方图像中目标车辆与测距车辆的真实车距；
S1.4、通过六轴陀螺仪角度传感器获取测距车辆的姿态；
S1.5、进行时间戳对齐，根据测距车辆的姿态、目标车辆边界框4个顶点的坐标以及真实车距，构建具有11维特征输入、1维特征输出的数据集。
进一步地，所述S1.2中，包括以下子步骤：
S1.2.1、采用相机采集前方车辆图像；
S1.2.2、利用Cityscapes数据集训练yolox目标检测模型，得到训练好的yolox目标检测模型；
S1.2.3、将S1.2.1中前方车辆图像输入S1.2.2中训练好的目标检测模型中，通过目标检测获取图像中车辆边界框；
S1.2.4、提取目标车辆边界框4个顶点的横坐标和纵坐标。
进一步地，所述S1.3中，包括以下子步骤：
S1.3.1、根据雷达Can协议解析毫米波雷达采集的数据；
S1.3.2、对解析后的数据进行预处理，先采用生命周期算法剔除虚假算法，再通过设置横向距离的阈值为±4.92米，只保留测距车辆位于的车道与相邻车道的目标车辆数据，最后通过设置纵向距离的阈值，只保留测距车辆前方100米内的目标车辆数据；
S1.3.3、根据时间戳，确定不同图像中的目标车辆相对于测距车辆的车距。
进一步地，所述S1.4中，包括以下子步骤：
S1.4.1、根据六轴陀螺仪角度传感器采集测距车辆的姿态；
S1.4.2、根据时间戳，提取各时刻测距车辆的侧倾角、俯仰角和横摆角。
进一步地，所述S2中，包括以下子步骤：
S2.1、将数据集导入，并利用LightGBM 训练；
S2.2、采用网络搜索算法对LightGBM模型参数进行优化，参数包括最大深度、随机性参数、随机特征参数、L1正则化参数、L2正则化参数，提高深度估计的精度，并生成最终的单目视觉深度估计模型。
进一步地，所述S3中，包括以下子步骤：
S3.1、获取前方车辆图像，并进行目标检测，提取前方图像中目标车辆边界框4个顶点的横坐标和纵坐标；
S3.2、提取测距车辆姿态，包括侧倾角、俯仰角和横摆角；
S3.3、将测距车辆姿态角与目标车辆边界框4个顶点的横坐标与纵坐标作为模型输入，在线识别，输出车距。
有益技术效果：
本发明将车辆姿态的信息加入车辆深度估计中，进一步提升车辆深度估计的精度；提出基于数据驱动的单目视觉深度估计方法，将多变量的复杂机理建模问题转化为数据驱动的回归问题，不仅提升了深度估计的精度，而且减少了计算资源消耗，降低成本，提高实时性。
附图说明
图1为本发明中一种基于单目视觉深度估计的车辆测距方法流程图。
图2为本发明中利用毫米波雷达确定目标车辆与测距车辆的真实车距示意图。
具体实施方式
为了使本发明的目的、技术方案以及优点部分更加明确，以下结合附图及实施例，对本发明做进一步的详细说明。下面通过参考附图描述的实例属于示例性质，并不能认为是对本发明的限制。需要理解的是，在本发明的描述中，所涉及到如顶、底、上、下、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为进一步说明本发明的技术方案，下面将通过具体实施例进行详细说明。
一种基于单目视觉深度估计的车辆测距方法，如图1所示，包括模型训练和在线识别两个过程，主要包括以下步骤：
S1、采集公路场景下的实验数据，通过安装有相机、毫米波雷达和六轴陀螺仪角度传感器的测距车辆进行数据采集，构建数据集；
S1包括以下子步骤：
S1.1、在数据采集前，设置时间戳，使相机、毫米波雷达和六轴陀螺仪角度传感器用相同的时间基准；
S1.2、通过相机采集前方图像进行目标车辆检测，获取目标车辆边界框（boundingbox）4个顶点的坐标；
S1.2中，包括以下子步骤：
S1.2.1、采用相机采集前方车辆图像；
S1.2.2、利用Cityscapes数据集训练yolox目标检测模型，得到训练好的yolox目标检测模型；
Cityscapes数据关注真实场景下的城区道路环境理解，其包含大量的城市场景图像，涵盖了各种不同的场景和物体，可以帮助目标检测模型更好地适应不同的环境，有利于模型在实际中应用；
yolox以CSPDarknet53作为主干网络并且加入了Focus结构，可以提高每个点的感受野，并减少信息丢失。并且加强特征提取部分采用特征金字塔结构，对于不同尺度的目标有更好的检测效果。相较于其他主流目标检测算法，yolox在模型大小、推理速度以及准确率方面做到了很好的平衡。
S1.2.3、将S1.2.1中前方车辆图像输入S1.2.2中训练好的目标检测模型中，通过目标检测获取图像中车辆边界框（bounding box）；
S1.2.4、提取目标车辆边界框（bounding box）4个顶点的横坐标和纵坐标。
S1.3、利用毫米波雷达确定前方图像中目标车辆与测距车辆的真实车距，如图2所示；
S1.3中，包括以下子步骤：
S1.3.1、毫米波雷达采集的数据通过Can通信传输，根据雷达Can协议解析毫米波雷达采集的数据，获取采集的目标车辆距离信息；
S1.3.2、对解析后的数据进行预处理，先采用生命周期算法剔除虚假算法，再进行车辆横向目标筛选，通过设置横向距离的阈值为±4.92米，只保留测距车辆位于的车道与相邻车道的目标车辆数据，最后进行车辆纵向目标筛选，通过设置纵向距离的阈值，只保留测距车辆前方100米内的目标车辆数据；
S1.3.3、根据时间戳，确定不同图像中的目标车辆相对于测距车辆的车距。
S1.4、通过六轴陀螺仪角度传感器获取测距车辆的姿态；
S1.4中，包括以下子步骤：
S1.4.1、根据六轴陀螺仪角度传感器采集测距车辆的姿态；
S1.4.2、根据时间戳，提取各时刻测距车辆的侧倾角、俯仰角和横摆角。
加入姿态的优势：车辆在实际行驶中容易发生姿态改变，导致车辆目标在图像中的位置发生变化，现有方法并没有考虑车辆姿态的变化，并且依赖图像中的车辆目标位置等信息，容易导致深度估计不准。因此本发明加入了车辆的姿态特征，通过单目视觉深度估计模型处理输入的车辆姿态以及车辆边界框4个顶点的横坐标与纵坐标，可以在车辆的姿态改变时也能准确地获取本车相对于前车车距，并且基于数据驱动的单目深度估计方法实时性高，计算资源小，成本低，更适合在实际场景中应用。
S1.5、进行时间戳对齐，根据测距车辆的侧倾角、俯仰角、横摆角、目标车辆边界框4个顶点的坐标以及真实车距，构建具有11维特征输入、1维特征输出的数据集。
S2、将数据集进行LightGBM训练，并采用网络搜索算法进行优化，生成单目视觉深度估计模型；
LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架，LightGBM使用基于直方图的算法，使得LightGBM具有更高的训练效率并且其内存占用低，因此对计算资源的要求较低。LightGBM通过leaf-wise分裂方法产生比level-wise分裂方法更复杂的树，可以提高准确率，因此利用LightGBM对所述数据集进行训练，可以获得较高的准确率。
S2中，包括以下子步骤：
S2.1、将数据集导入，并利用LightGBM 训练；
S2.2、采用网络搜索算法对LightGBM模型模型参数进行优化，参数包括最大深度（max_depth）、随机性参数（subsample）、随机特征参数（colsample_bytree）、L1正则化参数（reg_alpha）、L2正则化参数（reg_lambda），提高深度估计的精度，并生成最终的单目视觉深度估计模型。
S3、在车辆实际行驶过程中，由安装在测距车辆上的相机和六轴陀螺仪角度传感器进行实时采集数据，并输入到S2中的单目视觉深度估计模型进行在线识别。
S3中，包括以下子步骤：
S3.1、获取前方车辆图像，并进行目标检测，提取前方图像中目标车辆边界框4个顶点的横坐标和纵坐标；
S3.1中，包括以下子步骤：
S3.1.1、将采集的前方车辆图像输出到目标检测模型，获取图像中目标车辆的车辆边界框（bounding box）；
S3.1.2、提取检测图像中车辆边界框（bounding box）4个顶点的横坐标与纵坐标；
S3.2、提取测距车辆姿态，包括侧倾角、俯仰角和横摆角；
S3.2中，包括以下子步骤：
S3.2.1、提取车辆的姿态：侧倾角、俯仰角、横摆角；
S3.3、将测距车辆姿态角与目标辆边界框4个顶点的横坐标与纵坐标作为模型输入，在线识别，输出车距。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (7)
1.一种基于单目视觉深度估计的车辆测距方法，其特征在于，包括以下步骤：
S1、采集公路场景下的实验数据，通过安装有相机、毫米波雷达和六轴陀螺仪角度传感器的测距车辆进行数据采集，构建数据集；
S2、将数据集进行LightGBM训练，并采用网络搜索算法进行优化，生成单目视觉深度估计模型；
S3、在车辆实际行驶过程中，由安装在测距车辆上的相机和六轴陀螺仪角度传感器进行实时采集数据，并输入到S2中的单目视觉深度估计模型进行在线识别。
2.根据权利要求1所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S1中，包括以下子步骤：
S1.1、在数据采集前，设置时间戳，使相机、毫米波雷达和六轴陀螺仪角度传感器用相同的时间基准；
S1.2、通过相机采集前方图像进行目标车辆检测，获取目标车辆边界框4个顶点的坐标；
S1.3、利用毫米波雷达确定前方图像中目标车辆与测距车辆的真实车距；
S1.4、通过六轴陀螺仪角度传感器获取测距车辆的姿态；
S1.5、进行时间戳对齐，根据测距车辆的姿态、目标车辆边界框4个顶点的坐标以及真实车距，构建具有11维特征输入、1维特征输出的数据集。
3.根据权利要求2所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S1.2中，包括以下子步骤：
S1.2.1、采用相机采集前方车辆图像；
S1.2.2、利用Cityscapes数据集训练yolox目标检测模型，得到训练好的yolox目标检测模型；
S1.2.3、将S1.2.1中前方车辆图像输入S1.2.2中训练好的目标检测模型中，通过目标检测获取图像中车辆边界框；
S1.2.4、提取目标车辆边界框4个顶点的横坐标和纵坐标。
4.根据权利要求2所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S1.3中，包括以下子步骤：
S1.3.1、根据雷达Can协议解析毫米波雷达采集的数据；
S1.3.2、对解析后的数据进行预处理，先采用生命周期算法剔除虚假算法，再通过设置横向距离的阈值为±4.92米，只保留测距车辆位于的车道与相邻车道的目标车辆数据，最后通过设置纵向距离的阈值，只保留测距车辆前方100米内的目标车辆数据；
S1.3.3、根据时间戳，确定不同图像中的目标车辆相对于测距车辆的车距。
5.根据权利要求2所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S1.4中，包括以下子步骤：
S1.4.1、根据六轴陀螺仪角度传感器采集测距车辆的姿态；
S1.4.2、根据时间戳，提取各时刻测距车辆的侧倾角、俯仰角和横摆角。
6.根据权利要求5所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S2中，包括以下子步骤：
S2.1、将数据集导入，并利用LightGBM 训练；
S2.2、采用网络搜索算法对LightGBM模型参数进行优化，参数包括最大深度、随机性参数、随机特征参数、L1正则化参数、L2正则化参数，提高深度估计的精度，并生成最终的单目视觉深度估计模型。
7.根据权利要求6所述的一种基于单目视觉深度估计的车辆测距方法，其特征在于，所述S3中，包括以下子步骤：
S3.1、获取前方车辆图像，并进行目标检测，提取前方图像中目标车辆边界框4个顶点的横坐标和纵坐标；
S3.2、提取测距车辆姿态，包括侧倾角、俯仰角和横摆角；
S3.3、将测距车辆姿态角与目标车辆边界框4个顶点的横坐标与纵坐标作为模型输入，在线识别，输出车距。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410310655.2A CN117930224B (zh) | 2024-03-19 | 2024-03-19 | 一种基于单目视觉深度估计的车辆测距方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410310655.2A CN117930224B (zh) | 2024-03-19 | 2024-03-19 | 一种基于单目视觉深度估计的车辆测距方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117930224A true CN117930224A (zh) | 2024-04-26 |
| CN117930224B CN117930224B (zh) | 2024-06-18 |
Family
ID=90752371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410310655.2A Active CN117930224B (zh) | 2024-03-19 | 2024-03-19 | 一种基于单目视觉深度估计的车辆测距方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117930224B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016166656A1 (en) * | 2015-04-13 | 2016-10-20 | E.V.S. Societa' A Responsabilita' Limitata Semplificata | Installation for improving the binocular visual field |
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| CN108875902A (zh) * | 2017-12-04 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质 |
| CN110414674A (zh) * | 2019-07-31 | 2019-11-05 | 浙江科技学院 | 一种基于残差网络及局部细化的单目深度估计方法 |
| CN111369541A (zh) * | 2020-03-06 | 2020-07-03 | 吉林大学 | 一种智能汽车恶劣天气条件下车辆检测方法 |
| US20200233087A1 (en) * | 2019-01-22 | 2020-07-23 | Ricoh Company, Ltd. | Range finding method, range finding apparatus, and range finding system |
| CN115166717A (zh) * | 2022-07-06 | 2022-10-11 | 浙江工业大学 | 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法 |
| WO2022241874A1 (zh) * | 2021-05-18 | 2022-11-24 | 烟台艾睿光电科技有限公司 | 一种红外热成像单目视觉测距方法及相关组件 |
| CN115825946A (zh) * | 2022-12-23 | 2023-03-21 | 航天科工深圳（集团）有限公司 | 基于无监督学习的毫米波雷达测距方法及装置 |
| CN116358486A (zh) * | 2021-12-27 | 2023-06-30 | 大陆泰密克汽车系统（上海）有限公司 | 基于单目相机的目标测距方法、装置及介质 |
| CN116403191A (zh) * | 2023-04-07 | 2023-07-07 | 新石器慧通（北京）科技有限公司 | 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备 |
| WO2023142814A1 (zh) * | 2022-01-30 | 2023-08-03 | 中国第一汽车股份有限公司 | 目标识别方法、装置、设备及存储介质 |
-
2024
- 2024-03-19 CN CN202410310655.2A patent/CN117930224B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016166656A1 (en) * | 2015-04-13 | 2016-10-20 | E.V.S. Societa' A Responsabilita' Limitata Semplificata | Installation for improving the binocular visual field |
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| CN108875902A (zh) * | 2017-12-04 | 2018-11-23 | 北京旷视科技有限公司 | 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质 |
| US20200233087A1 (en) * | 2019-01-22 | 2020-07-23 | Ricoh Company, Ltd. | Range finding method, range finding apparatus, and range finding system |
| CN110414674A (zh) * | 2019-07-31 | 2019-11-05 | 浙江科技学院 | 一种基于残差网络及局部细化的单目深度估计方法 |
| CN111369541A (zh) * | 2020-03-06 | 2020-07-03 | 吉林大学 | 一种智能汽车恶劣天气条件下车辆检测方法 |
| WO2022241874A1 (zh) * | 2021-05-18 | 2022-11-24 | 烟台艾睿光电科技有限公司 | 一种红外热成像单目视觉测距方法及相关组件 |
| CN116358486A (zh) * | 2021-12-27 | 2023-06-30 | 大陆泰密克汽车系统（上海）有限公司 | 基于单目相机的目标测距方法、装置及介质 |
| WO2023142814A1 (zh) * | 2022-01-30 | 2023-08-03 | 中国第一汽车股份有限公司 | 目标识别方法、装置、设备及存储介质 |
| CN115166717A (zh) * | 2022-07-06 | 2022-10-11 | 浙江工业大学 | 一种融合毫米波雷达与单目相机的轻量级目标跟踪方法 |
| CN115825946A (zh) * | 2022-12-23 | 2023-03-21 | 航天科工深圳（集团）有限公司 | 基于无监督学习的毫米波雷达测距方法及装置 |
| CN116403191A (zh) * | 2023-04-07 | 2023-07-07 | 新石器慧通（北京）科技有限公司 | 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备 |
Non-Patent Citations (5)
| Title |
|---|
| HAI WANG: "Night-Time Vehicle Sensing in Far Infrared Image with Deep Learning", 《JOURNAL OF SENSORS》, 31 December 2015 (2015-12-31), pages 1 - 9 * |
| 刘春;吴一珩;: "双路融合的深度估计神经网络方法研究", 计算机工程与应用, no. 20, 31 December 2020 (2020-12-31), pages 144 - 151 * |
| 寇展;吴健发;王宏伦;阮文阳;: "基于深度学习的低空小型无人机障碍物视觉感知", 中国科学:信息科学, no. 05, 31 December 2020 (2020-12-31), pages 76 - 87 * |
| 王战古: "不良天气条件下车辆检测方法研究", 《中国博士学位论文全文数据库 工程科技II辑》, 15 January 2023 (2023-01-15), pages 41 - 42 * |
| 王战古;高松;邵金菊;谭德荣;孙亮;于杰;: "基于深度置信网络的多源信息前方车辆检测", 汽车工程, no. 05, 25 May 2018 (2018-05-25), pages 57 - 63 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117930224B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| US11532151B2 (en) | Vision-LiDAR fusion method and system based on deep canonical correlation analysis | |
| Chen et al. | Lidar-histogram for fast road and obstacle detection | |
| CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN105046688A (zh) | 一种三维点云中的多平面自动识别方法 | |
| JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN115100741B (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| Lian et al. | Towards unified on-road object detection and depth estimation from a single image | |
| CN116573017A (zh) | 城市轨道列车行驶限界异物感知方法、系统、装置和介质 | |
| Zhang et al. | PSNet: Perspective-sensitive convolutional network for object detection | |
| CN115760898A (zh) | 一种混合高斯域下道路抛洒物的世界坐标定位方法 | |
| CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
| CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN117930224B (zh) | 一种基于单目视觉深度估计的车辆测距方法 | |
| CN116935356A (zh) | 基于弱监督的自动驾驶多模态图片和点云实例分割方法 | |
| CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 | |
| CN110084190B (zh) | 一种基于ann的剧烈光照环境下实时非结构化道路检测方法 | |
| CN110533034A (zh) | 一种汽车前脸品牌分类方法 | |
| CN118172423B (zh) | 时序点云数据路面元素标注方法及装置、电子设备 | |
| Xu et al. | Research on target detection methods under the concept of deep learning | |
| Hou et al. | Research on GDR Obstacle Detection Method Based on Stereo Vision | |
| CN118230147B (zh) | 坝下涵洞洞身接缝接触渗漏的水下检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |