CN113689483A - 一种基于单目摄像头和激光雷达的测距方法 - Google Patents

一种基于单目摄像头和激光雷达的测距方法 Download PDF

Info

Publication number
CN113689483A
CN113689483A CN202110838512.5A CN202110838512A CN113689483A CN 113689483 A CN113689483 A CN 113689483A CN 202110838512 A CN202110838512 A CN 202110838512A CN 113689483 A CN113689483 A CN 113689483A
Authority
CN
China
Prior art keywords
target detection
depth
image data
historical
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110838512.5A
Other languages
English (en)
Other versions
CN113689483B (zh
Inventor
黄刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN202110838512.5A priority Critical patent/CN113689483B/zh
Publication of CN113689483A publication Critical patent/CN113689483A/zh
Application granted granted Critical
Publication of CN113689483B publication Critical patent/CN113689483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于单目摄像头和激光雷达的测距方法，包括以下步骤：首先收集历史交通场景图像数据和点云数据，并对数据进行处理，将处理后的历史图像数据和历史点云数据分别训练初始目标检测模型和初始深度补全模型，获得训练好的目标检测模型和深度补全模型，所述目标检测模型以实时图像数据作为输入，输出交通场景中障碍物的信息；所述深度补全模型以实时图像数据和实时稀疏深度图作为输入，输出密集深度图，最后根据目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。本发明充分结合单目摄像头和激光雷达的优点，融合目标检测模型和深度补全模型的输出结果，实现对象级测距，结果可靠，精度高。

Description

一种基于单目摄像头和激光雷达的测距方法
技术领域
本发明涉及智能驾驶技术领域，具体涉及一种基于单目摄像头和激光雷达的测距方法。
背景技术
智能驾驶汽车是一种利用车载传感器，通过智能算法实现辅助驾驶甚至无人驾驶的汽车。车载传感器包括摄像头、毫米波雷达、超声波雷达、激光雷达、红外传感器等，各传感器之间独立收集周围环境信息，应用算法提取有用信息，将提取出来的有用信息进行融合，精准辅助汽车做出决策和控制，从而达到智能驾驶的目的。智能驾驶的关键技术包括感知、融合、决策、控制等，而测距是感知模块极其重要的一个环节，它能将障碍物的距离信息传给汽车决策和控制层，决策和控制层根据距离信息指导汽车做出避让、加速、减速、停止等一系列操作。智能驾驶发展至今，各种测距技术层出不穷，现有的技术包括基于激光雷达的测距和基于摄像头的测距，由于激光雷达的稀疏性和易受干扰性，以及摄像头测距的不准确性，两种测距方案各有弊端。例如，中国专利授权公告号：CN102353352A，公开了一种单摄像头测距系统及其测距方法，它包括摄像头，摄像头将场景成像信息转为图像数据并传输至控制器；摄像头安装在摄像头底座上，摄像头底座与直线轨道配合连接，摄像头底座上设置有一圆轴；拨动连杆一端设置有长方形槽，长方形槽套设在摄像头底座的圆轴上；拨动连杆的另一端固定在舵机的转动轴上；舵机实现平移摄像头的位置；控制器完成对摄像头图像数据信息的采集和存储，控制舵机带动拨动连杆在直线轨道内移动，实现带动摄像头移动；控制器与一通信接口进行信息交互，通信接口完成电平转换，控制器通过通信接口连接外部通信电路。虽然本发明通过单个可移动式摄像头就能实现原来两个摄像头所达到的测距效果，但测距精度不高，结果不可靠。
发明内容
本发明主要是为了解决单独采用激光雷达或摄像头测距精度不高的问题，提供了一种基于单目摄像头和激光雷达的测距方法，充分结合单目摄像头和激光雷达的优点，融合目标检测模型和深度补全模型的输出结果，实现对象级测距，结果可靠，精度高。
为了实现上述目的，本发明采用以下技术方案：
一种基于单目摄像头和激光雷达的测距方法，包括以下步骤：步骤S1)通过安装在汽车上的单目摄像头收集历史交通场景图像数据并对历史图像数据进行处理；步骤S2)通过安装在汽车上的激光雷达收集历史交通场景点云数据并对历史点云数据进行处理；步骤S3)基于深度卷积神经网络构建初始目标检测模型和初始深度补全模型；步骤S4)用处理后的历史图像数据训练初始目标检测模型，获得训练好的目标检测模型，所述目标检测模型用于获取交通场景中障碍物的信息；步骤S5)用处理后的历史点云数据训练初始深度补全模型，获得训练好的深度补全模型，所述深度补全模型用于获取密集深度图；步骤S6)通过单目摄像头采集实时图像数据，通过激光雷达获取实时稀疏深度图；步骤S7)将实时图像数据作为训练好的目标检测模型的输入，所述目标检测模型输出图像中的障碍物信息；步骤S8)将实时图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，所述深度补全模型输出密集深度图；步骤S9)根据所述目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。智能驾驶的关键技术包括感知、融合、决策、控制等，而测距是感知模块极其重要的一个环节，它能将障碍物的距离信息传给汽车决策和控制层，决策和控制层根据距离信息指导汽车做出避让、加速、减速、停止等一系列操作。本发明结合单目摄像头和激光雷达实现对象级测距，其中，单目摄像头通过视觉测距可以弥补激光雷达的稀疏性和易受干扰性，而激光雷达可以弥补摄像头测距的不准确性，两者相辅相成实现高精度测距。具体包括以下步骤：首先在汽车上安装单目摄像头和激光雷达，用于收集历史交通场景图像数据和历史交通场景点云数据，分别对历史图像数据和历史点云数据进行处理获得图像训练集和点云训练集；然后基于端到端的深度卷积神经网络构建初始目标检测模型和初始深度补全模型，分别用图像训练集和点云训练集训练初始目标检测模型和初始深度补全模型，获得训练好的目标检测模型和深度补全模型；接着将单目摄像头实时采集的图像数据作为训练好的目标检测模型的输入，使目标检测模型输出图像中障碍物的信息，包括障碍物的类别、位置、大小；将激光雷达实时采集的点云数据进行处理获得实时稀疏深度图，然后将单目摄像头实时采集的图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，使深度补全模型输出密集深度图；最后根据目标检测模型和深度补全模型的输出结果，计算交通场景中障碍物的距离，实现对象级测距，结果可靠，精度高，有助于推动智能驾驶汽车行业的发展。
作为优选，所述步骤S9中计算障碍物的距离具体包括以下步骤：步骤S91)根据目标检测模型的输出，首先判断交通场景中是否存在障碍物；若是，执行步骤S92；若否，返回执行步骤S6；步骤S92)判断标定的障碍物矩形框中是否有前框、侧框或整框，根据应用顺序确定应用的矩形框，所述应用顺序为前框、侧框、整框；步骤S93)将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；步骤S94)生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，划分出n个连通域；步骤S95)统计每个连通域的像素点个数，生成直方图A[n]，所述直方图A[n]的组数为连通域的个数，所述直方图A[n]每组的频数为对应连通域的像素点个数；步骤S96)遍历直方图，计算频数最大的组A[b]对应的连通域中所有像素点的平均深度值，所述平均深度值为障碍物的距离。本发明融合目标检测模型和深度补全模型的输出结果，计算交通场景中障碍物的距离，实现对象级测距。具体包括以下过程：首先根据目标检测模型的输出，判断图像中是否有障碍物，如果没有障碍物，单目摄像头重新采集；如果有障碍物，判断障碍物是否存在前框、侧框或整框，如果存在前框，则应用前框测距；如果不存在前框存在侧框，则应用侧框测距；如果不存在前框、侧框，存在整框，则应用整框测距，即标定的矩形框应用顺序为前框、侧框、整框；将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；然后生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，将矩形框划分为n个连通域；然后统计每个连通域中像素点的个数，生成组数为连通域个数，每组频数为对应连通域的像素点个数的直方图A[n]；最后遍历直方图A[n]，计算频数最大的组A[b]对应的连通域中所有像素点的深度值的平均值，所述平均值即为待测障碍物的距离。
作为优选，步骤S96中计算障碍物距离的公式为：
Figure BDA0003178062630000031
其中，D表示障碍物的距离，m表示A[b]的频数，di表示第i个像素点的深度值。本发明融合目标检测模型和深度补全模型的输出，实现对象级测距，其中，目标检测模型用于获取障碍物信息，所述深度补全模型用于获取密集深度图，根据获取的障碍物信息和密集深度图，计算直方图A[n]中频数最大的组A[b]对应的连通域中所有像素点的深度值的平均值，此平均值即为交通场景中待测障碍物的距离。
作为优选，所述目标检测模型的生成过程具体包括以下步骤：步骤A1)在汽车上安装单目摄像头，收集历史交通场景图像数据；步骤A2)对收集的历史图像数据进行清洗，去除无效数据；步骤A3)利用数据标定工具对历史图像中的障碍物进行标定获得图像训练集；步骤A4)基于端到端的深度卷积神经网络，设计初始目标检测模型的基础网络结构，采用Yolo V4作为初始目标检测模型的基础网络，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；步骤A5)将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。本发明通过目标检测模型获得交通场景中障碍物的信息，其中，生成目标检测模型的具体过程包括：首先通过设置在汽车上的单目摄像头收集历史交通场景图像数据，将历史交通场景图像数据进行清洗、标定，得到用于训练的图像训练集；基于端到端的深度卷积神经网络构建初始目标检测模型，采用Yolo V4作为初始目标检测模型的基础网络，并将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；最后，将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。之所以将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式，是因为本发明提出的基于单目摄像头和激光雷达的测距方案将运行在车规级的芯片上，就目前而言，芯片运算力有限，测距所属的感知模块必须综合考虑算法性能和速度。Pointwise和Depthwise的组合卷积模块相比于同深度同宽度的常规卷积，大大降低了目标检测模型的计算量，提升了目标检测模型的运算速度，而目标检测模型的性能没有受到太大的牺牲，适合用在车规级芯片上。而Yolo V4网络既保证了速度，也保证了检测的精度，它将彩色图像作为初始目标检测模型的输入，标定的图像训练集作为监督信号，这种端到端的设计十分便于训练与优化。
作为优选，所述深度补全模型的生成过程具体包括以下步骤：步骤B1)在汽车上安装激光雷达，收集历史交通场景点云数据；步骤B2)将收集的历史点云数据与步骤A2中清洗后的历史图像数据在时间域和空间域进行对齐，获得点云训练集；步骤B3)将对齐后的历史点云数据的深度值投影至像素坐标系获得与图像对应的历史稀疏深度图；步骤B4)基于端到端的深度卷积神经网络，设计初始深度补全模型的基础网络结构，所述基础网络结构为基于全卷积的PSP Net结构，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；步骤B6)将清洗后的历史图像数据和历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型。本发明通过深度补全模型获得密集深度图，其中，生成深度补全模型的具体过程包括：首先通过设置在汽车上的激光雷达收集历史交通场景点云数据，将历史交通场景点云数据与清洗后的历史图像数据在时间域和空间域进行对齐，得到用于训练的点云训练集，并将对齐后的历史点云数据的深度值投影至像素坐标系获得历史稀疏深度图；基于端到端的深度卷积神经网络构建初始深度补全模型，采用基于全卷积的PSP Net结构作为初始深度补全模型的基础网络结构，并将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；最后，将清洗后的历史图像数据和在历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型，同时，采用focalloss损失函数对深度补全模型梯度进行更新。将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式，其目的同样是为了降低深度补全模型的计算量，使其适用于车规级芯片。深度补全不仅需要高层语义信息，也需要精细的位置信息，PSP模块融合了不同尺寸的特征信息，保证了高层语义信息和精细的位置信息结合，有助于生成准确的密集深度图。
作为优选，对单目摄像头和激光雷达进行标定，得到单目摄像头和激光雷达的内、外参数。本发明在生成深度补全模型的过程中，需要基于单目摄像头、激光雷达的内、外参数，将历史点云数据与步骤A2中清洗后的历史图像数据在时间域和空间域进行对齐。
作为优选，所述交通场景包括不同道路、不同天气、不同光照的交通场景。汽车上路收集历史交通场景图像数据和历史交通场景点云数据时，需要收集各种交通场景的数据，交通场景应包括不同的道路、不同的天气、不同的光照等，尽可能覆盖全面，同时，每种状态的交通场景数据的数量应保持相对均衡，有助于生成可靠有效的目标检测模型和深度补全模型，提高测距精度。
作为优选，步骤A2中对收集的历史图像数据进行清洗是指过滤掉模糊的或被遮挡的无效图像数据。清洗收集的历史图像数据是指过滤掉外观模糊数据和被严重遮挡的数据，包括逆光、摄像头遮挡、严重模糊等无效数据。后续历史点云数据需要与清洗后的历史图像数据在时间域和空间域进行对齐，即一张图像被清洗掉，对应的激光点云数据也被丢弃。
作为优选，所述标定是指将图像数据需要测距的对象标定出来，标定方式为伪3D标定，标定得到的矩形框包括前框、侧框和整框。同时，本发明提出的目标检测模型输出的矩形框为伪3D形式，矩形框的属性除了障碍物类别，还有子类别，子类别包括前框、侧框和整框，三个矩形框完整描述了车辆的伪3D信息。测距任务因其特殊性，测量的距离为其它行驶车辆离当前车辆的最近距离，即前框的距离；当车辆没有前框时，即车辆相对于当前车辆为横向行车，测量的是侧面离当前车辆的距离，即侧框的距离。一个3D车辆的标定矩形框包括其前框(相向而行的车的前框即车尾，对向而行的车的前框即车头)、侧框(侧面根据实际情况标定，视图中不存在车辆侧面则不标定侧框)、整框(整个车辆的最小外接矩形框)，其它对象的标定方式与车辆的标定方式一样。
因此，本发明的优点是：
(1)充分结合单目摄像头和激光雷达的优点，融合目标检测模型和深度补全模型的输出结果，实现对象级测距，结果可靠，精度高；
(2)单目摄像头通过视觉测距可以弥补激光雷达的稀疏性和易受干扰性，而激光雷达可以弥补摄像头测距的不准确性，两者相辅相成实现高精度测距，有助于推动智能驾驶行业的发展；
(3)将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式，可以降低目标检测模型和深度补全模型的计算量，适用于车规级芯片。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例中生成目标检测模型的流程图。
图3是本发明实施例中生成深度补全模型的流程图。
图4是本发明实施例中划分连通域的结构示意图。
图5是本发明实施例中标定障碍物矩形框的结构示意图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
如图1所示，一种基于单目摄像头和激光雷达的测距方法，包括以下步骤：步骤S1)通过安装在汽车上的单目摄像头收集历史交通场景图像数据并对历史图像数据进行处理；步骤S2)通过安装在汽车上的激光雷达收集历史交通场景点云数据并对历史点云数据进行处理；步骤S3)基于深度卷积神经网络构建初始目标检测模型和初始深度补全模型；步骤S4)用处理后的历史图像数据训练初始目标检测模型，获得训练好的目标检测模型，目标检测模型用于获取交通场景中障碍物的信息；步骤S5)用处理后的历史点云数据训练初始深度补全模型，获得训练好的深度补全模型，深度补全模型用于获取密集深度图；步骤S6)通过单目摄像头采集实时图像数据，通过激光雷达获取实时稀疏深度图；步骤S7)将实时图像数据作为训练好的目标检测模型的输入，目标检测模型输出图像中的障碍物信息；步骤S8)将实时图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，深度补全模型输出密集深度图；步骤S9)根据目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。智能驾驶的关键技术包括感知、融合、决策、控制等，而测距是感知模块极其重要的一个环节，它能将障碍物的距离信息传给汽车决策和控制层，决策和控制层根据距离信息指导汽车做出避让、加速、减速、停止等一系列操作。本发明结合单目摄像头和激光雷达实现对象级测距，其中，单目摄像头通过视觉测距可以弥补激光雷达的稀疏性和易受干扰性，而激光雷达可以弥补摄像头测距的不准确性，两者相辅相成实现高精度测距。具体包括以下步骤：首先在汽车上安装单目摄像头和激光雷达，用于收集历史交通场景图像数据和历史交通场景点云数据，分别对历史图像数据和历史点云数据进行处理获得图像训练集和点云训练集；然后基于端到端的深度卷积神经网络构建初始目标检测模型和初始深度补全模型，分别用图像训练集和点云训练集训练初始目标检测模型和初始深度补全模型，获得训练好的目标检测模型和深度补全模型；接着将单目摄像头实时采集的图像数据作为训练好的目标检测模型的输入，使目标检测模型输出图像中障碍物的信息，包括障碍物的类别、位置、大小；将激光雷达实时采集的点云数据进行处理得到实时稀疏深度图，然后将单目摄像头实时采集的图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，使深度补全模型输出密集深度图；最后根据目标检测模型和深度补全模型的输出结果，计算交通场景中障碍物的距离，实现对象级测距。
步骤S9中计算障碍物的距离具体包括以下步骤：步骤S91)根据目标检测模型的输出，首先判断交通场景中是否存在障碍物；若是，执行步骤S92；若否，返回执行步骤S6；步骤S92)判断标定的障碍物矩形框中是否有前框、侧框或整框，根据应用顺序确定应用的矩形框，应用顺序为前框、侧框、整框；步骤S93)将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；步骤S94)生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，划分出n个连通域；步骤S95)统计每个连通域的像素点个数，生成直方图A[n]，直方图A[n]的组数为连通域的个数，直方图A[n]每组的频数为对应连通域的像素点个数；步骤S96)遍历直方图，计算频数最大的组A[b]对应的连通域中所有像素点的平均深度值，平均深度值为障碍物的距离。本发明融合目标检测模型和深度补全模型的输出结果，计算交通场景中障碍物的距离，实现对象级测距。具体包括以下过程：首先根据目标检测模型的输出，判断图像中是否有障碍物，如果没有障碍物，单目摄像头重新采集；如果有障碍物，判断障碍物是否存在前框、侧框或整框，如果存在前框，则应用前框测距；如果不存在前框存在侧框，则应用侧框测距；如果不存在前框、侧框，存在整框，则应用整框测距，即标定的矩形框应用顺序为前框、侧框、整框；将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；然后生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，将矩形框划分为n个连通域；然后统计每个连通域中像素点的个数，生成组数为连通域个数，每组频数为对应连通域的像素点个数的直方图A[n]；最后遍历直方图A[n]，计算频数最大的组A[b]对应的连通域中所有像素点的深度值的平均值，平均值即为待测障碍物的距离。如图4(a)所示，扫描矩形框，依次比较当前像素点与八邻域值的深度值大小，划分出4个连通域，如图4(b)所示，4个连通域对应的掩码值依次为0、1、2、3，图4(b)为图4(a)对应的掩码图；然后统计每个连通域中像素点的个数，如图4(b)所示，掩码值0、1、2、3对应的连通域的像素点个数分别为11、17、3、5，生成直方图A[4]，直方图A[4]的组数为4，每组的频数依次为11、17、3、5，遍历直方图A[4]，可知A[1]最大，为17；最后计算掩码值1对应的连通域中17个像素点的平均深度值，此平均深度值即为待测障碍物的距离。
步骤S96中计算障碍物距离的公式为：
Figure BDA0003178062630000081
其中，D表示障碍物的距离，m表示A[b]的频数，di表示第i个像素点的深度值。本发明融合目标检测模型和深度补全模型的输出，实现对象级测距，其中，目标检测模型用于获取障碍物信息，深度补全模型用于获取密集深度图，根据获取的障碍物信息和密集深度图，计算直方图A[n]中频数最大的组A[b]对应的连通域中所有像素点的深度值的平均值，此平均值即为交通场景中待测障碍物的距离。
如图2所示，目标检测模型的生成过程具体包括以下步骤：步骤A1)在汽车上安装单目摄像头，收集历史交通场景图像数据；步骤A2)对收集的历史图像数据进行清洗，去除无效数据；步骤A3)利用数据标定工具对历史图像中的障碍物进行标定获得图像训练集；步骤A4)基于端到端的深度卷积神经网络，设计初始目标检测模型的基础网络结构，采用YoloV4作为初始目标检测模型的基础网络，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；步骤A5)将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。本发明通过目标检测模型获得交通场景中障碍物的信息，其中，生成目标检测模型的具体过程包括：首先通过设置在汽车上的单目摄像头收集历史交通场景图像数据，将历史交通场景图像数据进行清洗、标定，得到用于训练的图像训练集；基于端到端的深度卷积神经网络构建初始目标检测模型，采用Yolo V4作为初始目标检测模型的基础网络，并将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；最后，将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。
如图3所示，深度补全模型的生成过程具体包括以下步骤：步骤B1)在汽车上安装激光雷达，收集历史交通场景点云数据；步骤B2)将收集的历史点云数据与步骤A2中清洗后的历史图像数据在时间域和空间域进行对齐，获得点云训练集；步骤B3)将对齐后的历史点云数据的深度值投影至像素坐标系获得与图像对应的历史稀疏深度图；步骤B5)基于端到端的深度卷积神经网络，设计初始深度补全模型的基础网络结构，基础网络结构为基于全卷积的PSP Net结构，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；步骤B6)将清洗后的历史图像数据和历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型。本发明通过深度补全模型获得密集深度图，其中，生成深度补全模型的具体过程包括：首先通过设置在汽车上的激光雷达收集历史交通场景点云数据，将历史交通场景点云数据在时间域和空间域进行对齐，得到用于训练的点云训练集，并将对齐后的历史点云数据的深度值投影至像素坐标系获得与图像对应的历史稀疏深度图；基于端到端的深度卷积神经网络构建初始深度补全模型，采用基于全卷积的PSP Net结构作为初始深度补全模型的基础网络结构，并将所有常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；最后，将清洗后的历史图像数据和历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型，同时，采用focalloss损失函数对深度补全模型梯度进行更新。
对单目摄像头和激光雷达进行标定，得到单目摄像头和激光雷达的内、外参数。本发明在生成深度补全模型的过程中，需要基于单目摄像头、激光雷达的内、外参数，将历史点云数据与步骤A2中清洗后的历史图像数据在时间域和空间域进行对齐。
交通场景包括不同道路、不同天气、不同光照的交通场景。汽车上路收集历史交通场景图像数据和历史交通场景点云数据时，需要收集各种交通场景的数据，交通场景应包括不同的道路、不同的天气、不同的光照等，尽可能覆盖全面，同时，每种状态的交通场景数据的数量应保持相对均衡。
步骤A2中对收集的历史图像数据进行清洗是指过滤掉模糊的或被遮挡的无效图像数据。清洗收集的历史图像数据是指过滤掉外观模糊数据和被严重遮挡的数据，包括逆光、摄像头遮挡、严重模糊等无效数据。后续历史点云数据需要与清洗后的历史图像数据在时间域和空间域进行对齐，即一张图像被清洗掉，对应的激光点云数据也被丢弃。
标定是指将图像数据需要测距的对象标定出来，标定方式为伪3D标定，标定得到的矩形框包括前框、侧框和整框。同时，本发明提出的目标检测模型输出的矩形框为伪3D形式，矩形框的属性除了障碍物类别，还有子类别，子类别包括前框、侧框和整框，三个矩形框完整描述了车辆的伪3D信息。测距任务因其特殊性，测量的距离为其它行驶车辆离当前车辆的最近距离，即前框的距离；当车辆没有前框时，即车辆相对于当前车辆为横向行车，测量的是侧面离当前车辆的距离，即侧框的距离。一个3D车辆的标定矩形框包括其前框(相向而行的车的前框即车尾，对向而行的车的前框即车头)、侧框(侧面根据实际情况标定，视图中不存在车辆侧面则不标定侧框)、整框(整个车辆的最小外接矩形框)，其它对象的标定方式与车辆的标定方式一样。如图5所示，ABDC为该目标车辆的前框，CDFE为该目标车辆的侧框，ABGE为该目标车辆的整框，目标检测模型只需回归出7个点(ABCDEFG)的坐标，即可完整描述该目标车辆的伪3D信息。

Claims (9)

1.一种基于单目摄像头和激光雷达的测距方法，其特征在于，包括以下步骤：
步骤S1：通过安装在汽车上的单目摄像头收集历史交通场景图像数据并对历史图像数据进行处理；
步骤S2：通过安装在汽车上的激光雷达收集历史交通场景点云数据并对历史点云数据进行处理；
步骤S3：基于深度卷积神经网络构建初始目标检测模型和初始深度补全模型；
步骤S4：用处理后的历史图像数据训练初始目标检测模型，获得训练好的目标检测模型，所述目标检测模型用于获取交通场景中障碍物的信息；
步骤S5：用处理后的历史点云数据训练初始深度补全模型，获得训练好的深度补全模型，所述深度补全模型用于获取密集深度图；
步骤S6：通过单目摄像头采集实时图像数据，通过激光雷达获取实时稀疏深度图；
步骤S7：将实时图像数据作为训练好的目标检测模型的输入，所述目标检测模型输出图像中的障碍物信息；
步骤S8：将实时图像数据和实时稀疏深度图作为训练好的深度补全模型的输入，所述深度补全模型输出密集深度图；
步骤S9：根据所述目标检测模型和深度补全模型的输出，计算交通场景中障碍物的距离。
2.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述步骤S9中计算障碍物的距离具体包括以下步骤：
步骤S91：根据目标检测模型的输出，首先判断交通场景中是否存在障碍物；若是，执行步骤S92；若否，返回执行步骤S6；
步骤S92：判断标定的障碍物矩形框中是否有前框、侧框或整框，根据应用顺序确定应用的矩形框，所述应用顺序为前框、侧框、整框；
步骤S93：将应用的矩形框投影到深度补全模型输出的密集深度图中，得到矩形框内障碍物所有像素点的深度值；
步骤S94：生成矩形框分辨率大小的掩码矩阵，扫描矩形框，通过依次比较当前像素点与八邻域值的大小，划分出n个连通域；
步骤S95：统计每个连通域的像素点个数，生成直方图A[n]，所述直方图A[n]的组数为连通域的个数，所述直方图A[n]每组的频数为对应连通域的像素点个数；
步骤S96：遍历直方图，计算频数最大的组A[b]对应的连通域中所有像素点的平均深度值，所述平均深度值为障碍物的距离。
3.根据权利要求2所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，步骤S96中计算障碍物距离的公式为：
Figure FDA0003178062620000021
其中，D表示障碍物的距离，m表示A[b]的频数，di表示第i个像素点的深度值。
4.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述目标检测模型的生成过程具体包括以下步骤：
步骤A1：在汽车上安装单目摄像头，收集历史交通场景图像数据；
步骤A2：对收集的历史图像数据进行清洗，去除无效数据；
步骤A3：利用数据标定工具对历史图像中的障碍物进行标定获得图像训练集；
步骤A4：基于端到端的深度卷积神经网络，设计初始目标检测模型的基础网络结构，采用Yolo V4作为初始目标检测模型的基础网络，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；
步骤A5：将清洗后的历史图像数据作为初始目标检测模型的输入，用图像训练集作为监督信号训练初始目标检测模型，采用随机梯度下降法进行优化获得训练好的目标检测模型。
5.根据权利要求4所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述深度补全模型的生成过程具体包括以下步骤：
步骤B1：在汽车上安装激光雷达，收集历史交通场景点云数据；
步骤B2：将收集的历史点云数据与步骤A2中清洗后的历史图像数据在时间域和空间域进行对齐，获得点云训练集；
步骤B3：将对齐后的历史点云数据的深度值投影至像素坐标系获得与图像对应的历史稀疏深度图；
步骤B4：基于端到端的深度卷积神经网络，设计初始深度补全模型的基础网络结构，所述基础网络结构为基于全卷积的PSP Net结构，将所有的常规卷积替换成mobileNet的pointwise和depthwise的组合卷积形式；
步骤B5：将清洗后的历史图像数据和历史稀疏深度图作为初始深度补全模型的输入，用点云训练集作为监督信号训练初始深度补全模型，采用随机梯度下降法进行优化获得训练好的深度补全模型。
6.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，对单目摄像头和激光雷达进行标定，得到单目摄像头和激光雷达的内、外参数。
7.根据权利要求1所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述交通场景包括不同道路、不同天气、不同光照的交通场景。
8.根据权利要求4所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，步骤A2中对收集的历史图像数据进行清洗是指过滤掉模糊的或被遮挡的无效图像数据。
9.根据权利要求5所述的一种基于单目摄像头和激光雷达的测距方法，其特征在于，所述标定是指将图像数据需要测距的对象标定出来，标定方式为伪3D标定，标定得到的矩形框包括前框、侧框和整框。
CN202110838512.5A 2021-07-23 2021-07-23 一种基于单目摄像头和激光雷达的测距方法 Active CN113689483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110838512.5A CN113689483B (zh) 2021-07-23 2021-07-23 一种基于单目摄像头和激光雷达的测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110838512.5A CN113689483B (zh) 2021-07-23 2021-07-23 一种基于单目摄像头和激光雷达的测距方法

Publications (2)

Publication Number Publication Date
CN113689483A true CN113689483A (zh) 2021-11-23
CN113689483B CN113689483B (zh) 2024-01-12

Family

ID=78577979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110838512.5A Active CN113689483B (zh) 2021-07-23 2021-07-23 一种基于单目摄像头和激光雷达的测距方法

Country Status (1)

Country Link
CN (1) CN113689483B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638880A (zh) * 2022-05-23 2022-06-17 中国科学技术大学先进技术研究院 平面测距方法、单目摄像头及计算机可读存储介质
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置
CN116295356A (zh) * 2023-03-31 2023-06-23 国广顺能(上海)能源科技有限公司 一种单目检测与测距方法、电子设备和存储介质
CN116721093A (zh) * 2023-08-03 2023-09-08 克伦斯(天津)轨道交通技术有限公司 基于神经网络的地铁轨道障碍物检测方法和系统
CN117911482A (zh) * 2022-10-18 2024-04-19 北京三快在线科技有限公司 图像处理方法、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741879A (zh) * 2009-11-18 2012-10-17 财团法人工业技术研究院 由单眼图像产生深度图的方法及其系统
CN110852177A (zh) * 2019-10-17 2020-02-28 北京全路通信信号研究设计院集团有限公司 基于单目相机的障碍物检测方法及系统
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及系统
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
CN112001958A (zh) * 2020-10-28 2020-11-27 浙江浙能技术研究院有限公司 基于有监督单目深度估计的虚拟点云三维目标检测方法
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741879A (zh) * 2009-11-18 2012-10-17 财团法人工业技术研究院 由单眼图像产生深度图的方法及其系统
CN110852177A (zh) * 2019-10-17 2020-02-28 北京全路通信信号研究设计院集团有限公司 基于单目相机的障碍物检测方法及系统
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及系统
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
CN112001958A (zh) * 2020-10-28 2020-11-27 浙江浙能技术研究院有限公司 基于有监督单目深度估计的虚拟点云三维目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈毅;张帅;汪贵平;: "基于激光雷达和摄像头信息融合的车辆检测算法", 机械与电子, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638880A (zh) * 2022-05-23 2022-06-17 中国科学技术大学先进技术研究院 平面测距方法、单目摄像头及计算机可读存储介质
CN115331447A (zh) * 2022-10-13 2022-11-11 苏州挚途科技有限公司 基于传感器融合的数据关联方法以及装置
CN117911482A (zh) * 2022-10-18 2024-04-19 北京三快在线科技有限公司 图像处理方法、设备
CN116295356A (zh) * 2023-03-31 2023-06-23 国广顺能(上海)能源科技有限公司 一种单目检测与测距方法、电子设备和存储介质
CN116721093A (zh) * 2023-08-03 2023-09-08 克伦斯(天津)轨道交通技术有限公司 基于神经网络的地铁轨道障碍物检测方法和系统
CN116721093B (zh) * 2023-08-03 2023-10-31 克伦斯(天津)轨道交通技术有限公司 基于神经网络的地铁轨道障碍物检测方法和系统

Also Published As

Publication number Publication date
CN113689483B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110942449B (zh) 一种基于激光与视觉融合的车辆检测方法
CN113689483B (zh) 一种基于单目摄像头和激光雷达的测距方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN105711597B (zh) 前方局部行驶环境感知系统及方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN104005325B (zh) 基于深度和灰度图像的路面裂缝检测装置和方法
CN105300403B (zh) 一种基于双目视觉的车辆里程计算法
CN109359409A (zh) 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
JP2021508815A (ja) 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
JP2008216177A (ja) 物体検出装置
CN103487034A (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN114200442B (zh) 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
AU2020270486A1 (en) Data integration from multiple sensors
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
Chen et al. Vision-based distance estimation for multiple vehicles using single optical camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant