CN112346073B - 一种动态视觉传感器与激光雷达数据融合方法 - Google Patents

一种动态视觉传感器与激光雷达数据融合方法 Download PDF

Info

Publication number
CN112346073B
CN112346073B CN202011025103.5A CN202011025103A CN112346073B CN 112346073 B CN112346073 B CN 112346073B CN 202011025103 A CN202011025103 A CN 202011025103A CN 112346073 B CN112346073 B CN 112346073B
Authority
CN
China
Prior art keywords
point
vision sensor
point cloud
points
dynamic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011025103.5A
Other languages
English (en)
Other versions
CN112346073A (zh
Inventor
黄凯
朱裕章
李博洋
孟浩
宋日辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011025103.5A priority Critical patent/CN112346073B/zh
Publication of CN112346073A publication Critical patent/CN112346073A/zh
Application granted granted Critical
Publication of CN112346073B publication Critical patent/CN112346073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及机器视觉技术领域，更具体地，涉及一种动态视觉传感器与激光雷达数据融合方法，包括以下步骤：S1：通过动态视觉传感器和激光雷达分别获取事件帧数据和点云帧；S2：对得到的数据和点云帧进行预处理得到预处理数据；S3：对预处理数据进行区域划分，构建邻域得到邻域点集合；S4：对动态视觉传感器的像素点进行深度估计得到深度值；S5：融合像素点和点云帧中的点得到深度图，根据深度图得到每个像素点的三维坐标，并填补到点云帧中完成融合得到稠密三维点云数据。本发明利用动态视觉传感器输出数据流，同时还能得到稠密的事件点，与激光雷达的点云数据进行融合形成稠密的点云数据，大大提高算法的精确度。

Description

一种动态视觉传感器与激光雷达数据融合方法
技术领域
本发明涉及机器视觉技术领域，更具体地，涉及一种动态视觉传感器与激光雷达数据融合方法。
背景技术
目前常用的传感器设备有相机、激光雷达、动态视觉传感器等，相机以固定频率采集帧的形式输出环境的图像信息，无法采集位置信息且具有高冗余、高延迟、高噪声、低动态范围和高数据量等缺陷；激光雷达可以生成周围环境的三维空间形态的点云数据，但是价格比较低的三维激光雷达的重要缺陷之一是分辨率低；动态视觉传感器仅输出光强发生变化像素的地址和信息，不是被动依次读出“帧”内每个像素信息，从源头上消除冗余数据，具有场景变化实时动态响应、图像超稀疏表示、事件异步输出等特点，可广泛应用于高速目标跟踪、实时监控、工业自动化和机器人视觉等领域。动态视觉传感器事件点的深度估算的方法按传感器来分，可以分为单个动态视觉传感器进行深度估算，两个或多个动态视觉传感器进行估算两类以及一个动态视觉传感器以及其他传感器结合进行深度估算。
在智能化、自动化迅猛发展情况下，在应用广泛的机器人领域，当机器人处于动态变换的环境当中，需要利用特定传感设备对周围的物理环境进行感知，这要求数据来源丰富、可靠且便于后续感知算法处理。而且处理精度要高、速度要快，才能更好地感知外部环境。
中国专利CN110675431B公开了一种融合图像和激光点云的三维多目标跟踪方法，融合激光雷达的点云以及相机的图像数据，充分发挥点云数据和图像数据之间互补的优势，通过提取目标的三维空间位置信息，点云特征、图像特征，对检测目标与跟踪轨迹之间进行匹配，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，得到准确稳定的三维多目标跟踪。但是这样的方法需要额外提取目标特征，再通过外参配准的方法进行融合，计算量较大，且精度受限于特征提取算法的效果。
中国专利CN110456363A公开了一种三维激光点云和红外图像融合的目标检测及定位方法，建立红外相机与三维激光雷达的坐标转换关系；红外相机采集红外图像，获得红外图像目标候选区域；三维激光雷达采集雷达数据，获得雷达目标候选区域及其中心点坐标；利用坐标转换关系将雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将交并比达到设定门限的红外雷达公共区域作为最终目标区域保留下来；从最终目标区域中提取区域长宽比、最大温度和温度离散度组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果。这个方案可以提高目标检测的效果，但其采取了分别对数据进行聚类然后再进行配准的方式，得到的公共区域为融合数据，计算量也较大，且没有达到像素级精度。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种像素级、高精度、计算量少的动态视觉传感器与激光雷达数据融合方法。
为解决上述技术问题，本发明采用的技术方案是：
提供一种动态视觉传感器与激光雷达数据融合方法，包括以下步骤：
S1：通过动态视觉传感器和激光雷达分别获取事件帧数据和点云帧；
S2：对得到的数据和点云帧进行预处理得到预处理数据；
S3：对预处理数据进行区域划分，构建邻域得到邻域点集合；
S4：对动态视觉传感器的像素点进行深度估计得到深度值；
S5：融合像素点和点云帧中的点得到深度图，根据深度图得到每个像素点的三维坐标，并填补到点云帧中完成融合得到稠密三维点云数据。
本发明通过动态视觉传感器输出不含深度信息但稠密的事件流，结合激光雷达的深度信息，对动态视觉传感器的每个像素点进行融合最终得到稠密的三维点云数据，达到了像素级的融合精度，且不再需要额外的算法对图像内的物体进行特征提取，大大减少了计算量，还避免了特征提取算法效果对融合精度的影响，进而能整体提高物体感知算法的精确度。
优选地，上述的步骤S1具体包括以下步骤：
S11：激光雷达进行扫描得到三维点云数据，动态视觉传感器工作得到事件流，激光雷达进入和离开动态视觉传感器视野范围的时间分别存储为tb、te；这样可以使得动态视觉传感器与激光雷达扫描的场景能够对应融合；
S12：通过方位角判断并提取在动态视觉传感器的视野范围的三维点云数据并拼接形成点云帧；
S13：截取事件流中Δt＝te-tb时间内的事件点，得到事件点集合Se，记为事件帧，对应激光雷达的一帧点云。
优选地，上述的步骤S2具体包括以下步骤：
S21：定义三维点云数据为P3D＝{p3d1 p3d2，...，p3dn}；
其中，n为点云帧中激光点的数目；
S22：使用深度阈值dthreshold对P3D进行过滤得到P′3D；以排除由于距离太远作为背景的激光点干扰像素深度的估计；
S23：将P′3D投影到二维平面得到二维点云数据P2D＝{p2d1 p2d2，...，p2dn}，其公式为：
P2D＝CPP′3D，
Figure SMS_1
Figure SMS_2
其中，n为点云帧中激光点的数目；矩阵C是动态视觉传感器的内参矩阵；矩阵P为外参矩阵；R为3*3的矩阵；T为1*3的矩阵；fu，fv为相机的焦距；cu，cv为主点在相机投影面上横向和纵向的偏移量；
S24：将平面上的动态视觉传感器输出的事件进行基于密度的聚类，获得聚类簇，并构建矩形，以使得动态视觉传感器的像素点与投影后的激光点可建立联系。
优选地，上述的步骤S23投影具体过程为：
S231：将P′3D通过外参矩阵P的变换将三维点云平移旋转到动态视觉传感器对应的位置；
S232：通过内参矩阵C、利用小孔成像模型将三维点云投影到二维平面。
优选地，上述的步骤S24中针对每一个聚类簇，找到其最上、最下、最左、最右点，并构建一个包含聚类簇的矩形，定义矩形内的激光点的集合为：S＝{p2d1 p2d2，...，p2dM}，其中，M为矩形内激光点的数目；定义矩形内的时间为：E＝{e1，e2，...，eN}，其中，N为矩形内有效像素的数量。
优选地，上述的步骤S3中将矩形边界作为区域划分的约束条件，在矩形内部基于激光点p2di构建泰森多边形，对矩形进行划分p2di，定义划分的多边形区域为Area(p2di)＝{p|d(p，p2di)≤d(p，p2dj)，p2di，p2dj∈S，i≠j}，其中P为矩形内任意一点。保证落在每个区域内的点到该区域中心点的距离比到其他区域中心点的距离近，为每个像素点直接找到对应的激光点。
优选地，上述的步骤S3中构建泰森多边形过程中同时构建德劳内三角形网，并定义德劳内三角形网的公共顶点为划分的多边形区域的根点。
优选地，上述的步骤S4具体包括以下步骤：
S41：以根点的深度为基准，在像素点邻域内的其他激光点中过滤掉深度与根点区别超过设定值的点；
S42：判断根点与像素点形成的目标向量方向上的空间曲面为变化平滑的平面或变化尖锐的非平面；
S43：若为变化平滑的平面，则选中包围目标向量的两个方向向量作为向量基，将目标向量用向量基表示，并求出权重值，利用权重值得到像素点的深度值，具体公式如下：
Figure SMS_3
其中，A为激光点；a为像素点；da为像素点a的深度值；
Figure SMS_4
与/>
Figure SMS_5
分别为方向向量；α与β为权重；dA为激光点A的深度值；/>
Figure SMS_6
为向量/>
Figure SMS_7
末点深度值与起始点深度值之差；/>
Figure SMS_8
为向量/>
Figure SMS_9
末点深度值与起始点深度值之差；
若为变化尖锐的非平面，则找到与目标向量在方向上最接近的方向向量，然后将目标向量投影到该向量之上，利用投影点与目标向量两个端点的距离作为权重进行加权深度估算，具体公式为：
da＝αdA+βdB，
Figure SMS_10
Figure SMS_11
其中，A和B为激光点；a为像素点；da为像素点a的深度值；b为Aa在AB上的投影点；
Figure SMS_12
和/>
Figure SMS_13
分别表示投影点b距离A与B的距离；α与β为权重；/>
Figure SMS_14
是离/>
Figure SMS_15
最近的方向向量。
优选地，上述的步骤S42中判断的具体步骤为：
S421：基于根点与邻居点构建两个方向向量，由所述两个方向向量形成夹角区域，为目标目标向量方向上的空间曲面；
S422：若目标向量方向上两个邻居点中至少一个邻居点被过滤，则认为是变化尖锐的非平面，若两个邻居点均没有被过来，则认为是变化平滑的平面。
优选地，上述的步骤S43中若a位于AB上，
Figure SMS_16
和/>
Figure SMS_17
共线，则da＝αAa+βBa，其中Aa和Ba分别表示像素点a到激光点A、B的距离。
与现有技术相比，本发明的有益效果是：
(1)利用动态视觉传感器输出数据流，从源头上减少冗余数据，同时还能得到稠密的事件点，与激光雷达的点云数据进行融合，形成稠密的点云数据，从像素级上进行融合，大大提高算法的精确度；
(2)不需要额外算法对图像进行特征提取，大大减少计算量，且不会带入特征提取算法的误差，进而提高算法的精确度。
附图说明
图1为本发明动态视觉传感器与激光雷达数据融合方法的流程示意图；
图2为利用激光雷达扫描车辆得到的第一原始激光点云；
图3为图2应用本发明动态视觉传感器与激光雷达数据融合方法得到的激光点云；
图4为利用激光雷达扫描车辆得到的第二原始激光点云；
图5为图4应用本发明动态视觉传感器与激光雷达数据融合方法得到的激光点云；
图6为利用激光雷达扫描车辆得到的第三原始激光点云；
图7为图6应用本发明动态视觉传感器与激光雷达数据融合方法得到的激光点云。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例
如图1所示为本发明动态视觉传感器与激光雷达数据融合方法的实施例，包括以下步骤：
S1：通过动态视觉传感器和激光雷达分别获取事件帧数据和点云帧；
S2：对得到的数据和点云帧进行预处理得到预处理数据；
S3：对预处理数据进行区域划分，构建邻域得到邻域点集合；
S4：对动态视觉传感器的像素点进行深度估计得到深度值；
S5：融合像素点和点云帧中的点得到深度图，根据深度图得到每个像素点的三维坐标，并填补到点云帧中完成融合得到稠密三维点云数据。
动态视觉传感器产生的数据是事件流。事件流中的一个事件点由(x，y，t，p)组成，其中(x，y)表示的是触发事件的传感器位置，t表示触发的时间，p表示事件点的极性，P的值为正代表该事件是由光线增加而触发的，为负则表示该事件由光线减弱导致的。由于动态视觉传感器的各个像素是可以被异步触发的，且输出频率很高，所示动态视觉传感器的事件流可以被视为是一个(x，y，t)三维坐标轴下的三维散点数据，并没有帧的概念。
本实施例中步骤S1具体包括以下步骤：
S11：激光雷达进行扫描得到三维点云数据，动态视觉传感器工作得到事件流，激光雷达进入和离开动态视觉传感器视野范围的时间分别存储为tb、te；这样可以使得动态视觉传感器与激光雷达扫描的场景能够对应融合；
S12：通过方位角判断并提取在动态视觉传感器的视野范围的三维点云数据并拼接形成点云帧；
S13：截取事件流中Δt＝te-tb时间内的事件点，得到事件点集合Se，记为事件帧，对应激光雷达的一帧点云。
本实施例中步骤S2具体包括以下步骤：
S21：定义三维点云数据为P3D＝{p3d1 p3d2，...，p3dn}；
其中，n为点云数据中激光点的数目；
S22：使用深度阈值dthreshold对P3D进行过滤得到P′3D；以排除由于距离太远作为背景的激光点干扰像素深度的估计；
S23：将P′3D投影到二维平面得到二维点云数据P2D＝{p2d1 p2d2，...，p2dn}，其公式为：
P2D＝CPP′3D，
Figure SMS_18
Figure SMS_19
其中，n为点云数据中激光点的数目；矩阵C是动态视觉传感器的内参矩阵；矩阵P为外参矩阵；R为3*3的矩阵；T为1*3的矩阵；fu，fv为相机的焦距；cu，cv为主点在相机投影面上横向和纵向的偏移量；
S24：将平面上的动态视觉传感器输出的事件进行基于密度的聚类，获得聚类簇，并构建矩形，以使得动态视觉传感器的像素点与投影后的激光点可建立联系。
本实施例中步骤S23投影具体过程为：
S231：将P′3D通过外参矩阵P的变换将三维点云平移旋转到动态视觉传感器对应的位置；
S232：通过内参矩阵C、利用小孔成像模型将三维点云投影到二维平面。
本实施例中步骤S24中针对每一个聚类簇，找到其最上、最下、最左、最右点，并构建一个包含聚类簇的矩形，定义矩形内的激光点的集合为：S＝{p2d1 p2d2，...，p2dM}，其中，M为矩形内激光点的数目；定义矩形内的时间为：E＝{e1，e2，...，eN}，其中，N为矩形内有效像素的数量。
本实施例中步骤S3中将矩形边界作为区域划分的约束条件，在矩形内部基于激光点p2di构建泰森多边形，对矩形进行划分p2di，定义划分的多边形区域为Area(p2di)＝{p|d(p，p2di)≤d(p，p2dj)，p2di，p2dj∈S，i≠j}，其中P为矩形内任意一点。保证落在每个区域内的点到该区域中心点的距离比到其他区域中心点的距离近，为每个像素点直接找到对应的激光点。
本实施例中步骤S3中构建泰森多边形过程中同时构建德劳内三角形网，并定义德劳内三角形网的公共顶点为划分的多边形区域的根点。
本实施例中步骤S4具体包括以下步骤：
S41：以根点的深度为基准，在像素点邻域内的其他激光点中过滤掉深度与根点区别超过设定值的点；需要说明的是设定值为可变值，根据算法应用场景而认为设定，这里不做限定；
S42：判断根点与像素点形成的目标向量方向上的空间曲面为变化平滑的平面或变化尖锐的非平面；
S43：若为变化平滑的平面，则选中包围目标向量的两个方向向量作为向量基，将目标向量用向量基表示，并求出权重值，利用权重值得到像素点的深度值，具体公式如下：
Figure SMS_20
Figure SMS_21
其中，A为激光点；a为像素点；da为像素点a的深度值；
Figure SMS_22
与/>
Figure SMS_23
分别为方向向量；α与β为权重；dA为激光点A的深度值；/>
Figure SMS_24
为向量/>
Figure SMS_25
末点深度值与起始点深度值之差；/>
Figure SMS_26
为向量/>
Figure SMS_27
末点深度值与起始点深度值之差；
若为变化尖锐的非平面，则找到与目标向量在方向上最接近的方向向量，然后将目标向量投影到该向量之上，利用投影点与目标向量两个端点的距离作为权重进行加权深度估算，具体公式为：
da＝αdA+βdB，
Figure SMS_28
Figure SMS_29
其中，A和B为激光点；a为像素点；da为像素点a的深度值；b为Aa在AB上的投影点；
Figure SMS_30
和/>
Figure SMS_31
分别表示投影点b距离A与B的距离；α与β为权重；/>
Figure SMS_32
是离/>
Figure SMS_33
最近的方向向量。
本实施例中步骤S42中判断的具体步骤为：
S421：基于根点与邻居点构建两个方向向量，由所述两个方向向量形成夹角区域，为目标目标向量方向上的空间曲面；
S422：若目标向量方向上两个邻居点中至少一个邻居点被过滤，则认为是变化尖锐的非平面，若两个邻居点均没有被过来，则认为是变化平滑的平面。
本实施例中的步骤S43中若a位于AB上，
Figure SMS_34
和/>
Figure SMS_35
共线，则da＝αAa+βBa，其中Aa和Ba分别表示像素点a到激光点A、B的距离。
如图2、图4、图6所示，为只利用激光雷达对车辆进行激光扫描得到的点云，其中矩形框内为车辆，如图3、图5、图7分别为对应的利用本方案动态视觉传感器与激光雷达数据融合方法得到的点云，通过对比可以看到扫描得到的车辆信息更为稠密，说明检测精度大大提高。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种动态视觉传感器与激光雷达数据融合方法，其特征在于，包括以下步骤：
S1：通过动态视觉传感器和激光雷达分别获取事件帧数据和点云帧；
S2：对得到的数据和点云帧进行预处理得到预处理数据；
S3：对预处理数据进行区域划分，构建邻域得到邻域点集合；
S4：对动态视觉传感器的像素点进行深度估计得到深度值；
S5：融合像素点和点云帧中的激光点得到深度图，根据深度图得到每个像素点的三维坐标，并填补到点云帧中完成融合得到稠密三维点云数据；
所述步骤S1具体包括以下步骤：
S11：激光雷达进行扫描得到三维点云数据，动态视觉传感器工作得到事件流，激光雷达进入和离开动态视觉传感器视野范围的时间分别存储为tb、te；
S12：通过方位角判断并提取在动态视觉传感器的视野范围的三维点云数据并拼接形成点云帧；
S13：截取事件流中∆t =
Figure QLYQS_1
−/>
Figure QLYQS_2
时间内的事件点，得到事件点的集合/>
Figure QLYQS_3
，基底为事件帧；
所述步骤S4具体包括以下步骤：
S41：以根点的深度为基准，在像素点邻域内的其他激光点中过滤掉深度与根点区别超过设定值的点；
S42：判断根点与像素点形成的目标向量方向上的空间曲面为变化平滑的平面或变化尖锐的非平面；
S43：若为变化平滑的平面，则选中包围目标向量的两个方向向量作为向量基，将目标向量用向量基表示，并求出权重值，利用权重值得到像素点的深度值，具体公式如下：
Figure QLYQS_4
，
其中，A为激光点；a为像素点；
Figure QLYQS_6
为像素点a的深度值；/>
Figure QLYQS_9
与/>
Figure QLYQS_10
分别为方向向量；/>
Figure QLYQS_11
与/>
Figure QLYQS_12
为权重；/>
Figure QLYQS_13
为激光点A的深度值；/>
Figure QLYQS_14
为向量/>
Figure QLYQS_5
末点深度值与起始点深度值之差；/>
Figure QLYQS_7
为向量/>
Figure QLYQS_8
末点深度值与起始点深度值之差；
若为变化尖锐的非平面，则找到与目标向量在方向上最接近的方向向量，然后将目标向量投影到该向量之上，利用投影点与目标向量两个端点的距离作为权重进行加权深度估算，具体公式为：
Figure QLYQS_15
Figure QLYQS_16
Figure QLYQS_17
其中，A和B为激光点；a为像素点；
Figure QLYQS_18
为像素点a的深度值；b为Aa在AB上的投影点；/>
Figure QLYQS_19
和
Figure QLYQS_20
分别表示投影点b距离A与B的距离；/>
Figure QLYQS_21
与/>
Figure QLYQS_22
为权重；/>
Figure QLYQS_23
是离/>
Figure QLYQS_24
最近的方向向量。
2.根据权利要求1所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S2具体包括以下步骤：
S21：定义三维点云数据为
Figure QLYQS_25
；
其中，n为点云帧中激光点的数目；
S22：使用深度阈值
Figure QLYQS_26
对/>
Figure QLYQS_27
进行过滤得到/>
Figure QLYQS_28
；
S23：将
Figure QLYQS_29
投影到二维平面得到二维点云数据/>
Figure QLYQS_30
，其公式为：
Figure QLYQS_31
，
Figure QLYQS_32
，
Figure QLYQS_33
；
其中，n为点云帧中激光点的数目；矩阵C是动态视觉传感器的内参矩阵；矩阵P为外参矩阵；R为3*3的矩阵；T为1*3的矩阵；
Figure QLYQS_34
为相机的焦距；/>
Figure QLYQS_35
为主点在相机投影面上横向和纵向的偏移量；
S24：将平面上的动态视觉传感器输出的事件进行基于密度的聚类，获得聚类簇，并构建矩形。
3.根据权利要求2所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S23投影具体过程为：
S231：将
Figure QLYQS_36
通过外参矩阵P的变换将三维点云平移旋转到动态视觉传感器对应的位置；
S232：通过内参矩阵C、利用小孔成像模型将三维点云投影到二维平面。
4.根据权利要求2所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S24中针对每一个聚类簇，找到其最上、最下、最左、最右点，并构建一个包含聚类簇的矩形，定义矩形内的激光点的集合为：
Figure QLYQS_37
其中，M为矩形内激光点的数目；定义矩形内的时间为：/>
Figure QLYQS_38
，其中，N为矩形内有效像素的数量。
5.根据权利要求4所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S3中将矩形边界作为区域划分的约束条件，在矩形内部基于激光点
Figure QLYQS_39
构建泰森多边形，对矩形进行划分/>
Figure QLYQS_40
，定义划分的多边形区域为
Figure QLYQS_41
，其中P为矩形内任意一点。
6.根据权利要求5所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S3中构建泰森多边形过程中同时构建德劳内三角形网，并定义德劳内三角形网的公共顶点为划分的多边形区域的根点。
7.根据权利要求1述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S42中判断的具体步骤为：
S421：基于根点与邻居点构建两个方向向量，由所述两个方向向量形成夹角区域，为目标向量方向上的空间曲面；
S422：若目标向量方向上两个邻居点中至少一个邻居点被过滤，则认为是变化尖锐的非平面，若两个邻居点均没有被过滤，则认为是变化平滑的平面。
8.根据权利要求1所述的一种动态视觉传感器与激光雷达数据融合方法，其特征在于，所述步骤S43中若a位于AB上，
Figure QLYQS_42
和/>
Figure QLYQS_43
共线，则/>
Figure QLYQS_44
，其中/>
Figure QLYQS_45
和/>
Figure QLYQS_46
分别表示像素点a到激光点A、B的距离。
CN202011025103.5A 2020-09-25 2020-09-25 一种动态视觉传感器与激光雷达数据融合方法 Active CN112346073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011025103.5A CN112346073B (zh) 2020-09-25 2020-09-25 一种动态视觉传感器与激光雷达数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011025103.5A CN112346073B (zh) 2020-09-25 2020-09-25 一种动态视觉传感器与激光雷达数据融合方法

Publications (2)

Publication Number Publication Date
CN112346073A CN112346073A (zh) 2021-02-09
CN112346073B true CN112346073B (zh) 2023-07-11

Family

ID=74360403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011025103.5A Active CN112346073B (zh) 2020-09-25 2020-09-25 一种动态视觉传感器与激光雷达数据融合方法

Country Status (1)

Country Link
CN (1) CN112346073B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631314B (zh) * 2021-03-15 2021-06-04 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统
CN112990129B (zh) * 2021-04-27 2021-07-20 长沙万为机器人有限公司 基于视觉与激光雷达联合的三维物体检测方法及系统
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
CN113610133B (zh) * 2021-07-30 2024-05-28 上海德衡数据科技有限公司 一种激光数据和视觉数据融合方法及系统
CN113920175B (zh) * 2021-08-26 2024-06-11 广东工业大学 一种激光雷达的点云相似度评价方法
CN114332158B (zh) * 2021-12-17 2024-05-07 重庆大学 一种基于相机和激光雷达融合的3d实时多目标跟踪方法
CN114071114A (zh) * 2022-01-17 2022-02-18 季华实验室 事件相机、深度事件点图获取方法、装置、设备及介质
CN114089373B (zh) * 2022-01-20 2022-05-17 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
CN114170126B (zh) * 2022-02-11 2022-07-05 智道网联科技(北京)有限公司 一种点云稠密化方法、装置和电子设备
CN114708478B (zh) * 2022-06-06 2022-09-02 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质
CN115588051B (zh) * 2022-09-29 2023-06-13 中国矿业大学(北京) 矿石加工环节的激光雷达和相机空间位置自动标定方法
WO2024156093A1 (en) * 2023-01-28 2024-08-02 Huawei Technologies Co., Ltd. Systems, methods, and media for generating point cloud frame training data
CN116071283B (zh) * 2023-04-07 2023-06-16 湖南腾琨信息科技有限公司 基于计算机视觉的三维点云图像融合方法
CN117784797B (zh) * 2024-02-23 2024-05-24 广东电网有限责任公司阳江供电局 基于视觉图像和激光雷达的水下智能机器人导航避障方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN109215063A (zh) * 2018-07-05 2019-01-15 中山大学 一种事件触发相机与三维激光雷达的配准方法
CN109917419A (zh) * 2019-04-12 2019-06-21 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065878A1 (en) * 2017-08-22 2019-02-28 GM Global Technology Operations LLC Fusion of radar and vision sensor systems
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN109215063A (zh) * 2018-07-05 2019-01-15 中山大学 一种事件触发相机与三维激光雷达的配准方法
CN109917419A (zh) * 2019-04-12 2019-06-21 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Calibration of Event-based Camera and 3D LiDAR;Rihui Song等;《2018 WRC Symposium on Advanced Robotics and Automation (WRC SARA)》;第289-295页 *
基于视觉和激光数据融合的3D多目标跟踪;房建武等;《无人系统技术》;第2卷(第5期);第24-29页 *

Also Published As

Publication number Publication date
CN112346073A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112346073B (zh) 一种动态视觉传感器与激光雷达数据融合方法
CN110799918B (zh) 车辆用的方法、设备和计算机可读存储介质、车辆
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN109035309B (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
JP7389729B2 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
EP3905195A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
WO2021114777A1 (en) Target detection method, terminal device, and medium
US20210334569A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
JP2021528732A (ja) 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
JP2022045947A5 (zh)
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN114814827A (zh) 基于4d毫米波雷达与视觉融合的行人分类方法及系统
CN112258631B (zh) 一种基于深度神经网络的三维目标检测方法及系统
CN113409242A (zh) 一种轨交弓网点云智能监测方法
JP7363504B2 (ja) オブジェクト検出方法、検出装置及び電子機器
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant