CN116681849A - 一种基于多目事件型相机的路面宏观纹理空间重构方法 - Google Patents

一种基于多目事件型相机的路面宏观纹理空间重构方法 Download PDF

Info

Publication number
CN116681849A
CN116681849A CN202310605989.8A CN202310605989A CN116681849A CN 116681849 A CN116681849 A CN 116681849A CN 202310605989 A CN202310605989 A CN 202310605989A CN 116681849 A CN116681849 A CN 116681849A
Authority
CN
China
Prior art keywords
event
camera
data
pavement
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310605989.8A
Other languages
English (en)
Inventor
童峥
王康南
马涛
张伟光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202310605989.8A priority Critical patent/CN116681849A/zh
Publication of CN116681849A publication Critical patent/CN116681849A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提出一种基于多目事件型相机的路面宏观纹理空间重构方法，该方法包括以下步骤，步骤1、在检测车外侧安装并校准事件型相机；步骤2、路面宏观纹理数据采集；步骤3、路面宏观纹理数据降噪预处理；步骤4、获取各事件相机行驶轨迹；步骤5、生成半稠密点云地图；步骤6、生成路面宏观纹理三维重构模型。本发明的技术方案能够解决路面宏观纹理智能检测技术无法适应实际工程环境中复杂的光照变化问题。同时，本发明采集数据占据存储空间少，检测结果精度高、连续性好，能够为路用性能评估，路面智能监控和养护决策提供关键支撑。

Description

一种基于多目事件型相机的路面宏观纹理空间重构方法
技术领域
本发明涉及道路检测技术领域，更具体的涉及一种基于多目事件型相机的路面宏观纹理空间重构方法。
背景技术
路面的宏观纹理是由路面集料骨架排列方式和空隙决定的，波长在0.5～50mm的空间结构。基于二维或三维路面宏观纹理可以评价路面抗滑性能和排水性能的重要指标，如MTD和MPD。传统的路面宏观纹理的检测方法是铺砂法，这种方法可以测量小范围的路面宏观纹理特征，但是存在缺乏代表性、结果易受操作人员影响，无法测量大空隙路面宏观纹理等问题。
随着检测技术和数据处理手段的发展，路面宏观纹理的智能空间重构方法快速发展，其思路是：首先通过光学检测设备采集路面纹理的相关数据，再通过深度学习技术处理相关数据，实现路面宏观纹理的空间重建，最终基于三维宏观纹理评估路面抗滑性能和排水性能。路面宏观纹理的智能空间重构方法具有采集的范围更广、精度和效率更高、稳定性更强等优势。
目前，路面宏观纹理的数据采集设备主要有激光扫描设备和多目高清运动相机两种。激光扫描设备是通过线激光或者面激光对路面结构进行扫描，通过激光发射与反射点的相位差计算路表各点的高程数据，然后再通过数学插值的方式将路面离散的数据点进行连接，最后得到完整的路面宏观纹理三维模型。激光扫描设备采集数据具有较高的稳定度，受外界光照环境的干扰相对较小，但是仍然具有在高速行驶沿道路纵向精度较低、边缘区域信息缺失等问题。
多目高清运动相机是通过高频拍摄路面的高清图像，通过深度神经网络将高清图像每个像素位置的数据映射到路面高程，从而建立路面宏观纹理的三维模型。该方法操作方便、覆盖面广、效率高，但是存在数据量大，数据准确性受路面材料和光照影响等因素影响大的问题。
事件型相机是一种新型视觉传感器，可以记录像素点的光强变化情况，当像素点光强变化超过阈值会产生事件数据(坐标、时间戳和极性)。事件的极性有增强和抑制，分别对应光强变化的正负。不同于其他检测设备，事件相机的数据采集是异步进行的，每个像素点作为一个元件单独工作，记录下一系列脉冲信号流，称作“事件流”。事件相机采集数据具有分辨率高、动态范围大、延时低和低功耗的特点。然而，事件相机采集的事件数据与传统的图像数据不同，需要新的数据处理方法将事件流数据转化为连续的空间结构数据。使用事件数据进行空间重构任务存在事件数据噪音大、特征分析复杂和重建结果等问题。
发明内容
发明目的：针对这些问题，本发明首先采用事件型相机采集数据，以克服路面宏观纹理数据采集受光强干扰较大，采集精度不足等问题。本发明提出一种基于多目事件型相机的路面宏观纹理空间重构方法，以获取纵向连续的沥青路面宏观纹理空间重构模型，解决宏观纹理空间重构模型纵向不连续的问题。最后，基于宏观纹理的空间重构模型，计算路面抗滑性能参数以表征路用性能。
技术方案：为了解决上述技术问题，本发明公开了一种基于多目事件型相机的路面宏观纹理空间重构方法，该方法包括如下步骤：
步骤1，安装并校准事件型相机，将两台事件相机平行安装于同一个相机固定平台，配合车载吸盘固定在多功能检测车外侧，距离地面200～300mm处，调整事件型相机镜头方向与路面保持垂直，两台事件相机与车内电脑设备连接，使用标定板，放置于地面上，分别调整相机光学中心都对准标定板中心，镜头中的标定板上网格线条清晰度一致，将校准的相机参数储存进json文件之中；
步骤2，使用事件相机进行路面宏观纹理数据采集；
步骤3，对步骤2采集的路面宏观纹理数据进行预处理；
步骤4，通过事件相机的惯性传感器数据和采集的路面事件数据，获取每个事件相机的轨迹；
步骤5，通过采集的路面事件数据和事件相机的轨迹，生成路面宏观纹理的半稠密点云地图；
步骤6，通过路面宏观纹理的半稠密点云地图，生成路面宏观纹理三维空间重构模型。
进一步的，步骤2的方法如下：
(2.1)数据采集前，先选定目标检测区域，单次检测区域的长度没有限制，宽度由步骤1相机调整的参数决定；
(2.2)启动多功能检测车，到达目标区域后操作电脑开始采集数据，事件相机同时采集的数据包括路面的事件数据、事件相机的惯性传感器数据和路面的灰度图数据，车辆沿目标检测区域自由行驶，其中，惯性传感器是指由3个加速度计和3个陀螺仪组成的组合单元，陀螺仪用于检测三个方向的角速度，加速度计用于检测三个方向的加速度；
(2.3)在到达目标检测区域终点后，操作电脑结束数据采集，并保存数据为aedat4文件。
进一步的，一组双目事件型相机的有效识别区域在200～400mm。
进一步的，步骤3的具体方法如下：
(3.1)事件型相机采集的数据直接储存在aedat4文件中，先将其中的数据转为HDF5文件中，再转存进入ROSBags；
(3.2)通过DVS热像素点位过滤器，对采集的路面事件数据降噪，将异常的数据剔除。
进一步的，DVS热像素点位过滤器的过滤步骤为：
(3.2.1)统计每个像素点位记录的路面事件数据数量，进行排序，筛选出事件数据记录数量最多的100个像素点位；
(3.2.2)计算这100个像素点位事件数量的标准差；
其中，ni是第i个像素点位记录事件数据的总数，是这100个像素点位事件数据数量的平均数；
(3.2.3)如果事件数量大于5σ，则将该像素点数据删除。
进一步的，步骤4的具体方法如下：
(4.1)使用事件相机的惯性传感器数据初步计算，得到事件相机采集过程的轨迹和姿态；
(4.2)基于事件数据分布特征的移动情况，对惯性传感器数据中相邻两个数据的间隔时间内，事件相机的行驶轨迹进行进一步的修正。
进一步的，步骤(4.2)的修正方法如下：
(4.2.1)对惯性传感器计算获取的某一时刻t0到另一时刻t1，事件相机的位置变化(Δx0,Δy0)进行修正，Δx0和Δy0分别是在相机显示平面的x方向和y方向移动的像素格数，记在的时间内，事件集E中包含所有事件；
e＝(x,y,t,p)
其中，(x，y)是事件产生的像素位置坐标，t是事件产生的时间戳，p是事件的极性，所述极性包括激励和抑制两种；
(4.2.2)将事件集E依据时间戳进行分段，定义每τ内触发的事件为一个子集合Ai；
且i取整数
Ai＝{e|Ti≤t≤Ti+1}
(4.2.3)将每个子集合Ai中的事件e＝(x,y,t,p)都映射进入空间Vi(x,y,p)，其中，空间的平面(x,y)是与事件相机显示平面直接对应，对于任意平面坐标(x,y)有第三维坐标p，定义为：
(4.2.4)由(4.2.3)，则当i＝0时，得到V0，将V0中所有点的坐标(x,y,p)变化为(x+Δx0,y+Δy0,p)，得到一个新的空间V′0；
V0→V′0
对于剩下的i个空间Vi，且i∈Z，进行如下计算：
a.计算V′0与Vi所有相同平面坐标位置对应的p值的差值Δp；
b.其中，N是V′0与Vi所有平面位置对应的p≠0点的个数，N′是所有Δp≠0的点的个数，S是事件相机像素平面的总面积，S＝X轴分辨率*Y轴分辨率；
c.选出最小的C0i，将i带入Ti＝t0+iτ，以此确定时间Ti的大小；
d.则事件相机位置变化(Δx0,Δy0)对应的时间点为从某一时刻t0到另一时刻t1修正为时刻t0到时刻Ti。
进一步的，步骤5的方法如下：
(5.1)基于步骤4事件相机行驶路径，获取各个时刻事件相机的空间位置，进一步获取相机光心的位置，通过事件相机光心与事件相机镜头中记录的事件位置连线，将该事件产生的光路恢复，光路一直延伸到触发事件产生的道路表面的一点，该道路表面点在镜头范围内多次被记录，生成多条光路，并都在该点交汇，通过确定交汇点的空间位置最终得到该道路表面点的空间位置；
(5.2)重复(5.1)过程，即得到所有检测到的道路表面点的空间位置，将其组合在一起生成路面宏观纹理的半稠密点云地图，将其转化为体素格式(.binvoxel文件)储存于数据库。
进一步的，步骤6的方法如下：
(6.1)采用手持式3D扫描仪对典型路面采集数据，得到路面宏观纹理的三维重构模型；
(6.2)将该三维重构模型中结构变化明显的点和结构变化不明显的点分别进行标记，将标记后的三维重构模型作为深度学习的训练集和验证集；定义当该点与周围相邻的8个点的平均高度差该点为结构变化明显的点，否则，为不明显的点，其中，Δhi是该点高程坐标值与其相邻某一点的高程坐标值的差；
(6.3)建立深度卷积对抗神经网络，通过结构变化明显的点的空间三维坐标值，预测周围结构变化不明显的点的空间三维坐标值，实现对结构缺失点的补充；
a.将其中三维重构模型中结构变化不明显的点删除，获得半稠密体素模型，作为深度卷积对抗神经网络的输入；
b.通过卷积操作获取半稠密体素模型的高阶特征向量；
c.通过特征映射单元将提取的高阶特征向量转换为3D矩阵，再通过多个反卷积层进行反池化，构建成完整的路面宏纹理体素模型；
(6.4)利用该深度神经网络训练获取的映射关系，对步骤5获取的路面宏观纹理半稠密点云地图进行补充，生成完整的路面宏观纹理体素模型；
(6.5)计算补充点的平均高度差判断其是否合理，对于/>超过阈值，说明补充点不符合实际情况，将其删除点后重新带入上述模型进行补充。
进一步的，所述阈值为0.5mm。
有益效果：与现有技术相比，本发明的技术方案具有以下有益效果：
多功能检测车能够在高速公路上正常行驶，不影响其他交通参与者，就可以完成完整路面的检测工作，并且保证数据的精度、稳定性和处理效率满足工程应用要求。这有效提升了高速公路检测的效率、准确性和覆盖范围，是进一步建立全路面的智能监控系统，开展智能养护决策工作，延长高速公路的使用寿命的关键前提。
本发明提供的一种基于多目事件型相机的路面宏观纹理空间重构方法，首先，克服了光学设备所在环境光照强度突然变化采集数据失效的问题。该类问题的本质是光照强度发生变化，透镜透过的光过多或过少，导致路面宏观纹理清晰度严重下降。但是，不论什么形式的光强变化，都会引起路面点的反射光强变化，从而被事件相机记录，本发明采用的三维重建方法是利用光学成像的透视几何关系，对触发事件点位的空间位置进行还原，与事件的极性不相关，故不受光强变化的影响。然后，本发明采用的事件型相机采集的事件数据占据的存储空间更小，数据的有效比例更高，采集的精度可以达到10-6s，可以兼顾效率与精度。最后，事件型相机记录的是一些列连续的事件流数据，可以基于此得到沿检测车行驶方向连续的路面宏观纹理三维重建结果，对全路面的覆盖率更高，故检测结果的代表性更好。
附图说明
图1为本发明提供的一种基于多目事件型相机的路面宏观纹理空间重构方法流程图。
图2为本发明DVS路面宏观纹理数据降噪示意图。
图3为本发明事件型相机行驶轨迹恢复流程图。
图4为本发明半稠密点云地图生成流程图。
图5为本发明计算路面抗滑特征参数示意图。
具体实施方式
路面的宏观纹理是影响路面抗滑性能和排水性能的重要因素，由于宏观纹理结构复杂，范围广且尺度小，传统的测量方法存在效率低和覆盖范围小的问题。随着智能空间重构技术的发展，采用高清运动相机和激光扫描设备采集原始数据，再基于原始数据进行路面宏观纹理三维重建的方式，有效提升了测量的效率和覆盖的范围，但是仍存在数据采集受光照变化影响大、数据占据存储空间多、处理耗时长和采集沿车辆行驶方向的连续性较差等问题。因此，迫切需要一种新的空间重构方法，能够适应实际工程应用中复杂的光照环境变化，重构结果兼顾精度与效率。
如图1所示，本发明提出一种基于多目事件型相机的路面宏观纹理空间重构方法，具体包括以下步骤：
步骤1，安装并校准事件型相机，将两台事件相机平行安装于同一个相机固定平台之上，再配合车载吸盘固定在多功能检测车外侧，距离地面200～300mm处。调整事件型相机镜头方向与路面保持垂直，并通过USB3.0数据线连接至车内电脑设备，使用标定板，放置于地面，，分别调整相机光学中心都对准标定板中心，镜头中标定板上网格线条清晰程度一致，将校准的相机参数储存进json文件之中；
步骤2，使用事件相机进行路面宏观纹理数据采集；
步骤3，对步骤2采集的路面宏观纹理数据进行预处理；
步骤4，通过事件相机的惯性传感器数据和采集的路面事件数据，获取每个事件相机的轨迹；
步骤5，通过采集的路面事件数据和事件相机的轨迹，生成路面宏观纹理的半稠密点云地图；
步骤6，通过路面宏观纹理的半稠密点云地图，生成路面宏观纹理三维空间重构模型。
进一步的，步骤2的方法如下：
(2.1)数据采集前，先选定目标检测区域，单次检测区域的长度没有限制，宽度由步骤1相机调整的参数决定；
(2.2)启动多功能检测车，到达目标区域后操作电脑开始采集数据，事件相机同时采集的数据包括路面的事件数据、事件相机的惯性传感器数据和路面的灰度图数据，车辆沿目标检测区域自由行驶，其中，惯性传感器是指由3个加速度计和3个陀螺仪组成的组合单元，陀螺仪用于检测三个方向的角速度，加速度计用于检测三个方向的加速度；
(2.3)在到达目标检测区域终点后，操作电脑结束数据采集，并保存数据为aedat4文件。
进一步的，步骤3的具体方法如下：
(3.1)事件型相机采集的数据直接储存在aedat4文件中，先将其中的数据转为HDF5文件中，再转存进入ROSBags；
(3.2)通过DVS热像素点位过滤器，对采集的路面事件数据降噪，将异常的数据剔除。
DVS热像素点位过滤器的过滤步骤为：
(3.2.1)统计每个像素点位记录的路面事件数据数量，进行排序，筛选出事件数据记录数量最多的100个像素点位；
(3.2.2)计算这100个像素点位事件数量的标准差；
其中，ni是第i个像素点位记录事件数据的总数，是这100个像素点位事件数据数量的平均数；
(3.2.3)如果事件数量大于5σ，则将该像素点数据删除。
所述步骤4的具体方法如下：
(4.1)使用事件相机的惯性传感器数据初步计算，得到事件相机采集过程的轨迹和姿态；
(4.2)基于事件数据分布特征的移动情况，对惯性传感器数据中相邻两个数据的间隔时间内，事件相机的行驶轨迹进行进一步的修正。
步骤(4.2)的修正方法如下：
(4.2.1)对惯性传感器计算获取的某一时刻t0到另一时刻t1，事件相机的位置变化(Δx0,Δy0)进行修正，Δx0和Δy0分别是在相机显示平面的x方向和y方向移动的像素格数，记在的时间内，事件集E中包含所有事件；
e＝(x,y,t,p)
其中，(x，y)是事件产生的像素位置坐标，t是事件产生的时间戳，p是事件的极性，所述极性包括激励和抑制两种；
(4.2.2)将事件集E依据时间戳进行分段，定义每τ内触发的事件为一个子集合Ai；
且i取整数
Ai＝{e|Ti≤t≤Ti+1}
(4.2.3)将每个子集合Ai中的事件e＝(x,y,t,p)都映射进入空间Vi(x,y,p)，其中，空间的平面(x,y)是与事件相机显示平面直接对应，对于任意平面坐标(x,y)有第三维坐标p，定义为：
(4.2.4)由(4.2.3)，则当i＝0时，得到V0，将V0中所有点的坐标(x,y,p)变化为(x+Δx0,y+Δy0,p)，得到一个新的空间V′0；
V0→V′0
对于剩下的i个空间Vi，且i∈Z，进行如下计算：
a.计算V′0与Vi所有相同平面坐标位置对应的p值的差值Δp；
b.其中，N是V′0与Vi所有平面位置对应的p≠0点的个数，N′是所有Δp≠0的点的个数，S是事件相机像素平面的总面积，S＝X轴分辨率*Y轴分辨率；
c.选出最小的C0i，将i带入Ti＝t0+iτ，以此确定时间Ti的大小；
d.则事件相机位置变化(Δx0,Δy0)对应的时间点为从某一时刻t0到另一时刻t1修正为时刻t0到时刻Ti。
进一步的，步骤5的方法如下：
(5.1)基于步骤4事件相机行驶路径，获取各个时刻事件相机的空间位置，进一步获取相机光心的位置，通过事件相机光心与事件相机镜头中记录的事件位置连线，将该事件产生的光路恢复，光路一直延伸到触发事件产生的道路表面的一点，该道路表面点在镜头范围内多次被记录，生成多条光路，并都在该点交汇，通过确定交汇点的空间位置最终得到该道路表面点的空间位置；
(5.2)重复(5.1)过程，即得到所有检测到的道路表面点的空间位置，将其组合在一起生成路面宏观纹理的半稠密点云地图，将其转化为体素格式(.binvoxel文件)储存于数据库。
步骤6的方法如下：
(6.1)采用手持式3D扫描仪对典型路面采集数据，得到路面宏观纹理的三维重构模型；
(6.2)将该三维重构模型中结构变化明显的点和结构变化不明显的点分别进行标记，将标记后的三维重构模型作为深度学习的训练集和验证集；定义当该点与周围相邻的8个点的平均高度差该点为结构变化明显的点，否则，为不明显的点，其中，Δhi是该点高程坐标值与其相邻某一点的高程坐标值的差；
(6.3)建立深度卷积对抗神经网络，通过结构变化明显的点的空间三维坐标值，预测周围结构变化不明显的点的空间三维坐标值，实现对结构缺失点的补充；
a.将其中三维重构模型中结构变化不明显的点删除，获得半稠密体素模型，作为深度卷积对抗神经网络的输入；
b.通过卷积操作获取半稠密体素模型的高阶特征向量；
c.通过特征映射单元将提取的高阶特征向量转换为3D矩阵，再通过多个反卷积层进行反池化，构建成完整的路面宏纹理体素模型；
(6.4)利用该深度神经网络训练获取的映射关系，对步骤5获取的路面宏观纹理半稠密点云地图进行补充，生成完整的路面宏观纹理体素模型；
(6.5)计算补充点的平均高度差判断其是否合理，对于/>超过阈值，说明补充点不符合实际情况，将其删除点后重新带入上述模型进行补充。
基于路面宏观纹理的三维重建模型，计算表征目标路段路用性能的纹理特征技术指标。选取局部(15*15)最高像素点q(xij)，则周围像素点都存在高度差最后得/>用于判断路面性能是否满足使用需求，为后面的养护决策工作提供支撑依据。
最后应说明的是，以上实施例仅用来说明本发明的技术方案，而非对其限制。凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围内。

Claims (10)

1.一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，该方法包括如下步骤：
步骤1，安装并校准事件型相机，将两台事件相机平行安装于同一个相机固定平台，配合车载吸盘固定在多功能检测车外侧，距离地面200～300mm处，调整事件型相机镜头方向与路面保持垂直，两台事件相机与车内电脑设备连接，使用标定板，放置于地面上，分别调整相机光学中心都对准标定板中心，镜头中的标定板上网格线条清晰度一致，将校准的相机参数储存进json文件之中；
步骤2，使用事件相机进行路面宏观纹理数据采集；
步骤3，对步骤2采集的路面宏观纹理数据进行预处理；
步骤4，通过事件相机的惯性传感器数据和采集的路面事件数据，获取每个事件相机的轨迹；
步骤5，通过采集的路面事件数据和事件相机的轨迹，生成路面宏观纹理的半稠密点云地图；
步骤6，通过路面宏观纹理的半稠密点云地图，生成路面宏观纹理三维空间重构模型。
2.根据权利要求1所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤2的方法如下：
(2.1)数据采集前，先选定目标检测区域，单次检测区域的长度没有限制，宽度由步骤1相机调整的参数决定；
(2.2)启动多功能检测车，到达目标区域后操作电脑开始采集数据，事件相机同时采集的数据包括路面的事件数据、事件相机的惯性传感器数据和路面的灰度图数据，车辆沿目标检测区域自由行驶，其中，惯性传感器是指由3个加速度计和3个陀螺仪组成的组合单元，陀螺仪用于检测三个方向的角速度，加速度计用于检测三个方向的加速度；
(2.3)在到达目标检测区域终点后，操作电脑结束数据采集，并保存数据为aedat4文件。
3.根据权利要求1或2所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，一组双目事件型相机的有效识别区域在200～400mm。
4.根据权利要求1所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤3的具体方法如下：
(3.1)事件型相机采集的数据直接储存在aedat4文件中，先将其中的数据转为HDF5文件中，再转存进入ROSBags；
(3.2)通过DVS热像素点位过滤器，对采集的路面事件数据降噪，将异常的数据剔除。
5.根据权利要求4所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，DVS热像素点位过滤器的过滤步骤为：
(3.2.1)统计每个像素点位记录的路面事件数据数量，进行排序，筛选出事件数据记录数量最多的100个像素点位；
(3.2.2)计算这100个像素点位事件数量的标准差；
其中，ni是第i个像素点位记录事件数据的总数，是这100个像素点位事件数据数量的平均数；
(3.2.3)如果事件数量大于5σ，则将该像素点数据删除。
6.根据权利要求1所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤4的具体方法如下：
(4.1)使用事件相机的惯性传感器数据初步计算，得到事件相机采集过程的轨迹和姿态；
(4.2)基于事件数据分布特征的移动情况，对惯性传感器数据中相邻两个数据的间隔时间内，事件相机的行驶轨迹进行进一步的修正。
7.根据权利要求6所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤(4.2)的修正方法如下：
(4.2.1)对惯性传感器计算获取的某一时刻t0到另一时刻t1，事件相机的位置变化(Δx0,Δy0)进行修正，Δx0和Δy0分别是在相机显示平面的x方向和y方向移动的像素格数，记在的时间内，事件集E中包含所有事件；
e＝(x,y,t,p)
其中，(x，y)是事件产生的像素位置坐标，t是事件产生的时间戳，p是事件的极性，所述极性包括激励和抑制两种；
(4.2.2)将事件集E依据时间戳进行分段，定义每τ内触发的事件为一个子集合Ai；
且i取整数
Ai＝{e|Ti≤t≤Ti+1}
(4.2.3)将每个子集合Ai中的事件e＝(x,y,t,p)都映射进入空间Vi(x,y,p)，其中，空间的平面(x,y)是与事件相机显示平面直接对应，对于任意平面坐标(x,y)有第三维坐标p，定义为：
(4.2.4)由(4.2.3)，则当i＝0时，得到V0，将V0中所有点的坐标(x,y,p)变化为(x+Δx0,y+Δy0,p)，得到一个新的空间V′0；
V0→V′0
对于剩下的i个空间Vi，且i∈Z，进行如下计算：
a.计算V′0与Vi所有相同平面坐标位置对应的p值的差值Δp；
其中，N是V′0与Vi所有平面位置对应的p≠0点的个数，N′是所有Δp≠0的点的个数，S是事件相机像素平面的总面积，S＝X轴分辨率*Y轴分辨率；
c.选出最小的C0i，将i带入Ti＝t0+iτ，以此确定时间Ti的大小；
d.则事件相机位置变化(Δx0,Δy0)对应的时间点为从某一时刻t0到另一时刻t1修正为时刻t0到时刻Ti。
8.根据权利要求6所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤5的方法如下：
(5.1)基于步骤4事件相机行驶路径，获取各个时刻事件相机的空间位置，进一步获取相机光心的位置，通过事件相机光心与事件相机镜头中记录的事件位置连线，将该事件产生的光路恢复，光路一直延伸到触发事件产生的道路表面的一点，该道路表面点在镜头范围内多次被记录，生成多条光路，并都在该点交汇，通过确定交汇点的空间位置最终得到该道路表面点的空间位置；
(5.2)重复(5.1)过程，即得到所有检测到的道路表面点的空间位置，将其组合在一起生成路面宏观纹理的半稠密点云地图，并将其转化为体素格式储存于数据库。
9.根据权利要求6所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，步骤6的方法如下：
(6.1)采用手持式3D扫描仪对典型路面采集数据，得到路面宏观纹理的三维重构模型；
(6.2)将该三维重构模型中结构变化明显的点和结构变化不明显的点分别进行标记，将标记后的三维重构模型作为深度学习的训练集和验证集；定义当该点与周围相邻的8个点的平均高度差该点为结构变化明显的点，否则，为不明显的点，其中，Δhi是该点高程坐标值与其相邻某一点的高程坐标值的差；
(6.3)建立深度卷积对抗神经网络，通过结构变化明显的点的空间三维坐标值，预测周围结构变化不明显的点的空间三维坐标值，实现对结构缺失点的补充；
a.将其中三维重构模型中结构变化不明显的点删除，获得半稠密体素模型，作为深度卷积对抗神经网络的输入；
b.通过卷积操作获取半稠密体素模型的高阶特征向量；
c.通过特征映射单元将提取的高阶特征向量转换为3D矩阵，再通过多个反卷积层进行反池化，构建成完整的路面宏纹理体素模型；
(6.4)利用该深度神经网络训练获取的映射关系，对步骤5获取的路面宏观纹理半稠密点云地图进行补充，生成完整的路面宏观纹理体素模型；
(6.5)计算补充点的平均高度差判断其是否合理，对于/>超过阈值，说明补充点不符合实际情况，将其删除点后重新带入上述模型进行补充。
10.根据权利要求9所述的一种基于多目事件型相机的路面宏观纹理空间重构方法，其特征在于，所述阈值为0.5mm。
CN202310605989.8A 2023-05-26 2023-05-26 一种基于多目事件型相机的路面宏观纹理空间重构方法 Pending CN116681849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310605989.8A CN116681849A (zh) 2023-05-26 2023-05-26 一种基于多目事件型相机的路面宏观纹理空间重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310605989.8A CN116681849A (zh) 2023-05-26 2023-05-26 一种基于多目事件型相机的路面宏观纹理空间重构方法

Publications (1)

Publication Number Publication Date
CN116681849A true CN116681849A (zh) 2023-09-01

Family

ID=87788243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310605989.8A Pending CN116681849A (zh) 2023-05-26 2023-05-26 一种基于多目事件型相机的路面宏观纹理空间重构方法

Country Status (1)

Country Link
CN (1) CN116681849A (zh)

Similar Documents

Publication Publication Date Title
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
US20220290979A1 (en) Vehicle localization using the ground surface with an event camera
CN111855664B (zh) 一种可调节隧道病害三维检测系统
Yu et al. 3D reconstruction of road surfaces using an integrated multi-sensory approach
CN106978774B (zh) 一种路面坑槽自动检测方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
JP5834933B2 (ja) 車両位置算出装置
CN109870459A (zh) 无砟轨道的轨道板裂缝检测方法
Wang et al. Automated pavement distress survey: a review and a new direction
CN113221648B (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN114419130A (zh) 一种基于图像特征和三维点云技术的散料体积测量方法
WO2021227797A1 (zh) 道路边界检测方法、装置、计算机设备和存储介质
Abdul-Rahman et al. Innovations in 3D geo information systems
CN112749584A (zh) 一种基于图像检测的车辆定位方法及车载终端
Manandhar et al. Feature extraction from range data
Karantanellis et al. Evaluating the quality of photogrammetric point-clouds in challenging geo-environments–a case study in an Alpine Valley
CN115797338B (zh) 基于双目视觉的全景路面多性能指标计算方法及系统
CN113744393B (zh) 一种多层级边坡滑坡变化监测方法
CN116681849A (zh) 一种基于多目事件型相机的路面宏观纹理空间重构方法
CN112883778A (zh) 一种基于计算机视觉的道路井盖高差识别方法及设备
Wang et al. Identification of rocky ledge on steep, high slopes based on UAV photogrammetry
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
Pagán et al. 3D modelling of dune ecosystems using photogrammetry from remotely piloted air systems surveys

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination