CN116188417A - 基于slam和图像处理的裂缝检测及其三维定位方法 - Google Patents

基于slam和图像处理的裂缝检测及其三维定位方法 Download PDF

Info

Publication number
CN116188417A
CN116188417A CN202310135012.4A CN202310135012A CN116188417A CN 116188417 A CN116188417 A CN 116188417A CN 202310135012 A CN202310135012 A CN 202310135012A CN 116188417 A CN116188417 A CN 116188417A
Authority
CN
China
Prior art keywords
crack
slam
image processing
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310135012.4A
Other languages
English (en)
Inventor
李安琦
维克多
郭玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310135012.4A priority Critical patent/CN116188417A/zh
Publication of CN116188417A publication Critical patent/CN116188417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SLAM和图像处理的裂缝检测及其三维定位方法，包括：使用移动机器人实时采集路面图像，传输至上位机的图像处理系统中，完成路面裂缝的检测和裂缝长度的量化；改进SLAM框架的视觉特征提取方式，融合深度相机KinectV2和惯性测量单元的数据，并通过紧耦合的方式融合并加入视觉SLAM框架，完成移动机器人的位姿估计；对机器人运动过程中采集的连续帧图像按规则提取关键帧，结合彩色相机和深度相机的图像以及SLAM后端位姿估计，得到裂缝周围环境的位置信息，通过点云库和视觉位姿信息结合，得到裂缝周围环境的稠密点云图。本方法可以实时地监测裂缝信息并定位，且具有较高准确率和较强的鲁棒性。

Description

基于SLAM和图像处理的裂缝检测及其三维定位方法
技术领域
本发明涉及道路的裂缝检测和三维定位方法，具体涉及一种基于SLAM和图像处理的裂缝检测及其三维定位方法。
背景技术
道路裂缝作为路面病害中最常见的一种，一旦出现，会造成很严重的安全隐患，因此，需及时做好道路的维护工作。目前的路面检测工作主要由人工完成，需工作人员具备相关知识，费时费力且有一定的安全隐患。因此，需展开对于道路裂缝的自动化检测方法。常见的自动化裂缝检测是通过图像处理和深度学习结合的技术，基于深度学习的裂缝检测算法具有效率高，速度快的特点。道路检测中使用了计算机视觉相关技术，需通过视觉传感器采集道路图像，由于无人机设备采集的画面多为大尺寸图像，不利于路面的裂缝定位研究，因此，使用机器人搭载相机的方式进行道路的裂缝图像采集。
发明专利201710434581.3公开了一种基于图像处理的路面裂缝检测方法，采用图像处理、图像分割的方法提取图像骨化，按照像素距离计算裂缝的信息参数。该方法需人工提取裂缝特征，泛化性能不高且未做到裂缝的三维定位。
发明专利201911371906.3公开了一种基于图像处理的裂缝检测方法和系统，采用基于像素追踪算法对预处理后的裂缝图像进行连接，并分析连接后的图像特征。该方法仍需人工设计特征，易受周围环境信息的影响，泛化性能不高。
发明专利201911355501.0公开了一种基于Faster R-CNN网络的裂缝检测网络，该方法使用Faster R-CNN网络做裂缝的检测和边界框的定位，但该方法没有有效地去除路面噪声和光强干扰，裂缝检测精度不高。
发明专利202010236401.2公开了一种基于yolov5的裂缝检测模型，该模型能够得到裂缝的检测框，检测类别和类别置信度，该方法提高了裂缝检测的精度，但在移动设备端的实时性有待进一步提高，且该方法未得到裂缝的三维位置信息。
综上所述，目前的裂缝检测方法多是使用图像处理和深度学习方法，网络模型较为复杂，得到的裂缝位置仅限于二维平面，未获取到三维位置信息，不利于后续裂缝位置的查找和修补。
发明内容
本发明的目的在于提供一种基于SLAM和图像处理的裂缝检测及其三维定位方法，解决裂缝检测泛化性低，检测精度低的问题，同时增加了裂缝的三维定位功能，可以实现机器人运动过程中的实时裂缝检测工作。
实现本发明的技术方案为：第一方面，本发明提供一种基于SLAM和图像处理的裂缝检测及其三维定位方法，包括以下步骤：
S1，移动机器人搭载深度相机实时采集路面图像，通过上位机的图像处理系统检测彩色图像中的裂缝信息；
S2，在视觉传感器的基础上融合惯性测量单元，通过边缘化的紧耦合方式融合两者数据，输入SLAM算法框架并完成机器人的位姿估计；
S3，改进视觉SLAM中特征提取的方式，判断实时采集的每帧图像并筛选出关键帧，输入图像处理系统提取裂缝信息；
S4，将步骤S3提取的裂缝信息与深度相机数据融合，通过空间矩阵转换，构建含有裂缝信息的稠密点云地图，实现裂缝的三维定位。
进一步的，所述步骤S1的图像处理系统具体包括：
步骤S1-1，对采集的路面图像进行灰度化处理，定义一个滑动窗口，窗口在图像上沿着从左至右，从上往下进行滑动，窗口大小依据实验结果自适应调整；
步骤S1-2，统计各个窗口内图像的灰度值总和，得到所有窗口的灰度分布图，通过自适应阈值设置，将高于阈值的窗口像素值设置为0，低于阈值的所有窗口定义为裂缝候选区域；
步骤S1-3，对待检测区域进行改进中值滤波和图像增强，再进行自适应阈值化操作进行二值分割，得到待检测区域的二值图像；
步骤S1-4，对二值图像进行形态学膨胀操作后提取裂缝二值图像的骨架，对裂缝长度进行量化处理。
进一步的，待检测区域裂缝中值滤波方法步骤如下：
(1)遍历待检测区域的像素点，将目标像素点Iij的八邻域内各像素点的灰度值与目标像素点作差值；
(2)取绝对值最小的三个邻域像素点，以Iij到邻域像素点方向为轴向外扩展，得到三个像素点Ip,Iq,Ih；
(3)取八邻域内的像素和Ip,Iq,Ih三个像素，按灰度值从小到大取中值并替换目标像素点的值。
进一步的，自适应阈值化进行二值分割中，阈值设置方法为：统计待检测区域的灰度值分布，根据灰度分布直方图自适应设置分割阈值。
进一步的，裂缝长度的量化处理方法为：
使用Zhang并行细化算法获取裂缝骨架，获取像素水平的骨架图像，获取骨架线上的像素灰度值：
Figure BDA0004085148830000031
其中，(x,y)表示骨架线上的像素坐标，I(x,y)表示在(x,y)处的像素值，统计骨架线上的像素值为1的数量n，计算裂缝长度L:
Figure BDA0004085148830000032
其中，
Figure BDA0004085148830000033
表示相邻像素点间的距离；(xi,yi)表示骨架线上第i个点的坐标，(xi+1,yi+1)表示骨架线上的第i+1个点的坐标。
进一步的，所述步骤S2具体包括：
S2-1，分别标定相机和惯性测量单元并对两者联合标定，得到两者间的转换矩阵；
S2-2，对惯性测量单元进行建模，并根据建模结果对惯性测量单元进行预积分处理；再将视觉相机与惯性测量单元联合初始化，主要就陀螺仪偏置和重力加速度进行初始化；
S2-3，通过基于滑动窗口的边缘优化方式紧耦合惯性传感器信息和视觉信息，计算视觉重投影误差和惯性测量单元观测残差，合并到滑动窗口中，根据优化向量建立非线性优化模型并估计位姿。
进一步的，所述步骤S3中SLAM的特征提取方式，提取图像上的ORB特征角点，并使用Beblid描述子对特征点进行匹配；进行关键帧筛选时需满足以下条件之一：(1)与上次全局重定位之间间隔至少20帧；(2)当前关键帧需跟踪至少50个地图点；(3)当前关键帧跟踪到的特征点包含上一关键帧的特征点需小于80％。
进一步的，所述步骤S4具体包括：经过裂缝检测得到的裂缝关键帧，通过空间坐标变换，得到裂缝在稠密地图中的三维位置信息；关键帧经过融合SLAM、后端优化和回环矫正后，融合其彩色信息和深度信息，获取带有裂缝信息的稠密点云地图。
第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
与现有技术相比，本发明具有以下优点：
(1)本发明构建的裂缝图像处理系统，在保证移动端实时性的同时，提高了裂缝检测的准确率，具有较高的鲁棒性和泛化能力。
(2)本发明在视觉传感器的基础上，融合了惯性测量单元的数据，并通过滑动窗口边缘化的方式紧耦合两种数据，优化位姿估计，提高定位精度，在一定程度上弥补了视觉特征易定位失败的问题。
(3)本发明将裂缝的检测和定位结合起来，通过SLAM技术得到包含裂缝信息的稠密点云地图，实现了包含语义信息的裂缝三维重建。
附图说明
图1为本发明裂缝检测与三维定位流程图。
图2为本发明图像裂缝检测系统示意图。
图3为本发明改进中值滤波示意图。
图4为裂缝定位结构流程图。
具体实施方式
为了使本发明的目的和技术方案及优点更加清楚，下面结合附图及实施实例对本发明的具体实施方式做详细说明。应当理解，此处所描述的具体实施方式仅用于解释本发明，并不用于限定本发明。
根据图1，本发明是一种基于SLAM和图像处理的裂缝检测及其三维定位方法，所述的裂缝检测方法包括以下步骤：
S1，使用深度相机采集路面裂缝图像，输入上位机的图像处理系统进行裂缝检测，裂缝检测过程如图2。
(1)使用移动机器人搭载深度相机进行图像采集，相机采集的图像包括彩色信息和深度信息，对彩色图像进行灰度化处理，得到待检测的灰度图像。
(2)定义滑动窗口，由灰度图像左上角开始滑动，以整幅图像的灰度值和为设定阈值，统计当前窗口内灰度图像的灰度值总和，当统计值高于阈值时，设定窗口内所有像素值为0，低于阈值时，将该窗口设定为裂缝候选区域。
(3)对所有裂缝候选区域进行中值滤波操作，具体实现方式如图3，遍历候选窗口，以每个像素点为中心，其八邻域内所有像素值与中心值作差，将绝对值最小的三个邻域方向向外延伸，得到三个延伸后的像素点Ip,Iq,Ih,将八邻域内的八个像素点和三个延伸像素点按灰度值排列后，取中值替换中心像素点的值。再使用图像增强处理裂缝候选区域，使得裂缝和背景的对比度加深。
(4)统计裂缝候选区域的灰度值并生成灰度直方图，按照直方图中不同灰度值的分布，自适应设置二值分割的阈值，将候选区域转换为二值图像，其中，低于阈值部分设置为1，高于阈值部分设置为0。
(5)对窗口中的二值图像进行形态学操作，去除残余鼓励噪声点，得到提取出的裂缝图像，对裂缝长度进行量化，处理方法为：
使用Zhang并行细化算法获取裂缝骨架，获取像素水平的骨架图像，获取骨架线上的像素灰度值：
Figure BDA0004085148830000051
其中，(x,y)表示骨架线上的像素坐标，I(x,y)表示在(x,y)处的像素值，统计骨架线上的像素值为1的数量n，计算裂缝长度L:
Figure BDA0004085148830000052
其中，
Figure BDA0004085148830000053
表示相邻像素点间的距离；(xi,yi)表示骨架线上第i个点的坐标，(xi+1,yi+1)表示骨架线上的第i+1个点的坐标。
S2，根据图4，将惯性测量单元和视觉相机采集的数据进行数据的紧耦合处理并融合，并使用视觉SLAM完成传感器数据信息的位姿估计。
所述S2的具体操作如下：
(1)使用机器人操作系统自带标定工具分别标定KinectV2和IMU，再将两个传感器固定在一起，进行联合标定，得到两者间的转换矩阵。
(2)首先对IMU进行建模，IMU的误差模型如式(3)和式(4)：
wm＝w+bg+ηg (3)
am＝a+ba+ηa (4)
其中，wm、am表示陀螺仪和加速度计的测量数据，w、a表示两者的真实数据，b代表传感器产生的变化缓慢的随机游走误差，η表示变化较快的高斯白噪声误差。
IMU运动学模型如式(5)-(7)：
Figure BDA0004085148830000054
Figure BDA0004085148830000055
Figure BDA0004085148830000056
其中，p,v,q表示对应时刻下的系统位置、速度和旋转信息。a,v,g表示加速度、角速度与重力加速度。b表示偏置量，Δt表示时间间隔。
对IMU相邻测量帧之间进行预积分操作，得到预积分模型如式(8)-(10)：
Figure BDA0004085148830000061
Figure BDA0004085148830000062
Figure BDA0004085148830000063
其中，i,i+1表示相邻两帧关键帧，Ri,vi,pi表示第i个关键帧的相对旋转矩阵，速度和平移量；Ri+1,vi+1,pi+1表示第i+1个关键帧的相对旋转矩阵，速度和平移量；Δt表示两个关键帧之间的时间差。bg，ba为零偏量。
(3)通过初始化陀螺仪偏置和重力加速度达到减少惯性测量累计误差的效果。
(4)建立IMU的观测残差模型和相机的重投影误差模型如式(11)-(12)：
Figure BDA0004085148830000064
Figure BDA0004085148830000065
其中，
Figure BDA0004085148830000066
表示惯性测量单元的观测残差，χ为待优化的变量，
Figure BDA0004085148830000067
代表两个关键帧内的陀螺仪和加速度计零偏的IMU预积分值。/>
Figure BDA0004085148830000068
表示位移变化量误差，/>
Figure BDA0004085148830000069
表示速度变化误差，/>
Figure BDA00040851488300000610
表示角度变化误差；/>
Figure BDA00040851488300000611
表示系统的视觉重投影误差，/>
Figure BDA00040851488300000612
表示被观测到的第l个特征点，/>
Figure BDA00040851488300000613
表示通过相机内参由像素位置到单位向量的反投影；
随着时间的增加，前一时刻的状态变量的复杂度也会增加，造成后续计算复杂度越来越高，因此采用边缘化的方式进行处理，具体实现方式是基于滑动窗口，在移除位姿时将前后图像帧关联的约束关系作为先验条件加入优化问题中，如式(13)，该方法能够避免丢失重要信息。若倒数第二帧为关键帧，将最早的位置信息移出窗口，最早帧关联的传感器数据信息边缘化掉，第一个老关键帧及测量信息也边缘化。反之，只删除倒数第二帧的视觉信息，保证IMU预积分的连贯性和系统的稀疏性。
Figure BDA0004085148830000071
其中，||rp-Hpχ||2表示边缘化残差，
Figure BDA0004085148830000072
表示视觉重投影误差，
Figure BDA0004085148830000073
表示IMU残差，ρ为鲁棒核函数，χ表示滑动窗口中的优化状态向量，B表示惯性测量集合，k表示第k个图像，Hp表示包含先验信息的Hessian矩阵，γ表示需进行优化的雅可比矩阵。
S3，改进视觉SLAM中特征提取的方式，将brief描述子替换成Beblid描述子，采用ORB+Beblid的结合方式提取图像特征点并进行匹配。判断实时采集的每帧图像并筛选出关键帧，输入图像处理系统提取裂缝信息；进行关键帧筛选的规则需满足(1)与上次全局重定位之间间隔至少20帧；(2)当前关键帧需跟踪至少50个地图点；(3)当前关键帧跟踪到的特征点包含上一关键帧的特征点需小于80％。
S4，将上述步骤得到的裂缝检测线程和视觉相机采集的图像深度信息进行融合，通过PCL点云库构建包含裂缝信息的稠密点云地图，从而实现裂缝的定位功能。
所述步骤S4的具体操作为：
(1)根据图3，视觉SLAM的输入为KinectV2采集的彩色和深度信息与IMU采集的数据信息，通过SLAM的跟踪线程、后端优化线程和回环校正线程，得到符合要求的关键帧图像。
(2)关键帧深度图像中包含了每个像素的深度值，通过前面得到的相机参数，再经过相机坐标系到世界坐标系的转换，得到关键帧在世界坐标系下的位置，通过PCL点云库中的函数进行稠密点云的绘制，得到带有裂缝信息的稠密点云地图。
对于本领域的技术实现，以上示范性实例的细节仅代表本发明的技术方案，细节部分不限于此。对于前述实例的技术方案，本领域的普通技术人员可以对其中的部分技术特征进行等同替换，所作的替换不应脱离本发明技术方案的精神和范围。不应将权利要求中的任何附图标记为限制所涉及的权利要求。

Claims (10)

1.一种基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，包括以下步骤：
S1，移动机器人搭载深度相机实时采集路面图像，通过上位机的图像处理系统检测彩色图像中的裂缝信息；
S2，在视觉传感器的基础上融合惯性测量单元，通过边缘化的紧耦合方式融合两者数据，输入SLAM算法框架并完成机器人的位姿估计；
S3，改进视觉SLAM中特征提取的方式，判断实时采集的每帧图像并筛选出关键帧，输入图像处理系统提取裂缝信息；
S4，将步骤S3提取的裂缝信息与深度相机数据融合，通过空间矩阵转换，构建含有裂缝信息的稠密点云地图，实现裂缝的三维定位。
2.根据权利要求1所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，所述步骤S1的图像处理系统具体包括：
步骤S1-1，对采集的路面图像进行灰度化处理，定义一个滑动窗口，窗口在图像上沿着从左至右，从上往下进行滑动，窗口大小依据实验结果自适应调整；
步骤S1-2，统计各个窗口内图像的灰度值总和，得到所有窗口的灰度分布图，通过自适应阈值设置，将高于阈值的窗口像素值设置为0，低于阈值的所有窗口定义为裂缝候选区域；
步骤S1-3，对待检测区域进行改进中值滤波和图像增强，再进行自适应阈值化操作进行二值分割，得到待检测区域的二值图像；
步骤S1-4，对二值图像进行形态学膨胀操作后提取裂缝二值图像的骨架，对裂缝长度进行量化处理。
3.根据权利要求2所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，待检测区域裂缝中值滤波方法步骤如下：
(1)遍历待检测区域的像素点，将目标像素点Iij的八邻域内各像素点的灰度值与目标像素点作差值；
(2)取绝对值最小的三个邻域像素点，以Iij到邻域像素点方向为轴向外扩展，得到三个像素点Ip,Iq,Ih；
(3)取八邻域内的像素和Ip,Iq,Ih三个像素，按灰度值从小到大取中值并替换目标像素点的值。
4.根据权利要求2所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，自适应阈值化进行二值分割中，阈值设置方法为：统计待检测区域的灰度值分布，根据灰度分布直方图自适应设置分割阈值。
5.根据权利要求2所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，裂缝长度的量化处理方法为：
使用Zhang并行细化算法获取裂缝骨架，获取像素水平的骨架图像，获取骨架线上的像素灰度值：
Figure FDA0004085148820000021
/>
其中，(x,y)表示骨架线上的像素坐标，I(x,y)表示在(x,y)处的像素值，统计骨架线上的像素值为1的数量n，计算裂缝长度L:
Figure FDA0004085148820000022
其中，
Figure FDA0004085148820000023
表示相邻像素点间的距离；(xi,yi)表示骨架线上第i个点的坐标，(xi+1,yi+1)表示骨架线上的第i+1个点的坐标。
6.根据权利要求1所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，所述步骤S2具体包括：
S2-1，分别标定相机和惯性测量单元并对两者联合标定，得到两者间的转换矩阵；
S2-2，对惯性测量单元进行建模，并根据建模结果对惯性测量单元进行预积分处理；再将视觉相机与惯性测量单元联合初始化，主要就陀螺仪偏置和重力加速度进行初始化；
S2-3，通过基于滑动窗口的边缘优化方式紧耦合惯性传感器信息和视觉信息，计算视觉重投影误差和惯性测量单元观测残差，合并到滑动窗口中，根据优化向量建立非线性优化模型并估计位姿。
7.根据权利要求1所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，所述步骤S3中SLAM的特征提取方式，提取图像上的ORB特征角点，并使用Beblid描述子对特征点进行匹配；进行关键帧筛选时需满足以下条件之一：(1)与上次全局重定位之间间隔至少20帧；(2)当前关键帧需跟踪至少50个地图点；(3)当前关键帧跟踪到的特征点包含上一关键帧的特征点需小于80％。
8.根据权利要求1所述的基于SLAM和图像处理的裂缝检测及其三维定位方法，其特征在于，所述步骤S4具体包括：经过裂缝检测得到的裂缝关键帧，通过空间坐标变换，得到裂缝在稠密地图中的三维位置信息；关键帧经过融合SLAM、后端优化和回环矫正后，融合其彩色信息和深度信息，获取带有裂缝信息的稠密点云地图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法的步骤。
CN202310135012.4A 2023-02-19 2023-02-19 基于slam和图像处理的裂缝检测及其三维定位方法 Pending CN116188417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310135012.4A CN116188417A (zh) 2023-02-19 2023-02-19 基于slam和图像处理的裂缝检测及其三维定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310135012.4A CN116188417A (zh) 2023-02-19 2023-02-19 基于slam和图像处理的裂缝检测及其三维定位方法

Publications (1)

Publication Number Publication Date
CN116188417A true CN116188417A (zh) 2023-05-30

Family

ID=86448210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310135012.4A Pending CN116188417A (zh) 2023-02-19 2023-02-19 基于slam和图像处理的裂缝检测及其三维定位方法

Country Status (1)

Country Link
CN (1) CN116188417A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032276A (zh) * 2023-07-04 2023-11-10 长沙理工大学 基于双目视觉和惯导融合无人机的桥梁检测方法及系统
CN117422679A (zh) * 2023-10-20 2024-01-19 浙江大学 一种基于时序图像和稠密光流估计的裂缝变化监测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032276A (zh) * 2023-07-04 2023-11-10 长沙理工大学 基于双目视觉和惯导融合无人机的桥梁检测方法及系统
CN117422679A (zh) * 2023-10-20 2024-01-19 浙江大学 一种基于时序图像和稠密光流估计的裂缝变化监测方法
CN117422679B (zh) * 2023-10-20 2024-05-31 浙江大学 一种基于时序图像和稠密光流估计的裂缝变化监测方法

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
Yuan et al. Robust lane detection for complicated road environment based on normal map
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
CN111210477B (zh) 一种运动目标的定位方法及系统
CN113744337B (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
Guo et al. Extraction of dense urban buildings from photogrammetric and LiDAR point clouds
CN116188417A (zh) 基于slam和图像处理的裂缝检测及其三维定位方法
CN116242374A (zh) 一种基于直接法的多传感器融合的slam定位方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114549549A (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination