CN117456108A - 一种线激光传感器与高清摄像头的三维数据采集方法 - Google Patents

一种线激光传感器与高清摄像头的三维数据采集方法 Download PDF

Info

Publication number
CN117456108A
CN117456108A CN202311783907.5A CN202311783907A CN117456108A CN 117456108 A CN117456108 A CN 117456108A CN 202311783907 A CN202311783907 A CN 202311783907A CN 117456108 A CN117456108 A CN 117456108A
Authority
CN
China
Prior art keywords
laser sensor
point
line laser
data acquisition
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311783907.5A
Other languages
English (en)
Other versions
CN117456108B (zh
Inventor
刘欢
马松
唐梓洋
王立娟
廖军
李仁海
庞全
李念柯
贾洁琼
王蕾
韩柳
张婧
张书峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Anxin Kechuang Technology Co ltd
Sichuan safety science and technology research institute
Original Assignee
Sichuan Anxin Kechuang Technology Co ltd
Sichuan safety science and technology research institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Anxin Kechuang Technology Co ltd, Sichuan safety science and technology research institute filed Critical Sichuan Anxin Kechuang Technology Co ltd
Priority to CN202311783907.5A priority Critical patent/CN117456108B/zh
Publication of CN117456108A publication Critical patent/CN117456108A/zh
Application granted granted Critical
Publication of CN117456108B publication Critical patent/CN117456108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种线激光传感器与高清摄像头的三维数据采集方法，包括构造校准一包括轮式机器人、线激光传感器和双目摄像头的隧道三维数据采集装置；轮式机器人自动规划路径探测，探测时结合线激光传感器的距离向量和双目摄像头的RGB图，并进行传感器一致性调整使线激光传感器的轮廓点与激光线区域像素点一一对应，再用SGM算法得到视差图、深度图，计算激光线区域每个轮廓点的线激光传感器置信度和双目摄像头置信度，根据置信度得到融合距离值、帧内融合图，结合特征点匹配、投影等方法得到点云数据，并用融合距离值更新SGM算法的代价。本发明成本低廉、采集速度快、数据准确、能为隧道中的病害识别及信息管理提供数据支撑。

Description

一种线激光传感器与高清摄像头的三维数据采集方法
技术领域
本发明涉及图像数据处理领域，尤其涉及一种线激光传感器与高清摄像头的三维数据采集方法。
背景技术
隧道是人类利用地下空间的一种形式，隧道可分为交通隧道、水工隧道、市政隧道、矿山隧道、军事隧道；隧道的结构包括主体建筑物和附属设备两部分，主体建筑物由洞身和洞门组成，附属设备包括避车洞、消防设施、应急通讯和防排水设施，长的隧道还有专门的通风和照明设备。
隧道表面病害主要包括:隧道水害、衬砌裂损、隧道冻害等病害，传统的隧道表面病害检测主要依靠人眼进行巡检，劳动强度大，作业效率低，检测结果可靠性差，而且需要专业的有经验的人员来判定，对于一些百米级隧道大型隧道，采用人工的方法费时费力，如搭建脚手架方式资金投入大、工期长、作业风险高、效率低且不易实施。随着技术的进步，其隧道结构安全监测方法采用了全站仪监测、电子水平尺监测、摄影测量监测等，这些安全监测方法在长期监测过程中，由于定位信息的问题，其误差容易增大，其监测效果低而采用超声波探伤和电磁检测虽然能够反应出隧道的一些信息，但是无法确定是表面病害还是内部特性，无法进行区分，且建模难度大，在隧道表面病害检测方面应用不足。另外，目前采用的3D激光扫描仪、全站仪等设备，价格高昂。
所以目前迫切需要能完成隧道的三维建模工作，成本低廉、采集速度快，且数据准确、能为隧道中的病害识别以及构建隧道病害信息管理系统提供数据支撑的隧道的三维数据的采集装置和采集方法。
名词解释：
惯性传感器（InerTIal measurement unit，简称IMU），是测量物体三轴姿态角（或角速率）及加速度的装置。陀螺仪和加速度计，是惯性导航系统的核心装置。借助内置的加速度传感器和陀螺仪，IMU可测量来自三个方向的线性加速度和旋转角速率，通过解算可获得载体的姿态、速度和位移等信息。
所述的SGM（semi-global matching）是一种用于计算双目视觉中视差的半全局匹配算法。其步骤一般可以分为：深度图初始化、代价计算、代价聚合、视差计算、视差优化。所述的在SGM的整个过程中采用4路径聚合、8路径聚合、16路径聚合等聚合策略对代价值进行计算，计算每个像素不同角度的代价值，然后加权综合考虑，以获得优化后的值。本发明对SGM算法中的代价计算进行改进。
发明内容
本发明的目的就在于提供一种解决上述问题，成本低廉、采集速度快、数据准确、能为隧道中的病害识别及信息管理提供数据支撑的，一种线激光传感器与高清摄像头的三维数据采集方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种线激光传感器与高清摄像头的三维数据采集方法，包括以下步骤；
（1）构造一隧道三维数据采集装置；
所述隧道三维数据采集装置包括轮式机器人，轮式机器人搭载有线激光传感器和双目摄像头，双目摄像头包括左摄像头和右摄像头，分别位对称分布在线激光传感器的左右两侧，所述线激光传感器的轮廓点为S个，双目摄像头分辨率为S1×S2，且S大于S1和S2；
轮式机器人上还安装在有显示单元和控制箱，控制箱内设有工控机和数据采集单元，所述数据采集单元用于实时获取位置信息、姿态信息和里程信息，数据采集单元、线激光传感器和双目摄像头的输出端均连接工控机，工控机输出端连接显示单元，且工控机与轮式机器人双向通信；
（2）隧道三维数据采集装置校准；
（21）确定隧道探测的起始点、终止点，将隧道三维数据采集装置置于起始点；
（22）轮式机器人的姿态信息清零、里程信息清零、对线激光传感器和双目摄像头进行标定；
（3）轮式机器人根据起始点、终止点自动规划路径，该路径能使轮式机器人从起始点走到终止点后，双目摄像头采集的图像能完全覆盖隧道内壁；
（4）轮式机器人按路径行进并探测，其中，第N个时刻的探测过程包括步骤（41）~（48）；
（41）线激光传感器发出激光束在隧道内壁形成一激光线，左摄像头和右摄像头对激光照射区域进行拍摄，得到包含激光线区域的左RGB图和右RGB图；
（42）所述激光线包含S个轮廓点，将每个轮廓点作为一像素点，第p个轮廓点到线激光传感器的距离为d p ，p=1~S，将所有距离构成一距离向量D={d 1,d 2,…,d S}；
（43）传感器一致性调整：对左RGB图、右RGB图分别插值操作，使图中激光线区域包含S个与轮廓点一一对应的像素点，得到调整后左RGB图PL、调整后右RGB图PR；
（44）对PL、PR用SGM算法得到视差图、深度图，均包含激光线区域；
（45）计算激光线区域每个轮廓点的线激光传感器置信度和双目摄像头置信度；
（46）帧内融合；
对激光线区域每个像素点计算一融合距离值，替换深度图中对应像素点的深度值，得到第N个时刻的帧内融合图；
其中，第p个像素点的融合距离值DL p 根据下式得到：
，
式中，P c 为第𝑝个像素点的视差值，Con L (p)为第p个像素点的线激光传感器置信度，Con D (p)为第p个像素点的线激光传感器置信度；
（47）基于融合距离值调整SGM算法的代价；
（48）将第N个时刻与第N-1个时刻的帧内融合图进行特征点匹配，得到第N个时刻的帧间融合图；
（5）得到帧间融合图后，按照2D投影到3D的方法获得点云数据；
（6）将点云数据按云数据稀疏化抽样后，由显示单元进行显示。
作为优选：步骤（1）中，所述隧道三维数据采集装置还包括伺服高精度电动伸缩杆、中空旋转平台、和载物台；
所述载物台位于轮式机器人上方，经中空旋转平台、伺服高精度电动伸缩杆与轮式机器人顶部连接，所述中空旋转平台用于偏转载物台角度，所述伺服高精度电动伸缩杆用于带动载物台升降，所述线激光传感器位于载物台中部。
作为优选：所述载物台上表面，线激光传感器与左摄像头之间、线激光传感器与右摄像头之间，各设有一补光平顶灯，两补光平顶灯对称分布。
作为优选：所述数据采集单元包括GPS/北斗定位模块、惯性传感器和光电编码器；
所述GPS/北斗定位模块用于获取轮式机器人的位置信息；
所述惯性传感器用于获取轮式机器人的姿态信息；
所述光电编码器用于获取轮式机器人的里程信息。
作为优选：轮式机器人沿路径移动时，工控机根据数据采集单元的位置信息、姿态信息和里程信息，进行轮式机器人的位置校准和姿态调整。
作为优选：步骤（43）中，采用了双边引导上采样方法对左RGB图、右RGB图进行插值操作。
作为优选：步骤（45）中，轮廓点的线激光传感器置信度为对应轮廓点的局部视差的方差，轮廓点的双目摄像头置信度为对应像素点在视差图中的局部方差；
对第p个轮廓点，以其为中心设置一窗口宽度为w的第一窗口，根据下式计算Con L (p)；
，
，
式中，L(𝑝)为第𝑝个轮廓点的距离差平均值，N w (𝑝)为第𝑝个轮廓点在第一窗口内的邻域区域，|N w (𝑝)|为第一窗口内轮廓点个数，为N w (𝑝)内所有轮廓点到线激光传感器的距离的平均值，minL(𝑝)、maxL(𝑝)分别为L(𝑝)的最小值和最大值；
对第p个轮廓点，在视差图中确定与其对应的第p个像素点，以其为中心在视差图上设置一边长为r的第二窗口，根据下式计算Con D (p)；
，
，
式中，D(𝑝)为第𝑝个像素点的视差平均值，N r (𝑝)为第𝑝个像素点在第二窗口内的邻域区域，|N r (𝑝)|为第二窗口内像素点个数，P c 为第𝑝个像素点的视差值，为N r (𝑝)内所有像素点的视差值的平均值，minD(𝑝)、maxD(𝑝)分别为D(𝑝)的最小值和最大值。
作为优选：步骤（47）中，第p个像素点的调整方法为，
（a1）对第p个像素点，计算其AD代价M(p)和Sobel梯度代价G(p)；
，
，
式中，PL(p)为第p个轮廓点在左RGB图中对应的像素点灰度值，PR(p)为第p个轮廓点在右RGB图中对应的像素点灰度值，∇ x P L (p)、∇P R (p)分别为P L (p)处、P R (p)处x方向上的Sobel梯度值，∇ y P L (p)、∇ y P R (p)分别为P L (p)处、P R (p) 处y方向上的Sobel梯度值；
（a2）计算总路径代价值S(p)；
，
式中，r=2，为SGM算法中与激光束夹角最小的两条路径，λ为影响因子系数，λ值在（0，1）之间，∇DL(p)为DL p 的梯度值。
作为优选：步骤（48）的特征点匹配具体为，将第N个时刻与第N-1个时刻的帧内融合图采用SURF方法提取特征点，再进行特征点的匹配。
本发明的思路为：
双目摄像头通过深度估计方法得到深度图及对应的深度信息，获得深度信息，此外，双目摄像头还能记录隧道表面的纹理颜色信息。
线激光传感器测量得到的距离向量是它在进行工作时，发出激光束在隧道内壁形成一激光线后，激光线中S个轮廓点到线激光传感器的距离，本发明用该距离对双目摄像头形成的深度信息进行补充。
由于线激光传感器的轮廓点数量S大于双目摄像头分辨率中的S1和S2，本发明对双目摄像头采集到的左RGB图和右RGB图进行插值操作，使双目摄像头图像中的像素点与轮廓点数量相同且一一对应，便于后续帧内融合。
在帧内融合前，对每个轮廓点按步骤（45）计算线激光传感器置信度，对每个像素点按步骤（45）计算双目摄像头置信度，由于像素点与轮廓点一一对应，则像素点的视差值和轮廓点的距离值也是一一对应的，按步骤（46），对于每个像素点去融合对应的视差值和距离值，就得到了融合距离值，按并按步骤（46）对深度图进行替换，就得到了帧内融合图，得到帧内融合图后，我们按步骤（47）调整SGM算法的代价，更以融合距离值作为代价损失并入到SGM的代价函数中，对SGM的损失函数进行更新，从而在下一时刻生成深度图时，以更新后SGM算法生成。
得到每个时刻的帧内融合图，再用于帧间融合，得到的帧间融合不仅能够反映出隧道表面的纹理信息，对隧道的三维立体数据更加精细。这里隧道作为被测对象，但被测对象不仅限于隧道。
本发明用于隧道内，隧道内部的GPS/北斗定位模块一般没有信号或者误差较大，容易导致定位不准确，使后续的3D数据也不准确，故本发明还设置了惯性传感器和光电编码器，对位置信息进行补充，从而使轮式机器人行进过程中能对位置进行校准，保证数据的准确性。
与现有技术相比，本发明的优点在于：
1、创新性的提出了一种根据线激光传感器和双目摄像头的数据在帧内和帧间进行融合的方法，其数据不仅可以反应出隧道的三维模型数据，还可以反应出灰度信息、纹理信息，为隧道病害进行检测提供数据支撑，实施对于需要监测的区域进行自动检测。
2、整体设备结构简单，成本低廉，对采集的数据要求简单，故采集速度快。帧内融合时，融合线激光传感器和双目摄像头的数据得到融合距离值，用融合距离值去生成帧内融合图，并基于融合距离值去调整SGM算法的代价，目的是让SGM算法得到的深度图更接近同一时刻的帧内融合图，提高了SGM算法生成深度图的准确度。
3、本发明通过对RGB图进行插值操作，使激光线区域的轮廓点与像素点形成一一对应关系，在进行图像处理时，以轮廓点为参考，很容易定位到各图片中对应的像素点，大大减少了图像处理中像素点的数量，能提升收敛的速度。
附图说明
图1为隧道三维数据采集装置结构示意图；
图2为隧道三维数据采集装置在隧道内工作示意图；
图3为本发明流程图；
图4为本发明电路连接示意图；
图5为第N个时刻探测过程的流程图。
图中：1、隧道；2、轮式机器人；3、显示单元；4、控制箱；5、载物台；6、双目摄像头；7、线激光传感器；8、补光平顶灯；9、伺服高精度电动伸缩杆；10、中空旋转平台。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1到图5，一种线激光传感器与高清摄像头的三维数据采集方法，包括以下步骤；
（1）构造一隧道三维数据采集装置；
所述隧道三维数据采集装置包括轮式机器人，轮式机器人搭载有线激光传感器和双目摄像头，双目摄像头包括左摄像头和右摄像头，分别位对称分布在线激光传感器的左右两侧，所述线激光传感器的轮廓点为S个，双目摄像头分辨率为S1×S2，且S大于S1和S2；
轮式机器人上还安装在有显示单元和控制箱，控制箱内设有工控机和数据采集单元，所述数据采集单元用于实时获取位置信息、姿态信息和里程信息，数据采集单元、线激光传感器和双目摄像头的输出端均连接工控机，工控机输出端连接显示单元，且工控机与轮式机器人双向通信；
（2）隧道三维数据采集装置校准；
（21）确定隧道探测的起始点、终止点，将隧道三维数据采集装置置于起始点；
（22）轮式机器人的姿态信息清零、里程信息清零、对线激光传感器和双目摄像头进行标定；
（3）轮式机器人根据起始点、终止点自动规划路径，该路径能使轮式机器人从起始点走到终止点后，双目摄像头采集的图像能完全覆盖隧道内壁；
（4）轮式机器人按路径行进并探测，其中，第N个时刻的探测过程包括步骤（41）~（48）；
（41）线激光传感器发出激光束在隧道内壁形成一激光线，左摄像头和右摄像头对激光照射区域进行拍摄，得到包含激光线区域的左RGB图和右RGB图；
（42）所述激光线包含S个轮廓点，将每个轮廓点作为一像素点，第p个轮廓点到线激光传感器的距离为d p ，p=1~S，将所有距离构成一距离向量D={d 1,d 2,…,d S}；
（43）传感器一致性调整：对左RGB图、右RGB图分别插值操作，使图中激光线区域包含S个与轮廓点一一对应的像素点，得到调整后左RGB图PL、调整后右RGB图PR；
（44）对PL、PR用SGM算法得到视差图、深度图，均包含激光线区域；
（45）计算激光线区域每个轮廓点的线激光传感器置信度和双目摄像头置信度；
（46）帧内融合；
对激光线区域每个像素点计算一融合距离值，替换深度图中对应像素点的深度值，得到第N个时刻的帧内融合图；
其中，第p个像素点的融合距离值DL p 根据下式得到：
，
式中，P c 为第𝑝个像素点的视差值，Con L (p)为第p个像素点的线激光传感器置信度，Con D (p)为第p个像素点的线激光传感器置信度；
（47）基于融合距离值调整SGM算法的代价；
（48）将第N个时刻与第N-1个时刻的帧内融合图进行特征点匹配，得到第N个时刻的帧间融合图；
（5）得到帧间融合图后，按照2D投影到3D的方法获得点云数据；
（6）将点云数据按云数据稀疏化抽样后，由显示单元进行显示。
步骤（1）中，所述隧道三维数据采集装置还包括伺服高精度电动伸缩杆、中空旋转平台、和载物台；
所述载物台位于轮式机器人上方，经中空旋转平台、伺服高精度电动伸缩杆与轮式机器人顶部连接，所述中空旋转平台用于偏转载物台角度，所述伺服高精度电动伸缩杆用于带动载物台升降，所述线激光传感器位于载物台中部。
所述载物台上表面，线激光传感器与左摄像头之间、线激光传感器与右摄像头之间，各设有一补光平顶灯，两补光平顶灯对称分布。
所述数据采集单元包括GPS/北斗定位模块、惯性传感器和光电编码器，所述GPS/北斗定位模块用于获取轮式机器人的位置信息，所述惯性传感器用于获取轮式机器人的姿态信息，所述光电编码器用于获取轮式机器人的里程信息。
轮式机器人沿路径移动时，工控机根据数据采集单元的位置信息、姿态信息和里程信息，进行轮式机器人的位置校准和姿态调整。
步骤（43）中，采用了双边引导上采样方法对左RGB图、右RGB图进行插值操作。
步骤（45）中，轮廓点的线激光传感器置信度为对应轮廓点的局部视差的方差，轮廓点的双目摄像头置信度为对应像素点在视差图中的局部方差；
对第p个轮廓点，以其为中心设置一窗口宽度为w的第一窗口，根据下式计算Con L (p)；
，
，
式中，L(𝑝)为第𝑝个轮廓点的距离差平均值，N w (𝑝)为第𝑝个轮廓点在第一窗口内的邻域区域，|N w (𝑝)|为第一窗口内轮廓点个数，为N w (𝑝)内所有轮廓点到线激光传感器的距离的平均值，minL(𝑝)、maxL(𝑝)分别为L(𝑝)的最小值和最大值；
对第p个轮廓点，在视差图中确定与其对应的第p个像素点，以其为中心在视差图上设置一边长为r的第二窗口，根据下式计算Con D (p)；
，
，
式中，D(𝑝)为第𝑝个像素点的视差平均值，N r (𝑝)为第𝑝个像素点在第二窗口内的邻域区域，|N r (𝑝)|为第二窗口内像素点个数，P c 为第𝑝个像素点的视差值，为N r (𝑝)内所有像素点的视差值的平均值，minD(𝑝)、maxD(𝑝)分别为D(𝑝)的最小值和最大值。
步骤（47）中，第p个像素点的调整方法为，
（a1）对第p个像素点，计算其AD代价M(p)和Sobel梯度代价G(p)；
，
，
式中，PL(p)为第p个轮廓点在左RGB图中对应的像素点灰度值，PR(p)为第p个轮廓点在右RGB图中对应的像素点灰度值，∇ x P L (p)、∇P R (p)分别为P L (p)处、P R (p)处x方向上的Sobel梯度值，∇ y P L (p)、∇ y P R (p)分别为P L (p)处、P R (p) 处y方向上的Sobel梯度值；
（a2）计算总路径代价值S(p)；
，
式中，r=2，为SGM算法中与激光束夹角最小的两条路径，λ为影响因子系数，λ值在（0，1）之间，∇DL(p)为DL p 的梯度值。
步骤（48）的特征点匹配具体为，将第N个时刻与第N-1个时刻的帧内融合图采用SURF方法提取特征点，再进行特征点的匹配。
实施例2：参见图1到图5，本实施例中，
步骤（1）中，所述线激光传感器的轮廓点为S=3200个，双目摄像头分辨率为S1×S2=1024×2048；
所述轮式机器人包括以下部分：
电源：采用锂电池作为整个隧道三维数据采集装置的供电单元，目前选配的为36V/15AH锂电池。
电源管理单元电路：包括电池保护电路、电量检测电路、DCDC转换及保护电路等，其中DCDC转换电路中包含36V转12V、36V转24V、36V转5V分别提供给各用电单元。
轮式结构：轮式机器人采用的是四轮轮式结构。
电机及其驱动装置：电机采用步进电机，其驱动装置为步进电机及其驱动装置。
工控机还设有同步控制器，采用授时同步的方式将时间信息传送给各被控单元，并采用主动同步的方式将光电编码器的脉冲信号接入到同步控制器；同步控制器按照一定的时间间隔输出光电编码器的总脉冲数和同步控制器的时间到计算机中。
步骤（43）中，对左RGB图、右RGB图进行插值操作时，由于双目摄像头是位于线激光传感器相对两侧，我们设线激光传感器发出一束激光束照射在隧道表面为一条竖线，则我们对左RGB图、右RGB图差值时，将其高度方向插补为3200个像素点，与3200个轮廓点一一对应。这样，不论是左RGB图、右RGB图、视差图、深度图，都有确定的像素点与轮廓点对应，能加快图像处理的速度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：包括以下步骤；
（1）构造一隧道三维数据采集装置；
所述隧道三维数据采集装置包括轮式机器人，轮式机器人搭载有线激光传感器和双目摄像头，双目摄像头包括左摄像头和右摄像头，分别位对称分布在线激光传感器的左右两侧，所述线激光传感器的轮廓点为S个，双目摄像头分辨率为S1×S2，且S大于S1和S2；
轮式机器人上还安装在有显示单元和控制箱，控制箱内设有工控机和数据采集单元，所述数据采集单元用于实时获取位置信息、姿态信息和里程信息，数据采集单元、线激光传感器和双目摄像头的输出端均连接工控机，工控机输出端连接显示单元，且工控机与轮式机器人双向通信；
（2）隧道三维数据采集装置校准；
（21）确定隧道探测的起始点、终止点，将隧道三维数据采集装置置于起始点；
（22）轮式机器人的姿态信息清零、里程信息清零、对线激光传感器和双目摄像头进行标定；
（3）轮式机器人根据起始点、终止点自动规划路径，该路径能使轮式机器人从起始点走到终止点后，双目摄像头采集的图像能完全覆盖隧道内壁；
（4）轮式机器人按路径行进并探测，其中，第N个时刻的探测过程包括步骤（41）~（48）；
（41）线激光传感器发出激光束在隧道内壁形成一激光线，左摄像头和右摄像头对激光照射区域进行拍摄，得到包含激光线区域的左RGB图和右RGB图；
（42）所述激光线包含S个轮廓点，将每个轮廓点作为一像素点，第p个轮廓点到线激光传感器的距离为d p ，p=1~S，将所有距离构成一距离向量D={d 1,d 2,…,d S}；
（43）传感器一致性调整：对左RGB图、右RGB图分别插值操作，使图中激光线区域包含S个与轮廓点一一对应的像素点，得到调整后左RGB图PL、调整后右RGB图PR；
（44）对PL、PR用SGM算法得到视差图、深度图，均包含激光线区域；
（45）计算激光线区域每个轮廓点的线激光传感器置信度和双目摄像头置信度；
（46）帧内融合；
对激光线区域每个像素点计算一融合距离值，替换深度图中对应像素点的深度值，得到第N个时刻的帧内融合图；
其中，第p个像素点的融合距离值DL p 根据下式得到：
，
式中，P c 为第𝑝个像素点的视差值，Con L (p)为第p个像素点的线激光传感器置信度，Con D (p)为第p个像素点的线激光传感器置信度；
（47）基于融合距离值调整SGM算法的代价；
（48）将第N个时刻与第N-1个时刻的帧内融合图进行特征点匹配，得到第N个时刻的帧间融合图；
（5）得到帧间融合图后，按照2D投影到3D的方法获得点云数据；
（6）将点云数据按云数据稀疏化抽样后，由显示单元进行显示。
2.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：步骤（1）中，所述隧道三维数据采集装置还包括伺服高精度电动伸缩杆、中空旋转平台、和载物台；
所述载物台位于轮式机器人上方，经中空旋转平台、伺服高精度电动伸缩杆与轮式机器人顶部连接，所述中空旋转平台用于偏转载物台角度，所述伺服高精度电动伸缩杆用于带动载物台升降，所述线激光传感器位于载物台中部。
3.根据权利要求2所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：所述载物台上表面，线激光传感器与左摄像头之间、线激光传感器与右摄像头之间，各设有一补光平顶灯，两补光平顶灯对称分布。
4.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：所述数据采集单元包括GPS/北斗定位模块、惯性传感器和光电编码器；
所述GPS/北斗定位模块用于获取轮式机器人的位置信息；
所述惯性传感器用于获取轮式机器人的姿态信息；
所述光电编码器用于获取轮式机器人的里程信息。
5.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：轮式机器人沿路径移动时，工控机根据数据采集单元的位置信息、姿态信息和里程信息，进行轮式机器人的位置校准和姿态调整。
6.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：步骤（43）中，采用了双边引导上采样方法对左RGB图、右RGB图进行插值操作。
7.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：步骤（45）中，轮廓点的线激光传感器置信度为对应轮廓点的局部视差的方差，轮廓点的双目摄像头置信度为对应像素点在视差图中的局部方差；
对第p个轮廓点，以其为中心设置一窗口宽度为w的第一窗口，根据下式计算Con L (p)；
，
，
式中，L(𝑝)为第𝑝个轮廓点的距离差平均值，N w (𝑝)为第𝑝个轮廓点在第一窗口内的邻域区域，|N w (𝑝)|为第一窗口内轮廓点个数，为N w (𝑝)内所有轮廓点到线激光传感器的距离的平均值，minL(𝑝)、maxL(𝑝)分别为L(𝑝)的最小值和最大值；
对第p个轮廓点，在视差图中确定与其对应的第p个像素点，以其为中心在视差图上设置一边长为r的第二窗口，根据下式计算Con D (p)；
，
，
式中，D(𝑝)为第𝑝个像素点的视差平均值，N r (𝑝)为第𝑝个像素点在第二窗口内的邻域区域，|N r (𝑝)|为第二窗口内像素点个数，P c 为第𝑝个像素点的视差值，为N r (𝑝)内所有像素点的视差值的平均值，minD(𝑝)、maxD(𝑝)分别为D(𝑝)的最小值和最大值。
8.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：步骤（47）中，第p个像素点的调整方法为，
（a1）对第p个像素点，计算其AD代价M(p)和Sobel梯度代价G(p)；
，
，
式中，PL(p)为第p个轮廓点在左RGB图中对应的像素点灰度值，PR(p)为第p个轮廓点在右RGB图中对应的像素点灰度值，∇ x P L (p)、∇ P R (p)分别为P L (p)处、P R (p)处x方向上的Sobel梯度值，∇ y P L (p)、∇ y P R (p)分别为P L (p)处、P R (p) 处y方向上的Sobel梯度值；
（a2）计算总路径代价值S(p)；
，
式中，r=2，为SGM算法中与激光束夹角最小的两条路径，λ为影响因子系数，λ值在（0，1）之间，∇DL(p)为DL p 的梯度值。
9.根据权利要求1所述的一种线激光传感器与高清摄像头的三维数据采集方法，其特征在于：步骤（48）的特征点匹配具体为，将第N个时刻与第N-1个时刻的帧内融合图采用SURF方法提取特征点，再进行特征点的匹配。
CN202311783907.5A 2023-12-22 2023-12-22 一种线激光传感器与高清摄像头的三维数据采集方法 Active CN117456108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311783907.5A CN117456108B (zh) 2023-12-22 2023-12-22 一种线激光传感器与高清摄像头的三维数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311783907.5A CN117456108B (zh) 2023-12-22 2023-12-22 一种线激光传感器与高清摄像头的三维数据采集方法

Publications (2)

Publication Number Publication Date
CN117456108A true CN117456108A (zh) 2024-01-26
CN117456108B CN117456108B (zh) 2024-02-23

Family

ID=89593232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311783907.5A Active CN117456108B (zh) 2023-12-22 2023-12-22 一种线激光传感器与高清摄像头的三维数据采集方法

Country Status (1)

Country Link
CN (1) CN117456108B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载系统、井下车辆调度系统和控制方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
GB202020689D0 (en) * 2019-12-25 2021-02-10 Univ Hohai 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects
CN112698353A (zh) * 2020-12-31 2021-04-23 清华大学苏州汽车研究院（吴江） 一种结构线激光与倾斜双目组合的车载视觉雷达系统
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN115291191A (zh) * 2022-09-14 2022-11-04 四川省安全科学技术研究院 一种两轴线激光测量装置
CN115468567A (zh) * 2022-09-28 2022-12-13 中国人民解放军陆军装甲兵学院 一种面向越野环境的激光视觉融合slam方法
US20230260151A1 (en) * 2020-05-18 2023-08-17 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous Localization and Mapping Method, Device, System and Storage Medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345305A (zh) * 2018-01-31 2018-07-31 中国矿业大学 无轨胶轮车智能车载系统、井下车辆调度系统和控制方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
GB202020689D0 (en) * 2019-12-25 2021-02-10 Univ Hohai 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects
US20230260151A1 (en) * 2020-05-18 2023-08-17 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous Localization and Mapping Method, Device, System and Storage Medium
CN112698353A (zh) * 2020-12-31 2021-04-23 清华大学苏州汽车研究院（吴江） 一种结构线激光与倾斜双目组合的车载视觉雷达系统
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN115291191A (zh) * 2022-09-14 2022-11-04 四川省安全科学技术研究院 一种两轴线激光测量装置
CN115468567A (zh) * 2022-09-28 2022-12-13 中国人民解放军陆军装甲兵学院 一种面向越野环境的激光视觉融合slam方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU.JIAN等: "Outdoor 3D reconstruction method based on multi-line laser and binocular vision", IFAC PAPERSONLINE, vol. 53, no. 2, 14 April 2021 (2021-04-14), pages 9554 - 9559 *
何文杰等: "双目线结构光测量系统三维数据融合研究", 激光杂志, vol. 41, no. 6, 25 June 2020 (2020-06-25), pages 10 - 16 *

Also Published As

Publication number Publication date
CN117456108B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110262546B (zh) 一种隧道智能无人机巡检方法
WO2021068846A1 (zh) 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人
CN111045017B (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN104217439B (zh) 一种室内视觉定位系统及方法
US9091755B2 (en) Three dimensional image capture system for imaging building facades using a digital camera, near-infrared camera, and laser range finder
CN112476433B (zh) 一种基于识别阵列边界的移动机器人定位方法
CN111547084B (zh) 基于自移动式轨道交通移动三维扫描系统的数据处理方法
EP2588882B1 (en) Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN105652305A (zh) 一种动态环境下轨道检测平台的三维定位定姿方法及系统
CN111813130A (zh) 一种输变电站智能巡检机器人自主导航避障系统
KR20120099952A (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
CN213244111U (zh) 智能巡检机器人
CN109444916A (zh) 一种无人驾驶可行驶区域确定装置及方法
CN207965645U (zh) 一种机器人自主导航系统
CN111813114A (zh) 智能小车视觉导航方法
CN115343299B (zh) 一种轻量化公路隧道集成检测系统及方法
CN115793649B (zh) 一种电缆沟自动巡检装置及巡检方法
CN110864692A (zh) 掘进机的位姿确定方法
CN116358515A (zh) 一种低速无人驾驶系统的建图定位方法与装置
CN117456108B (zh) 一种线激光传感器与高清摄像头的三维数据采集方法
CN113776515B (zh) 一种机器人导航方法、装置、计算机设备和存储介质
CN115409965A (zh) 一种面向非结构化道路的矿区地图自动生成方法
US20230359218A1 (en) Visual driving assistance system for a mining machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant