CN113223180B - 基于多传感器融合的管道三维建模方法和系统 - Google Patents
基于多传感器融合的管道三维建模方法和系统 Download PDFInfo
- Publication number
- CN113223180B CN113223180B CN202110519338.8A CN202110519338A CN113223180B CN 113223180 B CN113223180 B CN 113223180B CN 202110519338 A CN202110519338 A CN 202110519338A CN 113223180 B CN113223180 B CN 113223180B
- Authority
- CN
- China
- Prior art keywords
- pipeline
- point cloud
- coordinate
- data
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 239000012530 fluid Substances 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 13
- 230000009193 crawling Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000008021 deposition Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Abstract
本发明提供一种基于多传感器融合的管道三维建模方法和系统，方法包括获取管道点云数据和管道点云数据对应的第一坐标；根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；获取管道摄像数据和管道摄像数据对应的第二坐标；通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；本发明能够建立精确度更高、适应性更好的管道三维模型；同时，本发明提供的三维实景模型，能够提升人工校核或机器识别的误差识别率。
Description
技术领域
本发明涉及管道建模技术领域，尤其涉及一种基于多传感器融合的管道三维建模方法和系统。
背景技术
管道内检测是指通过驱动管道探测器在管道内运行，实时检测和记录管道的变形、腐蚀等损伤情况，并准确定位的作业。通过管道内检测可事先发现各种缺陷和损伤，了解各管段的危险程度，可预防和有效减少事故并节约管道维修资金，是保证管道安全的重要措施。
现有技术针对管道内检测这一需求，存在多种技术方案。管道三维建模是其中较为可行的一种。但现有技术存在着如下问题：
1、现有技术采用的传感器，不能适应多元的管道内环境，如管道沉积、管道破损、管内流体等。尤其是对于管道内存在未完全填充流体的情况，由于传感器信号折射、反射、被障碍阻隔等原因，现有技术往往无法得到精确性和适应性良好的建模结果，从而使得管道内检测的结果与实际情况存在较大偏差。
2、基于现有技术建立的管道三维模型，仅通过同类传感器返回结果建立模型，不提供管道内实景；对于可能出现的误差和误识别情况，人工校核或机器识别的判定基础单薄、识别率较低。
因此，提供一种基于多传感器融合的管道三维建模方法和系统，能够克服现有技术存在的问题，具有较高的实用价值和意义。
发明内容
针对现有技术存在的问题，本发明提供一种基于多传感器融合的管道三维建模方法和系统。
本发明提供一种基于多传感器融合的管道三维建模方法，包括：
获取管道点云数据和管道点云数据对应的第一坐标；
根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
获取管道摄像数据和管道摄像数据对应的第二坐标；
通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；
所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取。
根据本发明提供的一种基于多传感器融合的管道三维建模方法，所述获取管道点云数据和管道点云数据对应的第一坐标的步骤包括：
载有声呐和雷达的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第一坐标，并持续扫描第一坐标对应的管道数据，得到连续多帧完整的管道横截面轮廓；
将所述管道横截面轮廓进行姿态纠正后，作为管道点云数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
根据本发明提供的一种基于多传感器融合的管道三维建模方法：
当管道区域内部不存在流体时，所述爬行器利用激光雷达扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部充满流体时，所述爬行器利用声呐扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部存在部分流体时：
对于流体覆盖部分的管壁，所述爬行器利用声呐扫描管道横截面轮廓，得到声呐扫描数据；
对于流体未覆盖部分的管壁，所述爬行器利用激光雷达扫描管道横截面轮廓，得到雷达扫描数据；
对声呐扫描数据和雷达扫描数据进行组合处理后，得到完整的管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
所述组合处理包括缩放、对齐以及拼接中的任一种或任多种组合。
根据本发明提供的一种基于多传感器融合的管道三维建模方法，所述根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型的步骤包括：
对管道点云数据进行预处理后，根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述预处理包括去噪处理和/或平滑处理；
所述去噪处理包括临近点搜索去噪处理；所述平滑处理包括7点线性平滑处理。
根据本发明提供的一种基于多传感器融合的管道三维建模方法，所述获取管道摄像数据和管道摄像数据对应的第二坐标的步骤包括：
载有摄像头的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第二坐标，并持续扫描第二坐标对应的管道摄像图像；
将所述管道摄像图像进行姿态纠正后，作为管道摄像数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
根据本发明提供的一种基于多传感器融合的管道三维建模方法，所述根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型的步骤包括：
根据第二坐标和第一坐标间的对应关系，截取管道图像的分段全景图像，经过图像展开和/或配准后，根据计算得到的管道图像法向量和管道三维网格模型的匹配关系镶嵌管道图像，从而将管道图像附着在对应的管道三位网格模型上，得到三维实景模型。
本发明还提供一种基于多传感器融合的管道三维建模系统，包括爬行器、三维网格模型建立模块、管道图像建立模块以及附着模块；
所述爬行器上设置有声呐、雷达、摄像头、里程计以及惯性测量单元；
所述爬行器能够通过声呐、雷达、里程计以及惯性测量单元，获取管道点云数据和管道点云数据对应的第一坐标；
所述爬行器能够通过摄像头、里程计以及惯性测量单元，获取管道摄像数据和管道摄像数据对应的第二坐标；
所述三维网格模型建立模块能够根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述管道图像建立模块能够通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
所述附着模块能够根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多传感器融合的管道三维建模方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多传感器融合的管道三维建模方法的步骤。
本发明提供的基于多传感器融合的管道三维建模方法和系统，通过多传感器融合、各传感器返回数据相互补充验证的技术手段，能够建立精确度更高、适应性更好的管道三维模型，从而更为准确的实现管道局部缺陷的测量、管道路径的测绘，进而得到更符合实际的管道变形率、过水断面损失率、沉积量以及管底坡度等管道参数。
同时，本发明通过对管道点云数据建立管道三维网格模型、通过管道摄像数据进一步形成三维实景模型，提供了管路内实景，能够为可能出现的误差和误识别状况，提供更为充分的判定基础，从而提升人工校核或机器识别的误差识别率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于多传感器融合的管道三维建模方法的流程示意图；
图2是本发明提供的基于多传感器融合的管道三维建模系统的示意图；
图3是本发明提供的电子设备的结构示意图。
附图标记：
1：爬行器； 2：三维网格模型建立模块；
3：管道图像建立模块； 4：附着模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的基于多传感器融合的管道三维建模方法。
如图1所示，本发明实施例提供一种基于多传感器融合的管道三维建模方法，包括：
步骤100，获取管道点云数据和管道点云数据对应的第一坐标；
步骤200，根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
步骤300，获取管道摄像数据和管道摄像数据对应的第二坐标；
步骤400，通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
步骤500，根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；
所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取。
本实施例的有益效果在于：
本实施例通过多传感器融合、各传感器返回数据相互补充验证的技术手段，能够建立精确度更高、适应性更好的管道三维模型，从而更为准确的实现管道局部缺陷的测量、管道路径的测绘，进而得到更符合实际的管道变形率、过水断面损失率、沉积量以及管底坡度等管道参数。
同时，本实施例通过对管道点云数据建立管道三维网格模型、通过管道摄像数据进一步形成三维实景模型，提供了管路内实景，能够为可能出现的误差和误识别状况，提供更为充分的判定基础，从而提升人工校核或机器识别的误差识别率。
根据上述实施例，在本实施例中：
所述获取管道点云数据和管道点云数据对应的第一坐标的步骤包括：
载有声呐和雷达的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第一坐标，并持续扫描第一坐标对应的管道数据，得到连续多帧完整的管道横截面轮廓；
将所述管道横截面轮廓进行姿态纠正后，作为管道点云数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
本实施例的有益效果在于：
本实施例采用声呐和雷达两种传感器配合采集数据，两者采集的数据能够相互补充验证，从而提供更为精准的管道三维模型；同时，两者采集的数据能够为可能出现的误差和误识别状况，提供更为充分的判定基础，从而提升人工校核或机器识别的误差识别率。
另外，本实施例还能够通过除声呐和雷达外的位姿传感器实现姿态纠正，提供更为精确的管道点云数据，从而进一步提升管道三维模型的精确性。
根据上述任一实施例，在本实施例中：
当管道区域内部不存在流体时，所述爬行器利用激光雷达扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部充满流体时，所述爬行器利用声呐扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部存在部分流体时：
对于流体覆盖部分的管壁，所述爬行器利用声呐扫描管道横截面轮廓，得到声呐扫描数据；
对于流体未覆盖部分的管壁，所述爬行器利用激光雷达扫描管道横截面轮廓，得到雷达扫描数据；
对声呐扫描数据和雷达扫描数据进行组合处理后，得到完整的管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
所述组合处理包括缩放、对齐以及拼接中的任一种或任多种组合。
本实施例的有益效果在于：
本实施例利用声呐和激光雷达两种传感器配合采集数据。由于声呐对流体覆盖部分的管壁的数据采集效果更好、激光雷达对于流体未覆盖部分的管壁的数据采集效果更好，将声呐和雷达分别用作管道不同部分的数据采集，能够避免折射、反射、障碍等不利管路环境对于数据采集效果的影响，提供更为精确的管道点云数据，从而进一步提升管道三维模型的精确性。
根据上述任一实施例，在本实施例中：
所述根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型的步骤包括：
对管道点云数据进行预处理后，根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述预处理包括去噪处理和/或平滑处理；
所述去噪处理包括临近点搜索去噪处理；所述平滑处理包括7点线性平滑处理。
本实施例的有益效果在于：
本实施例通过预处理的步骤，排除了明显错误的噪声数据，提供了更为精确、更易于计算的管道点云数据，从而进一步提升管道三维模型的精确性。
根据上述任一实施例，在本实施例中：
所述获取管道摄像数据和管道摄像数据对应的第二坐标的步骤包括：
载有摄像头的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第二坐标，并持续扫描第二坐标对应的管道摄像图像；
将所述管道摄像图像进行姿态纠正后，作为管道摄像数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
本实施例的有益效果在于：
本实施例通过位姿传感器对管道摄像图像进行姿态纠正，能够得到更为精确的管道摄像数据，提供更为准确的管路内实景，进一步提升了人工校核或机器识别的误差识别率。
根据上述任一实施例，在本实施例中：
所述根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型的步骤包括：
根据第二坐标和第一坐标间的对应关系，截取管道图像的分段全景图像，经过图像展开和/或配准后，根据计算得到的管道图像法向量和管道三维网格模型的匹配关系镶嵌管道图像，从而将管道图像附着在对应的管道三位网格模型上，得到三维实景模型。
本实施例的有益效果在于：
本实施例通过对管道图像的展开、配准、镶嵌步骤，能够得到更为精确的管路内实景，从而为可能出现的误差和误识别状况，提供更为充分的判定基础，进而提升人工校核或机器识别的误差识别率。
根据上述任一实施例，在本实施例中：
本实施例的主要发明点为综合多种类型的传感器数据(里程计、激光雷达、声纳、IMU、鱼眼摄像头)实现带水管道的完整内部轮廓检测并构建管道内部实景三维模型，从而实现管道局部缺陷(长度、面积、体积)和管线路径的测量，实现对管道整体变形率、过水断面损失率、沉积量和管底坡度等计算。
其中：激光雷达完成对水面以上管道内壁横断面轮廓的采集，声纳完成水下面以下管道内壁横断面轮廓的采集，对两部分轮廓进行缩放、对齐、拼接处理，组合成一个完整的管道内壁横断面轮廓(当管道内部无水时可只单独采用激雷达，当管道内部是满管水时可单独采用声纳，直接采集得到完整的管道内壁横断面轮廓)；
里程计用于提供检测设备在管道内的行进距离信息，将连续的管道内壁横断面轮廓按距离排列，构建管道的整体三维模型；
排水管道内部情况复杂，通行条件恶劣，受到管内水流、沉积等影响，设备难以在管道内部保持稳定姿态行进并完成检测。IMU可提供设备实时姿态，通过Yaw、Pitch、Roll呈现设备三维姿态的同时，还可以对管道内壁横断面轮廓进行姿态纠正(设备前进过种中翻越障碍物时会发生姿态更改，受到Yaw、Pitch影响，采集到的轮廓是管道内壁的斜截面，受到Roll的影响，采集到的轮廓会发生环向的旋转，并不能直接将连续断面轮廓视为管道的平行横断面直接用于构建三维模型)，另外，通过Yaw、Pitch测量和绘制出车体/管道的路径轨迹(2D/3D)，通过Pitch测量并绘制出管底纵向坡度曲线/管道沉积状况纵断面曲线；
其中英文部分的说明如下：
Pitch：俯仰角；
Yaw：偏航角；
Roll：翻滚角；
IMU(Inertial Measurement Unit)：惯性测量单元。
鱼眼摄像头采集到的全景视频，可按距离截取管道内部影响的分段全景图像，经过图像展开、配准、镶嵌等操作，可取得管道内壁的全景影像，用于对管道三维模型进行贴图(对贴图法向量的计算描述)，得到管道内部检测的实景三维模型。
本实施例具体包括如下步骤：
(1)获取管道点云数据：在有水环境的管道中，载有声纳和雷达的爬行器，在爬行管道的过程中，持续扫描管道内表面，拼接声纳和雷达的数据，得到连续多帧完整的管道横截面轮廓；
(2)管道截面点云去噪平滑:使用邻近点搜索法进行去噪，和7点线性平滑方法进行平滑；
(3)点云三维重建：根据基于平行轮廓的三维网格重建算法，得到管道表面模型；
(4)拼接摄像头的像素：根据摄像头得到的管道图像画面，进行拼接，得到完整的管道；
(5)三维实景贴图：根据里程计，构建像素与三维网格模型之间的关系，将图像附着在管道模型上，实现三维实景效果；
本实施例的有益效果在于：
本实施例通过多传感器融合、各传感器返回数据相互补充验证的技术手段，能够建立精确度更高、适应性更好的管道三维模型，从而更为准确的实现管道局部缺陷的测量、管道路径的测绘，进而得到更符合实际的管道变形率、过水断面损失率、沉积量以及管底坡度等管道参数。
同时，本发明通过对管道点云数据建立管道三维网格模型、通过管道摄像数据进一步形成三维实景模型，提供了管路内实景，能够为可能出现的误差和误识别状况，提供更为充分的判定基础，从而提升人工校核或机器识别的误差识别率。
下面结合图2对本发明提供的基于多传感器融合的管道三维建模系统进行描述，下文描述的基于多传感器融合的管道三维建模系统与上文描述的基于多传感器融合的管道三维建模方法可相互对应参照。
如图2所示，本发明实施例还提供一种基于多传感器融合的管道三维建模系统，包括爬行器1、三维网格模型建立模块2、管道图像建立模块3以及附着模块4；
所述爬行器1上设置有声呐、雷达、摄像头、里程计以及惯性测量单元；
所述爬行器1能够通过声呐、雷达、里程计以及惯性测量单元，获取管道点云数据和管道点云数据对应的第一坐标；
所述爬行器1能够通过摄像头、里程计以及惯性测量单元，获取管道摄像数据和管道摄像数据对应的第二坐标；
所述三维网格模型建立模块2能够根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述管道图像建立模块3能够通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
所述附着模块4能够根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型。
本实施例的有益效果在于：
本实施例通过多传感器融合、各传感器返回数据相互补充验证的技术手段，能够建立精确度更高、适应性更好的管道三维模型，从而更为准确的实现管道局部缺陷的测量、管道路径的测绘，进而得到更符合实际的管道变形率、过水断面损失率、沉积量以及管底坡度等管道参数。
同时，本实施例通过对管道点云数据建立管道三维网格模型、通过管道摄像数据进一步形成三维实景模型，提供了管路内实景，能够为可能出现的误差和误识别状况，提供更为充分的判定基础，从而提升人工校核或机器识别的误差识别率。
此外，图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于多传感器融合的管道三维建模方法，该方法包括：获取管道点云数据和管道点云数据对应的第一坐标；根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；获取管道摄像数据和管道摄像数据对应的第二坐标；通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于多传感器融合的管道三维建模方法，该方法包括：获取管道点云数据和管道点云数据对应的第一坐标；根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；获取管道摄像数据和管道摄像数据对应的第二坐标；通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于多传感器融合的管道三维建模方法，该方法包括：获取管道点云数据和管道点云数据对应的第一坐标；根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；获取管道摄像数据和管道摄像数据对应的第二坐标；通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于多传感器融合的管道三维建模方法，其特征在于，包括：
获取管道点云数据和管道点云数据对应的第一坐标；
根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
获取管道摄像数据和管道摄像数据对应的第二坐标；
通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；
所述管道点云数据、第一坐标、管道摄像数据以及第二坐标中的任一者或任多者组合，能够通过至少两种传感器采集获取；
所述获取管道点云数据和管道点云数据对应的第一坐标的步骤包括：
载有声呐和雷达的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第一坐标，并持续扫描第一坐标对应的管道数据，得到连续多帧完整的管道横截面轮廓；
将所述管道横截面轮廓进行姿态纠正后，作为管道点云数据；
所述获取管道摄像数据和管道摄像数据对应的第二坐标的步骤包括：
载有摄像头的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第二坐标，并持续扫描第二坐标对应的管道摄像图像；
将所述管道摄像图像进行姿态纠正后，作为管道摄像数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
2.根据权利要求1所述的基于多传感器融合的管道三维建模方法，其特征在于：
当管道区域内部不存在流体时，所述爬行器利用激光雷达扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部充满流体时，所述爬行器利用声呐扫描管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
当管道区域内部存在部分流体时：
对于流体覆盖部分的管壁，所述爬行器利用声呐扫描管道横截面轮廓，得到声呐扫描数据；
对于流体未覆盖部分的管壁，所述爬行器利用激光雷达扫描管道横截面轮廓，得到雷达扫描数据；
对声呐扫描数据和雷达扫描数据进行组合处理后，得到完整的管道横截面轮廓，经姿态纠正后作为所述管道区域的管道点云数据；
所述组合处理包括缩放、对齐以及拼接中的任一种或任多种组合。
3.根据权利要求1所述的基于多传感器融合的管道三维建模方法，其特征在于，所述根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型的步骤包括：
对管道点云数据进行预处理后，根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述预处理包括去噪处理和/或平滑处理；
所述去噪处理包括临近点搜索去噪处理；所述平滑处理包括7点线性平滑处理。
4.根据权利要求1所述的基于多传感器融合的管道三维建模方法，其特征在于，所述根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型的步骤包括：
根据第二坐标和第一坐标间的对应关系，截取管道图像的分段全景图像，经过图像展开和/或配准后，根据计算得到的管道图像法向量和管道三维网格模型的匹配关系镶嵌管道图像，从而将管道图像附着在对应的管道三位网格模型上，得到三维实景模型。
5.一种基于多传感器融合的管道三维建模系统，其特征在于，包括爬行器、三维网格模型建立模块、管道图像建立模块以及附着模块；
所述爬行器上设置有声呐、雷达、摄像头、里程计以及惯性测量单元；
所述爬行器能够通过声呐、雷达、里程计以及惯性测量单元，获取管道点云数据和管道点云数据对应的第一坐标；
所述爬行器能够通过摄像头、里程计以及惯性测量单元，获取管道摄像数据和管道摄像数据对应的第二坐标；
所述三维网格模型建立模块能够根据管道点云数据和管道点云数据对应的第一坐标，通过第一坐标间的位置关系，基于三维网格重建算法，计算得到管道三维网格模型；
所述管道图像建立模块能够通过第二坐标间的位置关系，对管道摄像数据进行拼接，得到管道图像；
所述附着模块能够根据第二坐标和第一坐标间的对应关系，将管道图像附着在对应的管道三位网格模型上，得到三维实景模型；
所述获取管道点云数据和管道点云数据对应的第一坐标的步骤包括：
载有声呐和雷达的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第一坐标，并持续扫描第一坐标对应的管道数据，得到连续多帧完整的管道横截面轮廓；
将所述管道横截面轮廓进行姿态纠正后，作为管道点云数据；
所述获取管道摄像数据和管道摄像数据对应的第二坐标的步骤包括：
载有摄像头的爬行器，爬行经过设定的管道区域集合，记录爬行经过的第二坐标，并持续扫描第二坐标对应的管道摄像图像；
将所述管道摄像图像进行姿态纠正后，作为管道摄像数据；
所述姿态纠正是指根据爬行器的三维姿态变化，对管道点云数据和/或管道摄像数据进行修正，得到爬行器处于同一三维姿态下的管道点云数据和/或管道摄像数据。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述基于多传感器融合的管道三维建模方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述基于多传感器融合的管道三维建模方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519338.8A CN113223180B (zh) | 2021-05-12 | 2021-05-12 | 基于多传感器融合的管道三维建模方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519338.8A CN113223180B (zh) | 2021-05-12 | 2021-05-12 | 基于多传感器融合的管道三维建模方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223180A CN113223180A (zh) | 2021-08-06 |
| CN113223180B true CN113223180B (zh) | 2022-09-20 |
Family
ID=77095242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110519338.8A Active CN113223180B (zh) | 2021-05-12 | 2021-05-12 | 基于多传感器融合的管道三维建模方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223180B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058145B (zh) * | 2023-10-12 | 2023-12-22 | 中特检深燃安全技术服务(深圳)有限公司 | 基于油气管道运维智能化检测系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103337079A (zh) * | 2013-07-09 | 2013-10-02 | 广州新节奏智能科技有限公司 | 一种虚拟增强现实的教学方法及装置 |
| WO2017027638A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3d reconstruction and registration of endoscopic data |
| US10269148B2 (en) * | 2017-05-01 | 2019-04-23 | Lockheed Martin Corporation | Real-time image undistortion for incremental 3D reconstruction |
| CN109544679B (zh) * | 2018-11-09 | 2023-04-18 | 深圳先进技术研究院 | 管道内壁的三维重建方法 |
| CN112215958B (zh) * | 2020-10-10 | 2023-05-02 | 北京工商大学 | 一种基于分布式计算的激光雷达点云数据投影方法 |
| CN112581607B (zh) * | 2020-12-28 | 2024-04-30 | 武汉中仪物联技术股份有限公司 | 一种管道三维模型的构建方法、系统和介质 |
-
2021
- 2021-05-12 CN CN202110519338.8A patent/CN113223180B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223180A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| US9251587B2 (en) | Motion estimation utilizing range detection-enhanced visual odometry | |
| KR102249769B1 (ko) | 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 | |
| CN108692719B (zh) | 物体检测装置 | |
| CN105913410A (zh) | 一种基于机器视觉的远距离运动物体高度测量的装置与方法 | |
| CN112734852A (zh) | 一种机器人建图方法、装置及计算设备 | |
| Nienaber et al. | A comparison of low-cost monocular vision techniques for pothole distance estimation | |
| Oniga et al. | Curb detection for driving assistance systems: A cubic spline-based approach | |
| CN113223180B (zh) | 基于多传感器融合的管道三维建模方法和系统 | |
| Royer et al. | Towards an alternative GPS sensor in dense urban environment from visual memory | |
| JP2019023017A (ja) | 車体の傾き推定装置 | |
| CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| KR20210090573A (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
| CN110764110A (zh) | 路径导航方法、装置及计算机可读存储介质 | |
| CN114396943A (zh) | 一种融合定位方法与终端 | |
| CN109747636A (zh) | 基于长距离超声波的路沿位置及角度检测方法及其系统 | |
| Liao et al. | A linear pushbroom satellite image epipolar resampling method for digital surface model generation | |
| CN116543032B (zh) | 冲击物测距方法、装置、测距设备及存储介质 | |
| Yin et al. | Study on underwater simultaneous localization and mapping based on different sensors | |
| CN111862146B (zh) | 一种目标对象的定位方法及装置 | |
| CN115900732A (zh) | 基于路侧相机和车载单元的组合导航方法及系统 | |
| CN115294211A (zh) | 一种车载相机安装外参标定方法、系统、装置与存储介质 | |
| Liu et al. | Stereo-image matching using a speeded up robust feature algorithm in an integrated vision navigation system | |
| Moisan et al. | Building a 3D reference model for canal tunnel surveying using sonar and laser scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A three-dimensional modeling method and system for pipelines based on multi-sensor fusion Granted publication date: 20220920 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN EASY-SIGHT TECHNOLOGY Co.,Ltd. Registration number: Y2024980005423 |