CN114782342A - 城市硬件设施缺陷的检测方法及装置 - Google Patents
城市硬件设施缺陷的检测方法及装置 Download PDFInfo
- Publication number
- CN114782342A CN114782342A CN202210381046.7A CN202210381046A CN114782342A CN 114782342 A CN114782342 A CN 114782342A CN 202210381046 A CN202210381046 A CN 202210381046A CN 114782342 A CN114782342 A CN 114782342A
- Authority
- CN
- China
- Prior art keywords
- urban
- point cloud
- urban hardware
- hardware facilities
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种城市硬件设施缺陷的检测方法及装置，本发明中的城市硬件设施缺陷的检测方法的步骤包括定位并构建城市硬件设施的三维点云地图；采集城市硬件设施的二维图像数据；根据二维图像数据渲染三维点云地图，以获取城市硬件设施的环境渲染图；通过神经网络分析识别环境渲染图中的缺陷信息。本发明通过二维图像数据渲染城市硬件设施的三维点云地图，使得神经网络能够快速高效的检测出缺陷信息，并且以简单明了的环境渲染图供用户随时查看，提高用户的使用体验。
Description
技术领域
本发明属于缺陷检测技术领域，尤其涉及一种城市硬件设施缺陷的检测方法及装置。
背景技术
隧道、桥梁、公路等城市硬件设施在建造完成后，随着使用年限的增加以及天气因素的影响，会造成上述的城市硬件设施产生不同形式的缺陷，如墙面脱落、渗水、裂缝等缺陷，若不及时对城市硬件设施进行检修及维护，则会导致缺陷进一步恶化，甚至会出现城市硬件设施损毁而发生严重安全事故的现象。目前对于城市硬件设施的检测，主要是人工对缺陷进行拍照并进行跟踪记录，这种缺陷检测的方式往往不能达到对缺陷的精准定位效果，如果需要对缺陷进行精准定位，则需要额外携带坐标测量仪、定位设备等工具，繁多的工具不利于人工携带，并且在缺陷检测时需要对各个工具进行调试，影响检测效率。
发明内容
本发明的主要目的是提出一种城市硬件设施缺陷的检测方法及装置，旨在解决现有技术中的城市硬件设施缺陷的检测效率及精准度低的技术问题。
为了实现上述目的，本发明提供一种城市硬件设施缺陷的检测方法，所述城市硬件设施缺陷的检测方法的步骤包括：
定位并构建城市硬件设施的三维点云地图；
采集所述城市硬件设施的二维图像数据；
根据所述二维图像数据渲染所述三维点云地图，以获取所述城市硬件设施的环境渲染图；
通过神经网络分析识别所述环境渲染图中的缺陷信息。
在本发明的实施例中，所述定位并构建城市硬件设施的三维点云地图的步骤包括：
获取所述城市硬件设施的实时位置信息；
采集所述城市硬件设施在实时位置上的空间点云数据；
通过配准算法配准所述空间点云数据；
通过坐标转换将多组配准后的所述空间点云数据转换到同一个坐标系下进行定位。
在本发明的实施例中，所述配准算法为正态分布变换算法、并行重建算法或迭代最近点算法中的其中一种。
在本发明的实施例中，所述采集所述城市硬件设施在实时位置上的空间点云数据的步骤包括：
通过水平激光雷达采集所述城市硬件设施的水平方向数据；
通过竖直激光雷达采集所述城市硬件设施的竖直方向数据；
融合水平方向数据和竖直方向数据以得到所述空间点云数据。
在本发明的实施例中，所述定位并构建城市硬件设施的三维点云地图的步骤还包括：
获取所述城市硬件设施及周边环境的多帧轨迹图像；
将多帧所述轨迹图像拼接并得到所述三维点云地图。
在本发明的实施例中，所述通过神经网络分析识别所述环境渲染图中的缺陷信息的步骤包括：
利用神经网络学习所述城市硬件设施的缺陷图像信息；
将学习到的缺陷图像信息应用到所述环境渲染图的缺陷检测中；
所述神经网络给出所述环境渲染图中的缺陷信息。
在本发明的实施例中，所述定位并构建城市硬件设施的三维点云地图的步骤还包括：
利用载波相位差分仪采集高精度的gps差分信号；
根据所述gps差分信号对所述城市硬件设施的定位信息进行精度提升。
在本发明的实施例中，所述城市硬件设施缺陷的检测方法还包括：
判断惯性测量单元是否存在里程误差；
当所述惯性测量单元存在里程误差时，惯性测量单元实时接收激光里程计发出的准确位置；
通过因子图优化实时纠正惯性测量单元的里程误差。
在本发明的实施例中，还提出一种城市硬件设施缺陷的检测装置，应用于如上所述的城市硬件设施缺陷的检测方法中，所述城市硬件设施缺陷的检测装置包括：
检测背包，内部形成有收容空间并安装有载波相位差分测量仪；
悬臂，安装于所述检测背包的顶端并向上延伸；和
传感器组件，安装于所述悬臂上并用于定位所述城市硬件设施，所述传感器组件和载波相位差分测量仪电连接并配合构建所述城市硬件设施的三维点云地图以获取缺陷信息。
在本发明的实施例中，所述检测背包内还设置有用于存储构建的三维点云地图和环境渲染图的存储模块，所述存储模块与所述传感器组件和载波相位差分测量仪均通讯连接。
通过上述技术方案，本发明的实施例所提供的城市硬件设施缺陷的检测方法具有如下的有益效果：
在检测城市硬件设施的缺陷时，首先定位并构建城市硬件设施的三维点云地图；然后采集城市硬件设施的二维图像数据，并根据二维图像数据渲染三维点云地图，以获取城市硬件设施的环境渲染图；最后通过神经网络分析识别环境渲染图中的缺陷信息；本发明通过二维图像数据渲染城市硬件设施的三维点云地图，使得神经网络能够快速高效的检测出缺陷信息，并且以简单明了的环境渲染图供用户随时查看，提高用户的使用体验。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是根据本发明一实施例中城市硬件设施缺陷的检测方法的流程示意图；
图2是根据本发明一实施例中城市硬件设施缺陷的检测装置的结构示意图；
图3是根据本发明一实施例中城市硬件设施缺陷的检测方法在一实施例中获取的城市硬件设施的环境渲染图；
图4是根据本发明一实施例中城市硬件设施缺陷的检测方法在另一实施例中获取的城市硬件设施的环境渲染图；
图5是根据本发明一实施例中城市硬件设施缺陷的检测方法在又一实施例中获取的城市硬件设施的环境渲染图。
附图标记说明
| 标号 | 名称 | 标号 | 名称 |
| 10 | 悬臂 | 30 | 竖直激光雷达 |
| 11 | 横向本体 | 51 | 天线 |
| 12 | 竖向本体 | 60 | 检测背包 |
| 13 | 安装板 | 62 | 背带 |
| 14 | 竖向支撑柱 | 63 | 门体 |
| 17 | 线束转接头 | 70 | 安装台 |
| 20 | 水平激光雷达 | 80 | 工业相机 |
具体实施方式
以下结合附图对本发明的具体实施例进行详细说明。应当理解的是，此处所描述的具体实施例仅用于说明和解释本发明，并不用于限制本发明。
下面参考附图描述根据本发明的城市硬件设施缺陷的检测方法。
如图1所示，在本发明的实施例中，提供一种城市硬件设施缺陷的检测方法，城市硬件设施缺陷的检测方法的步骤包括：
步骤S10：定位并构建城市硬件设施的三维点云地图；
步骤S20：采集城市硬件设施的二维图像数据；
步骤S30：根据二维图像数据渲染三维点云地图，以获取城市硬件设施的环境渲染图；
步骤S40：通过神经网络分析识别环境渲染图中的缺陷信息。
采用工业相机80实时采集城市硬件设施环境中的二维图像数据，通过算法将二维图像的颜色与三维点云地图关联，以对构建的三维点云地图的纹理进行渲染，并获得环境渲染图(如图3至图5所示)，以便更清晰精准的检测到缺陷；然后通过神经网络学习城市硬件设施的缺陷图像，然后用学习到的模型进行环境渲染图的检测，最终神经网络模型给出输入图像中的缺陷信息。其中，缺陷信息是指缺陷的类型、缺陷的尺寸(长度和宽度)以及缺陷所处的位置信息。通过采用本发明的缺陷检测方法能够高效快速检测出城市硬件设施是否存在缺陷、缺陷的类型以及缺陷的精准位置，并且检测效率也能够得到大大的提升。并且，通过简单明了的环境渲染图供用户随时查看，能够提高用户的使用体验。
在本发明的实施例中，定位并构建城市硬件设施的三维点云地图的步骤包括：
获取城市硬件设施的实时位置信息；
采集城市硬件设施在实时位置上的空间点云数据；
通过配准算法配准空间点云数据；
通过坐标转换将多组配准后的空间点云数据转换到同一个坐标系下进行定位。
为了提高定位的精准性，在定位时，需要对获取的多组空间点云数据进行配准，由于空间点云数据不在同一个坐标系下不利于数据的分析及位置定位，然后通过坐标转换的方法将多组配准后的空间点云数据转换到同一个坐标系下，实现在同一个坐标系下进行定位。
优选地，配准算法为正态分布变换算法、并行重建算法或迭代最近点算法中的其中一种。
其中，正态分布变换算法是将空间中的点云划分成网格，然后计算每个网格的均值与协方差矩阵，构建高斯分布模型，然后将需要配准的点云投影到目标点云坐标系下，需要配准的点云中的每一个点都会被投影到相应的目标点云的网格中，然后计算该点在相应网格中的高斯概率模型，最终将所需配准的点云中的每一个点的概率都计算出来，然后通过转换，变成最小二乘问题，利用优化算法求解出，目标点云与配准点云之间的相对坐标变换，最终将配准点云通过该变换转换到目标点云坐标系下，从而实现了点云配准或者称点云拼接；
并行重建算法是通过对配准点云中的每一个激光点在目标点云中查找最近邻点，计算最近邻距离，然后利用优化算法，计算出可以使当前配准点云到目标点云中点的最近邻距离的总和最小，从而获取到最优的坐标变换矩阵，然后进行坐标变换；
基于特征点的迭代最近点算法就是先对点云提取特征点，计算角点特征点，面特征点，然后利用点到线的距离与点到面的距离通过并行重建算法求解。
在本发明的实施例中，采集城市硬件设施在实时位置上的空间点云数据的步骤包括：
通过水平激光雷达20采集城市硬件设施的水平方向数据；
通过竖直激光雷达30采集城市硬件设施的竖直方向数据；
融合水平方向数据和竖直方向数据以得到空间点云数据。
激光雷达有200米的扫描范围，其中，水平激光雷达20采集水平方向的位置数据(只能扫到三十多米的数据，360°的范围)，竖直激光雷达30采集高度方向的位置数据，最后将水平激光雷达20和竖直激光雷达30采集的数据进行融合，得到三维空间的空间点云数据，这种定位方式提高了定位的精准性。无论是水平激光雷达20还是竖直激光雷达30，均采用现有技术中常见的激光雷达系统，是以发射激光束探测采集城市硬件设施的位置的雷达系统，其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数。
在本发明的实施例中，定位并构建城市硬件设施的三维点云地图的步骤还包括：
获取城市硬件设施及周边环境的多帧轨迹图像；
将多帧轨迹图像拼接并得到三维点云地图。
在缺陷检测时，检测人员绕城市硬件设施及周边环境每走一圈，就会得到一个行走轨迹，当行走多圈时，就能得到多个行走轨迹，也就是多帧轨迹图像，通过多传感器融合的方法定位，将每一帧的轨迹图像拼接起来便得到城市硬件设施的三维点云地图；这种行走获取轨迹图像的方式简单方便，且能够全面的覆盖整个城市硬件设施及周边环境。
在本发明的实施例中，所述通过神经网络分析识别环境渲染图中的缺陷信息的步骤包括：
利用神经网络学习城市硬件设施的缺陷图像信息；
将学习到的缺陷图像信息应用到环境渲染图的缺陷检测中；
神经网络给出环境渲染图中的缺陷信息。
本实施例通过神经网络算法来识别环境渲染图中的缺陷，这种识别方法更加精准快速，提高了检测效率。
在本发明的实施例中，定位并构建城市硬件设施的三维点云地图的步骤还包括：
利用载波相位差分仪采集高精度的gps差分信号；
根据gps差分信号对城市硬件设施的定位信息进行精度提升。
载波相位差分仪采集高精度的gps的差分信号，通过因子图对imu里程计、激光里程计、RTK数据进行融合，以提高定位与建图的精度。在城市中建立有很多固定的基站，通过差分信号的差分算法的计算，获取城市硬件设施的位置信息。具体地，在基准站上安置1台接收机为参考站，对卫星进行连续观测，并将其观测数据和测站信息，通过无线电传输设备，实时地发送给流动站，流动站GPS接收机在接收GPS卫星信号的同时，通过无线接收设备，接收基准站传输的数据，然后根据相对定位的原理，实时解算出流动站的三维坐标及其精度(即基准站和流动站坐标差△X、△Y、△H，加上基准坐标得到的每个点的WGS－84坐标，通过坐标转换参数得出流动站每个点的平面坐标X、Y和海拔高H)；这种卫星定位的方式精度达到厘米级，比传统的导航定位精度更高。
在本发明的实施例中，城市硬件设施缺陷的检测方法还包括：
判断惯性测量单元是否存在里程误差；
当惯性测量单元存在里程误差时，惯性测量单元实时接收激光里程计发出的准确位置；
通过因子图优化实时纠正惯性测量单元的里程误差。
由于惯性测量单元使用久了，也会存在一定的里程误差，若不及时纠正，将会影响缺陷的判断结果；在误差纠正时，惯性测量单元实时接收水平激光雷达20和竖直激光雷达30的激光里程计，利用激光里程计给出的准确位置信息来反过来纠正惯性测量单元的参数误差，并同时发出纠正后的惯性测量单元的里程计给水平激光雷达20和竖直激光雷达30去畸变，以提高定位的精度。其中，因子图优化可以为优化算法或者图优化算法，为现有技术中常规的优化算法。
在本发明的实施例中，如图2所示，还提出一种城市硬件设施缺陷的检测装置，应用于如上所述的城市硬件设施缺陷的检测方法中，城市硬件设施缺陷的检测装置包括：
检测背包60，内部形成有收容空间并安装有载波相位差分测量仪；
悬臂10，安装于检测背包60的顶端并向上延伸；和
传感器组件，安装于悬臂10上并用于定位城市硬件设施，传感器组件和载波相位差分测量仪电连接并配合构建城市硬件设施的三维点云地图以获取缺陷信息。传感器组件包括水平激光雷达20、竖直激光雷达30、惯性测量单元和工业相机80。本发明点在保证传感器组件中的各个部件都能正常运行的情况下对上述的传感器组件进行紧凑和轻量化的结构设计，使得整个背包的尺寸小巧，重量轻盈，目前整个检测背包60的大小与市面上普通书包的大小接近，重量为10KG。其中，检测背包60的包体外壳为ABS树脂材质，这样能够防止检测背包60轻易被压瘪。悬臂10为内部中空结构，传感器组件的线束经由悬臂10的内部中空体与悬臂10底端的线束转接头17连接，从而实现传感器组件与检测背包60内的电控部件之间的电连接。
进一步地，悬臂10包括弧形过渡连接的横向本体11和竖向本体12，传感器组件包括安装于横向本体11上的水平激光雷达20和垂直安装于竖向本体12上的竖直激光雷达30。水平激光雷达20用于采集水平方向360°范围内的点云数据，竖直激光雷达30采集的竖直高度方向的点云数据，通过水平激光雷达20和竖直激光雷达30的配合，以获取需要检测的设施的三维点云数据；此外，水平激光雷达20是水平放置，竖直激光雷达30是竖直放置，水平激光雷达20和竖直激光雷达30的数据接收范围在200米的范围内。其中水平方向是指图1中的左右方向，竖直方向是指图1中的上下方向。
并且，悬臂10还包括安装板13，安装板13和横向本体11的上端面通过多个间隔布置的竖向支撑柱14连接，安装板13的顶端面向外延伸出安装台70，载波相位差分测量仪的天线51安装于安装台70上。竖向本体12的底端内腔内设置有线束转接头17，传感器组件的线束通过线束转接头17与检测背包60内的电控部件连接，从而有利于支架和检测背包60的包体分离，便于运输。
此外，检测背包60的背面安装有方便操作人员背戴的背带62，背带62自检测背包60的顶端延伸至底端。进一步地，为了方便操作人员打开或关闭门体63，门体63背离铰接侧的侧面向外沿表面凸设有抓手部，检测背包60对应抓手部的位置处内凹有避让抓手部的避让槽，进而提升用户的体验感。
城市硬件设施是指隧道、桥梁、公路等。如下以隧道的缺陷检测为例进行本发明的详细说明：在对隧道的渗水、裂缝、墙面脱落等缺陷进行检测时，由人工背着该检测背包60在隧道内行走一遍，水平激光雷达20、竖直激光雷达30、惯性测量单元和载波相位差分仪在各自的定位和建图功能下构建包含位置信息的隧道地图，在工业相机80的摄像功能下拍摄隧道视频，通过自主开发的点云地图渲染算法对隧道点云地图和隧道视频进行结合，并渲染出高精度的隧道渲染图，通过训练好的神经网络对隧道视频中的图像进行分析，从而识别出隧道中所存在的缺陷、缺陷的类型、缺陷的参数以及缺陷的位置等信息。其中算法的具体过程及原理为：首先利用神经网络学习隧道的缺陷图像，然后用学习到的模型进行实际图像的检测，最终神经网络模型给出输入图像中的缺陷类型，位置，面积大小，长度等缺陷信息；
在一个示例中，检测装置识别出隧道存在缺陷，缺陷的类型为裂缝，缺陷的参数为裂缝长度30cm，裂缝宽度2cm，缺陷的位置为东经150°22′15.5″，北纬35°48′32.1″。
在本发明的实施例中，检测背包60内还设置有用于存储构建的三维点云地图和环境渲染图的存储模块，存储模块与传感器组件和载波相位差分测量仪均通讯连接。存储模块用于存储构建的三维点云地图以及环境渲染图，从而可便于用户随时调取存储模块中的数据，查阅城市硬件设施中所存在的缺陷、缺陷类型和缺陷的精确位置，能够以简单明了的环境渲染图供用户随时查看，提高用户使用体验。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种城市硬件设施缺陷的检测方法，其特征在于，所述城市硬件设施缺陷的检测方法的步骤包括：
定位并构建城市硬件设施的三维点云地图；
采集所述城市硬件设施的二维图像数据；
根据所述二维图像数据渲染所述三维点云地图，以获取所述城市硬件设施的环境渲染图；
通过神经网络分析识别所述环境渲染图中的缺陷信息。
2.根据权利要求1所述的城市硬件设施缺陷的检测方法，其特征在于，所述定位并构建城市硬件设施的三维点云地图的步骤包括：
获取所述城市硬件设施的实时位置信息；
采集所述城市硬件设施在实时位置上的空间点云数据；
通过配准算法配准所述空间点云数据；
通过坐标转换将多组配准后的所述空间点云数据转换到同一个坐标系下进行定位。
3.根据权利要求2所述的城市硬件设施缺陷的检测方法，其特征在于，所述配准算法为正态分布变换算法、并行重建算法或迭代最近点算法中的其中一种。
4.根据权利要求2所述的城市硬件设施缺陷的检测方法，其特征在于，所述采集所述城市硬件设施在实时位置上的空间点云数据的步骤包括：
通过水平激光雷达(20)采集所述城市硬件设施的水平方向数据；
通过竖直激光雷达(30)采集所述城市硬件设施的竖直方向数据；
融合水平方向数据和竖直方向数据以得到所述空间点云数据。
5.根据权利要求1至4中任意一项所述的城市硬件设施缺陷的检测方法，其特征在于，所述定位并构建城市硬件设施的三维点云地图的步骤还包括：
获取所述城市硬件设施及周边环境的多帧轨迹图像；
将多帧所述轨迹图像拼接并得到所述三维点云地图。
6.根据权利要求1至4中任意一项所述的城市硬件设施缺陷的检测方法，其特征在于，所述通过神经网络分析识别所述环境渲染图中的缺陷信息的步骤包括：
利用神经网络学习所述城市硬件设施的缺陷图像信息；
将学习到的缺陷图像信息应用到所述环境渲染图的缺陷检测中；
所述神经网络给出所述环境渲染图中的缺陷信息。
7.根据权利要求1至4中任意一项所述的城市硬件设施缺陷的检测方法，其特征在于，所述定位并构建城市硬件设施的三维点云地图的步骤还包括：
利用载波相位差分仪采集高精度的gps差分信号；
根据所述gps差分信号对所述城市硬件设施的定位信息进行精度提升。
8.根据权利要求1至4中任意一项所述的城市硬件设施缺陷的检测方法，其特征在于，所述城市硬件设施缺陷的检测方法还包括：
判断惯性测量单元是否存在里程误差；
当所述惯性测量单元存在里程误差时，惯性测量单元实时接收激光里程计发出的准确位置；
通过因子图优化实时纠正惯性测量单元的里程误差。
9.一种城市硬件设施缺陷的检测装置，其特征在于，应用于如权利要求1至8中任意一项所述的城市硬件设施缺陷的检测方法中，所述城市硬件设施缺陷的检测装置包括：
检测背包(60)，内部形成有收容空间并安装有载波相位差分测量仪；
悬臂(10)，安装于所述检测背包(60)的顶端并向上延伸；和
传感器组件，安装于所述悬臂(10)上并用于定位所述城市硬件设施，所述传感器组件和载波相位差分测量仪电连接并配合构建所述城市硬件设施的三维点云地图以获取缺陷信息。
10.根据权利要求9所述的城市硬件设施缺陷的检测装置，其特征在于，所述检测背包(60)内还设置有用于存储构建的三维点云地图和环境渲染图的存储模块，所述存储模块与所述传感器组件和所述载波相位差分测量仪均通讯连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210381046.7A CN114782342B (zh) | 2022-04-12 | 2022-04-12 | 城市硬件设施缺陷的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210381046.7A CN114782342B (zh) | 2022-04-12 | 2022-04-12 | 城市硬件设施缺陷的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782342A true CN114782342A (zh) | 2022-07-22 |
| CN114782342B CN114782342B (zh) | 2024-02-09 |
Family
ID=82428685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210381046.7A Active CN114782342B (zh) | 2022-04-12 | 2022-04-12 | 城市硬件设施缺陷的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782342B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761584A (zh) * | 2022-11-18 | 2023-03-07 | 广东五度空间科技有限公司 | 一种地下排水管道缺陷识别管理方法和装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| CN109685793A (zh) * | 2018-12-25 | 2019-04-26 | 安徽科大智能物流系统有限公司 | 一种基于三维点云数据的管身缺陷检测方法及系统 |
| CN109870459A (zh) * | 2019-02-21 | 2019-06-11 | 武汉武大卓越科技有限责任公司 | 无砟轨道的轨道板裂缝检测方法 |
| CN110390683A (zh) * | 2018-04-17 | 2019-10-29 | 河海大学 | 一种基于密集点云的古城墙三维裂缝检测方法 |
| CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
| CN111462118A (zh) * | 2020-05-22 | 2020-07-28 | 北京黑森智能科技有限公司 | 一种机场道面巡查方法、系统、平台及存储介质 |
| US20200312028A1 (en) * | 2019-03-27 | 2020-10-01 | Drone Technology LLC | System and method for structure inspection |
| CN111882612A (zh) * | 2020-07-21 | 2020-11-03 | 武汉理工大学 | 一种基于三维激光检测车道线的车辆多尺度定位方法 |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
| KR102232681B1 (ko) * | 2020-07-08 | 2021-03-29 | 공간정보기술 주식회사 | 활주로 피해 분석 시스템 및 방법 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
| US20210232800A1 (en) * | 2020-01-28 | 2021-07-29 | Faro Technologies, Inc. | Construction site defect and hazard detection using artificial intelligence |
| US20210396842A1 (en) * | 2019-10-09 | 2021-12-23 | Shandong University | Multi-scale inspection and intelligent diagnosis system and method for tunnel structural defects |
| CN113888457A (zh) * | 2020-07-03 | 2022-01-04 | 深圳了然视觉科技有限公司 | 基于三维激光扫描技术的缺陷检测系统及方法 |
-
2022
- 2022-04-12 CN CN202210381046.7A patent/CN114782342B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150128300A (ko) * | 2014-05-09 | 2015-11-18 | 한국건설기술연구원 | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 |
| CN110390683A (zh) * | 2018-04-17 | 2019-10-29 | 河海大学 | 一种基于密集点云的古城墙三维裂缝检测方法 |
| CN109685793A (zh) * | 2018-12-25 | 2019-04-26 | 安徽科大智能物流系统有限公司 | 一种基于三维点云数据的管身缺陷检测方法及系统 |
| CN109870459A (zh) * | 2019-02-21 | 2019-06-11 | 武汉武大卓越科技有限责任公司 | 无砟轨道的轨道板裂缝检测方法 |
| US20200312028A1 (en) * | 2019-03-27 | 2020-10-01 | Drone Technology LLC | System and method for structure inspection |
| WO2020248614A1 (zh) * | 2019-06-10 | 2020-12-17 | 商汤集团有限公司 | 地图生成方法、驾驶控制方法、装置、电子设备及系统 |
| US20210396842A1 (en) * | 2019-10-09 | 2021-12-23 | Shandong University | Multi-scale inspection and intelligent diagnosis system and method for tunnel structural defects |
| CN111080627A (zh) * | 2019-12-20 | 2020-04-28 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
| US20210232800A1 (en) * | 2020-01-28 | 2021-07-29 | Faro Technologies, Inc. | Construction site defect and hazard detection using artificial intelligence |
| CN111462118A (zh) * | 2020-05-22 | 2020-07-28 | 北京黑森智能科技有限公司 | 一种机场道面巡查方法、系统、平台及存储介质 |
| CN113888457A (zh) * | 2020-07-03 | 2022-01-04 | 深圳了然视觉科技有限公司 | 基于三维激光扫描技术的缺陷检测系统及方法 |
| KR102232681B1 (ko) * | 2020-07-08 | 2021-03-29 | 공간정보기술 주식회사 | 활주로 피해 분석 시스템 및 방법 |
| CN111882612A (zh) * | 2020-07-21 | 2020-11-03 | 武汉理工大学 | 一种基于三维激光检测车道线的车辆多尺度定位方法 |
| CN112581457A (zh) * | 2020-12-23 | 2021-03-30 | 武汉理工大学 | 一种基于三维点云的管道内表面检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 徐照等: "基于点云的建筑物表面损伤三维重建与属性提取方法", 土木工程与管理学报, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761584A (zh) * | 2022-11-18 | 2023-03-07 | 广东五度空间科技有限公司 | 一种地下排水管道缺陷识别管理方法和装置 |
| CN115761584B (zh) * | 2022-11-18 | 2024-05-14 | 广东五度空间科技有限公司 | 一种地下排水管道缺陷识别管理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782342B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100910890B1 (ko) | 위성위치측정시스템 | |
| Puente et al. | Review of mobile mapping and surveying technologies | |
| Tao | Mobile mapping technology for road network data acquisition | |
| CN111559372B (zh) | 一种泊车系统的车位检测性能的评价方法和电子设备 | |
| CN109556569B (zh) | 地形图测绘方法及装置 | |
| CN108759815B (zh) | 一种用于全局视觉定位方法中的信息融合组合导航方法 | |
| CN108535789A (zh) | 一种基于机场跑道的异物识别系统 | |
| CN112197741B (zh) | 基于扩展卡尔曼滤波的无人机slam技术测量倾斜角系统 | |
| CN110940966B (zh) | 一种基于激光测高卫星足印影像的激光足印平面定位方法 | |
| CN112862777A (zh) | 一种光伏电站组件缺陷巡检系统及其缺陷处理方法 | |
| CN216925591U (zh) | 基于动态实时定位的便携式激光测量设备 | |
| CN114782342B (zh) | 城市硬件设施缺陷的检测方法及装置 | |
| CN114812512A (zh) | 一种基于ai免像控点的无人航拍自动成像系统 | |
| CN109932707B (zh) | 顾及雷达结构的移动测量系统标定方法 | |
| KR101217857B1 (ko) | 토탈스테이션의 데이터를 처리하는 측지측량 데이터 수집 전용 통합관리시스템 | |
| KR101789210B1 (ko) | 모바일 측량장치의 수평조절을 통한 지형지물의 변화감지 및 측지정보 취득 시스템 | |
| JP7162208B2 (ja) | 含水比マッピング方法及び含水比マッピング装置 | |
| CN111426304B (zh) | 基于视觉、卫星定位和gis算法的精确姿态定位方法 | |
| EP1662228A1 (en) | Scanning of three-dimensional objects | |
| CN207675158U (zh) | 一种基于光学测距的倾斜测量装置 | |
| KR101223175B1 (ko) | 지피에스를 기반으로 지형구조물의 위치별 측지측량 데이터를 갱신하는 측량시스템 | |
| CN113109791B (zh) | 一种车载激光雷达标定结果评价系统及方法 | |
| CN213986842U (zh) | 一种标靶 | |
| CN115346128A (zh) | 一种光学立体卫星dem高程改正和融合方法 | |
| CN211137141U (zh) | 隧道机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240416 Address after: Room 104, 105, and 203, Building 13, Phase II, Depu Wuhe Enterprise Park, No.1 Luoluotang Road, Changsha Economic and Technological Development Zone, Hunan Province, 410000 Patentee after: Hunan Watman Robotics Technology Co.,Ltd. Country or region after: China Address before: A-20, No. 155, jijiamiao, Huaxiang, Fengtai District, Beijing 100070 Patentee before: Beijing watman Intelligent Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |