CN115790441A - 一种市政部件数据提取方法及系统 - Google Patents
一种市政部件数据提取方法及系统 Download PDFInfo
- Publication number
- CN115790441A CN115790441A CN202211407929.7A CN202211407929A CN115790441A CN 115790441 A CN115790441 A CN 115790441A CN 202211407929 A CN202211407929 A CN 202211407929A CN 115790441 A CN115790441 A CN 115790441A
- Authority
- CN
- China
- Prior art keywords
- data
- coordinate system
- image
- time
- municipal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013075 data extraction Methods 0.000 title claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Abstract
本发明涉及点云数据提取技术领域，具体涉及一种市政部件数据提取方法及系统，包括：通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；对影像数据和点云数据进行时间配准；对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。本发明方法通过像素坐标向三维坐标的转换，得到市政部件轮廓三维数据，大幅提高市政部件轮廓提取的精度。
Description
技术领域
本发明涉及点云数据提取技术领域，具体涉及一种市政部件数据提取方法及系统。
背景技术
随着智慧城市的建设，对城市基础设施的运维管理提出更高要求。城市道路市政部件的精确定位和提取是智慧城市部件管理中需要解决的关键性问题之一。
移动测量技术依靠激光雷达、惯导等传感器快速采集道路周边的高精度点云数据。由于市政部件一般嵌入地面，仅通过点云数据难以在地面上精确提取市政部件点云数据。
发明内容
有鉴于此，本发明提出一种市政部件数据提取方法及系统，结合图像识别和边缘提取，获取市政部件三维轮廓，解决了市政部件轮廓提取的精度问题。
本发明提供一种市政部件数据提取方法，其包括以下步骤：
(1)通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
(2)对影像数据和点云数据进行时间配准；
(3)对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；
(4)对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
进一步，所述车载移动测量系统，包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器。
具体的，所述三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
所述三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
所述惯性导航(IMU)和所述GPS定位传感器形成POS设备，为所述车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系(L，B，H)数据；
所述相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
所述载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，所述虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在所述天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
进一步，所述对影像数据和点云数据进行时间配准，包括：
(1)基准时间确定，GPS测量数据包含时间信息，选用GPS时作为基准时间；
(2)影像时间标签，相机曝光时，采集带时间标签的影像数据；
(3)多传感器时间配准，启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准。
具体的，所述特征点为角点。
具体的，所述得到空间转换矩阵，包括：
(1)激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
(2)激光扫描仪直角坐标系向载体坐标系统转换；
(3)载体坐标系统向相机坐标系统转换。
进一步，所述对影像数据进行边缘提取和图像识别：基于卷积神经网络实现边缘特征提取和识别，所述卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
本发明中，图像边缘提取和识别通过卷积神经网络获得，是该领域惯用的技术手段。
本发明还一种市政部件数据提取系统，包括：
影像数据和点云数据采集模块，用于通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
时间配准模块，用于对影像数据和点云数据进行时间配准；
空间配准模块，用于对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；
三维高精度轮廓形成模块，用于对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
具体的所述影像数据和点云数据采集模块包括车载移动测量单元，所述车载移动测量单元包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器；其中：所述三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
所述三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
所述惯性导航(IMU)和所述GPS定位传感器形成POS设备，为所述车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系(L，B，H)数据；
所述相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
所述载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，所述虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在所述天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
进一步，所述时间配准模块包括基准时间确定单元、影像时间标签单元和多传感器时间配准单元；其中
基准时间确定单元，用于基于GPS测量数据包含的时间信息，选用GPS时作为基准时间；
影像时间标签单元，用于相机曝光时，采集带时间标签的影像数据；
多传感器时间配准单元，用于启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准。
所述空间配准模块包括激光坐标转换单元、载体坐标转换单元和相机坐标转换单元：
所述激光坐标转换单元，用于激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
所述载体坐标转换单元，用于激光扫描仪直角坐标系向载体坐标系统转换；
所述相机坐标转换单元，用于载体坐标系统向相机坐标系统转换。
具体的，所述三维高精度轮廓形成模块包括边缘提取和图像识别单元和三维轮廓生成单元；
所述边缘提取和图像识别单元，用于基于卷积神经网络实现边缘特征提取和识别，所述卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；
所述三维轮廓生成单元，用于通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
本发明对比现有技术有如下的有益效果：本发明的主要特点是基于影像和点云配准，通过图像边缘提取和识别，转换得到高精度的市政部件三维轮廓数据。结合基准时间、影像时间标签和多传感器时间配准，完成影像和点云的时间配准；时间配准完成，对影像数据和点云数据进行空间配准，完成激光扫描仪、相机坐标系统向大地坐标系的转换，得到转换方程；基于卷积神经网络实现对市政部件影像数据的识别和边缘提取，通过转换方程得到高精度市政部件轮廓三维数据。
使用图像识别和边缘提取，及点云数据与影像数据配准，通过像素坐标向三维坐标的转换，得到市政部件轮廓三维数据，大幅提高市政部件轮廓提取的精度。
附图说明
图1为本发明市政部件数据提取方法流程示意图；
图2为本发明时间配准示意图；
图3为本发明点云和影像转换关系示意图；
图4为本发明市政部件数据提取系统示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
参见图1，本发明提供一种市政部件数据提取方法，其包括以下步骤：
(1)通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
(2)对影像数据和点云数据进行时间配准；
(3)对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵，特征点为角点；
(4)对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
其中市政部件可包括井盖、广告牌、红绿灯等设备。
车载移动测量系统包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器。
三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
惯性导航(IMU)和GPS定位传感器形成POS设备，为车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系(L，B，H)数据；
相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
参见图2，对影像数据和点云数据进行时间配准，包括：
(1)基准时间确定，GPS测量数据包含时间信息，GPS时由GPS星载原子钟和地面监控站的原子钟组成的一种原子时基准，选用GPS时作为基准时间；
(2)影像时间标签，相机曝光时，采集带时间标签的影像数据；
(3)多传感器时间配准，实际数据采集工作中，启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，可将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准。
参见图3，得到空间转换矩阵，包括：
(1)激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
(2)激光扫描仪直角坐标系向载体坐标系统转换；
(3)载体坐标系统向相机坐标系统转换。
具体为：影像和点云空间配准，其核心在于统一各传感设备坐标系，求得转换方程，包括：
载体坐标系统，原点位于GPS天线相位中心，天线相位中心连线构成的平面内，Y轴也位于该平面内，Z轴垂直于此平面向上，构成右手坐标系。
激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换。
激光扫描仪坐标系的极点与激光扫描仪直角坐标系统的原点重合，极轴与ZL轴重合反向，极平面与XABS-OABS-ZABS平面重合，转换关系为：
其中，ρ，θ为扫描点的极坐标；YABS，YABS，ZABS为扫描点在激光扫描仪直角坐标系统下的坐标值。
激光扫描仪直角系统XABSYABSZABS向载体坐标系统XPlatYPlatZPlat转换：
其中，
为旋转转换矩阵，XT，YT，ZT为两个坐标系统间的转换参数，通过外业测量标定。
激光扫描仪直角坐标系向载体坐标系统转换。
在时间配准ti时刻的影像数据和点云数据中，标记多个同名特征点。在影像image上选择多个特征点，获得影像坐标为(Uij,Vij)。其中，j表示第j对同名特征点。
对应地，在ti时刻点云数据中选择对应特征点的绝对坐标
根据POS系统位姿，将同名特征点中的绝对空间坐标
转换至载体坐标系下的坐标
载体坐标系统向相机坐标系统转换。ti时刻对应POS位置初值为
姿态参数初值为
则通过下式将绝对坐标转化至载体坐标：
对影像数据进行边缘提取和图像识别：基于卷积神经网络实现边缘特征提取和识别，卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
参见图4，本发明还提供一种市政部件数据提取系统，包括：
影像数据和点云数据采集模块10，用于通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
时间配准模块20，用于对影像数据和点云数据进行时间配准；
空间配准模块30，用于对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；
三维高精度轮廓形成模块40，用于对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
影像数据和点云数据采集模块10包括车载移动测量单元11，车载移动测量单元11包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器；其中：三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
惯性导航(IMU)和GPS定位传感器形成POS设备，为车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系(L，B，H)数据；
相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
时间配准模块20包括基准时间确定单元21、影像时间标签单元22和多传感器时间配准单元23；其中
基准时间确定单元21，用于基于GPS测量数据包含的时间信息，选用GPS时作为基准时间；
影像时间标签单元22，用于相机曝光时，采集带时间标签的影像数据；
多传感器时间配准单元23，用于启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准。
空间配准模块30包括激光坐标转换单元31、载体坐标转换单元32和相机坐标转换单元33：
激光坐标转换单元31，用于激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
载体坐标转换单元32，用于激光扫描仪直角坐标系向载体坐标系统转换；
相机坐标转换单元33，用于载体坐标系统向相机坐标系统转换。
具体为：影像和点云空间配准，其核心在于统一各传感设备坐标系，求得转换方程，包括：
载体坐标系统，原点位于GPS天线相位中心，天线相位中心连线构成的平面内，Y轴也位于该平面内，Z轴垂直于此平面向上，构成右手坐标系。
激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换。
激光扫描仪坐标系的极点与激光扫描仪直角坐标系统的原点重合，极轴与ZL轴重合反向，极平面与XABS-OABS-ZABS平面重合，转换关系为：
其中，ρ，θ为扫描点的极坐标；XABS，YABS，ZABS为扫描点在激光扫描仪直角坐标系统下的坐标值。
激光扫描仪直角系统XABSYABSZABS向载体坐标系统XPlatYPlatZPlat转换：
其中，
为旋转转换矩阵，XT，YT，ZT为两个坐标系统间的转换参数，通过外业测量标定。
激光扫描仪直角坐标系向载体坐标系统转换。
在时间配准ti时刻的影像数据和点云数据中，标记多个同名特征点。在影像image上选择多个特征点，获得影像坐标为(Uij,Vij)。其中，j表示第j对同名特征点。
对应地，在ti时刻点云数据中选择对应特征点的绝对坐标
根据POS系统位姿，将同名特征点中的绝对空间坐标
转换至载体坐标系下的坐标
载体坐标系统向相机坐标系统转换。ti时刻对应POS位置初值为
姿态参数初值为
则通过下式将绝对坐标转化至载体坐标：
三维高精度轮廓形成模块40包括边缘提取和图像识别单元41和三维轮廓生成单元42；
边缘提取和图像识别单元41，基于卷积神经网络实现边缘特征提取和识别，卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；
三维轮廓生成单元42，用于通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (10)
1.一种市政部件数据提取方法，其特征在于，其包括以下步骤：
(1)通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
(2)对影像数据和点云数据进行时间配准；
(3)对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；
(4)对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
2.根据权利要求1所述市政部件数据提取方法，其特征在于，所述车载移动测量系统，包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器。
3.根据权利要求2所述市政部件数据提取方法，其特征在于，所述三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
所述三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
所述惯性导航和所述GPS定位传感器形成POS设备，为所述车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系数据；
所述相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
所述载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，所述虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在所述天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
4.根据权利要求1所述市政部件数据提取方法，其特征在于，所述对影像数据和点云数据进行时间配准，包括：
(1)基准时间确定，GPS测量数据包含时间信息，选用GPS时作为基准时间；
(2)影像时间标签，相机曝光时，采集带时间标签的影像数据；
(3)多传感器时间配准，启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准。
5.根据权利要求1所述市政部件数据提取方法，其特征在于，所述得到空间转换矩阵，包括：
(1)激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
(2)激光扫描仪直角坐标系向载体坐标系统转换；
(3)载体坐标系统向相机坐标系统转换。
6.根据权利要求1所述市政部件数据提取方法，其特征在于，所述对影像数据进行边缘提取和图像识别：基于卷积神经网络实现边缘特征提取和识别，所述卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
7.一种市政部件数据提取系统，其特征在于，包括：
影像数据和点云数据采集模块，用于通过车载移动测量系统，采集含市政部件道路段的影像数据和点云数据；
时间配准模块，用于对影像数据和点云数据进行时间配准；
空间配准模块，用于对时间配准的影像数据和点云数据，利用特征点进行空间配准，得到空间转换矩阵；
三维高精度轮廓形成模块，用于对影像数据进行边缘提取和图像识别，获取影像数据中市政部件像素坐标，通过转换矩阵转化为点云坐标，得到三维高精度市政部件轮廓。
8.根据权利要求7所述市政部件数据提取系统，其特征在于，
所述影像数据和点云数据采集模块包括车载移动测量单元，所述车载移动测量单元包括载体平台、三维激光扫描仪、惯性导航、GPS定位和相机传感器；其中：所述三维激光扫描仪、惯性导航、GPS定位和相机传感器采集数据属于独立的坐标系，其中
所述三维激光扫描仪，为系统采集可量测的激光点云数据，采集的原始激光点云数据是在激光扫描仪极坐标系的数据格式，该坐标系以激光扫描仪中心为坐标系的原点，以扫描光束为极轴；
所述惯性导航和所述GPS定位传感器形成POS设备，为所述车载移动测量系统提供位置与方向信息，获取的POS数据为大地坐标系数据；
所述相机为三维直角坐标系，其坐标系原点定义在摄影光心在成像平面的中心，成像平面纵轴定义为Y轴，指向下方，光线指向的方向定义为Z轴，垂直于成像平面，X轴根据右手法则确定，指向右方；相机内外参数描述三维空间一坐标点投影在成像平面上，得到影像坐标的过程；
所述载体平台是一个集成同步控制器的刚性载体，保证各传感器在数据采集工作的时间同步，为系统提供统一的时间基准，并为内部各传感器坐标系统一提供一个虚拟三维空间直角坐标系，所述虚拟三维空间直角坐标系的原点O位于GPS天线相位中心，在所述天线相位中心连线构成的平面，Y轴位于该平面内，Z轴垂直于该平面向上，构成右手坐标系。
9.根据权利要求7所述市政部件数据提取系统，其特征在于，
所述时间配准模块包括基准时间确定单元、影像时间标签单元和多传感器时间配准单元；其中
基准时间确定单元，用于基于GPS测量数据包含的时间信息，选用GPS时作为基准时间；
影像时间标签单元，用于相机曝光时，采集带时间标签的影像数据；
多传感器时间配准单元，用于启动激光扫描仪和惯导系统的同时，对GPS数据进行时间打标，将GPS时间打标信息解算为传感器的配准时间，配准时间和带时间标签的影像数据匹配，完成影像数据和点云数据的时间配准；
所述空间配准模块包括激光坐标转换单元、载体坐标转换单元和相机坐标转换单元：
所述激光坐标转换单元，用于激光扫描仪极坐标系统向激光扫描仪直角坐标系统转换；
所述载体坐标转换单元，用于激光扫描仪直角坐标系向载体坐标系统转换；
所述相机坐标转换单元，用于载体坐标系统向相机坐标系统转换。
10.根据权利要求7所述市政部件数据提取系统，其特征在于，所述三维高精度轮廓形成模块包括边缘提取和图像识别单元和三维轮廓生成单元；
所述边缘提取和图像识别单元，用于基于卷积神经网络实现边缘特征提取和识别，所述卷积神经网络包括四种基本结构层：输入层、卷积层、池化层和输出层，将原始图像输入卷积层，与第一层卷积核卷积计算得到特征映射图，对每个特征映射图的局部区域加权求和，加偏置，选用RELU函数作为激活函数；
将卷积层得到的特征映射图输入池化层进行下采样，在池化层，输入的特征图个数不变，大小变为1/n，通过多次卷积和池化，并通过全连接，在输出层得到与原始图像尺寸相同的图像边缘特征；
对市政部件图像边缘的样本训练，实现图像市政部件边缘的精确提取；
所述三维轮廓生成单元，用于通过转换矩阵和图像市政部件边缘，实现图像像素坐标向三维空间的映射，得到市政部件轮廓的高精度三维点云坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211407929.7A CN115790441B (zh) | 2022-11-10 | 2022-11-10 | 一种市政部件数据提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211407929.7A CN115790441B (zh) | 2022-11-10 | 2022-11-10 | 一种市政部件数据提取方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115790441A true CN115790441A (zh) | 2023-03-14 |
| CN115790441B CN115790441B (zh) | 2023-08-25 |
Family
ID=85436776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211407929.7A Active CN115790441B (zh) | 2022-11-10 | 2022-11-10 | 一种市政部件数据提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115790441B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063860A (zh) * | 2014-06-12 | 2014-09-24 | 北京建筑大学 | 一种激光点云边缘精细化的方法 |
| CN104180793A (zh) * | 2014-08-27 | 2014-12-03 | 北京建筑大学 | 一种用于数字城市建设的移动空间信息获取装置和方法 |
| CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
| US20190206063A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for processing point cloud data |
| JPWO2020110164A1 (ja) * | 2018-11-26 | 2021-04-08 | 三菱電機株式会社 | 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム |
| CN113706594A (zh) * | 2021-09-10 | 2021-11-26 | 广州中海达卫星导航技术股份有限公司 | 三维场景信息生成的系统、方法及电子设备 |
-
2022
- 2022-11-10 CN CN202211407929.7A patent/CN115790441B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063860A (zh) * | 2014-06-12 | 2014-09-24 | 北京建筑大学 | 一种激光点云边缘精细化的方法 |
| CN104180793A (zh) * | 2014-08-27 | 2014-12-03 | 北京建筑大学 | 一种用于数字城市建设的移动空间信息获取装置和方法 |
| US20190206063A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for processing point cloud data |
| CN109934230A (zh) * | 2018-09-05 | 2019-06-25 | 浙江大学 | 一种基于视觉辅助的雷达点云分割方法 |
| JPWO2020110164A1 (ja) * | 2018-11-26 | 2021-04-08 | 三菱電機株式会社 | 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム |
| CN113706594A (zh) * | 2021-09-10 | 2021-11-26 | 广州中海达卫星导航技术股份有限公司 | 三维场景信息生成的系统、方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115790441B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111144388B (zh) | 一种基于单目影像的道路标志标线的更新方法 | |
| CN112767391B (zh) | 融合三维点云和二维图像的电网线路部件缺陷定位方法 | |
| US20200401617A1 (en) | Visual positioning system | |
| JP2019179021A (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| CN103377476A (zh) | 使用三维地理弧的多模型数据的图像配准 | |
| JP4978615B2 (ja) | 対象特定装置 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN111190199B (zh) | 定位方法及定位装置、计算机设备和可读存储介质 | |
| CN112465732A (zh) | 一种车载激光点云与序列全景影像的配准方法 | |
| JP2006119591A (ja) | 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置 | |
| CN117036300A (zh) | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 | |
| Chellappa et al. | On the positioning of multisensor imagery for exploitation and target recognition | |
| CN112907746A (zh) | 电子地图的生成方法、装置、电子设备及存储介质 | |
| KR101212788B1 (ko) | 통합 벡터 모델 기반 지도 제작을 위한 수치지도 시스템 및 이를 이용한 수치지도 작성 방법 | |
| KR100981588B1 (ko) | 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템 | |
| Yu et al. | Registration and Fusion of UAV LiDAR System Sequence Images and Laser Point Clouds. | |
| CN115790441B (zh) | 一种市政部件数据提取方法及系统 | |
| CN113838129B (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| PERLANT et al. | Scene registration in aerial image analysis | |
| CN115468576A (zh) | 一种基于多模态数据融合的自动驾驶定位方法及系统 | |
| KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
| KR101016071B1 (ko) | 이동측량장치의 이동경로에 따른 스테레오 영상으로부터 벡터변환을 이용하여 대응영역을 추출하는 도시공간 영상처리장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |