CN110648389A - 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 - Google Patents
基于无人机和边缘车辆协同的城市街景3d重建方法和系统 Download PDFInfo
- Publication number
- CN110648389A CN110648389A CN201910779142.5A CN201910779142A CN110648389A CN 110648389 A CN110648389 A CN 110648389A CN 201910779142 A CN201910779142 A CN 201910779142A CN 110648389 A CN110648389 A CN 110648389A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- vehicle
- aerial vehicle
- street view
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于无人机和边缘车辆协同的城市街景3D重建方法，实现了在大规模城市街景三维建模中快速和高精度重建、城市地图的识别和快速更新迭代的功能。通过边缘端多车辆对密集城市区域采集街景图片并传回路测单元服务器的方式，形成一个分布式的多节点采集数据的网络，实现对道路街景图片信息的多视角拍摄和大范围采集，提高采集效率降低采集成本。
Description
技术领域
本发明涉及地理信息领域，更具体地，涉及一种基于无人机和边缘车辆协同的城市街景3D重建方法和系统。
背景技术
数字地球和数字城市已经成为地理信息领域的重要研究方向。自动生成精确的城市三维模型技术对机器人导航、计算机测绘、虚拟现实以及很多可视化场景具有重要的意义，在城市道路规划、道路损坏程度评估、数字旅程等应用上都有很大的实践价值。但对城市空间的外观和行为建模是一项巨大的挑战。因为城市空间是由一系列复杂的建筑结构、街区和街道相互连接组成，属于大范围的密集区域。而随着近年来对于3D城市地图模型的需求急剧增加，这些需求特别来自3D GPS导航系统和谷歌地球、诺基亚地图等在线服务。但目前的3D重建地图方案仍然缺乏自动化方案，主要依靠人机协同采集，存在数据采集效率低、地图更新迭代慢、3D地图精度低、采集成本高等问题，自动化高精度建模的需求涵需解决。
3D重建技术目前主要有基于LiDAR(Light Detection and Ranging)数据三维重建和基于图像视觉的三维重建两种方法。根据传感器安装平台又可区分为机载(通常为无人机)和车载两种方式。其中，基于图像视觉的重建方法又可以分为单目图像重建和双目立体视觉重建。双目立体视觉重建方法主要是通过两个CCD摄像头在不同位置捕获场景并形成两个二维图像，并且根据像素的相似性计算图像像素的视觉偏差，以确定两幅图像的匹配点；最后根据透视变换原理确定三维空间点的坐标信息和深度信息，实现立体三维建模。基于单目的图像重建则是通过对一定区域内的物体进行多视角拍摄，再通过对多图像进行特征点匹配并进行相机姿态估计，最后生成二维图像和三维点云模型的映射关系。
而在LiDAR重建技术中，以激光雷达传感器的应用最为广泛。激光扫描技术的发展使得能够以高频率和高密度的方式收集大量LiDAR点云，从而推导出更详细的三维模型。其中，基于机载LiDAR的城市三维重建的工作原理大致如下：首先对获取到的激光扫描数据进行分类以获得城市区域的点云；再根据点云和平面拟合的轨迹检测建筑物的边界并提取单独建筑物的特征点，最后使用OpenGL技术进行城市的几何模型重构。相比机载LiDAR技术，车载LiDAR技术采集到的点云数据更多包含的是地面、行车道、植被、路灯、建筑物正面等街景细节的信息，其获取的数据密度也更大、场景复杂度更高。
在2009年以Jiangxiong Xiao为代表的学者发表了“Image-based Street-sideCity Modeling”论文，在该论文中作者提出了一种城市街景建筑物模型的3D重建和语义分割方法，该方法主要是基于单目视觉的多图像3D成像技术。该论文的工作原理如下所示：
①首先，作者在搭载GPS/INS(interial navigation system)硬件平台的基础上，利用SFM(Structure From Motion)算法重建图像序列用来产生一系列密集点云并获取相机姿态。
②接着，采用K-Means聚类算法获取图像的纹理特征并采用纹理布局滤波器提取该特征作为Joint Boost算法的学习因子，再令该过滤器在有标签的训练集中不断迭代完善得到最后的分类器，并作为图像分割的依据。这里的分类器主要对天空、建筑物、道路、植被四类物体做区分。
③在多视角图片融合分割场景下，由于图片的测试序列已经由SFM算法重建，故利用多个视图之间的点匹配信息来实现多图片的联合语义分割的一致性。在此基础上，利用垂直线将重新排序的图片序列分割为不同的块区，每个块区代表一座建筑。
④由于之前的语义分割和块切割步骤已经过滤掉不相干的3D点，并形成正交深度图和纹理图像，通过组合深度图像和纹理图像，去除图中的噪点以及重建的错误，最后生成组合正交视图的建筑区域图。
⑤采用自上而下的基于图形的语义分割框架将正交纹理深度组合图分割成不同的区域，再利用正则化方法将图中的不规则的深度区域转为矩形形状。最后将正交视图的图片序列处理分割的所有块区域嵌入SFM生成的3D模型，每个块区域的侧面则自动生成。
整个系统流程如下图所示：从输入图片，再利用SFM算法进行密集点云3D模型重建，再对提取的正交视图作语义分割并将其作块区域分割处理；最后对块区域进行组合和正则化操作，提取图片的深度信息和纹理信息，并嵌入3D模型对街景进行一个完善逼真的重现建模。
现有针对大规模城市街景重建的主流方案主要有三种，分别是基于车载LiDAR的激光雷达测距重建技术、基于机载LiDAR的测距重建技术以及基于机载的多视角图像重建技术。它们的缺点如下：
(1)对于城市密集植被区域，机载LiDAR技术脉冲激光无法穿透到地面，对于被植被覆盖的区域传感器无法采集到足够的点云数据，从而造成数据丢失。基于车载LiDAR的激光扫描可以被认为是一种固定扫描方法，它需要在不同的位置进行多次扫描以获得完整的范围数据。但由于视角的约束，建筑物屋顶的数据经常丢失。同时，与可视化图像建模的方法相比，基于车载和机载的LiDAR技术无法采集物体表面的纹理信息，因此无法对建筑进行更为完善逼真的建模重现。相比图像视觉重建技术，激光雷达测距仪由于其过大的重量和昂贵的价格，其推广性并不强。而且激光雷达的操作相对也更为复杂。
(2)基于机载的多图像摄影3D重建技术虽然在大规模城市3D重建中能够实现快速重建，但由于其拍摄视角和高度等问题，对城市街景的细节重建效果并不好，由图片生成的DSM(Digital Surface Models)点云模型也相对比较稀疏。
发明内容
本发明的首要目的是提供一种基于无人机和边缘车辆协同的城市街景3D重建方法，克服无人机在城市街景细节重建上的缺陷，极大程度地提高城市密集区域的数据采集和3D重建效率，实现全自动城市地图三维建模的目的。
本发明的进一步目的是提供一种基于无人机和边缘车辆协同的城市街景3D重建系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于无人机和边缘车辆协同的城市街景3D重建方法，包括以下步骤：
利用装载在无人机上的摄像头从不同位置采集城市街景不同视角的二维图像，并记录沿途的地理位置信息，利用GPU加速单元根据二维图像生成三维稠密点云DSM模型，将三维稠密点云DSM模型输出至路测单元服务器；
利用装载在车辆上的摄像头对沿途的城市街景进行图像数据采集，并记录沿途的地理位置信息，将图像数据处理后与地理位置信息打包为标签图片输出至路测单元服务器；
路侧单元服务器对标签图片进行语义分割，提取目标识别和语义分割的结果和物体纹理特征信息，与无人机生成的DSM模型进行融合，生成详细的城市街景三维模型。
优选地，其特征在于，利用装载在无人机上的第一GPS/INS系统获取无人机沿途的地理位置信息，无人机利用GPS/INS系统实现一定区域内的精准导航巡逻；利用装载在车辆上的第二GPS/INS系统获取车辆沿途的地理位置信息。
优选地，其特征在于，根据二维图像生成三维稠密点云DSM模型，包括以下步骤：
利用SFM算法完成点云的稀疏重建；
通过多视角密集匹配建立区域的密集点云；
通过一个摄像机在不同特定的位置拍摄的图片，利用SIFT算法进行照片之间的特征点匹配，再借助投影模型采用非线性的优化方法回算相机参数(例如镜头焦距、对比度等信息)，从而建立起二维和三维之间的对应关系，再根据对应关系生成三维点云。
优选地，其特征在于，图像数据处理包括目标检测和识别。
优选地，其特征在于，使用MobileNet SSD深度学习框架对图像数据进行目标检测和识别。
优选地，其特征在于，路侧单元服务器对标签图片进行语义分割，包括以下步骤：
从标签图片提取物体识别结果的区域形态，将识别结果的区域形态转化为像素预测；
使用SegNet深度学习神经网络框架提取图片像素点密集特征，利用分类器进行语义分割。
优选地，其特征在于，所述分类器包括五种类型，分别针对植被、道路、车、建筑和天空进行分类。
通过语义分割的场景分割方法，可以获得道路街景的自由空间信息，以及检测车道标记和交通标志等信息。最后将识别的结果和物体表面的纹理特征提取映射到DSM模型上，对城市道路街景模型进行进一步的重构完善和三维物体识别。
优选地，与无人机生成的DSM模型进行融合前，先对标签图片和DSM模型数据进行GPS地理信息匹配。
一种基于无人机和边缘车辆协同的城市街景3D重建系统，包括无人机摄影测量系统、车载边缘智能平台和路侧单元服务器，其中：
所述无人机摄影测量系统包括无人机以及搭载无人机上的第一主控芯片、GPU加速单元、第一传感器单元以及第一通讯单元，所述主控芯片接收传感器单元收集到的不同位置采集城市街景不同视角的二维图像，然后控制无人机的导航巡逻路线，所述GPU单元根据二维图像生成三维稠密点云DSM模型，通过所述通讯单元将三维稠密点云DSM模型输出至路测单元服务器；
所述车载边缘智能平台包括第一主控芯片、AI算法加速单元、第二通讯单元以及第二传感器单元，所述第二传感器单元对沿途的城市街景进行图像数据采集并记录沿途的地理位置信息，AI算法加速单元将图像数据处理后与地理位置信息打包为标签图片通过第二通讯单元输出至路测单元服务器；
路侧单元服务器对车载边缘智能平台传回的标签图片进行语义分割，再提取目标识别和语义分割的结果和物体纹理特征等信息，与无人机生成的DSM模型进行融合，生成详细的城市道路街景三维模型。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过联同无人机和边缘端多车辆设备采集图像的方式，可以克服无人机在城市街景细节重建上的缺陷，同时这种多用户协作的边缘协同采集图像方式，通过在车载端搭建边缘智能平台，实现对采集到的物体的实时目标检测和数量统计功能，再在边缘端结合语义分割的算法，实现对街景物体的识别统计和场景分割功能；可以极大程度地提高城市密集区域的数据采集和3D重建效率，实现全自动城市地图三维建模的目的。通过在城市密集区域部署路侧单元服务器的方式，可以减少数据的传输时延，实现无人机摄影系统生成的DSM数据和车载边缘端采集的图像数据快速传回服务器进行映射融合。有助于区域街景的快速3D重建和迭代更新，并减少对中心服务器的计算负载和依赖。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的系统结构示意图。
图3为无人机多视角拍摄图片。
图4为利用SFM算法对多视角图片重建稀疏点云模型。
图5为无人机测绘系统利用SFM/CMVS算法最终生成的DSM模型。
图6为车载边缘智能平台拍摄图片。
图7为车载边缘智能平台识别后带标签的图片。
图8为语义分割处理后的标签图片。
图9为融合边缘智能平台拍摄图片后的DSM三维模型街景细节。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于无人机和边缘车辆协同的城市街景3D重建方法，如图1，包括以下步骤：
利用装载在无人机上的摄像头从不同位置采集城市街景不同视角的二维图像，并记录沿途的地理位置信息，利用GPU加速单元根据二维图像生成三维稠密点云DSM模型，将三维稠密点云DSM模型输出至路测单元服务器；
利用装载在车辆上的摄像头对沿途的城市街景进行图像数据采集，并记录沿途的地理位置信息，将图像数据处理后与地理位置信息打包为标签图片输出至路测单元服务器；
路侧单元服务器对标签图片进行语义分割，提取目标识别和语义分割的结果和物体纹理特征信息，与无人机生成的DSM模型进行融合，生成详细的城市街景三维模型。
利用装载在无人机上的第一GPS/INS系统获取无人机沿途的地理位置信息，利用装载在车辆上的第二GPS/INS系统获取车辆沿途的地理位置信息。
根据二维图像生成三维稠密点云DSM模型，包括以下步骤：
利用SFM算法完成点云的稀疏重建；
通过多视角密集匹配建立区域的密集点云。
图像数据处理包括目标检测和识别。
使用MobileNet SSD深度学习框架对图像数据进行目标检测和识别。
路侧单元服务器对标签图片进行语义分割，包括以下步骤：
从标签图片提取物体识别结果的区域形态，将识别结果的区域形态转化为像素预测；
使用SegNet深度学习神经网络框架提取图片像素点密集特征，利用分类器进行语义分割。
所述分类器包括五种类型，分别针对植被、道路、车、建筑和天空进行分类。
与无人机生成的DSM模型进行融合前，先对标签图片和DSM模型数据进行GPS地理信息匹配。
实施例2
本实施例提供一种基于无人机和边缘车辆协同的城市街景3D重建系统，如图2，包括无人机摄影测量系统、车载边缘智能平台和路侧单元服务器，其中：
所述无人机摄影测量系统包括无人机以及搭载无人机上的第一主控芯片、GPU加速单元、第一传感器单元以及第一通讯单元，所述主控芯片接收传感器单元收集到的不同位置采集城市街景不同视角的二维图像，然后控制无人机的导航巡逻路线，所述GPU单元根据二维图像生成三维稠密点云DSM模型，通过所述通讯单元将三维稠密点云DSM模型输出至路测单元服务器；
所述车载边缘智能平台包括第一主控芯片、AI算法加速单元、第二通讯单元以及第二传感器单元，所述第二传感器单元对沿途的城市街景进行图像数据采集并记录沿途的地理位置信息，AI算法加速单元将图像数据处理后与地理位置信息打包为标签图片通过第二通讯单元输出至路测单元服务器；
路侧单元服务器对车载边缘智能平台传回的标签图片进行语义分割，再提取目标识别和语义分割的结果和物体纹理特征等信息，与无人机生成的DSM模型进行融合，生成详细的城市道路街景三维模型。
在具体的实施例中，在无人机上，首先无人机在空中不同位置和视角对停车场内车辆进行摄影，如图3所示。再通过SIFT算法对多视角图片进行特征点匹配，并在SFM算法的基础上根据匹配的二维关系生成稀疏点云模型，如图4所示。最后通过SFM/CMVS算法输出密集点云DSM模型，如图5所示。
在车载边缘智能平台上，车载摄像头通过对街景图片进行图像采集，获得更多车辆详细信息的图片并在本地平台上运行MobileNet SSD深度学习算法实现目标检测的功能，最终输出带标签的街景图片，如图7和图8所示。
在路侧单元服务器，通过对通讯单元传回的DSM模型数据和车载标签图片进行GPS信息匹配。如果采集到的图片是在相同区域范围内，则先对标签图片进行语义分割，再提取语义分割得到的街景识别结果和物体表面纹理特征，和DSM点云模型进行融合，对城市街景细节进一步进行建模复现和三维识别。如图9所示，通过融合后的三维模型，可以清楚地看到车辆的车牌和生产厂商等信息，与之前无人机生成的DSM模型相比，在纹理特征的细节上更为精确。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，包括以下步骤：
利用装载在无人机上的摄像头从不同位置采集城市街景不同视角的二维图像，并记录沿途的地理位置信息，利用GPU加速单元根据二维图像生成三维稠密点云DSM模型，将三维稠密点云DSM模型输出至路测单元服务器；
利用装载在车辆上的摄像头对沿途的城市街景进行图像数据采集，并记录沿途的地理位置信息，将图像数据处理后与地理位置信息打包为标签图片输出至路测单元服务器；
路侧单元服务器对标签图片进行语义分割，提取目标识别和语义分割的结果和物体纹理特征信息，与无人机生成的DSM模型进行融合，生成详细的城市街景三维模型。
2.根据权利要求1所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，利用装载在无人机上的第一GPS/INS系统获取无人机沿途的地理位置信息，利用装载在车辆上的第二GPS/INS系统获取车辆沿途的地理位置信息。
3.根据权利要求1所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，根据二维图像生成三维稠密点云DSM模型，包括以下步骤：
利用SFM算法完成点云的稀疏重建；
通过多视角密集匹配建立区域的密集点云。
4.根据权利要求1所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，图像数据处理包括目标检测和识别。
5.根据权利要求4所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，使用MobileNet SSD深度学习框架对图像数据进行目标检测和识别。
6.根据权利要求4所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，路侧单元服务器对标签图片进行语义分割，包括以下步骤：
从标签图片提取物体识别结果的区域形态，将识别结果的区域形态转化为像素预测；
使用SegNet深度学习神经网络框架提取图片像素点密集特征，利用分类器进行语义分割。
7.根据权利要求6所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，所述分类器包括五种类型，分别针对植被、道路、车、建筑和天空进行分类。
8.根据权利要求7所述的基于无人机和边缘车辆协同的城市街景3D重建方法，其特征在于，与无人机生成的DSM模型进行融合前，先对标签图片和DSM模型数据进行GPS地理信息匹配。
9.一种基于无人机和边缘车辆协同的城市街景3D重建系统，其特征在于，包括无人机摄影测量系统、车载边缘智能平台和路侧单元服务器，其中：
所述无人机摄影测量系统包括无人机以及搭载无人机上的第一主控芯片、GPU加速单元、第一传感器单元以及第一通讯单元，所述主控芯片接收传感器单元收集到的不同位置采集城市街景不同视角的二维图像，然后控制无人机的导航巡逻路线，所述GPU单元根据二维图像生成三维稠密点云DSM模型，通过所述通讯单元将三维稠密点云DSM模型输出至路测单元服务器；
所述车载边缘智能平台包括第一主控芯片、AI算法加速单元、第二通讯单元以及第二传感器单元，所述第二传感器单元对沿途的城市街景进行图像数据采集并记录沿途的地理位置信息，AI算法加速单元将图像数据处理后与地理位置信息打包为标签图片通过第二通讯单元输出至路测单元服务器；
路侧单元服务器对车载边缘智能平台传回的标签图片进行语义分割，再提取目标识别和语义分割的结果和物体纹理特征等信息，与无人机生成的DSM模型进行融合，生成详细的城市道路街景三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779142.5A CN110648389A (zh) | 2019-08-22 | 2019-08-22 | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910779142.5A CN110648389A (zh) | 2019-08-22 | 2019-08-22 | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110648389A true CN110648389A (zh) | 2020-01-03 |
Family
ID=68990233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910779142.5A Pending CN110648389A (zh) | 2019-08-22 | 2019-08-22 | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648389A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461250A (zh) * | 2020-04-09 | 2020-07-28 | 上海城诗信息科技有限公司 | 一种街景模型生成方法、装置、系统及存储介质 |
| CN111551177A (zh) * | 2020-04-16 | 2020-08-18 | 上海航天控制技术研究所 | 一种基于无人机平台的外场协同探测试验方法 |
| CN111583691A (zh) * | 2020-04-23 | 2020-08-25 | 北京踏歌智行科技有限公司 | 一种集群式的障碍物同步方法 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN112418245A (zh) * | 2020-11-04 | 2021-02-26 | 武汉大学 | 基于城市环境物理模型的电磁发射点定位方法 |
| CN112615736A (zh) * | 2020-12-10 | 2021-04-06 | 南京工业大学 | 面向线性边缘网络的延迟最优分布式NNs协同优化方法 |
| CN113192200A (zh) * | 2021-04-26 | 2021-07-30 | 泰瑞数创科技(北京)有限公司 | 一种基于空三并行计算算法的城市实景三维模型的构建方法 |
| CN113255504A (zh) * | 2021-05-19 | 2021-08-13 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN113379915A (zh) * | 2021-07-05 | 2021-09-10 | 广东工业大学 | 一种基于点云融合的行车场景构建方法 |
| WO2021197341A1 (zh) * | 2020-04-03 | 2021-10-07 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
| CN113670273A (zh) * | 2021-08-06 | 2021-11-19 | 诚邦测绘信息科技(浙江)有限公司 | 测绘用滩土环境检测方法、系统、存储介质及智能终端 |
| CN113701718A (zh) * | 2021-07-06 | 2021-11-26 | 宁波市海策测绘有限公司 | 一种测绘地图数据采集方法、系统、存储介质及智能终端 |
| CN113762099A (zh) * | 2021-08-19 | 2021-12-07 | 复旦大学 | 一种基于路侧rsu的实时点云三维重构方法 |
| CN114548496A (zh) * | 2022-01-13 | 2022-05-27 | 中国能源建设集团江苏省电力设计院有限公司 | 基于街景影像的无人机航线规划飞行高度控制方法及系统 |
| CN114758086A (zh) * | 2022-06-15 | 2022-07-15 | 盈嘉互联（北京）科技有限公司 | 一种城市道路信息模型的构建方法及装置 |
| CN115095749A (zh) * | 2022-06-21 | 2022-09-23 | 广东电网有限责任公司东莞供电局 | 一种变电站三维建模辅助装置 |
| CN116222592A (zh) * | 2023-03-03 | 2023-06-06 | 北京数字政通科技股份有限公司 | 一种基于多源数据的高精地图生成方法及系统 |
| CN116778101A (zh) * | 2023-06-26 | 2023-09-19 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
| WO2024009126A1 (en) | 2022-07-06 | 2024-01-11 | Capoom Inc. | A method for generating a virtual data set of 3d environments |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009217524A (ja) * | 2008-03-11 | 2009-09-24 | Kodaira Associates Kk | 都市景観の３次元動画生成および閲覧システム |
| CN102074047A (zh) * | 2011-01-06 | 2011-05-25 | 天津市星际空间地理信息工程有限公司 | 一种高精细城市三维建模方法 |
| CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
| CN106875467A (zh) * | 2015-12-11 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 三维城市模型快速更新方法 |
| US20180224863A1 (en) * | 2016-01-18 | 2018-08-09 | Tencent Technology (Shenzhen) Company Limited | Data processing method, apparatus and terminal |
-
2019
- 2019-08-22 CN CN201910779142.5A patent/CN110648389A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009217524A (ja) * | 2008-03-11 | 2009-09-24 | Kodaira Associates Kk | 都市景観の３次元動画生成および閲覧システム |
| CN102074047A (zh) * | 2011-01-06 | 2011-05-25 | 天津市星际空间地理信息工程有限公司 | 一种高精细城市三维建模方法 |
| CN103021017A (zh) * | 2012-12-04 | 2013-04-03 | 上海交通大学 | 基于gpu加速的三维场景重建方法 |
| CN106875467A (zh) * | 2015-12-11 | 2017-06-20 | 中国科学院深圳先进技术研究院 | 三维城市模型快速更新方法 |
| US20180224863A1 (en) * | 2016-01-18 | 2018-08-09 | Tencent Technology (Shenzhen) Company Limited | Data processing method, apparatus and terminal |
Non-Patent Citations (2)
| Title |
|---|
| 郭林凯: "基于"倾斜+LiDAR+车载"的实景三维建模实现", 《城市勘测》 * |
| 韩科成等: "无人机低空摄影在城市规划领域中的应用", 《江西建材》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11798228B2 (en) | 2020-04-03 | 2023-10-24 | Speed Technology Co., Ltd. | Method for updating road signs and markings on basis of monocular images |
| WO2021197341A1 (zh) * | 2020-04-03 | 2021-10-07 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
| CN111461250A (zh) * | 2020-04-09 | 2020-07-28 | 上海城诗信息科技有限公司 | 一种街景模型生成方法、装置、系统及存储介质 |
| CN111551177A (zh) * | 2020-04-16 | 2020-08-18 | 上海航天控制技术研究所 | 一种基于无人机平台的外场协同探测试验方法 |
| CN111583691B (zh) * | 2020-04-23 | 2021-08-20 | 北京踏歌智行科技有限公司 | 一种集群式的障碍物同步方法 |
| CN111583691A (zh) * | 2020-04-23 | 2020-08-25 | 北京踏歌智行科技有限公司 | 一种集群式的障碍物同步方法 |
| CN112000130A (zh) * | 2020-09-07 | 2020-11-27 | 哈尔滨工业大学 | 一种无人机的多机协同高精度建图定位系统 |
| CN112418245A (zh) * | 2020-11-04 | 2021-02-26 | 武汉大学 | 基于城市环境物理模型的电磁发射点定位方法 |
| CN112418245B (zh) * | 2020-11-04 | 2024-04-26 | 武汉大学 | 基于城市环境物理模型的电磁发射点定位方法 |
| CN112615736A (zh) * | 2020-12-10 | 2021-04-06 | 南京工业大学 | 面向线性边缘网络的延迟最优分布式NNs协同优化方法 |
| CN113192200A (zh) * | 2021-04-26 | 2021-07-30 | 泰瑞数创科技(北京)有限公司 | 一种基于空三并行计算算法的城市实景三维模型的构建方法 |
| CN113255504A (zh) * | 2021-05-19 | 2021-08-13 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN113255504B (zh) * | 2021-05-19 | 2022-07-22 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
| CN113379915A (zh) * | 2021-07-05 | 2021-09-10 | 广东工业大学 | 一种基于点云融合的行车场景构建方法 |
| CN113701718A (zh) * | 2021-07-06 | 2021-11-26 | 宁波市海策测绘有限公司 | 一种测绘地图数据采集方法、系统、存储介质及智能终端 |
| CN113701718B (zh) * | 2021-07-06 | 2024-03-19 | 海策信息科技(浙江)有限公司 | 一种测绘地图数据采集方法、系统、存储介质及智能终端 |
| CN113670273A (zh) * | 2021-08-06 | 2021-11-19 | 诚邦测绘信息科技(浙江)有限公司 | 测绘用滩土环境检测方法、系统、存储介质及智能终端 |
| CN113670273B (zh) * | 2021-08-06 | 2024-03-12 | 诚邦测绘信息科技(浙江)有限公司 | 测绘用滩土环境检测方法、系统、存储介质及智能终端 |
| CN113762099A (zh) * | 2021-08-19 | 2021-12-07 | 复旦大学 | 一种基于路侧rsu的实时点云三维重构方法 |
| CN113762099B (zh) * | 2021-08-19 | 2023-10-03 | 复旦大学 | 一种基于路侧rsu的实时点云三维重构方法 |
| CN114548496A (zh) * | 2022-01-13 | 2022-05-27 | 中国能源建设集团江苏省电力设计院有限公司 | 基于街景影像的无人机航线规划飞行高度控制方法及系统 |
| CN114758086B (zh) * | 2022-06-15 | 2022-08-30 | 盈嘉互联（北京）科技有限公司 | 一种城市道路信息模型的构建方法及装置 |
| CN114758086A (zh) * | 2022-06-15 | 2022-07-15 | 盈嘉互联（北京）科技有限公司 | 一种城市道路信息模型的构建方法及装置 |
| CN115095749A (zh) * | 2022-06-21 | 2022-09-23 | 广东电网有限责任公司东莞供电局 | 一种变电站三维建模辅助装置 |
| WO2024009126A1 (en) | 2022-07-06 | 2024-01-11 | Capoom Inc. | A method for generating a virtual data set of 3d environments |
| CN116222592A (zh) * | 2023-03-03 | 2023-06-06 | 北京数字政通科技股份有限公司 | 一种基于多源数据的高精地图生成方法及系统 |
| CN116222592B (zh) * | 2023-03-03 | 2023-09-29 | 北京数字政通科技股份有限公司 | 一种基于多源数据的高精地图生成方法及系统 |
| CN116778101A (zh) * | 2023-06-26 | 2023-09-19 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
| CN116778101B (zh) * | 2023-06-26 | 2024-04-09 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
| CN111928862B (zh) | 利用激光雷达和视觉传感器融合在线构建语义地图的方法 | |
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| CN109186586B (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
| CN107194989B (zh) | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 | |
| CN114842438B (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
| Chen et al. | Next generation map making: Geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction | |
| Gao et al. | Ground and aerial meta-data integration for localization and reconstruction: A review | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN108428254A (zh) | 三维地图的构建方法及装置 | |
| CN112800524A (zh) | 一种基于深度学习的路面病害三维重建方法 | |
| CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
| CN116342783B (zh) | 一种实景三维模型数据渲染优化方法及系统 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
| CN115690138A (zh) | 一种融合车载影像与点云的道路边界提取与矢量化方法 | |
| CN115588047A (zh) | 一种基于场景编码的三维目标检测方法 | |
| Karantzalos et al. | Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles | |
| KR20230026916A (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
| CN114419180A (zh) | 重构高精地图的方法、装置和电子设备 | |
| CN113137961A (zh) | 移动设备定位系统、相关方法、装置及设备 | |
| Ozcanli et al. | Geo-localization using volumetric representations of overhead imagery | |
| CN112308904A (zh) | 一种基于视觉的建图方法、装置及车载终端 | |
| de Paz Mouriño et al. | Multiview rasterization of street cross-sections acquired with mobile laser scanning for semantic segmentation with convolutional neural networks | |
| CN111414848B (zh) | 一种全类别3d障碍物检测方法、系统和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200103 |
|
| RJ01 | Rejection of invention patent application after publication |