CN107341851A - 基于无人机航拍影像数据的实时三维建模方法及系统 - Google Patents

基于无人机航拍影像数据的实时三维建模方法及系统 Download PDF

Info

Publication number
CN107341851A
CN107341851A CN201710493485.6A CN201710493485A CN107341851A CN 107341851 A CN107341851 A CN 107341851A CN 201710493485 A CN201710493485 A CN 201710493485A CN 107341851 A CN107341851 A CN 107341851A
Authority
CN
China
Prior art keywords
cloud
real
data
image data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710493485.6A
Other languages
English (en)
Inventor
方天
朱思语
黎世伟
张润泽
姚遥
申天纬
权龙�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuke Innovation Technology Co Ltd
Original Assignee
Shenzhen Zhuke Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuke Innovation Technology Co Ltd filed Critical Shenzhen Zhuke Innovation Technology Co Ltd
Priority to CN201710493485.6A priority Critical patent/CN107341851A/zh
Publication of CN107341851A publication Critical patent/CN107341851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机航拍影像数据的实时三维建模方法，包括以下步骤：数据采集，其包括将采集到的含有位置信息的航拍图片数据实时上传；图像处理，其包括对所述航拍图片的各像素点重建；对所述像素点提取出密集点云数据；对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；得到三维模型。本发明还提供一种基于无人机航拍影像数据的实时三维建模系统，其实时传输图片至Altizure三维建模服务器云端，大大缩短了采集建模的周期；通过MVS方法提取密集匹配的点云数据，为真彩色点云，较激光点云更为直观，通过去噪，面片化，纹理映射等一系列手段得到的三维数据逼真度高，漫游效果好，广泛应用于无人机控制领域。

Description

基于无人机航拍影像数据的实时三维建模方法及系统
技术领域
本发明涉及无人机控制领域，具体为一种基于无人机航拍影像数据的实时三维建模方法及系统。
背景技术
MVS：multi-view stereo，多视角的立体数据集。
随着数字城市三维建设的发展及应用的普及，城市三维建模在诸多领域的应用不断增多，传统的手工建模方式由于工作量大，人力成本高等缺点，已不能适应新时期的数据发展需求。
现有的无人机倾斜摄影系统由于搭载了多相机，使得无人机的拍照数量大幅增加，传统方法需要在拍摄完成后整理数据，拷贝至电脑然后通过本地软件进行拼图运算，需要增大无人机的续航时间，且作业效率较低。
因此，该技术有必要进行改进。
发明内容
为了解决上述技术问题，本发明的目的是提供一种可减少数据采集后的工作量和工作时间，提升工作效率的基于无人机航拍影像数据的实时三维建模方法及系统。
本发明所采用的技术方案是：
本发明提供一种基于无人机航拍影像数据的实时三维建模方法，包括以下步骤：
数据采集，其包括将采集到的含有位置信息的航拍图片数据实时上传；
图像处理，其包括对所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
作为该技术方案的改进，所述步骤图像处理，其还包括对相机姿态优化，以及对所采集到的航拍图片的每一个像素点验证假设的平面参数，获得各像素点的深度，并提取出密集点云数据。
作为该技术方案的改进，所述步骤图像处理，其还包括对所述航拍图片提取出来的密集点云之间进行交叉验证，根据统计出的点云质量信息和重建点云的相片质量信息，过滤掉噪声点云。
作为该技术方案的改进，所述步骤图像处理，其还包括通过德劳内模型对所述点云进行面片化处理，并依据片元的遮挡信息建立有向无环图，进而过滤噪声片元。
进一步地，所述步骤图像处理，其还包括对所述每一个片元选取最右的相片并进行自动贴图，以基于马尔科夫随机场的图割算法全局匀色后得到三维模型，并对所述模型进行精度分层处理。
进一步地，采用MVS方法提取密集匹配的点云数据。
进一步地，通过双边滤波或小波算法进行去噪处理。
另一方面，本发明还提供一种基于无人机航拍影像数据的实时三维建模系统，包括：
数据采集模块，用于执行步骤将采集到的含有位置信息的航拍图片数据实时上传；
图像处理模块，用于执行步骤
对所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
再一方面，本发明还提供一种基于无人机航拍影像数据的实时三维建模系统，包括：航线规划模块、数据采集模块、位置信息采集模块、通信模块、在线数据处理模块以及交互式显示设备；
所述航线规划模块的输出端和位置信息采集模块的输出端分别与所述数据采集模块的输入端连接；所述数据采集模块的输出端与所述通信模块的输入端连接；所述通信模块的输出端与所述在线数据处理模块的输入端连接；所述在线数据处理模块的输出端与所述交互式显示设备的输入端连接。
进一步地，所述通信模块包括WIFI和/或蓝牙和/或4G/5G网络。
本发明的有益效果是：本发明提供的基于无人机航拍影像数据的实时三维建模方法及系统，其基于轻小型无人机(小于5kg)的航拍数据数据采集更为轻便灵活，同时可获取更高分辨率的三维纹理贴图；其实时传输图片至Altizure三维建模服务器云端，大大缩短了采集建模的周期；通过MVS方法提取密集匹配的点云数据，为真彩色点云，较激光点云更为直观，通过去噪，面片化，纹理映射等一系列手段得到的三维数据逼真度高，漫游效果好。通过体感方式操控的三维实景漫游体验效果好，真实感强。
本发明所涉及的无人机倾斜摄影及三维重建系统，对航拍路径进行了专门的优化，仅通过单相机就可以进行多角度航片的数据采集并三维重建；增加了通信模块，使得“即拍、即传、即做”得以实现；大大减少了采集后的工作量和工作时间，提升了工作效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明第一实施例的模块连接示意图；
图2是本发明第二实施例的步骤流程示意图；
图3是本发明第三实施例的原图；
图4是本发明第三实施例的平面降噪的初始深度图像；
图5是本发明第三实施例的平面降噪的去噪后的深度图像；
图6是本发明第三实施例的优化后的相机姿态及特征点云示意图
图7是本发明第三实施例的基于平面降噪的像素点重建的输入点云示意图；
图8是本发明第三实施例的基于平面降噪的降噪后点云示意图；
图9是本发明第三实施例的基于三维降噪的降噪后点云示意图；
图10是本发明第三实施例的三角网格示意图；
图11是本发明第三实施例的灰模示意图；
图12是本发明第三实施例的纹理示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明提供一种基于无人机航拍影像数据的实时三维建模系统，包括：
数据采集模块，用于执行步骤将采集到的含有位置信息的航拍图片数据实时上传；
图像处理模块，用于执行步骤
对相机姿态优化以及对所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
参照图1，是本发明第一实施例的模块连接示意图。本发明还提供一种基于无人机航拍影像数据的实时三维建模系统，包括：航线规划模块、数据采集模块、位置信息采集模块、通信模块、在线数据处理模块以及交互式显示设备；
所述航线规划模块的输出端和位置信息采集模块的输出端分别与所述数据采集模块的输入端连接；所述数据采集模块的输出端与所述通信模块的输入端连接；所述通信模块的输出端与所述在线数据处理模块的输入端连接；所述在线数据处理模块的输出端与所述交互式显示设备的输入端连接。
进一步地，所述系统包括一台相机，所述相机固定于无人机平台腹部，其可进行0到90度的调整。
进一步地，所述通信模块包括WIFI和/或蓝牙等无线通信和/或移动网络3G/4G/5G网络等。
一种基于无人机自动航拍影像数据的实时三维建模系统，主要包括采集部分和处理部分：采集部分包括航线规划模块、数据采集模块(位置信息采集模块)、通信模块；三维处理部分包括在线数据处理模块以及显示设备。
无人机数据采集平台包含手动遥控装置、地面站系统、机身、飞控系统及动力系统等，通过地面站及飞控系统进行航线规划，起飞及降落时通过自动遥控装置进行控制，在地面站设备规划好航线后，无人机按照设定好的航线匀速飞行进行采集。
本方案所涉及的无人机平台起飞重量不大于5公斤，同时搭载航拍图片数据采集模块和位置信息采集模块。其中航拍图片数据采集模块主要包括相机系统、定时拍照系统和位置信息采集系统；其中相机系统固定于无人机平台腹部可以根据需要进行0到90度的调整；快门促发系统与位置信息采集模块相连。定时拍照系统启动，控制相机系统进行拍摄。
数据采集模块，该模块集成于飞控系统，通过地面站进行设定，无人机以固定高度在目标区域上空按照一定的航向和旁向重叠度进行弓字型匀速飞行，定时触发航拍图片数据采集模块进行拍摄，同时记录下拍照点的位置信息，并且写入照片内。
通信模块，该模块集成于飞控系统，通过4G/5G网络等将采集到的原始数据实时传输至Altizure云端服务器。
在线数据处理模块，其包括硬件和软件，硬件部分是服务器设备，软件部分是存储于服务器的Altizure实景三维重建算法。在线数据处理模块接收到内置位置信息的航拍图片后，通过相机重建、密集点云、网格重建、纹理优化最终得到城市三维模型，生成过程完全自动化。
交互式显示设备，由体感控制器和显示器及电脑主机组成，通过体感控制进行三维实景数据漫游。
可对倾斜图片进行数据的数据采集模块主要包括相机系统及定时拍照系统。其中相机系统以特定角度固定于无人机平台腹部，可根据需求替换不同像素的相机系统，定时拍照系统与位置信息采集模块相连使得位置信息同步写入照片内，当无人机在预定航线上进行匀速飞行时，定时拍照系统开启，控制相机系统进行拍摄，由于拍摄数据量极大，相机系统需采用大容量存储卡(32G以上)。
位置信息采集模块，该模块集成于飞控系统一体，通过地面站进行设定，这一模块的目的有两个：一个是为三维模型附上位置坐标，使三维模型成为与实际地物比例尺为1:1的模型成果；另外一个就是在模型区域面积较大时，依靠照片的位置信息对建模区域进行分块，提高工作效率。无人机以固定高度(100-300m)在目标区域上空进行匀速弓字型飞行，同时按照一定的航向和旁向重叠度，在空中定时触发航拍图片数据采集模块进行拍摄，根据对地面分辨率要求的不同一般在空中每隔20-40m需拍摄一张图片，而航线间隔控制在30到40m左右，在拍照的同时记录下拍照点的位置信息，写入照片内。
在线数据处理模块通过导入含有位置信息的航拍图片数据后，进行建模。
本无人机倾斜摄影三维建模系统，包括航线规划模块、数据采集模块，其包括对航拍图片数据采集，以及位置信息采集模块、通信模块、在线数据处理模块，以及交互式显示设备。
在一块典型需求区域，大小为1-2公顷左右，选定需求区域内或附近一块开阔地为无人机起降地点，通过无人机平台所配置的地面站应用规划好航线，设置好满足要求的重叠率和高度(一般航向重叠率为80％、旁向重叠率为80％、高度最低要高于区域内最高建筑的高度的一半)，无人机在自检完毕没有问题后自动启飞，升高至预设高度后向航线的起始点飞去。飞到起始点后触发定时拍照按照恒定速度沿着航线飞行。拍摄时，位置信息采集模块同时触发并且将位置信息写入照片，实时将采集的照片通过4G/5G网络传输至Altizure云端服务器。待航线飞行完成，点击“返航”，无人机将移动至设定的返航高度沿着直线飞向返航点上空，检测到周围环境合适降落后，匀速降至地面，此时采集任务完成。所有航拍图片也已经传输至Altizure云端服务器并且相机重建也已完成。服务器同步开始自动解算相机位置，并进行三维模型重建。采用MVS(multi-view stereo)方法提取密集匹配的点云数据，通过双边滤波或小波算法进行去噪，并通过德劳内模型进行面片化处理，最后通过约束纹理映射方法进行自动贴图，全局匀色后得到最终得到全自动化的三维模型成果，再把模型进行精度分层处理，把模型简化成不同层次，之间以四叉树结构组织。将该数据导入至交互式显示设备的电脑主机中，通过体感控制器来操控三维漫游视角，电脑主机调用真三维数据库中的模型数据，组合式显示器呈现三维数据，从而达到三维实景数据漫游的效果。
参照图2，是本发明第二实施例的步骤流程示意图。本发明提供一种基于无人机航拍影像数据的实时三维建模方法，包括以下步骤：
数据采集，其包括将采集到的含有位置信息的航拍图片数据实时上传；
图像处理，其包括对相机姿态优化以及所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
所述步骤数据采集，其具体还包括航线规划、升降控制。
作为该技术方案的改进，所述步骤图像处理，其还包括对相机姿态优化，以及对所采集到的航拍图片的每一个像素点验证假设的平面参数，获得各像素点的深度，并提取出密集点云数据。
作为该技术方案的改进，所述步骤图像处理，其还包括对所述航拍图片提取出来的密集点云之间进行交叉验证，根据统计出的点云质量信息和重建点云的相片质量信息，过滤掉噪声点云。
作为该技术方案的改进，所述步骤图像处理，其还包括通过德劳内模型对所述点云进行面片化处理，并依据片元的遮挡信息建立有向无环图，进而过滤噪声片元。
进一步地，所述步骤图像处理，其还包括对所述每一个片元选取最右的相片并进行自动贴图，以基于马尔科夫随机场的图割算法全局匀色后得到三维模型，并对所述模型进行精度分层处理。
进一步地，采用MVS方法提取密集匹配的点云数据。
进一步地，通过双边滤波或小波算法进行去噪处理。
本方法采用小型无人飞机进行倾斜摄影数据采集并实时上传，通过相机重建、密集点云、网格重建、纹理优化这四步得到最终的三维实景模型。
本发明所涉及的一种基于无人机自动航拍影像数据的实时三维建模方法，其组成部分包括路径规划模块、采集模块、通信模块；处理部分包括在线数据处理模块以及显示设备。
无人机数据采集平台包含手动遥控装置，地面站系统，机身，飞控系统及动力系统等，通过地面站及飞控系统进行航线规划，框选区域一般覆盖目标区域即可。其中航线规划的目的有两个：一是为了让拍照区域的重叠度得到保障，以保证建模成果不会出现“空洞”；二是减少采集员的工作量，并提高了采集效率。全自动模式是在起降环境满足的情况下可以使得无人机自动起飞、按照预定航线和高度飞行并采拍照、完成任务后或者电量不足时自动降落，并由地面站进行实时监控。这样大大减少了采集员的工作量，使得采集员摆脱一边控制无人机一边拍照并且大脑计算重叠率所带来的高度精神紧崩状态，只需关注无人机当前的飞行状态即可。当周围障碍(电线、灯杆)较多不利于全自动模式时，采用手动模式控制飞机起降。
本方法所涉及的无人机平台起飞重量不大于5公斤，同时搭载航拍图片采集模块和位置信息采集模块。
参照图3至图5，是本发明第三实施例的基于平面降噪的相关示意图。其中图3为原图像，图4为初始深度图像，图5为经过算法过滤掉噪点(降噪)的深度图像。该过程为像素点提取。采用基于双视角平面假设验证的多视角立体匹配的方法，通过对于每一个像素验证假设的平面参数，获得每一个像素的深度，从而提取出密集点云数据；参照图6至8，为基于三维降噪的相关示意图。图6为优化后的相机姿态及特征点云示意图，图7为基于平面降噪的像素点重建后的输入初始点云，图8是降噪后的点云图，图9是点云融合(精度优化或者纹理优化)后的图，其合称为密集点云提取。
对多对图片提取出来的密集点云之间进行交叉验证，利用多对相片的视觉遮挡信息，统计出的点云质量信息和重建点云的相片质量信息，过滤掉噪声点云；
然后通过德劳内模型进行面片化处理，并依据片元的遮挡信息建立有向无环图，通过图割算法过滤噪声片元；
参照图9，其中的四棱锥表示经算法还原出来的相机姿态，剩下的点即为经过多次降噪后的密集点云。将所得密集点云连结即得三角网格如图10。将三角网格封闭起来形成灰模，如图11，其中白色区域是由于反光而形成的。对其进行贴纹理处理即得三维模型，参照图12。
对于每一个片元选取最右的相片通过约束纹理映射方法进行自动贴图，以基于马尔科夫随机场的图割算法全局匀色后得到最终三维模型成果，再对模型进行精度分层处理，把模型简化成不同层次，其各层次之间以四叉树结构组织，生成过程完全自动化。
通过交互式显示设备，由体感控制器、组合式显示器及电脑主机组成，通过体感控制三维漫游视角，电脑主机调用真三维数据库中的模型数据，组合式显示器呈现三维数据，从而达到三维实景数据漫游的效果。
本发明提供的基于无人机航拍影像数据的实时三维建模方法及系统，其基于轻小型无人机(小于5kg)的航拍数据数据采集更为轻便灵活，同时可获取更高分辨率的三维纹理贴图；其实时传输图片至Altizure三维建模服务器云端，大大缩短了采集建模的周期；通过MVS方法提取密集匹配的点云数据，为真彩色点云，较激光点云更为直观，通过去噪，面片化，纹理映射等一系列手段得到的三维数据逼真度高，漫游效果好。通过体感方式操控的三维实景漫游体验效果好，真实感强。
本发明所涉及的无人机倾斜摄影及三维重建系统，对航拍路径进行了专门的优化，仅通过单相机就可以进行多角度航片的数据采集并三维重建；增加了通信模块，使得“即拍、即传、即做”得以实现；大大减少了采集后的工作量和工作时间，提升了工作效率。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于无人机航拍影像数据的实时三维建模方法，其特征在于，包括以下步骤：
数据采集，其包括将采集到的含有位置信息的航拍图片数据实时上传；
图像处理，其包括对所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
2.根据权利要求1所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：所述步骤图像处理，其还包括对相机姿态优化，以及对所采集到的航拍图片的每一个像素点验证假设的平面参数，获得各像素点的深度，并提取出密集点云数据。
3.根据权利要求2所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：所述步骤图像处理，其还包括对所述航拍图片提取出来的密集点云之间进行交叉验证，根据统计出的点云质量信息和重建点云的相片质量信息，过滤掉噪声点云。
4.根据权利要求3所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：所述步骤图像处理，其还包括通过德劳内模型对所述点云进行面片化处理，并依据片元的遮挡信息建立有向无环图，进而过滤噪声片元。
5.根据权利要求4所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：所述步骤图像处理，其还包括对所述每一个片元选取最右的相片并进行自动贴图，以基于马尔科夫随机场的图割算法全局匀色后得到三维模型，并对所述模型进行精度分层处理。
6.根据权利要求2所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：采用MVS方法提取密集匹配的点云数据。
7.根据权利要求3或4所述的基于无人机航拍影像数据的实时三维建模方法，其特征在于：通过双边滤波或小波算法进行去噪处理。
8.一种基于无人机航拍影像数据的实时三维建模系统，其特征在于，包括，
数据采集模块，用于执行步骤将采集到的含有位置信息的航拍图片数据实时上传；
图像处理模块，用于执行以下步骤：
对所述航拍图片的各像素点重建；
对所述像素点提取出密集点云数据；
对所述密集点云进行噪声点云过滤处理以及噪声片元过滤处理；
得到三维模型。
9.一种基于无人机航拍影像数据的实时三维建模系统，其特征在于，包括：航线规划模块、数据采集模块、位置信息采集模块、通信模块、在线数据处理模块以及交互式显示设备；
所述航线规划模块的输出端和位置信息采集模块的输出端分别与所述数据采集模块的输入端连接；所述数据采集模块的输出端与所述通信模块的输入端连接；所述通信模块的输出端与所述在线数据处理模块的输入端连接；所述在线数据处理模块的输出端与所述交互式显示设备的输入端连接。
10.根据权利要求9所述的基于无人机航拍影像数据的实时三维建模系统，其特征在于：所述通信模块包括WIFI和/或蓝牙和/或4G/5G网络。
CN201710493485.6A 2017-06-26 2017-06-26 基于无人机航拍影像数据的实时三维建模方法及系统 Pending CN107341851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710493485.6A CN107341851A (zh) 2017-06-26 2017-06-26 基于无人机航拍影像数据的实时三维建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710493485.6A CN107341851A (zh) 2017-06-26 2017-06-26 基于无人机航拍影像数据的实时三维建模方法及系统

Publications (1)

Publication Number Publication Date
CN107341851A true CN107341851A (zh) 2017-11-10

Family

ID=60221481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710493485.6A Pending CN107341851A (zh) 2017-06-26 2017-06-26 基于无人机航拍影像数据的实时三维建模方法及系统

Country Status (1)

Country Link
CN (1) CN107341851A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945103A (zh) * 2017-11-14 2018-04-20 上海歌尔泰克机器人有限公司 无人机图像的隐私遮挡方法、装置及无人机
CN108267134A (zh) * 2018-01-24 2018-07-10 成都纵横自动化技术有限公司 一种自适应航线调整方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108629830A (zh) * 2018-03-28 2018-10-09 深圳臻迪信息技术有限公司 一种三维环境信息显示方法及设备
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN108955645A (zh) * 2018-07-16 2018-12-07 福州日兆信息科技有限公司 应用于通信铁塔智能巡检的三维建模方法及装置
CN109035397A (zh) * 2018-07-02 2018-12-18 四川国软科技发展有限责任公司 一种基于无人机的轨道站台建模系统及其建模方法
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
CN109461210A (zh) * 2018-10-15 2019-03-12 杭州群核信息技术有限公司 一种在线家装的全景漫游方法
CN109636904A (zh) * 2018-08-13 2019-04-16 长沙理工大学 一种基于uav航测地形数据的噪声处理技术
CN109657403A (zh) * 2019-01-07 2019-04-19 南京工业职业技术学院 一种基于无人机倾斜摄影的三维实景桥梁建模优化方法
CN109872390A (zh) * 2017-12-04 2019-06-11 星际空间（天津）科技发展有限公司 一种海量三维模型的组织方法
CN109977788A (zh) * 2019-03-03 2019-07-05 湖北无垠智探科技发展有限公司 一种无人机航摄影像一体化处理平台
CN110045750A (zh) * 2019-05-13 2019-07-23 南京邮电大学 一种基于四旋翼无人机的室内场景构建系统及其实现方法
CN110648396A (zh) * 2019-09-17 2020-01-03 西安万像电子科技有限公司 图像处理方法、装置和系统
CN110659381A (zh) * 2019-09-26 2020-01-07 深圳市道通智能航空技术有限公司 航线生成方法、航拍方法、相应装置、设备及存储介质
CN110782521A (zh) * 2019-09-06 2020-02-11 重庆东渝中能实业有限公司 移动端三维重建与模型修复方法及系统
CN111080794A (zh) * 2019-12-10 2020-04-28 华南农业大学 一种耕地现场边云协同的三维重建方法
WO2020125358A1 (zh) * 2018-12-21 2020-06-25 上海远景科创智能科技有限公司 一种通过无人机航拍确定太阳能电站的安装方案的方法
CN112033393A (zh) * 2020-08-25 2020-12-04 国网天津市电力公司 基于激光雷达点云数据的三维航线规划方法及装置
CN112106006A (zh) * 2019-08-30 2020-12-18 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置及计算机可读存储介质
CN112136322A (zh) * 2019-09-12 2020-12-25 深圳市大疆创新科技有限公司 一种三维点云的实时显示方法、设备、系统及存储介质
CN112288818A (zh) * 2020-11-19 2021-01-29 温州虎穴科技有限公司 一万平米以下无人机速拍建模方法
CN112465977A (zh) * 2020-12-14 2021-03-09 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN112684456A (zh) * 2020-12-22 2021-04-20 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型系统
CN113281716A (zh) * 2021-03-16 2021-08-20 中国人民解放军战略支援部队信息工程大学 一种光子计数激光雷达数据去噪方法
CN114119897A (zh) * 2022-01-27 2022-03-01 南京精筑智慧科技有限公司 一种基于物联网的智慧工地管理方法和系统
US11449080B2 (en) 2019-10-29 2022-09-20 Honeywell International Inc. UAV flight management planner
US11531833B2 (en) 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
CN115661333A (zh) * 2022-09-07 2023-01-31 同济大学 一种基于图像与点云的数字孪生生成方法及系统
CN116051776A (zh) * 2023-03-28 2023-05-02 广东广宇科技发展有限公司 一种无人机水利信息采集的倾斜摄影建模系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150114122A1 (en) * 2011-01-21 2015-04-30 United States Of America As Represented By The Secretary Of The Navy Event detection system having multiple sensor systems in cooperation with an impact detection system
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN105513119A (zh) * 2015-12-10 2016-04-20 北京恒华伟业科技股份有限公司 一种基于无人机的路桥三维重建方法及装置
CN106846485A (zh) * 2016-12-30 2017-06-13 Tcl集团股份有限公司 一种室内三维建模方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150114122A1 (en) * 2011-01-21 2015-04-30 United States Of America As Represented By The Secretary Of The Navy Event detection system having multiple sensor systems in cooperation with an impact detection system
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN105513119A (zh) * 2015-12-10 2016-04-20 北京恒华伟业科技股份有限公司 一种基于无人机的路桥三维重建方法及装置
CN106846485A (zh) * 2016-12-30 2017-06-13 Tcl集团股份有限公司 一种室内三维建模方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘进: "基于MVS点云的城市建筑三维重建应用研究", 《中国学位论文全文数据库》 *
谢榛: "基于无人机航柏图像的室外场景三维重建技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945103A (zh) * 2017-11-14 2018-04-20 上海歌尔泰克机器人有限公司 无人机图像的隐私遮挡方法、装置及无人机
CN109872390A (zh) * 2017-12-04 2019-06-11 星际空间（天津）科技发展有限公司 一种海量三维模型的组织方法
CN108267134B (zh) * 2018-01-24 2021-06-18 成都纵横自动化技术股份有限公司 一种自适应航线调整方法
CN108267134A (zh) * 2018-01-24 2018-07-10 成都纵横自动化技术有限公司 一种自适应航线调整方法
CN108428255A (zh) * 2018-02-10 2018-08-21 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108428255B (zh) * 2018-02-10 2022-04-12 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108629830A (zh) * 2018-03-28 2018-10-09 深圳臻迪信息技术有限公司 一种三维环境信息显示方法及设备
CN108647607A (zh) * 2018-04-28 2018-10-12 国网湖南省电力有限公司 用于输变电工程的地物识别方法
CN109035397A (zh) * 2018-07-02 2018-12-18 四川国软科技发展有限责任公司 一种基于无人机的轨道站台建模系统及其建模方法
CN108955645A (zh) * 2018-07-16 2018-12-07 福州日兆信息科技有限公司 应用于通信铁塔智能巡检的三维建模方法及装置
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
CN109636904A (zh) * 2018-08-13 2019-04-16 长沙理工大学 一种基于uav航测地形数据的噪声处理技术
CN109636904B (zh) * 2018-08-13 2023-03-10 长沙理工大学 一种基于uav航测地形数据的噪声处理技术
CN109461210A (zh) * 2018-10-15 2019-03-12 杭州群核信息技术有限公司 一种在线家装的全景漫游方法
CN109461210B (zh) * 2018-10-15 2023-03-21 杭州群核信息技术有限公司 一种在线家装的全景漫游方法
WO2020125358A1 (zh) * 2018-12-21 2020-06-25 上海远景科创智能科技有限公司 一种通过无人机航拍确定太阳能电站的安装方案的方法
CN109657403A (zh) * 2019-01-07 2019-04-19 南京工业职业技术学院 一种基于无人机倾斜摄影的三维实景桥梁建模优化方法
CN109977788A (zh) * 2019-03-03 2019-07-05 湖北无垠智探科技发展有限公司 一种无人机航摄影像一体化处理平台
CN110045750A (zh) * 2019-05-13 2019-07-23 南京邮电大学 一种基于四旋翼无人机的室内场景构建系统及其实现方法
CN112106006A (zh) * 2019-08-30 2020-12-18 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置及计算机可读存储介质
CN110782521A (zh) * 2019-09-06 2020-02-11 重庆东渝中能实业有限公司 移动端三维重建与模型修复方法及系统
CN112136322A (zh) * 2019-09-12 2020-12-25 深圳市大疆创新科技有限公司 一种三维点云的实时显示方法、设备、系统及存储介质
WO2021046810A1 (zh) * 2019-09-12 2021-03-18 深圳市大疆创新科技有限公司 一种三维点云的实时显示方法、设备、系统及存储介质
CN110648396A (zh) * 2019-09-17 2020-01-03 西安万像电子科技有限公司 图像处理方法、装置和系统
CN110659381A (zh) * 2019-09-26 2020-01-07 深圳市道通智能航空技术有限公司 航线生成方法、航拍方法、相应装置、设备及存储介质
US11449080B2 (en) 2019-10-29 2022-09-20 Honeywell International Inc. UAV flight management planner
CN111080794A (zh) * 2019-12-10 2020-04-28 华南农业大学 一种耕地现场边云协同的三维重建方法
CN111080794B (zh) * 2019-12-10 2022-04-05 华南农业大学 一种耕地现场边云协同的三维重建方法
US11531833B2 (en) 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
CN112033393A (zh) * 2020-08-25 2020-12-04 国网天津市电力公司 基于激光雷达点云数据的三维航线规划方法及装置
CN112288818A (zh) * 2020-11-19 2021-01-29 温州虎穴科技有限公司 一万平米以下无人机速拍建模方法
CN112465977B (zh) * 2020-12-14 2022-05-10 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN112465977A (zh) * 2020-12-14 2021-03-09 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN112684456A (zh) * 2020-12-22 2021-04-20 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型系统
CN112684456B (zh) * 2020-12-22 2024-05-17 安徽配隆天环保科技有限公司 一种无人机超声立体成像模型系统
CN113281716A (zh) * 2021-03-16 2021-08-20 中国人民解放军战略支援部队信息工程大学 一种光子计数激光雷达数据去噪方法
CN113281716B (zh) * 2021-03-16 2023-08-08 中国人民解放军战略支援部队信息工程大学 一种光子计数激光雷达数据去噪方法
CN114119897A (zh) * 2022-01-27 2022-03-01 南京精筑智慧科技有限公司 一种基于物联网的智慧工地管理方法和系统
CN115661333A (zh) * 2022-09-07 2023-01-31 同济大学 一种基于图像与点云的数字孪生生成方法及系统
CN116051776A (zh) * 2023-03-28 2023-05-02 广东广宇科技发展有限公司 一种无人机水利信息采集的倾斜摄影建模系统及方法

Similar Documents

Publication Publication Date Title
CN107341851A (zh) 基于无人机航拍影像数据的实时三维建模方法及系统
US20200404247A1 (en) System for and method of social interaction using user-selectable novel views
KR101754599B1 (ko) 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
US20200234451A1 (en) Automatic background replacement for single-image and multi-view captures
CN104035446B (zh) 无人机的航向生成方法和系统
US9947134B2 (en) System and method for generating a dynamic three-dimensional model
US11443478B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
US20210209777A1 (en) Method for displaying a virtual image, a virtual image display system and device, a non-transient computer-readable storage medium
CN105704501A (zh) 一种基于无人机全景视频的虚拟现实直播系统
CN106097425A (zh) 基于增强现实技术的电力设备信息提取与展示方法及系统
US10237537B2 (en) System and method for creating an interactive virtual reality (VR) movie having live action elements
CN106228615A (zh) 基于增强现实的无人飞行器体验系统及其体验方法
CN106454209A (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN111260777A (zh) 一种基于倾斜摄影测量技术的建筑信息模型重构的方法
CN107862718B (zh) 4d全息视频捕捉方法
CN112991458B (zh) 一种基于体素的快速三维建模方法及系统
CN110544314B (zh) 虚拟现实与仿真模型的融合方法、系统、介质及设备
CN108919940A (zh) 一种基于htc vive的虚拟校园漫游系统
KR20110117487A (ko) 모션 컨트롤 카메라를 이용한 실사와 ｃｇ 합성 애니메이션 제작 방법 및 시스템
US10061189B2 (en) Stereo-panoramic data
CN109963137A (zh) 一种全新的交互系统及方法
CN105825539A (zh) 一种三维动画制作方法
US11682175B2 (en) Previsualization devices and systems for the film industry
Wang et al. Virtual Campus Roaming System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171110

RJ01 Rejection of invention patent application after publication