CN108428255A - 一种基于无人机的实时三维重建方法 - Google Patents
一种基于无人机的实时三维重建方法 Download PDFInfo
- Publication number
- CN108428255A CN108428255A CN201810138581.3A CN201810138581A CN108428255A CN 108428255 A CN108428255 A CN 108428255A CN 201810138581 A CN201810138581 A CN 201810138581A CN 108428255 A CN108428255 A CN 108428255A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- dimensional
- representing
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims abstract description 11
- 238000012958 reprocessing Methods 0.000 claims abstract description 10
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005485 electric heating Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于无人机的实时三维重建方法,包括以下步骤:步骤1,采集场景数据,根据采集的场景数据通过深度传感器得到深度数据,并获取深度图;步骤2,对步骤1得到的深度图进行噪声预处理,噪声预处理包括形态学操作以及滤波操作;步骤3,对步骤2噪声预处理后的深度图进行加速处理,加速处理包括对噪声预处理后的深度图中的二维点进行均匀采样;步骤4,将步骤3加速处理后的深度图转换为点云;步骤5,对步骤4获得的点云进行建模;步骤6,对步骤5获得的结果进行噪声再处理,实现三维重建。本发明能够对场景进行实时三维重建,为无人机的后续智能处理提供可能,有助于推进无人机的应用。
Description
技术领域
本发明属于无人机控制技术领域,特别涉及一种基于无人机的实时三维重建方法。
背景技术
随着信息技术的飞速发展以及装备技术的不断成熟,出现了无人驾驶飞机,简称无人机(UAV)。由于其具有非接触、零伤亡、可长时间工作的特点,在军事领域及民用领域都得到了广泛的应用。
无人机从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇和无人伞翼机这几大类。在民用领域,无人机可应用于航拍摄影、新闻报道、环境监测、快递送货、灾情监视、交通巡逻和电力巡检等;在军事领域,无人机可应用于战场侦察和监视、定位校射、毁伤评估、电子战等,对服务国民经济,促进科技创新,维护国家权益和捍卫国家安全等方面均具有重要意义。在快递送货、电力巡检、战场侦察和电子战等领域的应用中,需要无人机能够识别当前环境信息,绕开障碍物,躲避敌机和识别目标等,这就需要对无人机所处的场景进行三维重建,得到距离信息和场景信息,然后配合上智能避障算法等使得无人机具有自主感知、自主决策和自主避障等能力。三维重建技术广泛应用于机器视觉、计算机图形学以及机器人等诸多领域。并且随着三维游戏、电影行业、VR&AR的火爆以及房地产中对虚拟三维地图的需求,三维技术在医疗行业的三维心脏、教育行业、三维数字城市、中国古代建筑三维数字化保护等领域都有应用。
目前,现有的三维重建方法包括:
基于运动恢复结构(SFM)的方法,该方法是先获取手机或者网络上的图片,对图片进行特征点的提取,包括SIFT或者SURF特征点,然后对这些特征点进行匹配,将匹配后的特征点进行三角化,得到稀疏模型,再用CMVS/PMVS进行稠密化,最后得出场景的三维模型,但这种方法有以下不足:
(1)构建一个场景的三维模型需要较多该场景的照片数目;
(2)当图片之间偏转角度较大或者光照、季节等的不同会导致特征点之间很难匹配;
(3)特征匹配速度较慢,十分耗费时间,不具有实时性。
利用激光雷达对场景进行快速扫描能够高效,精确获得场景三维点的信息,但是激光雷达成本较高,很难普及与应用。
基于三维体素的重建算法,该方法是首先初始化一个三维体,然后将其进行分割,得到较小的立方体栅格,即为体素,接着通过自行设计一个成本泛函来对三维体上每一个体素之间的一致性进行评估,最后最小化成本函数来完成三维表面的估计;这种方法普遍存在的问题是:重建结果中包含较多噪声。
发明内容
本发明的目的在于提供一种基于无人机的实时三维重建方法,以解决上述存在的技术问题。本发明的重建方法能够实现场景的实时三维重建,且无需用成本较高的方式获取场景的图片;重建结果中包含的噪声较少,表面较平滑。
为达到上述目的,本发明采用以下技术方案:
一种基于无人机的实时三维重建方法,其特征在于,包括以下步骤:
步骤1,采集场景数据,根据采集的场景数据通过深度传感器得到深度数据,并获取深度图;
步骤2,对步骤1得到的深度图进行噪声预处理,噪声预处理包括形态学操作以及滤波操作;
步骤3,对步骤2噪声预处理后的深度图进行加速处理,加速处理包括对噪声预处理后的深度图中的二维点进行均匀采样;
步骤4,将步骤3加速处理后的深度图转换为点云;
步骤5,对步骤4获得的点云进行建模;
步骤6,对步骤5获得的结果进行噪声再处理,生成场景的三维模型实现三维重建。
进一步的,步骤1具体包括:通过双目摄像机拍摄场景图片,将获得的场景图片通过深度传感器进行处理,获取深度传感器的深度数据得到深度图。
进一步的,步骤3中深度图中二维点的均匀采样方式为每两帧取一帧。
进一步的,步骤2具体包括:
步骤2.1,用7*7的核对步骤1得到的深度图进行一次腐蚀操作;
步骤2.2,使用7*7的核对步骤2.1得到的图像进行两次膨胀操作;
步骤2.3,对步骤2.2得到的图像用5*5的核进行中值滤波,中值滤波输出为:
g(x,y)=med{f(x-k,y-l),(k,l)∈W} (1)
其中,f(x,y),g(x,y)分别为原始图像和处理后图像,med表示取中值,W是二维模板,为5*5的方形区域,(k,l)表示模板中像素的位置,k表示模板中的行坐标,l表示模板中的列坐标,(x,y)表示图像中像素的位置,x表示图像中的行坐标,y表示图像中的列坐标。
进一步的,在步骤4中,将步骤3处理后的深度图中的图像坐标经过相机坐标最终转换成世界坐标,完成深度图到点云的转换,转换公式为:
其中,xw,yw,zw)表示世界坐标系下的任意坐标,zc与光轴重合,表示相机坐标的z轴值,即深度传感器得到的深度值,f表示相机的焦距,(u,v)为图像坐标系下的坐标,u表示图像的行坐标,v表示图像的列坐标;(u0,v0)为图像的中心坐标,u0表示图像中心的行坐标,v0表示图像中心的列坐标,dx表示像素在行坐标上的微元,dy表示像素在列坐标上的微元,dx*dy表示像素的物理尺寸大小。
进一步的,步骤4具体包括:
步骤4.1,将步骤3处理后的深度图中的图像坐标系转换为相机坐标系,转换关系为:
其中,(u,v)为图像坐标系下的坐标,u表示图像的行坐标,v表示图像的列坐标;(u0,v0)为图像的中心坐标,u0表示图像中心的行坐标,v0表示图像中心的列坐标,zc与光轴重合,表示相机坐标的z轴值,即深度传感器得到的深度值;f表示相机的焦距,每个像素点投影到图像平面是矩形而不是正方形,dx表示像素在行坐标上的微元,dy表示像素在列坐标上的微元,dx*dy表示像素的物理尺寸大小;(xc,yc,zc)表示相机坐标系下的坐标,xc表示相机坐标系下的行坐标,yc表示相机坐标系下的列坐标;
步骤4.2,将步骤4.1得到的相机坐标系转换为世界坐标系,转换关系如下:
其中,(xc,yc,zc)表示相机坐标系下的坐标,(xw,yw,zw)表示世界坐标系下的任意坐标,R为旋转矩阵,T为平移矩阵;
步骤4.3,将公式(3)和公式(4)进行合并,完成图像坐标系到世界坐标系的转换,转换关系表示为:
其中,zw=zc,公式(5)简化表示为:
将公式(6)矩阵进行计算,得到图像点[u,v]T到世界坐标点的转换公式:
进一步的,在步骤5中,采用体素化的建模方式,并采用离散化的八叉树存贮方式对步骤4获得的点云进行建模。
进一步的,步骤5具体包括:
步骤5.1,确定体素化大小,设置场景最大尺寸;
步骤5.2,读取点云数据,再将点云插入到八叉树中;
步骤5.3,先对八叉树中的节点采用离散化的方式进行表示,再从根节点到叶子节点遍历整个八叉树,然后将体素化后的坐标进行读取与输出。
进一步的,在步骤6中,采用基于统计的距离度量方法对步骤5获得的模型进行噪声再处理。
进一步的,步骤6具体包括:
步骤6.1,统计步骤5生成的三维点云个数;
步骤6.2,将序号为前百分之一的三维点不进行保存,用于去除部分噪声;
步骤6.3,以无人机GPS坐标为中心,计算场景所有三维点到无人机的欧式距离,计算公式为:
其中,(X,Y,Z)为无人机的GPS坐标,(xi,yi,zi)为三维点的位置坐标,n为三维点的个数;将计算的欧式距离值(Dis1,Dis2,···Disi,···Disn)按从小到大进行排序,并且每一个距离值与三维点的序号(s1,s2,···si,···sn)相对应,然后将前5个最小距离值所对应的三维点序号取出,删除这些序号的三维点坐标来进行噪声再处理。
相比于现有技术,本发明具有以下有益效果:
本发明的一种基于无人机的实时三维重建方法,在无人机飞行的过程中,通过无人机上搭载的信息采集设备采集场景数据,经过深度传感器获得深度数据和深度图;然后对深度图进行噪声预处理、加速处理、点云转换、建模以及噪声再处理之后,能够实时的重建场景的三维模型,为无人机的自主决策、自主避障提供可能。本发明的基于深度图融合的算法是先在任意两幅相邻图像之间生成深度图,然后将深度图转换为点云,映射到三维空间中,最后再对点云数据进行后处理来生成完整的三维场景模型。本发明的重建方法能够实现场景的实时三维重建,且无需用成本较高的方式获取场景的图片;重建结果中包含的噪声较少,表面较平滑。
进一步的,通过双目摄像机来获取场景的图片信息,通过深度传感器来获得若干左右相机图像与深度数据,并生成深度图,成本较低,且能满足实时三维重建的需求。
进一步的,采用均匀采样的方式来对深度图像中的二维点进行采样;主要是基于无人机上的双目摄像机拍摄的照片经过深度传感器处理之后,一秒钟能得到大概20张图片的深度数据,采取每两帧取一帧数据;而双目摄像头在拍摄过程中会产生比较多的噪声和无用数据,均匀采样就能丢掉这些数据,减少处理时间;并且双目拍摄时无人机是移动的,一秒钟拍摄的20张图片基本相同但是又有差异,因此对每一张图片均匀采样时,不同图片之间能弥补采样时可能丢失的场景信息;采样使得当前帧点的数目减少,能对后续的三维建模起到加速效果,有利于实现实时三维重建。
进一步的,运用图像的腐蚀、膨胀以及中值滤波来对图像进行预处理,能够初步去除图像中的噪声点,核的规格能够在较大程度上影响噪声点的去除效果,采用7*7的核能够得到较好的腐蚀和膨胀效果,另外腐蚀操作只需进行一次即可满足要求,膨胀操作只需进行两次即可满足要求,达到较好的效果,可节省处理时间;中值滤波选用5*5的方形区域能够获得较好的滤波效果。
进一步的,基于八叉树的体素化建模由点云得到三维模型,并采用合适的体素化大小以及离散化的节点表示方式能再次提高建模速度。
进一步的,采用基于统计的距离度量方法进一步去除体素化后的模型中存在的噪声,实现噪声的再处理,生成最后的三维模型。
本发明能够对廉价的双目拍摄的图片进行有效,实时的三维重建,为无人机的后续智能处理如:自主决策、自主避障提供可能,有助于推进无人机的应用。
附图说明
图1是本发明的一种基于无人机的实时三维重建方法的流程图;
图2是双目摄像机拍摄的一个场景的左相机图片;
图3是双目摄像机拍摄的又一个场景的左相机图片;
图4是一场景的体素化模型的噪声处理前的示意图;
图5是图4噪声处理后的示意图;
图6是图2场景的三维重建结果示意图;
图7是图3场景的三维重建结果示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施列用于解释说明本发明,但不用来限制本发明的范围。
参考图1至图7,本发明的一种基于无人机的实时三维重建方法,包括如下步骤:
步骤1,获取深度传感器的深度数据,得到深度图;
通过由无人机上搭载的双目摄像机进行场景拍摄,通过深度传感器根据拍摄的图片得到深度数据,进而获得场景的深度图;拍摄的图像为灰度图,大小为240*320;深度数据用一个xml文件进行保存,同时还保存有由Guidence系统得到的无人机GPS数据以及偏航角数据。图2和图3是无人机上双目摄像机拍摄的两个场景的左相机图片;大小都为240*320。
步骤2,对步骤1得到的深度图进行包括形态学操作以及滤波的噪声预处理;
噪声预处理的步骤是:
步骤2.1,先用7*7的核对深度图进行一次腐蚀操作,来达到去除噪声的目的,包括:将内核的中心点,即锚点划过图像,然后将图像与内核进行卷积操作,将内核覆盖区域的最小像素值进行提取并用来代替锚点位置的像素,来达到去除噪声的目的;
步骤2.2,然后使用7*7的核对腐蚀后的图像进行两次膨胀操作,来达到弥补腐蚀可能导致的场景三维点丢失以及连通空洞区域的目的,包括:将内核的中心点,即锚点划过图像,然后将图像与内核进行卷积操作,将内核覆盖区域的最大像素值进行提取并用来代替锚点位置的像素,来达到弥补腐蚀可能导致的场景三维点丢失以及连通空洞区域的目的;
步骤2.3,对形态学操作后的图像用5*5的核进行中值滤波,输出为:
g(x,y)=med{f(x-k,y-l),(k,l)∈W}
其中,f(x,y),g(x,y)分别为原始图像和处理后图像,med表示取中值,W是二维模板,为5*5的方形区域,(k,l)表示模板中像素的位置,k表示模板中的行坐标,l表示模板中的列坐标,(x,y)表示图像中像素的位置,x表示图像中的行坐标,y表示图像中的列坐标,将5*5区域内的中间像素值赋给5*5区域的中心点位置所对应的像素。
步骤3,对预处理后的深度图进行均匀采样的初步加速处理;
采用均匀采样的方式来对深度图像中的二维点进行采样。主要是基于无人机上的双目摄像机拍摄的照片经过深度传感器处理之后,一秒钟能得到大概20张图片的深度数据,我们采取每两帧取一帧数据的均匀采样方式。双目摄像机在拍摄过程中会产生比较多的噪声和无用数据,均匀采样就能丢掉这些数据,达到减少处理时间的目的;并且拍摄时无人机是移动的,一秒钟拍摄的20张左右的图片基本相同但是又有差异,因此对每一张图片均匀采样时,不同图片之间能弥补采样时可能丢失的场景信息;采样使得当前帧点的数目减少,能对后续的三维建模起到加速效果。
步骤4,将处理之后的深度图转换为点云。将深度图中的图像坐标经过相机坐标,最终转换成世界坐标,从而完成了深度图到点云的转换。
具体步骤如下:
步骤4.1,图像坐标系转换为相机坐标系,由于相机坐标系经过透视变换变成图像坐标系,因此可以利用转换关系由图像坐标系得到相机坐标系,转换关系如下:
其中,(u,v)为图像坐标系下的任意坐标,u表示图像的行,v表示图像的列;(u0,v0)为图像的中心坐标,zc与光轴重合,表示相机坐标的z轴值,也就是目标到相机的距离,即深度传感器得到的深度值;f表示相机的焦距,每个像素点投影到图像平面是矩形而不是正方形,dx*dy表示像素的物理尺寸大小;(xc,yc,zc)表示相机坐标系下的任意坐标。
步骤4.2,相机坐标系转换为世界坐标系,由于世界坐标系经过刚体变换变成图像坐标系,因此可以利用转换关系由相机坐标系得到世界坐标系,转换关系如下:
其中,(xc,yc,zc)表示相机坐标系下的任意坐标,(xw,yw,zw)表示世界坐标系下的任意坐标,R为旋转矩阵,T为平移矩阵。
步骤4.3,将上述公式进行合并即完成了图像坐标系到世界坐标系的转换,表示如下:
由于相机原点与世界坐标系的原点是重合的,即没有旋转和平移,因此:
同时因为没有旋转跟平移,所以世界坐标系与相机坐标系的同一个物体都具有相同的深度,即zw=zc,因此可再次进行简化为:
将上述矩阵进行计算,即可得到图像点[u,v]T到世界坐标点的转换公式:
其中,(xw,yw,zw)表示世界坐标系下的坐标,zc与光轴重合,表示相机坐标的z轴值,即深度传感器得到的深度值,f表示相机的焦距,(u,v)为图像坐标系下的坐标,u表示图像的行坐标,v表示图像的列坐标;(u0,v0)为图像的中心坐标,u0表示图像中心的行坐标,v0表示图像中心的列坐标,dx表示像素在行坐标上的微元,dy表示像素在列坐标上的微元,dx*dy表示像素的物理尺寸大小。
步骤4中首先利用相机坐标系与图像坐标系之间的透视变换关系,通过相机的焦距信息f,图像的中心坐标(u0,v0),像素的物理尺寸大小dx*dy和目标到相机的距离,即深度传感器得到的深度值zc实现图像坐标系到相机坐标系的转换;再利用世界坐标系与相机坐标系之间的刚体变换关系,通过相机的外部参数:旋转矩阵R与平移矩阵T,得到相机坐标系到世界坐标系的转换;最后将式子进行合并完成了图像坐标系到世界坐标系的转换,从而得到了场景的点云数据。
步骤5,采用体素化的方式来建模,利用八叉树来存储点云能够对点云进行快速查找,使用离散化的方式来表示八叉树的节点能够使得点云的处理变得更快以达到再加速的目的。
具体步骤如下:
步骤5.1,先确定体素化大小,设置场景最大尺寸;体素化大小是八叉树中叶子节点的大小,也是迭代的终止条件。体素大小的不同对最后所建立三维模型的影响还是比较大的,当体素比较小时,使得场景的细节比较明确,但是建立模型时所需要的计算量跟存储消耗比较大,而且需要更长的计算时间;体素较大时,场景的细节描述就没有较小体素的那么明确,但是计算量跟时间消耗都相对较小。因此我们需要选择一个合适的体素大小来适合本实例的需求,既要达到一定的识别精度,如:箱子,杆状物等,又能消耗较少的计算时间来达到实时性,最后我们使用体素大小res=0.4米达到本实例的实验要求。场景尺寸即是初始的最大体素大小,也就是确定场景的建模距离,基于双目的精度,场景的建模中,每一帧图片选择的建模距离均为10米。
步骤5.2,读取步骤4得到的点云数据,再将点云数据插入到八叉树中;
步骤5.3,对八叉树中的节点采用离散化的方式进行表示,用0和1来表示节点能够减少计算量,0表示对应的立方体为空,1表示对应的立方体有数据;然后从根节点到叶子节点遍历整个八叉树,将体素化后的坐标进行读取与输出。
步骤6,采用基于统计的距离度量方法来进一步去除体素化后的模型中存在的噪声,实现噪声的再处理,生成最后的三维模型实现三维重建。
具体步骤包括:
步骤6.1,统计步骤5生成的三维点云个数;
步骤6.2,将序号为前百分之一的三维点不进行保存,来去除部分噪声;
步骤6.3,以无人机坐标为中心,计算场景所有三维点到无人机的欧式距离dis,计算公式为:
其中,(X,Y,Z)为无人机的GPS坐标,(xi,yi,zi)为三维点的位置坐标,n为三维点的个数,将计算的距离值(dis1,dis2,···disi,···disn)按从小到大进行排序,并且每一个距离值与三维点的序号(s1,s2,···si,···sn)相对应,然后将前5个最小距离值所对应的三维点序号取出,删除这些序号的三维点坐标来再次进行噪声处理,得到的噪声去除效果如图3的右边部分所示,完成场景三维重建,结果如图6和图7所示。
通过图4和图5的实验结果表明,本发明的三维重建方法可以有效的去除场景中的噪声数据,并且在复杂场景中建模达到每秒10到12帧的处理速度,而对于简单空旷的场景达到每秒20帧左右的处理速度。相比现有方法,本发明不但具有较高的重建精度,同时还具较快的重建速度,实现了场景的实时性建模。
本发明的基于无人机的实时三维重建的方法,运用图像的腐蚀、膨胀以及中值滤波来对图像进行噪声预处理,初步去除图像中的噪声点;使用均值采样来初步加速后续的三维建模;然后利用相机的内参跟外参将图像坐标转换成世界坐标,生成点云;基于八叉树的体素化建模由点云得到三维模型,并采用合适的体素化大小以及离散化的节点表示方式能再次提高建模速度;最后采用基于统计的距离度量方法进一步去除体素化后的模型中存在的噪声,实现噪声的再处理,生成最后的三维模型。本发明能够对廉价的双目拍摄的图片进行有效,实时的三维重建,为无人机的后续智能处理如:自主决策、自主避障提供可能,有助于推进无人机的应用。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以提出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (10)
1.一种基于无人机的实时三维重建方法,其特征在于,包括以下步骤:
步骤1,采集场景数据,根据采集的场景数据通过深度传感器得到深度数据,并获取深度图;
步骤2,对步骤1得到的深度图进行噪声预处理,噪声预处理包括形态学操作以及滤波操作;
步骤3,对步骤2噪声预处理后的深度图进行加速处理,加速处理包括对噪声预处理后的深度图中的二维点进行均匀采样;
步骤4,将步骤3加速处理后的深度图转换为点云;
步骤5,对步骤4获得的点云进行建模;
步骤6,对步骤5获得的结果进行噪声再处理,生成场景的三维模型实现三维重建。
2.根据权利要求1所述的一种基于无人机的实时三维重建方法,其特征在于,步骤1具体包括:通过双目摄像机拍摄场景图片,将获得的场景图片通过深度传感器进行处理,获取深度传感器的深度数据得到深度图。
3.根据权利要求2所述的一种基于无人机的实时三维重建方法,其特征在于,步骤3中深度图中二维点的均匀采样方式为每两帧取一帧。
4.根据权利要求1所述的一种基于无人机的实时三维重建方法,其特征在于,步骤2具体包括:
步骤2.1,用7*7的核对步骤1得到的深度图进行一次腐蚀操作;
步骤2.2,使用7*7的核对步骤2.1得到的图像进行两次膨胀操作;
步骤2.3,对步骤2.2得到的图像用5*5的核进行中值滤波,中值滤波输出为:
g(x,y)=med{f(x-k,y-l),(k,l)∈W} (1)
其中,f(x,y),g(x,y)分别为原始图像和处理后图像,med表示取中值,W是二维模板,为5*5的方形区域,(k,l)表示模板中像素的位置,k表示模板中的行坐标,l表示模板中的列坐标,(x,y)表示图像中像素的位置,x表示图像中的行坐标,y表示图像中的列坐标。
5.根据权利要求1所述的一种基于无人机的实时三维重建方法,其特征在于,在步骤4中,将步骤3处理后的深度图中的图像坐标经过相机坐标最终转换成世界坐标,完成深度图到点云的转换,转换公式为:
其中,(xw,yw,zw)表示世界坐标系下的坐标,zc与光轴重合,表示相机坐标的z轴值,即深度传感器得到的深度值,f表示相机的焦距,(u,v)为图像坐标系下的坐标,u表示图像的行坐标,v表示图像的列坐标;(u0,v0)为图像的中心坐标,u0表示图像中心的行坐标,v0表示图像中心的列坐标,dx表示像素在行坐标上的微元,dy表示像素在列坐标上的微元,dx*dy表示像素的物理尺寸大小。
6.根据权利要求5所述的一种基于无人机的实时三维重建方法,其特征在于,步骤4具体包括:
步骤4.1,将步骤3处理后的深度图中的图像坐标系转换为相机坐标系,转换关系为:
其中,(u,v)为图像坐标系下的坐标,u表示图像的行坐标,v表示图像的列坐标;(u0,v0)为图像的中心坐标,u0表示图像中心的行坐标,v0表示图像中心的列坐标,zc与光轴重合,表示相机坐标的z轴值,即深度传感器得到的深度值;f表示相机的焦距,每个像素点投影到图像平面是矩形而不是正方形,dx表示像素在行坐标上的微元,dy表示像素在列坐标上的微元,dx*dy表示像素的物理尺寸大小;(xc,yc,zc)表示相机坐标系下的坐标,xc表示相机坐标系下的行坐标,yc表示相机坐标系下的列坐标;
步骤4.2,将步骤4.1得到的相机坐标系转换为世界坐标系,转换关系如下:
其中,(xc,yc,zc)表示相机坐标系下的坐标,(xw,yw,zw)表示世界坐标系下的任意坐标,R为旋转矩阵,T为平移矩阵;
步骤4.3,将公式(3)和公式(4)进行合并,完成图像坐标系到世界坐标系的转换,转换关系表示为:
其中,zw=zc,公式(5)简化表示为:
将公式(6)矩阵进行计算,得到图像点[u,v]T到世界坐标点的转换公式:
7.根据权利要求1所述的一种基于无人机的实时三维重建方法,其特征在于,在步骤5中,采用体素化的建模方式,并采用离散化的八叉树存贮方式对步骤4获得的点云进行建模。
8.根据权利要求7所述的一种基于无人机的实时三维重建方法,其特征在于,步骤5具体包括:
步骤5.1,确定体素化大小,设置场景最大尺寸;
步骤5.2,读取点云数据,再将点云插入到八叉树中;
步骤5.3,先对八叉树中的节点采用离散化的方式进行表示,再从根节点到叶子节点遍历整个八叉树,然后将体素化后的坐标进行读取与输出。
9.根据权利要求1所述的一种基于无人机的实时三维重建方法,其特征在于,在步骤6中,采用基于统计的距离度量方法对步骤5获得的模型进行噪声再处理。
10.根据权利要求9所述的一种基于无人机的实时三维重建方法,其特征在于,步骤6具体包括:
步骤6.1,统计步骤5生成的三维点云个数;
步骤6.2,将序号为前百分之一的三维点不进行保存,用于去除部分噪声;
步骤6.3,以无人机GPS坐标为中心,计算场景所有三维点到无人机的欧式距离,计算公式为:
其中,(X,Y,Z)为无人机的GPS坐标,(xi,yi,zi)为三维点的位置坐标,n为三维点的个数;将计算的欧式距离值按从小到大进行排序,并且每一个距离值与三维点的序号对应,然后将前5个最小距离值所对应的三维点序号取出,删除这些序号的三维点坐标来进行噪声再处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810138581.3A CN108428255B (zh) | 2018-02-10 | 2018-02-10 | 一种基于无人机的实时三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810138581.3A CN108428255B (zh) | 2018-02-10 | 2018-02-10 | 一种基于无人机的实时三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108428255A true CN108428255A (zh) | 2018-08-21 |
CN108428255B CN108428255B (zh) | 2022-04-12 |
Family
ID=63156822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810138581.3A Active CN108428255B (zh) | 2018-02-10 | 2018-02-10 | 一种基于无人机的实时三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108428255B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109300190A (zh) * | 2018-09-06 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 三维数据的处理方法、装置、设备和存储介质 |
CN109357617A (zh) * | 2018-10-25 | 2019-02-19 | 东北大学 | 一种基于无人机的高陡岩质边坡位移变形监测方法 |
CN109410279A (zh) * | 2018-08-31 | 2019-03-01 | 南京理工大学 | 基于深度学习的图像检测定位加速方法 |
CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
CN109579871A (zh) * | 2018-11-14 | 2019-04-05 | 中国直升机设计研究所 | 基于计算机视觉的惯性导航部件安装误差检测方法及装置 |
CN109658450A (zh) * | 2018-12-17 | 2019-04-19 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
CN109934908A (zh) * | 2019-02-28 | 2019-06-25 | 东华大学 | 一种基于无人机的实际场景建模方法 |
CN110264425A (zh) * | 2019-06-21 | 2019-09-20 | 杭州一隅千象科技有限公司 | 基于向下倾角方向的单台tof相机人体降噪方法及系统 |
CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
CN110824443A (zh) * | 2019-04-29 | 2020-02-21 | 当家移动绿色互联网技术集团有限公司 | 雷达仿真方法、装置、存储介质及电子设备 |
CN111354027A (zh) * | 2018-12-21 | 2020-06-30 | 沈阳新松机器人自动化股份有限公司 | 一种移动机器人的视觉避障方法 |
CN111402447A (zh) * | 2020-03-25 | 2020-07-10 | 南方电网海南数字电网研究院有限公司 | 电网线路巡检方法、服务器、系统及存储介质 |
CN111551920A (zh) * | 2020-04-16 | 2020-08-18 | 重庆大学 | 基于目标检测与双目匹配的三维目标实时测量系统和方法 |
CN112154394A (zh) * | 2019-10-31 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
CN112562067A (zh) * | 2020-12-24 | 2021-03-26 | 华南理工大学 | 一种生成大批量点云数据集的方法 |
CN113610952A (zh) * | 2020-04-20 | 2021-11-05 | 广州极飞科技股份有限公司 | 一种三维场景重建方法、装置、电子设备和存储介质 |
CN113642476A (zh) * | 2021-08-17 | 2021-11-12 | 南京华捷艾米软件科技有限公司 | 一种场景识别方法及系统 |
CN114998453A (zh) * | 2022-08-08 | 2022-09-02 | 国网浙江省电力有限公司宁波供电公司 | 一种基于高尺度单元的立体匹配模型及其应用方法 |
CN117501322A (zh) * | 2021-04-14 | 2024-02-02 | 利尼芝物流有限责任公司 | 从点云数据生成物理空间的映射 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800127A (zh) * | 2012-07-18 | 2012-11-28 | 清华大学 | 一种基于光流优化的三维重建方法及装置 |
CN103197308A (zh) * | 2013-03-15 | 2013-07-10 | 浙江大学 | 基于多波束相控阵声纳系统的三维声纳可视化处理方法 |
US20140240492A1 (en) * | 2013-02-28 | 2014-08-28 | Google Inc. | Depth sensor using modulated light projector and image sensor with color and ir sensing |
CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
-
2018
- 2018-02-10 CN CN201810138581.3A patent/CN108428255B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800127A (zh) * | 2012-07-18 | 2012-11-28 | 清华大学 | 一种基于光流优化的三维重建方法及装置 |
US20140240492A1 (en) * | 2013-02-28 | 2014-08-28 | Google Inc. | Depth sensor using modulated light projector and image sensor with color and ir sensing |
CN103197308A (zh) * | 2013-03-15 | 2013-07-10 | 浙江大学 | 基于多波束相控阵声纳系统的三维声纳可视化处理方法 |
CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
Non-Patent Citations (4)
Title |
---|
ALESSANDRO PALLA等: "Fully convolutional denoising autoencoder for 3D scene reconstruction from a single depth image", 《IEEE XPLORE》 * |
何东健等: "Kinect获取植物三维点云数据的去噪方法", 《农业机械学报》 * |
刘军等: "基于无人机遥感影像拓扑分析的三维重建", 《测绘工程》 * |
陈亮等: "一种基于无人机序列图像的地形地貌三维快速重建方法", 《北京测绘》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410279A (zh) * | 2018-08-31 | 2019-03-01 | 南京理工大学 | 基于深度学习的图像检测定位加速方法 |
CN109300190A (zh) * | 2018-09-06 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 三维数据的处理方法、装置、设备和存储介质 |
CN109300190B (zh) * | 2018-09-06 | 2021-08-10 | 百度在线网络技术(北京)有限公司 | 三维数据的处理方法、装置、设备和存储介质 |
CN109357617A (zh) * | 2018-10-25 | 2019-02-19 | 东北大学 | 一种基于无人机的高陡岩质边坡位移变形监测方法 |
CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
CN109579871A (zh) * | 2018-11-14 | 2019-04-05 | 中国直升机设计研究所 | 基于计算机视觉的惯性导航部件安装误差检测方法及装置 |
CN109579871B (zh) * | 2018-11-14 | 2021-03-30 | 中国直升机设计研究所 | 基于计算机视觉的惯性导航部件安装误差检测方法及装置 |
CN109658450A (zh) * | 2018-12-17 | 2019-04-19 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
CN109658450B (zh) * | 2018-12-17 | 2020-10-13 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
CN111354027A (zh) * | 2018-12-21 | 2020-06-30 | 沈阳新松机器人自动化股份有限公司 | 一种移动机器人的视觉避障方法 |
CN109934908A (zh) * | 2019-02-28 | 2019-06-25 | 东华大学 | 一种基于无人机的实际场景建模方法 |
CN110824443B (zh) * | 2019-04-29 | 2020-07-31 | 当家移动绿色互联网技术集团有限公司 | 雷达仿真方法、装置、存储介质及电子设备 |
CN110824443A (zh) * | 2019-04-29 | 2020-02-21 | 当家移动绿色互联网技术集团有限公司 | 雷达仿真方法、装置、存储介质及电子设备 |
CN110264425A (zh) * | 2019-06-21 | 2019-09-20 | 杭州一隅千象科技有限公司 | 基于向下倾角方向的单台tof相机人体降噪方法及系统 |
CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
CN112154394A (zh) * | 2019-10-31 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
WO2021081958A1 (zh) * | 2019-10-31 | 2021-05-06 | 深圳市大疆创新科技有限公司 | 地形检测方法、可移动平台、控制设备、系统及存储介质 |
CN111402447A (zh) * | 2020-03-25 | 2020-07-10 | 南方电网海南数字电网研究院有限公司 | 电网线路巡检方法、服务器、系统及存储介质 |
CN111551920A (zh) * | 2020-04-16 | 2020-08-18 | 重庆大学 | 基于目标检测与双目匹配的三维目标实时测量系统和方法 |
CN113610952A (zh) * | 2020-04-20 | 2021-11-05 | 广州极飞科技股份有限公司 | 一种三维场景重建方法、装置、电子设备和存储介质 |
CN112562067A (zh) * | 2020-12-24 | 2021-03-26 | 华南理工大学 | 一种生成大批量点云数据集的方法 |
CN117501322A (zh) * | 2021-04-14 | 2024-02-02 | 利尼芝物流有限责任公司 | 从点云数据生成物理空间的映射 |
CN113642476A (zh) * | 2021-08-17 | 2021-11-12 | 南京华捷艾米软件科技有限公司 | 一种场景识别方法及系统 |
CN114998453A (zh) * | 2022-08-08 | 2022-09-02 | 国网浙江省电力有限公司宁波供电公司 | 一种基于高尺度单元的立体匹配模型及其应用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108428255B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108428255B (zh) | 一种基于无人机的实时三维重建方法 | |
CN110223348B (zh) | 基于rgb-d相机的机器人场景自适应位姿估计方法 | |
Jörgensen et al. | Monocular 3d object detection and box fitting trained end-to-end using intersection-over-union loss | |
CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
CN105976353B (zh) | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 | |
CN109631911B (zh) | 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法 | |
CN112991537B (zh) | 城市场景重建方法、装置、计算机设备和存储介质 | |
CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN108764080A (zh) | 一种基于点云空间二值化的无人机视觉避障方法 | |
CN111860651A (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
CN116433843A (zh) | 基于双目视觉重建路线的三维模型重建方法及装置 | |
CN112907972A (zh) | 基于无人机的道路车流量检测方法、系统及计算机可读存储介质 | |
CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
CN116402976A (zh) | 三维目标检测模型训练方法及装置 | |
CN114972646A (zh) | 一种实景三维模型独立地物的提取与修饰方法及系统 | |
Nouduri et al. | Deep realistic novel view generation for city-scale aerial images | |
CN114529800A (zh) | 一种旋翼无人机避障方法、系统、装置及介质 | |
CN109493415A (zh) | 一种航拍影像三维重建的全局运动初始化方法和系统 | |
Wang et al. | Target detection based on simulated image domain migration | |
CN112530014B (zh) | 一种多无人机室内场景三维重建方法及装置 | |
Zhang et al. | A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images | |
CN113379821B (zh) | 一种基于深度学习的稳定单目视频深度估计方法 | |
Billy et al. | DA-NET: Monocular Depth Estimation using Disparity maps Awareness NETwork |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |