CN105203084B - 一种无人机3d全景视觉装置 - Google Patents
一种无人机3d全景视觉装置 Download PDFInfo
- Publication number
- CN105203084B CN105203084B CN201510392627.0A CN201510392627A CN105203084B CN 105203084 B CN105203084 B CN 105203084B CN 201510392627 A CN201510392627 A CN 201510392627A CN 105203084 B CN105203084 B CN 105203084B
- Authority
- CN
- China
- Prior art keywords
- panoramic
- unmanned aerial
- aerial vehicle
- laser
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种无人机3D全景视觉装置主要包括飞行器主体部分、3D全景视觉装置和飞行控制机地面站控制系统部分；3D全景视觉装置固定安装在所述的飞行器主体部分中部，3D全景视觉装置的中轴线与所述的飞行器主体部分的中轴线重叠；3D全景视觉装置包括全方位视觉传感器、全景激光光源和LED带光源；地面监视器根据无线通信网络传输过来的全景视频图像对无人机周边环境进行3D测量与3D建模处理。
Description
技术领域
本发明涉及无人直升机、全景激光光源、全方位视觉传感器、无线传输以及计算机视觉技术在无人机视觉等方面的应用，尤其涉及一种无人机3D全景视觉装置。
背景技术
无人直升机航拍照片具有大比例尺、广视角、高现势性的优点。目前无人机航拍广泛应用于军事侦察、国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球以及广告摄影等领域，有着广阔的市场需求。
当前无人机视觉上的研究，大多是利用无人机视觉进行避障，或者利用无人机视觉进行飞行控制。但是，无人机航拍所获取的二维图像缺乏实际的几何数据，无法再现被测物的3D实体几何数据；为了获取更详细，更准确的信息，需要对无人机所拍摄的图像进行拼接以活动周围全景图像，另外还需要进行3D测量。目前基本上采用双目立体视觉的方式来获取被测物的深度信息。近年来出现了一种直接测量物体深度的技术，如微软公司的深度传感器，但是这种技术属于面扫描技术，要获取3D全景仍然存在着很大困难。无人机视觉从2D图像走向3D图像，从某一个面走向360°全景是一个发展趋势，基于无人机航拍图像的3D测量与3D全景重建技术在军事、民用和科学研究等方面都有着极其广阔的应用前景。
申请号为201410264745.9的中国专利申请公开了一种基于无人机的航拍测绘装置及图像校准方法，通过设置角度摄像头和竖直摄像头，可以同时提供斜角影像图和俯视影像图；根据两个最终影像点之间的应然距离与两个原始影像点之间的实然距离的比值，对原始影像图进行缩放，从而得到最终影像图。这种方法属于双目立体视觉的测量方式，该方式除了3D测量效率低以外，容易受到各种干扰，摄像机构复杂，计算复杂度高，在实用上还存在着较大距离。
申请号为201110085596.6的中国专利申请公开了一种无人机航拍视频实时全景图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相邻帧信息，优化图像变换，获得准确的全景图。该案件实现的效果只是将局部图像拼接为全景图像，未涉及到3D测量与3D重构。
申请号为201010297558.2的中国专利文献公开了一种基于激光探测和图像识别的无人直升机三维定位及测绘方法，包括了基于激光探测和图像识别的测距传感器、高度传感器和飞行控制计算机，测距传感器由机载摄像机和激光发射器组成，用于探测无人直升机距周围障碍物的距离，通过改变俯仰角和偏航角，测距传感器对无人直升机周围环境进行探测并测距；高度传感器用于测量无人直升机距地面的飞行高度；根据在不同俯仰角、航向角和飞行高度条件下测量得到的测距数据，实现无人直升机对未知环境的三维同步定位及测绘。该案属于主动视觉对周围障碍物的检测，但是在检测过程中要不断改变俯仰角、航向角和飞行高度，使得摄像机构复杂度增加，实时性降低；此外该案尚未涉及如何应用主动式视觉对周围环境的3D重构。
综上所述，在无人机航拍技术中，对于还原场景、目标的三维结构存在着如下若干个棘手的问题：1)如何消除航拍过程中飞机本身的抖动、偏移、旋转等引起摄像机的摆动、旋转对成像模型的不利影响；2)如何使得无人机以较低的速度甚至“悬停”并稳定地沿预定航线飞行，来获得构建理想的3D模型的图像；3)如何使得无人机在不改变俯仰角、航向角和飞行高度情况下能方便地获取飞行航线上的全景图像，使得无人机视觉装置简单化；4)如何使得无人机能够适应各种复杂、狭小的环境，并且能实现悬停、侧飞等多种姿态飞行，无人机的机身机械结构简单；5)如何对主动式全景视觉传感器进行微型化和轻量化设计，有效减少无人机的负载量；6)如何进行场景及对象的快速3D测量，包括对飞行过程中的障碍物的检测及避障；7)如何根据相同场景在多个成像上的内在约束关系重建目标三维结构并进行精确测量；8)如何实现边飞行、边3D测量和边3D建模。
发明内容
为了克服已有的无人机视觉装置的自动化和智能化水平低、难以对周边场景及对象进行快速3D测量、难以用视觉方式对周边障碍物进行快速检测与快速避障、周边环境的三维建模困难等不足，本发明提供一种新型的无人机3D全景视觉装置，能够提高无人机视觉装置的自动化和智能化水平，对无人机周边环境及物体对象进行快速3D视觉测量，并自动实现三维建模。
要实现上述发明内容，必须要解决几个核心问题：(1)适合于3D环境视觉测量与3D建模的无人机的选型；(2)实现一种价格低廉、总体重量在无人机的负重能力范围内、具有无线视频图像传输能力、并能快速并高精度获得实际物体深度信息的主动式全景视觉传感器；(3)采用计算机视觉技术对周边环境的三维重建方法；(4)采用计算机视觉技术对周边障碍物的检测与避障；(5)采用计算机视觉技术计算得到无人机的飞行轨迹。
本发明解决其技术问题所采用的技术方案是：
首先是无人机的选型，根据技术要点，本发明采用旋翼式无人机，该机型能实现“悬停”动作并可以垂直起降，其机动性大大超过固定翼式无人机，非常适合在城市或室内等的复杂狭窄空间或者在需要低速稳定飞行的场合下使用。
与传统的直升机相比，多旋翼无人机的结构更为紧凑，各个旋翼间可相互抵消反扭力；由于采用了较小的旋翼，无人机可以飞至离目标更近的区域。多旋翼飞行器通过多个旋翼转速的配合控制来实现多种姿态飞行的，多旋翼产生的推力可更有效的控制无人机的飞行姿态。
在航拍应用中，最基本的要求是无人机拍摄出的画面平稳清晰，便于后期的处理以及为之后的三维重建提供优质的航拍素材。
首先，无人机需要搭载高分辨率的3D全景视觉装置升空并完成飞行航线，这就要求无人机具有一定的负载能力。
其次，在航拍过程中对无人机的飞行速度有较高的要求，常常需要无人机以较低的速度甚至“悬停”并稳定地沿预定航线飞行，来获得理想的全景图像。而“悬停”以及低速飞行正是多旋翼无人机所适合的，它较差的抗风性能可通过飞行控制器和相机云台加以补偿。
针对航拍这一应用场合的特殊需求和各类型无人机的特点，最终选取四旋翼无人机作为航拍无人机平台。
四旋翼无人机系统可分为飞行器主体部分、3D全景视觉装置和飞行控制机地面站控制系统部分；3D全景视觉装置固定安装在飞行器主体部分中部，3D全景视觉装置的中轴线与飞行器主体部分的中轴线重叠。
飞行器主体部分根据四旋翼飞行器的结构。考虑到机身自重、强度，机身采用全碳纤结构，由中心板、机臂和起落架组成。中心板成正四边形，四个机臂分布于中心板四边形的定点处。机身材料采用2.0mm厚度3K全碳板加工而成，配合航空铝合金管夹和碳纤管组合而成。在各个机臂末端安装电机与螺旋桨，电机采用机臂上安装有电子调速器，中心板上安装有飞行控制器及其附属设备。
考虑到需要满足飞行器载重和续航时间的要求，选择的主要电子器件如下：1)电机：盘式无刷电机，定子尺寸48MM幸2MM，配合1447螺旋桨，单个电机全油门拉力为2260克，功率355瓦，力效6.4克每瓦。2)电子调速器：持续工作电流30安，瞬间最大电流45安，持续10秒。3)电池：6S锂电池，电压22.2V，最大放电倍率20～25C，单体内阻1.2毫欧，重量1400克；在该配置下，无人机最大起飞重量8千克，巡航飞行的时间15分钟。
3D全景视觉装置主要包括主动式全景视觉传感器、嵌入式设备和电源；嵌入式设备中包括图像获取模块，无线图像传输模块，地面监视器等。主要功能是获取稳定，高清的场景航拍全景图像，并实时的在地面监视拍摄内容。
主动式全景视觉传感器内置WiFi无线通信。它的特点是体积小、重量轻、直接拍摄全景，非常适合对重量较为敏感、航拍摄像面大的航拍应用。
无线图像传输模块，定向天线和监视器，使得地面人员可以实时观察到飞行器飞行中图像获取的内容，以便于控制人员对飞行器做出相应的控制。图像传输设备工作频率为1.2GHz，该频段的信号，跨越障碍的能力出色，与其他频段干扰少。
无线数据通信模块保证了飞行器和地面控制系统之间的数据交换，同时定向天线可以进一步加强图像传输的信号，使得地面监视器不会出现信号干扰和中断的情况。
3D全景视觉装置主要包括无线通信单元、主动式全景视觉传感器和电源；本发明是让无人机携带3D全景视觉装置对周边环境进行视觉检测和建模。
无人机负重能力与3D全景视觉装置的重量匹配的计算：无线通信单元，其重量<10g，有效通信距离5km；主动式全景视觉传感器，其重量<200g，成像分辨率为300万像素；电源，其重量50g；这三者重量的总和为260g。
主动式全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和LED带光源；所述的全方位视觉传感器与所述的全景激光光源进行同轴固定连接，LED带光源环绕在所述的全方位视觉传感器的下固定座上；为了满足轻量化和低成本设计要求，所述的全方位视觉传感器与所述的全景激光光源中的部件采用塑料模具压制生产。
为了最大限度获取无人机周边环境高质量的全景图像，要求所述的全方位视觉传感器的垂直视场尽可能大些，成像的全景图像更便于进行3D测量与3D建模；根据周边环境的3D测量及3D建模的要求，对全方位视觉传感器的折反射镜面的光学成像后的全景图像的测量数据能方便计算，垂直视场角度尽可能大，同时要尽可能减少畸变，并具有较高的检测精度；
折反射镜面的垂直剖面设计为凹圆弧曲线，如图2所示，根据光学反射原理，得到以下几个公式；
δ＝2θ+r'-π (2)
式中，r为入射光束的高度，r'为入射光束的角度，δ为反射光束的角度，R为反射镜面的圆弧半径，α为入射光束的入射角，θ为反射镜面圆弧曲线的切线角。对于选定的固定焦距的摄像机，反射光束的角度δ只有在一个固定的范围内才能在成像芯片上成像；也就是说，入射光束的高度和角度只有满足一定条件才能在成像芯片上成像。
全方位视觉传感器的折反射镜面是将凹圆弧的曲线环绕对称轴一周而形成的，如图11所示；这种设计便于塑料模具成型加工，全景成像的畸变小，水平成像范围为360°，垂直成像范围接近90°，并且成像清晰度与物点距离远近无关；这些特性非常适合于航拍视觉装置。
主动式3D立体全景视觉传感器，如图12所示，将实际物理空间坐标系建立在全景激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示；全景图像坐标系建立在全景图像的中心，坐标值分别用u、v表示；折反射镜面的坐标系建立在凹圆弧的中心，坐标值分别用X'、Y'表示。
为了对空间环境及物体进行3D测量，需要对全方位视觉传感器进行标定，标定的目的是从成像平面上的点p(u',v')上找出入射光束的高度r和入射光束的角度的r'对应关系，用公式(5)表示；
式中，p(u',v')是全景成像平面上的一个点，r为入射光束的高度，r'为入射光束的角度，f(…)和g(…)分别表示函数关系。
所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元；如图1所示，所述的凹圆弧镜面的轴心线上开有一个螺纹孔；所述的透光玻璃的中心开有一个小孔；所述的外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；所述的外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接；所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中；所述的凹圆弧镜面盖中心开有一个小孔。
所述的全景激光光源，包括圆锥形镜面、透明外罩、圆圈形激光发射器和底座，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在透明外罩的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光；全景激光的颜色为红色；所述的圆锥形镜面的背面开有一个螺纹孔，如图4所示。
所述的全方位视觉传感器和所述的全景激光光源的固定连接步骤是：螺钉穿过所述的凹圆弧镜面盖上的小孔后对准所述的圆锥形镜面的背面的螺纹孔并旋紧；然后将所述的凹圆弧镜面盖与所述的凹圆弧镜面进行搭扣连接；通过上述连接将所述的全方位视觉传感器和所述的全景激光光源装配成主动式全景视觉传感器，如图5所示；
如图12所示，全景激光投射到空间物点P(x,y,z)经全方位视觉传感器的凹圆弧镜面反射在成像平面上成像，得到带有全景激光信息的全景图像。根据标定结果，从全景图像上的点p(u',v')获得该点光束高度r和角度r'；为了计算出空间物点P(x,y,z)空间坐标值，这里将实际空间坐标系建立在全景激光投射面与对称轴的交点上，建立圆柱形坐标系；根据设计，凹圆弧镜面的圆弧中心O(B,-H)，其中B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离；根据几何关系用公式(6)计算空间物点到空间坐标系原点的距离PR，
式中，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离，B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，r为全景激光在空间物点的反射光束在凹圆弧镜面的高度，r'为全景激光在空间物点的反射光束的角度，R为凹圆弧镜面的曲率半径，PR为空间物点到空间坐标系原点的距离。
在实际航拍摄像测量过程中，无人机携带着主动式全景视觉传感器飞行，随着无人机的飞行，全景激光光源为周边环境提供垂直于飞行器主体部分的中轴线的截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息；本发明将上述处理过程称为全景激光截面法；
在全景激光截面法中采用对光照敏感程度较小的HSI颜色模型进行激光投射点的检测；主动全景投影激光提取算法如下：
Step1:获取具有激光信息的全方位图像；
Step2:遍历图像上每一个像素点的r,g,b颜色信息；
Step3:将每一个点的r,g,b颜色信息转换成HSI颜色模型；
Step4:根据每一个像素点的I分量，获取全方位图像的总亮度，进而求出全方位图像的平均亮度；
Step5:以平均亮度的1.5倍作为激光提取的亮度阈值T，根据每个像素点的I值的范围I>T作为激光提取的亮度约束条件；
Step6:根据每个像素点的H值的范围0<H<60&&350<H<360作为激光提取的色度约束条件；
Step7:根据每个像素点的S值的范围0<S<40作为激光提取的饱和度约束条件；
Step8:当激光点同时满足Step5、Step6和Step7三个约束条件时，提取出该激光点，当不满足任一约束条件时，则舍去；同时遍历下一个像素点；若一幅图像全部遍历完成，则转到Step1，获取下一幅航拍全景图像继续解析激光投射点。
进一步，针对全景图像的成像特点，对得到的周边环境全景图采用环形遍历的方式，如图6所示，以全景图像的中心位置为圆心，以相等的间隔角度以方位角β从0°→360°进行遍历，根据公式(6)计算得到用圆柱形坐标系表示的周边环境实际空间点云几何数据；用公式(7)将用圆柱形坐标系表示的周边环境及物体内部实际空间点云几何数据转化为用笛卡尔坐标系表示的周边环境及物体内部实际空间点云几何数据P(x,y,z)；
式中，PR为空间物点到坐标系原点的距离，β为方位角；
为了对无人机周边环境进行3D建模，需要对携带着3D全景视觉装置的无人机的运动进行估计；这里将检测坐标系建立在全景激光投射面与对称轴的交点上，使用SFM算法，即运动的结构重建算法；无人机的运动由旋转矩阵R和平移向量t进行描述，即从相邻两帧的全景图像对无人机的运动进行估计，得到无人机的运动轨迹信息；最后根据运动轨迹及全景激光投射面所获得的几何信息或者全景图像对无人机周边环境进行3D建模。
具体无人机周边环境3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计无人机的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计无人机的运动，用非线性估计方法重新估算无人机的运动；
特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据无人机在空间飞行的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，无人机在飞行过程中，相邻两帧图像中的相对应点基本上是在某一个扇区范围内飞行的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点；
无人机的运动估计：为了估计无人机的运动，这里计算两个观测点，即两个不同位置的检测坐标系之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(8)表示；
其中，ri＝[xi,yi,zi]T，ri'＝[x'i,y'i,z'i]分别为两个全景图像中对应点的光线向量，将公式(8)转化成公式(9)；
ui Te＝0 (9)
其中，
ui＝[xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i]T (10)
e＝[e11,e12,e13,e21,e22,e23,e31,e32,e33]T (11)
通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(12)表示；
其中，U＝[u1,u2,…,un]T，本质矩阵E是以UTU的最小特征值的特征向量e进行计算获得的；
从本质矩阵E计算旋转矩阵R和平移向量t，由公式(13)所示，本质矩阵E由旋转矩阵R和平移向量t＝[tx,ty,tz]T，表示；
E＝RT (13)
这里T用下面矩阵表示。
从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对无人机的运动进行再估计和尺度匹配方法处理。
无人机的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计无人机运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对无人机的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化；
尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离|t|；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配；
首先，通过全景激光截面法测量一个空间物点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配；
当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(15)所示；
式中，pk＝[xk,yk,zk]T表示全景激光截面法测量结果，pk'＝[xk',yk',zk']T表示SFM算法测量结果。
纹理映射：图9所示的是对无人机周边环境的建模过程；在对周边环境中的某一空间点进行3D测量后，随着无人机的飞行对周边环境中的下一个测量点进行3D测量；然后将各个全景激光截面的3D测量结果进行拼接；最后进行纹理映射，实现周边环境的自动3D建模。
另一种从本质矩阵E计算旋转矩阵R和T方法是：首先，利用本质矩阵E秩2的属性求出无人机飞行前后间的平移量t，如公式(16)所示；
式中，eij为本质矩阵E的元素，Meij为eij的代数余子式；
进而求得满足约束||t||2＝1的两个平移量t1＝1，t2＝-1，其中，
然后，利用求解旋转矩阵方程组的方法求出无人机飞行前后间的旋转矩阵R；
将公式(17)代入到公式(13)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(18)给出；
式中，K'-1、K-1分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ1，σ2分别为相对应点在无人机飞行前后间的全景图像中的成像深度，通过全景激光截面法测量得到；RT为旋转矩阵R的转矩阵，t为平移向量，x，分别为相对应点在无人机飞行前后间的全景图像中的成像部分。
只要公式(18)中的σ1，σ2均满足大于零的约束，则对应的R，t即为惟一正确解。
对于无人机周边环境的3D建模，本发明通过全景激光截面法对垂直于飞行器主体部分的中轴线的截面全景扫描面的3D测量结果进行拼接，最后进行纹理映射，实现无人机周边环境的自动3D建模；三角格网是将空间中的离散点云用三角面片构建成物体表面的方法，获取空间物点的点云数据的过程是处理每一帧的全景切片图像，所得到的点云数据是规则排列的；这里采用三角格网模型来进行三维重构，并将全景图像中的纹理映射到3D模型中。
进一步，利用全景激光截面法进行无人机的避障，对于无人机避障控制只是在无人机有垂直于Z轴方向运动时才激活；通过全景激光截面法获得以无人机为中心的周边全景图像，如图13所示；采用全方位避障策略对障碍物进行避障，该避障策略是直接根据主动式全景视觉传感器采集到的全景环境信息进行可行性方向评估，选择一个最优可行方向实现避障；以无人机为中心设置圆形活动窗口将无人机飞行方向均匀分为360个候选方向，定义无人机正对方向角为α0，右偏离角度方向为正，左偏离角度方向为负，绝对值大于90°情况表示无人机向后退。同时，进一步根据无人机中心与障碍物距离不同将每个扇面再分割为6层，其中最外层为影响层，即第6层，最内层是保护层，即第1层，如果障碍物进入该层并处在移动无人机前行方向时，激活反射式行为，直接后退或停止。
当面激光扫描在障碍物上时，障碍物上的每一个激光点在全方位图像上的投影点都对应着全方位避障窗口极坐标系中的一个坐标(R，α)。从图13可以看出主动式全景视觉传感器检测到障碍物A的方位角位于α33～α68，距离处在第2～6层之间；障碍物B方位角位于α-20～α-52，距离处在第3～5层之间。在移动无人机飞行环境中，每个障碍物都会造成一个不可通过区域，通过障碍物的左右边界根据公式(19)可以求出由此障碍物造成的不可通过区域的左边界和右边界。障碍物的左右边界所在方向的角度用αil和αir表示，障碍物左右边界处在层面用lil和lir表示，考虑到移动无人机的自身宽度大小，取η＝∠POM，用公式(19)计算不可通过区域的左右边界：
综合各个障碍物造成的不可通过区域，由公式(20)可以得到无人机可飞行的候选方向集合，
式中，Γ为集合[α-180,α-179,…,α0,…,α178,α179]，k表示障碍物的编号。
为了从无人机可飞行的候选方向集合{αi}中找出移动无人机下一时刻的最佳方向，设计了对各候选方向的评估函数：
g(αi)＝μ1×Δ(αi,kg)+μ2×Δ(αi,kr) (21)
式中，αi表示待评估的方向。Δ(αi,kg)表示αi方向与目标方向的夹角，Δ(αi,kr)表示αi方向和航向的夹角。μ1和μ2分别为目标方向和无人机航向的权值，由实验决定，在本发明中μ1和μ2分别设置为0.8和0.2。计算每一个候选方向αi的g(αi)，选取最小值的方向为无人机控制的飞行方向。
本发明的有益效果主要表现在：
1)提供了一种高性价比的、轻型的、能快速并高精度获得360°环境空间全景立体信息的主动式全景视觉传感器；
2)提供了一种新型无人机3D全景视觉装置；
3)提出了一种无人机快速避障方法；
4)提供了一种对未知环境的三维同步定位、全景3D测绘和3D建模方法，尤其适用于洞窟内等比较狭窄半封闭空间的3D建模。
附图说明
图1为一种全方位视觉传感器的结构图；
图2为凹面镜反射成像原理图；
图3为凹圆弧镜面的正视图；
图4为全景激光光源的结构图；
图5为一种主动式全景视觉传感器的结构图；
图6为主动式全景视觉传感器获取的激光投射全景图；
图7为一种四旋翼无人机；
图8为一种新型的无人机3D全景视觉装置；
图9为通过SFM算法确定无人机的运动轨迹及3D建模的流程图；
图10为主动式全景视觉传感器的运动估计处理流程图；
图11为全方位视觉传感器的成像原理图；
图12为无人机周边环境障碍物的空间点云计算说明；
图13为无人机避障原理说明图；
图14为新型的无人机3D全景视觉装置所获取的全景视频原始图像实例图；
图15全景视频图像的柱状展开图。
具体实施方式
下面结合附图对本发明作进一步描述。
实施例1
参照图1～15，一种新型的无人机3D全景视觉装置主要包括飞行器主体部分、3D全景视觉装置和飞行控制机地面站控制系统部分。3D全景视觉装置固定安装在飞行器主体部分中部，3D全景视觉装置的中轴线与飞行器主体部分的中轴线重叠，如图8所示。
飞行器主体部分采用四旋翼飞行器的结构，如图7所示；考虑到机身自重、强度，机身采用全碳纤结构，由中心板、机臂和起落架组成。中心板成正四边形，四个机臂分布于中心板四边形的定点处。机身材料采用2.0mm厚度3K全碳板加工而成，配合航空铝合金管夹和碳纤管组合而成。在各个机臂末端安装电机与螺旋桨，电机采用机臂上安装有电子调速器，中心板上安装有飞行控制器及其附属设备。
考虑到需要满足飞行器载重和续航时间的要求，选择的主要电子器件如下：1)电机：盘式无刷电机，定子尺寸48MM幸2MM，配合1447螺旋桨，单个电机全油门拉力为2260克，功率355瓦，力效6.4克每瓦。2)电子调速器：持续工作电流30安，瞬间最大电流45安，持续10秒。3)电池：6S锂电池，电压22.2V，最大放电倍率20～25C，单体内阻1.2毫欧，重量1400克；在该配置下，无人机最大起飞重量8千克，巡航飞行的时间15分钟。
3D全景视觉装置主要包括主动式全景视觉传感器、嵌入式设备和电源。嵌入式设备中包括图像获取模块，无线图像传输模块，地面监视器等。主要功能是获取稳定，高清的场景航拍全景图像，并实时传输给地面监视器。
主动式全景视觉传感器内置WiFi无线通信。它的特点是体积小、重量轻、直接拍摄全景，非常适合对重量较为敏感、航拍摄像面大的航拍应用。
无线图像传输模块，定向天线和监视器，使得地面人员可以实时观察到飞行器飞行中图像获取的内容，以便于控制人员对飞行器做出相应的控制。图像传输设备工作频率为1.2GHz，该频段的信号，跨越障碍的能力出色，与其他频段干扰少。
无线数据通信模块保证了飞行器和地面控制系统之间的数据交换，同时定向天线可以进一步加强图像传输的信号，使得地面监视器不会出现信号干扰和中断的情况。
3D全景视觉装置主要包括无线通信单元、主动式全景视觉传感器和电源；本发明是让无人机携带3D全景视觉装置对周边环境进行视觉检测和建模。
无人机负重能力与3D全景视觉装置的重量匹配的计算：无线通信单元，其重量<10g，有效通信距离5km；主动式全景视觉传感器，其重量<200g，成像分辨率为300万像素；电源，其重量50g；这三者重量的总和为260g。
主动式全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和LED带光源；全方位视觉传感器与全景激光光源进行同轴固定连接，LED带光源环绕在全方位视觉传感器的下固定座上；为了满足轻量化和低成本设计要求，全方位视觉传感器与全景激光光源中的部件采用塑料模具压制生产。
为了最大限度获取无人机周边环境高质量的全景图像，要求全方位视觉传感器的垂直视场尽可能大些，成像的全景图像更便于进行3D测量与3D建模；根据周边环境的3D测量及3D建模的要求，对全方位视觉传感器的折反射镜面的光学成像后的全景图像的测量数据能方便计算，垂直视场角度尽可能大，同时要尽可能减少畸变，并具有较高的检测精度。
折反射镜面的垂直剖面设计为凹圆弧曲线，如图2所示，根据光学反射原理，得到以下几个公式；
δ＝2θ+r'-π (2)
式中，r为入射光束的高度，r'为入射光束的角度，δ为反射光束的角度，R为反射镜面的圆弧半径，α为入射光束的入射角，θ为反射镜面圆弧曲线的切线角。对于选定的固定焦距的摄像机，反射光束的角度δ只有在一个固定的范围内才能在成像芯片上成像；也就是说，入射光束的高度和角度只有满足一定条件才能在成像芯片上成像。
全方位视觉传感器的折反射镜面是将凹圆弧的曲线环绕对称轴一周而形成的，如图11所示。这种设计便于塑料模具成型加工，全景成像的畸变小，水平成像范围为360°，垂直成像范围接近90°，并且成像清晰度与物点距离远近无关；这些特性非常适合于航拍视觉装置。
主动式3D立体全景视觉传感器，如图12所示，将实际物理空间坐标系建立在全景激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示；全景图像坐标系建立在全景图像的中心，坐标值分别用u、v表示；折反射镜面的坐标系建立在凹圆弧的中心，坐标值分别用X'、Y'表示。
为了对空间环境及物体进行3D测量，需要对全方位视觉传感器进行标定，标定的目的是从成像平面上的点p(u',v')上找出入射光束的高度r和入射光束的角度的r'对应关系，用公式(5)表示；
式中，p(u',v')是全景成像平面上的一个点，r为入射光束的高度，r'为入射光束的角度，f(…)和g(…)分别表示函数关系。
全方位视觉传感器包括凹圆弧镜面2、凹圆弧镜面盖1、透光玻璃3、固定螺钉4、外罩5和摄像单元7；如图1所示，凹圆弧镜面2的轴心线上开有一个螺纹孔；透光玻璃的中心开有一个小孔；外罩5由两个半圆柱型相合而成，半圆柱型上的雌雄扣6相配合。装配时首先将透光玻璃3嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；外罩5下部开有一个摄像镜头孔；接着用固定螺钉穿过透光玻璃3的小孔与凹圆弧镜面2上的螺纹孔进行连接；摄像单元7的镜头固定在外罩摄像镜头孔中；凹圆弧镜面盖中心开有一个小孔8。
如图4所示，全景激光光源，包括圆锥形镜面11、透明外罩12、圆圈形激光发射器13和底座14，圆圈形激光发射器13固定在底座14上，圆圈形激光发射器13的发射光轴心线与底座14轴心线一致，圆锥形镜面11固定在透明外罩12的一端，固定着圆圈形激光发射器13的底座14固定在透明外罩12的另一端；圆圈形激光发射器13发射出来的圆圈激光通过圆锥形镜面11的反射产生垂直于轴心线的全景激光；全景激光的颜色为红色；圆锥形镜面11的背面开有一个螺纹孔15。
全方位视觉传感器和全景激光光源的固定连接步骤是：螺钉穿过凹圆弧镜面盖1上的小孔8后对准圆锥形镜面11的背面的螺纹孔15并旋紧；然后将凹圆弧镜面盖1与凹圆弧镜面2进行搭扣连接；通过上述连接将全方位视觉传感器和全景激光光源装配成主动式全景视觉传感器，如图5所示。
如图12所示，全景激光投射到空间物点P(x,y,z)经全方位视觉传感器的凹圆弧镜面反射在成像平面上成像，得到带有全景激光信息的全景图像。根据标定结果，从全景图像上的点p(u',v')获得该点光束高度r和角度r'；为了计算出空间物点P(x,y,z)空间坐标值，这里将实际空间坐标系建立在全景激光投射面与对称轴的交点上，建立圆柱形坐标系；根据设计，凹圆弧镜面的圆弧中心O(B,-H)，其中B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离；根据几何关系用公式(6)计算空间物点到空间坐标系原点的距离PR，
式中，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离，B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，r为全景激光在空间物点的反射光束在凹圆弧镜面的高度，r'为全景激光在空间物点的反射光束的角度，R为凹圆弧镜面的曲率半径，PR为空间物点到空间坐标系原点的距离。
在实际航拍摄像测量过程中，无人机携带着主动式全景视觉传感器飞行，随着无人机的飞行，全景激光光源为周边环境提供垂直于飞行器主体部分的中轴线的截面全景扫描光，全方位视觉传感器获取全景激光扫描的切片图像，如图14所示；接着，需要在全景激光扫描的切片图像上解析出激光投影位置信息。本发明将上述处理过程称为全景激光截面法；
在全景激光截面法中采用对光照敏感程度较小的HSI颜色模型进行激光投射点的检测；主动全景投影激光提取算法如下：
Step1:获取具有激光信息的全方位图像；
Step2:遍历图像上每一个像素点的r,g,b颜色信息；
Step3:将每一个点的r,g,b颜色信息转换成HSI颜色模型；
Step4:根据每一个像素点的I分量，获取全方位图像的总亮度，进而求出全方位图像的平均亮度；
Step5:以平均亮度的1.5倍作为激光提取的亮度阈值T，根据每个像素点的I值的范围I>T作为激光提取的亮度约束条件；
Step6:根据每个像素点的H值的范围0<H<60&&350<H<360作为激光提取的色度约束条件；
Step7:根据每个像素点的S值的范围0<S<40作为激光提取的饱和度约束条件；
Step8:当激光点同时满足Step5、Step6和Step7三个约束条件时，提取出该激光点，当不满足任一约束条件时，则舍去；同时遍历下一个像素点；若一幅图像全部遍历完成，则转到Step1，获取下一幅航拍全景图像继续解析激光投射点。
进一步，针对全景图像的成像特点，对得到的周边环境全景图采用环形遍历的方式，如图6所示，以全景图像的中心位置为圆心，以相等的间隔角度以方位角β从0°→360°进行遍历，根据公式(6)计算得到用圆柱形坐标系表示的周边环境实际空间点云几何数据；用公式(7)将用圆柱形坐标系表示的周边环境及物体内部实际空间点云几何数据转化为用笛卡尔坐标系表示的周边环境及物体内部实际空间点云几何数据P(x,y,z)；
式中，PR为空间物点到坐标系原点的距离，β为方位角；
为了对无人机周边环境进行3D建模，需要对携带着3D全景视觉装置的无人机的运动进行估计；这里将检测坐标系建立在全景激光投射面与对称轴的交点上，使用SFM算法，即运动的结构重建算法，对无人机的运动进行估计，得到测量点坐标变换的信息。
具体无人机周边环境3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计无人机的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计无人机的运动，用非线性估计方法重新估算无人机的运动。
特征点的提取和跟踪：为了在全方位图像序列中获得图像之间的对应点，首先在第一帧图像中提取特征点，然后沿着图像序列跟踪这些特征点；跟踪特征点采用SIFT算法，即尺度不变特征变换算法；然而，实际上全方位图像的畸变和投影畸变会影响对应特征点采集和跟踪；这是因为现有的SIFT算法是一种全局的算法，全景视觉在全局范围内难以保证尺度不变特征变换条件，从而导致了误跟踪；为了提高SIFT算法的跟踪精度，这里根据无人机在空间飞行的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，无人机在飞行过程中，相对应点是在某一个扇区范围内飞行的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点。
无人机的运动估计：为了估计无人机的运动，这里计算两个观测点，即两个不同位置的检测坐标系之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(8)表示；
其中，ri＝[xi,yi,zi]T，ri'＝[x'i,y'i,z'i]分别为两个全景图像中对应点的光线向量，将公式(8)转化成公式(9)；
ui Te＝0 (9)
其中，
ui＝[xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i]T (10)
e＝[e11,e12,e13,e21,e22,e23,e31,e32,e33]T (11)
式中，xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i分别表示两个全景图像中对应点的光线向量ri和ri'分量之间的乘积，式中，e11,e12,e13,e21,e22,e23,e31,e32,e33分别是矩阵e的元素。
通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(12)表示；
其中，U＝[u1,u2,…,un]T，本质矩阵E是以UTU的最小特征值的特征向量e进行计算获得的；
从本质矩阵E计算旋转矩阵R和平移向量t，由公式(13)所示，本质矩阵E由旋转矩阵R和平移向量t＝[tx,ty,tz]T，表示；
E＝RT (13)
这里T用下面矩阵表示。
从本质矩阵E计算旋转矩阵R和T一种方法是采用奇异值方法，即SVD方法，该方法属于数值运算方法；但是这种分解方法分解出的四组解间的几何意义并不直观，难以保证分解结果是惟一正确解，而且实时性欠佳；因此，还需要对无人机的运动进行再估计和尺度匹配方法处理。
无人机的运动再估计：用SVD方法从本质矩阵E来估计旋转矩阵R和平移向量T未必能得到良好的结果，这是因为在SVD方法中没有考虑图像中的各种错误。因此，需要重新估计无人机运动中所获取全景图像内的每个特征点的测量误差；这里使用光束平差法对无人机的运动进行重新估计；该方法的思想是将特征重投影误差总和最小化。
尺度匹配方法：由于SFM算法中仅仅是对输入的全景图像进行处理，并不包含任何尺度的信息；因此，通过SFM算法还不能确定2个观测点之间的距离|t|；然而，在全景激光截面法处理结果中包括了尺度坐标信息；因此，通过融合这两种处理方法的结果来实现尺度匹配。
首先，通过全景激光截面法测量一个空间物点的三维坐标；然后，用SFM算法测量同一点的三维坐标；最后，通过尽可能接近的三维坐标同一点来实现尺度匹配；
当同一点远离观察点时，用两种不同算法，即SFM算法和全景激光截面法，对同一点进行处理所得到的坐标值之间的最小偏差更为敏感；基于此，这里采用最小偏差坐标值之间的距离来计算尺度s'，如公式(15)所示；
式中，pk＝[xk,yk,zk]T表示全景激光截面法测量结果，pk'＝[xk',yk',zk']T表示SFM算法测量结果。
纹理映射：图9所示的是对无人机周边环境的建模过程；在对周边环境中的某一空间点进行3D测量后，随着无人机的飞行对周边环境中的下一个测量点进行3D测量；然后将各个全景激光截面的3D测量结果进行拼接；最后进行纹理映射，实现周边环境的自动3D建模。
对于无人机周边环境的3D建模，本发明通过全景激光截面法对垂直于飞行器主体部分的中轴线的截面全景扫描面的3D测量结果进行拼接，最后进行纹理映射，实现无人机周边环境的自动3D建模；三角格网是将空间中的离散点云用三角面片构建成物体表面的方法，获取空间物点的点云数据的过程是处理每一帧的全景切片图像，所得到的点云数据是规则排列的；这里采用三角格网模型来进行三维重构，并将全景图像中的纹理映射到3D模型中。
进一步，利用全景激光截面法进行无人机的避障，对于无人机避障控制只是在无人机有垂直于Z轴方向运动时才激活；通过全景激光截面法获得以无人机为中心的周边全景图像，如图13所示；采用全方位避障策略对障碍物进行避障，该避障策略是直接根据主动式全景视觉传感器采集到的全景环境信息进行可行性方向评估，选择一个最优可行方向实现避障；以无人机为中心设置圆形活动窗口将无人机飞行方向均匀分为360个候选方向，定义无人机正对方向角为α0，右偏离角度方向为正，左偏离角度方向为负，绝对值大于90°情况表示无人机向后退。同时，进一步根据无人机中心与障碍物距离不同将每个扇面再分割为6层，其中最外层为影响层，即第6层，最内层是保护层，即第1层，如果障碍物进入该层并处在移动无人机前行方向时，激活反射式行为，直接后退或停止。
当面激光扫描在障碍物上时，障碍物上的每一个激光点在全方位图像上的投影点都对应着全方位避障窗口极坐标系中的一个坐标(R，α)。从图13可以看出主动式全景视觉传感器检测到障碍物A的方位角位于α33～α68，距离处在第2～6层之间；障碍物B方位角位于α-20～α-52，距离处在第3～5层之间。在移动无人机飞行环境中，每个障碍物都会造成一个不可通过区域，通过障碍物的左右边界根据公式(19)可以求出由此障碍物造成的不可通过区域的左边界和右边界。障碍物的左右边界所在方向的角度用αil和αir表示，障碍物左右边界处在层面用lil和lir表示，考虑到移动无人机的自身宽度大小，取η＝∠POM，用公式(19)计算不可通过区域的左右边界：
综合各个障碍物造成的不可通过区域，由公式(20)可以得到无人机可飞行的候选方向集合，
式中，Γ为集合[α-180,α-179,…,α0,…,α178,α179]，k表示障碍物的编号。
为了从无人机可飞行的候选方向集合{αi}中找出移动无人机下一时刻的最佳方向，设计了对各候选方向的评估函数：
g(αi)＝μ1×Δ(αi,kg)+μ2×Δ(αi,kr) (21)
式中，αi表示待评估的方向。Δ(αi,kg)表示αi方向与目标方向的夹角，Δ(αi,kr)表示αi方向和航向的夹角。μ1和μ2分别为目标方向和无人机航向的权值，由实验决定，在本发明中μ1和μ2分别设置为0.8和0.2。计算每一个候选方向αi的g(αi)，选取最小值的方向为无人机控制的飞行方向。
实施例2
其余与实施例1相同，所不同的是从本质矩阵E计算旋转矩阵R和T方法；该方法是：首先，利用本质矩阵E秩2的属性求出无人机飞行前后间的平移量t，如公式(16)所示；
式中，eij为本质矩阵E的元素，Meij为eij的代数余子式；
进而求得满足约束||t||2＝1的两个平移量t1＝1，t2＝-1，其中，
然后，利用求解旋转矩阵方程组的方法求出无人机飞行前后间的旋转矩阵R；
将公式(17)代入到公式(13)计算旋转矩阵R，得到四组分解结果；最后，利用直接求取空间3D点成像深度的方法快速从四组分解结果中确定出满足空间3D点可见性约束的惟一正确解，计算方法如公式(18)给出；
式中，K'-1、K-1分别为全方位视觉传感器的内外参数矩阵的逆矩阵，σ1，σ2分别为相对应点在无人机飞行前后间的全景图像中的成像深度，通过全景激光截面法测量得到；RT为旋转矩阵R的转矩阵，t为平移向量，x，分别为相对应点在无人机飞行前后间的全景图像中的成像部分。
只要公式(18)中的σ1，σ2均满足大于零的约束，则对应的R，t即为惟一正确解。
实施例3
其余与实施例1相同，所不同的是直接从检测到无人机的运动轨迹进行空间环境的3D重构；如果在无人机上配置了GPS定位装置和高度传感器，那么就能从传感器直接获得无人机观测点的空间位置信息，无人机周边环境3D建模过程就不必进行无人机运动估计步骤，而直接利用测量点的全景点云数据和全景图像数据，并融合GPS定位装置和高度传感器的无人机空间位置信息进行3D建模。
Claims (9)
1.一种无人机3D全景视觉装置，其特征在于：所述无人机3D全景视觉装置包括飞行器主体部分、3D全景视觉装置和飞行控制机地面站控制系统部分；所述的3D全景视觉装置固定安装在所述的飞行器主体部分中部，所述的3D全景视觉装置的中轴线与所述的飞行器主体部分的中轴线重叠；
所述的飞行器主体部分采用四旋翼飞行器的结构；
所述的3D全景视觉装置主要包括主动式全景视觉传感器、嵌入式设备和电源；所述的嵌入式设备包括图像获取模块和无线图像传输模块；主要功能是获取稳定、高清的场景航拍全景图像，并实时传输给所述的飞行控制机地面站控制系统部分；
所述的主动式全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和LED带光源；所述的全方位视觉传感器与所述的全景激光光源中的部件采用塑料模具压制生产；
所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元；
所述的凹圆弧镜面的轴心线上开有一个螺纹孔；所述的透光玻璃的中心开有一个小孔；所述的外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；所述的外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接；所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中；所述的凹圆弧镜面盖中心开有一个小孔；
所述的全景激光光源，包括圆锥形镜面、透明外罩、圆圈形激光发射器和底座，圆圈形激光发射器固定在底座上，圆圈形激光发射器的发射光轴心线与底座轴心线一致，圆锥形镜面固定在透明外罩的一端，固定着圆圈形激光发射器的底座固定在透明外罩的另一端；圆圈形激光发射器发射出来的圆圈激光通过圆锥形镜面的反射产生垂直于轴心线的全景激光；所述的圆锥形镜面的背面开有一个螺纹孔；
所述的全方位视觉传感器与所述的全景激光光源进行同轴固定连接，LED带光源环绕在所述的全方位视觉传感器的下固定座上；
所述的3D全景视觉装置主要用于无人机周边环境及物体的3D测量和3D全景建模；
所述的无人机3D全景视觉装置采用全景激光截面法获取整个全景激光投射面所照射周边环境及物体的切片图像及空间坐标值；
在所述的全景激光截面法中采用对光照敏感程度较小的HSI颜色模型进行激光投射点的检测；主动全景投影激光提取算法如下：
Step1:获取具有激光信息的全方位图像；
Step2:遍历图像上每一个像素点的r,g,b颜色信息；
Step3:将每一个点的r,g,b颜色信息转换成HSI颜色模型；
Step4:根据每一个像素点的I分量，获取全方位图像的总亮度，进而求出全方位图像的平均亮度；
Step5:以平均亮度的1.5倍作为激光提取的亮度阈值T，根据每个像素点的I值的范围I>T作为激光提取的亮度约束条件；
Step6:根据每个像素点的H值的范围0<H<60&&350<H<360作为激光提取的色度约束条件；
Step7:根据每个像素点的S值的范围0<S<40作为激光提取的饱和度约束条件；
Step8:当激光点同时满足Step5、Step6和Step7三个约束条件时，提取出该激光点，当不满足任一约束条件时，则舍去；同时遍历下一个像素点；若一幅图像全部遍历完成，则转到Step1，获取下一幅航拍全景图像继续解析激光投射点；
进一步，针对全景图像的成像特点，对得到的周边环境全景图采用环形遍历的方式，以全景图像的中心位置为圆心，以相等的间隔角度以方位角β从0°→360°进行遍历，根据公式(6)计算得到用圆柱形坐标系表示的周边环境实际空间点云几何数据；用公式(7)将用圆柱形坐标系表示的周边环境及物体内部实际空间点云几何数据转化为用笛卡尔坐标系表示的周边环境及物体内部实际空间点云几何数据P(x,y,z)；
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>x</mi>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>R</mi>
</msub>
<mo>&times;</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>y</mi>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>R</mi>
</msub>
<mo>&times;</mo>
<mi>cos</mi>
<mi>&beta;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>z</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，PR为空间物点到坐标系原点的距离，β为方位角。
2.如权利要求1所述的无人机3D全景视觉装置，其特征在于：所述的全方位视觉传感器为360°水平全景成像及尽可能大的垂直视场和成像焦距与成像距离无关，所述的全方位视觉传感器的采用塑料模具成型加工；
所述的全方位视觉传感器的折反射镜面的垂直剖面为凹圆弧曲线，根据光学反射原理，得到以下几个公式；
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<mi>&theta;</mi>
<mo>+</mo>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mfrac>
<mi>&pi;</mi>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
δ＝2θ+r'-π (2)
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>r</mi>
<mi>R</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mo>=</mo>
<mn>2</mn>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mi>r</mi>
<mi>R</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mi>&pi;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，r为入射光束的高度，r'为入射光束的角度，δ为反射光束的角度，R为反射镜面的圆弧半径，α为入射光束的入射角，θ为反射镜面圆弧曲线的切线角；
全方位视觉传感器的折反射镜面由凹圆弧的曲线环绕对称轴一周而形成的。
3.如权利要求1或2所述的无人机3D全景视觉装置，其特征在于：3D全景视觉装置的主动式3D立体全景视觉传感器，将实际物理空间坐标系建立在全景激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示；全景图像坐标系建立在全景图像的中心，坐标值分别用u、v表示；折反射镜面的坐标系建立在凹圆弧的中心，坐标值分别用X'、Y'表示；
为了对空间环境及物体进行3D测量，需要对全方位视觉传感器进行标定，标定的目的是从成像平面上的点p(u',v')上找出入射光束的高度r和入射光束的角度的r'对应关系，用公式(5)表示；
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>(</mo>
<msup>
<mi>u</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>v</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>(</mo>
<msup>
<mi>u</mi>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<mi>v</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，p(u',v')是全景成像平面上的一个点，r为入射光束的高度，r'为入射光束的角度，f(…)和g(…)分别表示函数关系。
4.如权利要求1所述的无人机3D全景视觉装置，其特征在于：无人机的周边环境及物体的3D测量，为了计算出无人机周边环境及物体上的点P(x,y,z)空间坐标值，设凹圆弧镜面的圆弧中心O(B,-H)，其中B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离；根据几何关系用公式(6)计算周边环境及物体内壁上的点到空间坐标系原点的距离PR，
<mrow>
<msub>
<mi>P</mi>
<mi>R</mi>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mi>H</mi>
<mo>-</mo>
<mi>r</mi>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mo>-</mo>
<msqrt>
<mrow>
<msup>
<mi>R</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>)</mo>
</mrow>
<mi>tan</mi>
<mi> </mi>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>&rsqb;</mo>
<mi>tan</mi>
<mi> </mi>
<msup>
<mi>r</mi>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，H为凹圆弧镜面的圆弧中心到全景激光投射面的垂直距离，B为凹圆弧镜面的圆弧中心到圆柱形坐标系轴线的距离，r为全景激光在空间物点的反射光束在凹圆弧镜面的高度，r'为全景激光在空间物点的反射光束的角度，R为凹圆弧镜面的曲率半径，PR为空间物点到空间坐标系原点的距离。
5.如权利要求1所述的无人机3D全景视觉装置，其特征在于：对无人机周边环境进行3D建模，需要对携带着3D全景视觉装置的无人机的运动进行估计；将检测坐标系建立在全景激光投射面与对称轴的交点上，使用SFM算法，即运动的结构重建算法；无人机的运动由旋转矩阵R和平移向量t进行描述，即从相邻两帧的全景图像对无人机的运动进行估计，得到无人机的运动轨迹信息；最后根据运动轨迹及全景激光投射面所获得的几何信息或者全景图像对无人机周边环境进行3D建模；
具体无人机周边环境3D建模过程如下：首先，全方位视觉传感器获得其运动过程中的全方向图像序列；然后利用SFM算法提取和跟踪特征点，以获得全方向图像序列中的相对应点；接着用线性估计方法估计无人机的运动，主要利用对应点在每个观测点拍摄的两个图像的位置；最后为了更精确地估计无人机的运动，用非线性估计方法重新估算无人机的运动。
6.如权利要求5所述的无人机3D全景视觉装置，其特征在于：特征点的提取和跟踪，为了提高SIFT算法的跟踪精度，这里根据无人机在空间飞行的运动特征，将对应特征点采集和跟踪规定在一个局部范围内，即通过划分跟踪扇区方法；该方法是基于在全方位图像序列中的两帧之间相对应点的空间位置是不会发生突变的假设，无人机在飞行过程中，相邻两帧图像中的相对应点基本上是在某一个扇区范围内飞行的；有了扇区约束条件来提高SIFT算法的跟踪精度；具体实现方法是：在第N帧图像中提取特征点，然后在第N+1帧图像中的同一扇区内跟踪同一特征点。
7.如权利要求6所述的无人机3D全景视觉装置，其特征在于：为了估计无人机的运动，计算两个观测点，即两个不同位置的检测坐标系之间的相对位置和方位的差异信息的基本矩阵；本质矩阵E用公式(8)表示；
<mrow>
<msubsup>
<mi>r</mi>
<mi>i</mi>
<mrow>
<mo>&prime;</mo>
<mi>T</mi>
</mrow>
</msubsup>
<msub>
<mi>Er</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ri＝[xi,yi,zi]T，ri'＝[x'i,y'i,z'i]分别为两个全景图像中对应点的光线向量，将公式(8)转化成公式(9)；
ui Te＝0 (9)
其中，
ui＝[xix'i,yix'i,zix'i,xiy'i,yiy'i,ziy'i,xiz'i,yiz'i,ziz'i]T (10)
e＝[e11,e12,e13,e21,e22,e23,e31,e32,e33]T (11)
通过对8组相应的光线向量r求解联立方程获得本质矩阵E，计算方法用公式(12)表示；
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>e</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>U</mi>
<mi>e</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，U＝[u1,u2,…,un]T，本质矩阵E是以UTU的最小特征值的特征向量e进行计算获得的；
从本质矩阵E计算旋转矩阵R和平移向量t，由公式(13)所示，本质矩阵E由旋转矩阵R和平移向量t＝[tx,ty,tz]T，表示；
E＝RT (13)
这里T用下面矩阵表示；
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>z</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>t</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>t</mi>
<mi>z</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>t</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<msub>
<mi>t</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
从本质矩阵E计算旋转矩阵R和T采用奇异值方法，即SVD方法；
为了获得无人机运动的更高估计精度，使用光束平差法对无人机的运动进行重新估计。
8.如权利要求7所述的无人机3D全景视觉装置，其特征在于：通过融合全景激光截面法和SFM算法两种处理方法的结果来实现尺度匹配；
算法具体步骤是：
STEP1：通过全景激光截面法测量一个周边环境的三维坐标；
STEP2：用SFM算法测量同一点的三维坐标；
STEP3：通过采用最小偏差坐标值之间的距离来计算尺度s'，如公式(19)所示；
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>s</mi>
<mo>&prime;</mo>
</msup>
<msup>
<msub>
<mi>p</mi>
<mi>k</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>19</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，pk＝[xk,yk,zk]T表示全景激光截面法测量结果，pk'＝[xk',yk',zk']T表示SFM算法测量结果。
9.如权利要求1所述的无人机3D全景视觉装置，其特征在于：通过全景激光截面法对狭长周边环境及物体的横断面的3D测量结果进行拼接，最后还需要进行纹理映射，实现狭长周边环境的自动3D建模；三角格网是将空间中的离散点云用三角面片构建成物体表面的方法，获取周边环境横截面的点云数据的过程是处理每一帧的全景切片图像，所得到的点云数据是规则排列的；这里采用三角格网模型来进行三维重构，并将全景图像中的纹理映射到3D模型中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510392627.0A CN105203084B (zh) | 2015-07-02 | 2015-07-02 | 一种无人机3d全景视觉装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510392627.0A CN105203084B (zh) | 2015-07-02 | 2015-07-02 | 一种无人机3d全景视觉装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105203084A CN105203084A (zh) | 2015-12-30 |
| CN105203084B true CN105203084B (zh) | 2017-12-22 |
Family
ID=54950895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510392627.0A Expired - Fee Related CN105203084B (zh) | 2015-07-02 | 2015-07-02 | 一种无人机3d全景视觉装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105203084B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104113733B (zh) * | 2014-07-25 | 2017-10-27 | 北京机械设备研究所 | 一种低慢小目标电视搜索探测方法 |
| CN105872467A (zh) * | 2016-04-14 | 2016-08-17 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机的实时全景影音无线分享方法及平台 |
| JP6519522B2 (ja) * | 2016-04-28 | 2019-05-29 | 三菱電機株式会社 | 飛行軌跡取得装置、飛行体 |
| CN106052647A (zh) * | 2016-05-09 | 2016-10-26 | 华广发 | 高空俯视360度全景二十四山罗盘定位技术 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
| CN107077145A (zh) * | 2016-09-09 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 显示无人飞行器的障碍检测的方法和系统 |
| CN106341667A (zh) * | 2016-11-10 | 2017-01-18 | 广西师范大学 | 基于无人机的三维全景视频远程监控系统及图像采集控制方法 |
| CN106647790A (zh) * | 2016-12-27 | 2017-05-10 | 重庆大学 | 面向复杂环境的四旋翼无人机飞行器系统及飞行方法 |
| CN106932780A (zh) * | 2017-03-14 | 2017-07-07 | 北京京东尚科信息技术有限公司 | 物体定位方法、装置和系统 |
| CN107330909A (zh) * | 2017-05-08 | 2017-11-07 | 上海交通大学 | 基于单应矩阵特性的纯旋转运动判定方法 |
| CN107274487A (zh) * | 2017-05-23 | 2017-10-20 | 武汉华高信息技术有限公司 | 安全飞行包线的估算方法 |
| CN108474658B (zh) * | 2017-06-16 | 2021-01-12 | 深圳市大疆创新科技有限公司 | 地面形态检测方法及系统、无人机降落方法和无人机 |
| CN113794840B (zh) | 2017-09-29 | 2023-05-19 | 深圳市大疆创新科技有限公司 | 一种视频处理方法、设备、无人机及系统 |
| CN107796360B (zh) * | 2017-09-30 | 2020-06-09 | 杭州艾航科技有限公司 | 一种基于无人机视频测量单管塔平板天线角度的方法 |
| SG11202009468WA (en) * | 2018-03-26 | 2020-10-29 | Univ Singapore Technology & Design | Aerial vehicles, methods of imaging a tunnel and methods of imaging a shaft |
| CN108629830A (zh) * | 2018-03-28 | 2018-10-09 | 深圳臻迪信息技术有限公司 | 一种三维环境信息显示方法及设备 |
| CN108415459A (zh) * | 2018-05-23 | 2018-08-17 | 宜昌快马仕网络科技有限公司 | 一种无人机绕目标点环绕飞行的控制方法及装置 |
| WO2020000479A1 (zh) * | 2018-06-30 | 2020-01-02 | 深圳市大疆创新科技有限公司 | 一种信息提示方法及控制终端 |
| CN108873944B (zh) * | 2018-09-18 | 2021-06-11 | 华北水利水电大学 | 超低空自适应定高飞行控制方法 |
| CN109541625B (zh) * | 2018-11-27 | 2020-10-09 | 中国农业大学 | 植保无人机飞行参数测量方法及系统 |
| CN109634279B (zh) * | 2018-12-17 | 2022-08-12 | 瞿卫新 | 基于激光雷达与单目视觉的物体定位方法 |
| CN109830194B (zh) * | 2019-04-03 | 2024-01-16 | 桐乡市乌镇鹰航科技有限公司 | 一种无人航空器灯光表演及广告营销交互系统及方法 |
| CN110363707B (zh) * | 2019-06-28 | 2021-04-20 | 西安交通大学 | 一种基于约束物虚拟特征的多视三维点云拼接方法 |
| CN112509116A (zh) * | 2020-11-26 | 2021-03-16 | 上海卫星工程研究所 | 全色相机对空间目标的模拟在轨成像方法和系统 |
| CN113124820B (zh) * | 2021-06-17 | 2021-09-10 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于曲面镜的单目测距方法 |
| CN114910051A (zh) * | 2021-06-17 | 2022-08-16 | 云展传播(武汉)有限公司 | 一种航拍测量系统及测量方法 |
| CN113534427A (zh) * | 2021-07-14 | 2021-10-22 | 西安粼粼光电科技有限公司 | 一种基于快速反射镜阵列的光学预警跟踪平台及工作方法 |
| CN114202614B (zh) * | 2021-12-03 | 2022-09-27 | 浙江省土地信息中心有限公司 | 一种不动产三维建模方法、系统、存储介质及智能终端 |
| CN114355972B (zh) * | 2021-12-27 | 2023-10-27 | 天翼物联科技有限公司 | 通信受限条件下的无人机护航方法、系统、装置及介质 |
| CN114964209B (zh) * | 2022-05-13 | 2023-05-09 | 天健极光(北京)科技发展有限公司 | 基于红外阵列成像的长航时无人机自主导航方法和系统 |
| CN114993293B (zh) * | 2022-07-28 | 2022-12-06 | 南京航空航天大学 | 室内弱纹理环境下移动无人系统同步定位与建图方法 |
| CN115683062B (zh) * | 2023-01-04 | 2023-03-10 | 北京新兴科遥信息技术有限公司 | 一种国土空间规划检测分析系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008153597A1 (en) * | 2006-12-06 | 2008-12-18 | Honeywell International, Inc. | Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles |
| GB201218963D0 (en) * | 2012-10-22 | 2012-12-05 | Bcb Int Ltd | Micro unmanned aerial vehicle and method of control therefor |
| CN103984357B (zh) * | 2014-05-30 | 2017-02-01 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行系统 |
| CN104457704B (zh) * | 2014-12-05 | 2016-05-25 | 北京大学 | 基于增强地理信息的无人机地面目标定位系统及方法 |
| CN204399470U (zh) * | 2014-12-25 | 2015-06-17 | 海鹰航空通用装备有限责任公司 | 四旋翼无人机机架及四旋翼无人机 |
-
2015
- 2015-07-02 CN CN201510392627.0A patent/CN105203084B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105203084A (zh) | 2015-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105203084B (zh) | 一种无人机3d全景视觉装置 | |
| CN111448476B (zh) | 在无人飞行器与地面载具之间共享绘图数据的技术 | |
| US10475209B2 (en) | Camera calibration | |
| CN110308457B (zh) | 一种基于无人机的输电线路巡检系统 | |
| WO2022170878A1 (zh) | 一种无人机测量输电线路影像距离的系统及方法 | |
| US10060746B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
| US11127202B2 (en) | Search and rescue unmanned aerial system | |
| CN117369489A (zh) | 碰撞规避系统、深度成像系统、交通工具、地图生成器及其方法 | |
| CN109697753B (zh) | 一种基于rgb-d slam的无人机三维重建方法、无人机 | |
| US20100305857A1 (en) | Method and System for Visual Collision Detection and Estimation | |
| CN111670339B (zh) | 用于无人飞行器和地面载运工具之间的协作地图构建的技术 | |
| Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
| Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
| US20210311504A1 (en) | Near real-time reconstruction using drones | |
| CN102190081A (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| Ivanovas et al. | Block matching based obstacle avoidance for unmanned aerial vehicle | |
| Florea et al. | Wilduav: Monocular uav dataset for depth estimation tasks | |
| Liu et al. | Visual driving assistance system based on few-shot learning | |
| CN204297108U (zh) | 直升机避障系统 | |
| CN116202489A (zh) | 输电线路巡检机与杆塔协同定位方法及系统、存储介质 | |
| WO2022083529A1 (zh) | 一种数据处理方法及装置 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| CN114353667A (zh) | 基于ar与无人机单目视觉的地面目标测量方法及其应用 | |
| CN115144879A (zh) | 一种多机多目标动态定位系统及方法 | |
| Nguyen et al. | Characteristics of optical flow from aerial thermal imaging,“thermal flow” |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171222 Termination date: 20210702 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |