CN110068306A

CN110068306A - 一种无人机巡查测度系统及方法

Info

Publication number: CN110068306A
Application number: CN201910321097.9A
Authority: CN
Inventors: 沈建明
Original assignee: Game Cool High-Tech (shenzhen) Co Ltd
Current assignee: Game Cool High-Tech (shenzhen) Co Ltd
Priority date: 2019-04-19
Filing date: 2019-04-19
Publication date: 2019-07-30

Abstract

本发明公开了一种无人机巡查测度系统及方法，一种无人机巡查测度系统，包括地表、无人机、数码相机、机载处理器、地面目标物，地表的顶端外壁行设置有地面目标物，所述地面目标物的上方飞行放置有无人机，无人机的内部安装有机载处理器，无人机的底端外壁上固定安装有数码相机；该发明，进行航空巡查和测度的创新方法，具有高精度、简单、快捷的优点；能根据两位置间的相对垂直高度和水平距离计算出航拍照片中的像素深度根据计算后的深度得出每一个像素的地面样本距离；根据图像像素地面样本距离数值去计算目标物体的几何性质，整体流程较为完善，能实现拍摄房顶的三维成型，能准确的获取测量目标的任何几何属性。

Description

一种无人机巡查测度系统及方法

技术领域

本发明涉及航空测量技术领域，具体为一种无人机巡查测度系统及方法。

背景技术

航空摄影和测度是无人机众多应用中的一项，例如建筑行业中检测建筑物屋顶难度比较大，损坏的房顶或烟囱很危险，因此屋顶检查十分必要，然而人工爬到屋顶检查房顶和烟囱的状况，不光繁琐昂贵，而且存在安全隐患；因此我们需要一个更安全且更经济的方式来做屋顶检查，目前的解决方案之一是通过载有传感器的无人机去进行监测，检查和测度，但现有的无人机拍摄绘侧技术还不够成熟，无法实现拍摄房顶的三维成型，无法准确的获取测量目标的任何几何属性。

发明内容

本发明的目的在于提供一种无人机巡查测度系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种无人机巡查测度系统，包括地表、无人机、数码相机、机载处理器、地面目标物，所述地表的顶端外壁行设置有地面目标物，所述地面目标物的上方飞行放置有无人机，所述无人机的内部安装有机载处理器，所述无人机的底端外壁上固定安装有数码相机。

一种无人机巡查测度系统的使用方法，包括以下步骤，步骤一，发射无人机；步骤二，拍摄第一图像；步骤三，拍摄第二图像；步骤四，保存拍摄高度位置；步骤五，计算位移数据；步骤六，投影图像；步骤七，计算密集深度图；步骤八，求解地面采样距离；步骤九，测量对象的几何特性；步骤十，无人机着陆；

其中上述步骤一中，工作者在地面目标物的上方发射无人机；

其中上述步骤二中，控制步骤一中发射的无人机飞往第一指定位置并且在停留在该位置通过数码相机拍摄地面目标物的第一图像；

其中上述步骤三中，在步骤二中拍摄第一图像后通过控制无人机飞往第二指定位置并且停留在该位置直到数码相机拍摄完成地面目标物的第二图像；

其中上述步骤四中，在步骤二和步骤三中无人机的飞行拍摄过程中，通过机载处理器记录步骤二中第一指定位置到地表的相对高度第一海拔高度，记录步骤三中第二指定位置到地表的相对高度第二海拔高度；

其中上述步骤五中，通过机载处理器计算第一指定位置和第二指定位置之间的相对高度镜头相对高度和从第一指定位置到第二指定位置的相对水平错位距离；

其中上述步骤六中，通过机载处理器计算步骤二和步骤三中无人机的垂直和水平位移镜头相对高度和相对水平错位距离，计算两个捕获图像之间的投影；

其中上述步骤七中，机载处理器通过上述步骤中收集的数据中获得调整后的立体图像；

其中上述步骤八中，通过机载处理器内的算法技术步骤六中立体图像的密集深度图；

其中上述步骤九中，再通过机载处理器基于中相机的深度和相对高度来求解图像中每个像素的地面采样距离GSD；

其中上述步骤十中，最后通过机载处理器根据上述的数据测量目标对象的任何几何属性。

根据上述技术方案，所述无人机的内部安装陀螺仪和加速计。

根据上述技术方案，所述无人机内的陀螺仪的读数无人机X，Y，Z轴的旋转速度。

根据上述技术方案，所述无人机内每个传感器数据上使用扩展卡尔曼滤波器EKF来降低噪声。

与现有技术相比，本发明所达到的有益效果是：该发明，进行航空巡查和测度的创新方法，具有高精度、简单、快捷的优点；本方法包括为：在目标物体上方放飞一个带有加速器，陀螺仪和照相传感器的无人机；在第一指定位置拍摄第一张航拍图；在第二指定位置拍摄第二张航拍图(第二指定位置与第一指定位置在水平和垂直方向均有位移)根据位置传感器的数据利用传感器融合预估算法来计算第一指定位置和第二指定位置之间的位移利用单镜头立体摄影测量学算法根据两位置间的相对垂直高度和水平距离计算出航拍照片中的像素深度根据计算后的深度得出每一个像素的地面样本距离(GSD)；根据图像像素地面样本距离数值去计算目标物体的几何性质，整体流程较为完善，能实现拍摄房顶的三维成型，能准确的获取测量目标的任何几何属性；利于屋顶的检查。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体系统结构示意图；

图2是本发明精确传感器融合高度预估方法和仪器的结构示意图；

图3是本发明照相机地面样本距离预估方法的结构示意图；

图4是本发明快捷双图像宽基线立体深度预估方法的结构示意图；

图5是本发明利用3D投射变换的单相机立体纠正方法的结构示意图；

图6是本发明使用方法的流程图；

图中：100、地表；102、无人机；104、数码相机；106、机载处理器；108、地面目标物；110、镜头相对高度；112、相对水平错位距离；114、第一海拔高度；116、第二海拔高度；120、第一指定位置；122、第二指定位置；410、第一图像；412、第二图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供一种技术方案：一种无人机巡查测度系统，包括地表100、无人机102、数码相机104、机载处理器106、地面目标物108，地表100的顶端外壁行设置有地面目标物108，地面目标物108的上方飞行放置有无人机102，无人机102的内部安装有机载处理器106，无人机102的底端外壁上固定安装有数码相机104；

请参阅图6，一种无人机巡查测度系统的使用方法，包括以下步骤，步骤一，发射无人机；步骤二，拍摄第一图像；步骤三，拍摄第二图像；步骤四，保存拍摄高度位置；步骤五，计算位移数据；步骤六，投影图像；步骤七，计算密集深度图；步骤八，求解地面采样距离；步骤九，测量对象的几何特性；步骤十，无人机着陆；

其中上述步骤一中，工作者在地面目标物108的上方发射无人机102；

其中上述步骤二中，控制步骤一中发射的无人机102飞往第一指定位置120并且在停留在该位置通过数码相机104拍摄地面目标物108的第一图像410；

其中上述步骤三中，在步骤二中拍摄第一图像410后通过控制无人机102飞往第二指定位置122并且停留在该位置直到数码相机104拍摄完成地面目标物108的第二图像412；

其中上述步骤四中，在步骤二和步骤三中无人机102的飞行拍摄过程中，通过机载处理器106记录步骤二中第一指定位置120到地表100的相对高度第一海拔高度114，记录步骤三中第二指定位置122到地表100的相对高度第二海拔高度116；

其中上述步骤五中，通过机载处理器106计算第一指定位置120和第二指定位置122之间的相对高度镜头相对高度110和从第一指定位置120到第二指定位置122的相对水平错位距离112；

其中上述步骤六中，通过机载处理器106计算步骤二和步骤三中无人机102的垂直和水平位移镜头相对高度110和相对水平错位距离112，计算两个捕获图像之间的投影；

其中上述步骤七中，机载处理器106通过上述步骤中收集的数据中获得调整后的立体图像；

其中上述步骤八中，通过机载处理器106内的算法技术步骤六中立体图像的密集深度图；

其中上述步骤九中，再通过机载处理器106基于中相机的深度和相对高度来求解图像中每个像素的地面采样距离GSD；

其中上述步骤十中，最后通过机载处理器106根据上述的数据测量目标对象的任何几何属性；

图2展示了本文中提到的高精度利用传感器融合技术估算相关高度的首选原型仪器和方法。和利用单一数据估算相比，传感器融合技术集合了不同来源的数据来呈现更精确的估计值；无人机会被控制飞往第一指定位置120并且在停留在该位置直到数码相机104拍摄完成地面目标物108的第一张照片。第一指定位置120在地面目标物108上方。第一指定位置120到地表100的相对高度，或者说第一海拔高度114；然后无人机102会飞去第二指定位置122并且停留在该位置直到数码相机104拍摄完成地面目标物108的第二张照片；第二指定位置(122)也在地面目标物108上方；第二指定位置122到地表100的相对高度，或者说第二海拔高度116；第一指定位置120和第二指定位置122之间的相对高度，或者说镜头相对高度110；从第一指定位置120到第二指定位置122的相对水平错位距离112；随着无人机102从第一指定位置120飞往第二指定位置122，机载陀螺仪和加速度计传感器的读表将会读取实时频率1/T，也就是刷新率，并且保存到存储中。假设所有从陀螺仪中读取的读数都显示为Gk(k＝1，2，3，，…..N)，N为无人机102飞到第二指定位置122的最后读取指数。所有加速度计的读数都显示为Ak(k＝1，2，3，…….N)，读数的范围从1Hz到1000Hz，一般速率为100Hz；陀螺仪的读数代表无人机102沿X，Y，Z轴旋转速度。Gx，Gy，Gz是三个输出矢量代表每秒弧度的旋转速度。Gxyz读数在任何时刻都可能不同。从时间间隔dtk到k+1，根据Gk和Gk+1读数，转角Rk可以由c*Gk*dtk，k+1估算出；从tk1到tk2的总旋转角度R可以由加总每次间隔的所有回转角度Rk＝c*Gk*dtk，k+1来估算，其中k＝1，2，3，……N和c是常数；加速度计读数为无人机102沿X，Y和Z轴移动的加速度，Ax，Ay和Az是三个加速度输出向量，单位是米每平方秒。Ax、Ay和Az读数在任何时候都可能不同；从时间间隔dtk到k+1，根据Ak和Ak+1读数速度Sk可以由c*Ak*dtkk+1来估计；从tk1到tk2的总速度S可以加总每次间隔的所有速度Sk＝c*Ak*dtk，k+1来估算，其中k＝1，2，3，...，N和c是一个常数；同理，从时间间隔dtk到k+1根据Sk和Sk+1，位移Dk可以由c*s_k*dt_k，k+1＝c*A_k*(dt_k，k+1)²估算出。从tk1到tk2的总位移D可以通过加总每次间隔的所有位移D_k＝c*S_k*dt_k，k+1＝c*A_k*(dt_k，k+1)²来估计，其中k＝1，2，3，…，N和c是常数，当无人机102位于第一指定位置120时，相机镜头的中心轴指向地面，此时空间矢量208VL1＝(V1x，V1y，V1z)。地面空间矢量Vg1＝(0，0，g)，其中g是地球的重力加速度为9.8牛顿每平方秒；矢量指向地心；因此，我们可以导出两个矢量之间的夹角210BL1：

BL1＝arccos((VL1*Vg1)/(||VL1||*||Vg1||)

同理，在第二指定位置处的相机镜头中心轴向量(206)VL2＝(VNx，VNy，VNz)与地面空间矢量BL2＝Vg2＝(0，0，g)镜头相对高度110之间的空间角度(204)为：

BL2＝arccos(VL2*Vg2)/(||VL2||*||Vg2||)

VL1和VL2之间的空间角BL12是arccos((VL1*VL2)/(||VL1||*||VL2||)。所以||BL12||将是总旋转角度R，即之前根据陀螺仪传感器数据计算和测量的结果；矢量VL1还与第一指定位置(120)处的加速计传感器的另一矢量相关；该矢量由加速度计在第一指定位置120在X，Y，Z轴读取的Ax1、Ay1和Az1形成；所以AL1＝(Ax1，Ay1，Az1)；同理，VL2由加速计在第二指定位置122处的读数形成的矢量AL2＝(Ax2，Ay2，Az2)相关；在本文的一个实例中，VL1＝AL1，VL2＝AL2；在本文的又一个实例方案中，VL1＝c*AL1。VL2＝c*AL2，其中c是常数；然而，陀螺仪和加速度计信号和读数都易于产生噪声和漂移，导致难以精确追踪方向和位置。例如，依赖于来自陀螺仪或加速度计的独立测量跟踪系统很可能因为漂移导致10秒后1米的定位误差。本文使用三种方法来提高准确性。第一种是在每个传感器数据上使用扩展卡尔曼滤波器(EKF)来降低噪声；第二种方法是利用传感器融合算法组合多个传感器；第三种方法是大幅度缩短整体操作时间，从而减少产生漂移的时间，例如，在一秒钟内完成测量操作；根据上文所述，用传感器融合方法来测量或估计两个位置之间的相对高度更精确的方法可以是：(1)收集来自加速度计和陀螺仪传感器的高刷新率读数；(2)将筛选过得加速度计数据与筛选过的陀螺仪数相结合。该算法结合了加速度计和陀螺仪传感器测量数据，以提高测量精度。下面详细描述这种算法的一个示；传感器的刷新率或读数率越高，测量结果就越准确。典型的读数速率为100Hz，这意味着传感器数据每秒读数100次。高端传感器的读数速率为1000Hz有的甚至可以达到4000Hz。例如，如果在本文提到的的无人机算法中使用4000Hz刷新速率加速度计，那么理论上高度测量可以精确到2mm以内；假设无人机102载从第一指定位置120开始，此时相机光轴矢量为VL1(V1x，V1y，V1z)。在无人机102以相机光轴矢量VL2(V2x，V2y，V2z)到达第二指定位置122之前，我们从陀螺仪和加速度计存储器中收集所有读数。在任何时间点tk，矢量是陀螺仪读数；是加速度计读数；

图3展示了本文中相机地面采样距离(GSD)估计方法的示例。无人机102载有数码相机104。假设相机传感器302的尺寸为D_c，相机镜头的焦距为f_c；相机图像分辨率为WxH像素。第一海拔高度114是从相机镜头308到地表100。第一海拔高度114的GSD计算如下：

因此GSD与无人机(102)离地表100的高度成比例；如果数码相机104不完全垂直于地表100，则图像两侧的GSD将会根据从物体位置到相机镜头308的距离有细微差别。

图4展示出了本文提到的基于两个图像来快速估算深度的方法示例一旦准确估计了相对高度差镜头相对高度110和两个第一指定位置120和第二指定位置122之间的相对水平错位距离112，我们就可以尝试估计目标对象408点上的深度信息。在本文中的示例中，我们可以使用本文中讨论的基于两个图像来快速估算深度的立体匹配算法，目标物体408的第一图像410是由无人机相机捕获的第一指定位置120；目标物体408的第二图像412是由无人机相机捕获的第二指定位置122；第一图像410的像素404对应于第一图像410中的点408；第二图像412的像素406对应于第二图像412中的点408。第一图像410的像素406对应于其在第一图像410中的位置。第一图像410中的像素位置404和像素位置406之间的差异在立体视觉中被称为视差402P.然后，依照以下公式来根据视差402P的估计量来估计点408的深度信息Z：

图4展示了当无人机数码相机(104)分别在第一指定位置120和第二指定位置122处的两次拍摄之间相机方向完全对齐时候的情况。因此，捕获的两个图像被认为是被整流的，并且不需要进一步修改来计算3D像素深度信息；为了使用上面的公式来计算图像中每个像素的深度，必须首先计算来自图像对的每个像素的视差402；视差402估算从立体匹配过程开始。立体匹配的整体思路是找到两个输入图像之间的对应关系。在本文的一个实施例中，通过检查两个点周围的邻域N个像素的块(n×n)来确定两个点之间的对应关系。

SAD＝Σ_x∈N|L(x)-R(x)|

具有最低绝对差之和的配对被选择为对应点对。实际上，匹配块位于图像中的每个像素；图像平面上的点的位置的相对区别是该点的视差402。由于假设是在一维空间内，这些视差402可以形成与图像大小相同的2D图像。这本质上是一种类似视频压缩(也称为运动估计)的匹配块方案，只是在本文中的搜索空间约束为只有水平(具有某些假设)；匹配块大小是影响估计结果的最重要参数之一；较小的块可以匹配更精细的细节，但更容易出错，而较大的块就越稳定，但缺失细节；在本文中的首选实施例中，半径为r的对称方块具有(2r+1)²个像素。

图5展示了使用本文提到的3D投影变换的新单相机立体声校正方法的首选实施例。在这种情况下，两个相机位置彼此远离(宽基线)并且两个相机方向(角度位置)根本不对齐(未校正)；因此，第一图像10和第二图像12不是共面的，并且它们以相对高度DA垂直分开。真实物体点506在第一图像410中被捕获为像素516，并且在第二图像412中被捕获为像素518；像素516周围的邻域块510用于匹配像素518周围的邻域块512，之后以进行立体匹配。它们都对应于点周围的真实世界邻域对象点块504；在本文的一个实施例中，立体声校正的第一步是通过投影将第二图像412变换为与第一图像410相同的高度。这通常通过将像素3D坐标与3乘3的单应矩阵相乘来完成。在本文的一个简化示例性实施例中，可以通过简单地将第二图像412的估计GSD转换为第一图像410的GSD来完成该投影。因此，通过以下比率调整第二图像412的大小：

其中DA是从第一指定位置120到第二无人机位置相对高度差的精确传感器融合估计值；Z0是第二指定位置的深度估计。

由于Z0未知，在本文的一个实施例中，Z0的粗略估计值将用于图像调整。首先使用Harris角点检测器计算第一和第二图像中的所有特征点。然后从每个图像中选择10个最强的特征点；计算10个特征点中每个特征点的SIFT特征检测器值。找到两对点第一图像410中的P11与第二图像412中的P21相匹配，第一图像410中的P12与第二图像412中的P22相匹配。计算P11和P12之间的欧几里德距离ED1，以及P21和P22之间的欧几里德距离ED2。所以

立体声误差通常随着到目标物体的距离平方增加而增加，但随着基线距离(相机之间的距离)增加而减小；宽基线立体声基于这样的想法：使用来自相同相机但在不同位置的两个图像可以实现任意大的基线；虽然这改善了远距离目标物体的立体声范围估计的质量，但是它引入了两个新问题：由于相机的相对位置和方向不固定，不能再提前进行立体声校准；另外，由于从不同的视点看到目标对象，在图像之间执行立体匹配更加困难；在本文中提到的首选实施例中，该方法能够通过执行以下步骤来解决这些问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种无人机巡查测度系统，包括地表(100)、无人机(102)、数码相机(104)、机载处理器(106)、地面目标物(108)，其特征在于：所述地表(100)的顶端外壁行设置有地面目标物(108)，所述地面目标物(108)的上方飞行放置有无人机(102)，所述无人机(102)的内部安装有机载处理器(106)，所述无人机(102)的底端外壁上固定安装有数码相机(104)。

2.一种无人机巡查测度系统的使用方法，包括以下步骤，步骤一，发射无人机；步骤二，拍摄第一图像；步骤三，拍摄第二图像；步骤四，保存拍摄高度位置；步骤五，计算位移数据；步骤六，投影图像；步骤七，计算密集深度图；步骤八，求解地面采样距离；步骤九，测量对象的几何特性；步骤十，无人机着陆，其特征在于：

其中上述步骤一中，工作者在地面目标物(108)的上方发射无人机(102)；

其中上述步骤二中，控制步骤一中发射的无人机(102)飞往第一指定位置(120)并且在停留在该位置通过数码相机(104)拍摄地面目标物(108)的第一图像(410)；

其中上述步骤三中，在步骤二中拍摄第一图像(410)后通过控制无人机(102)飞往第二指定位置(122)并且停留在该位置直到数码相机(104)拍摄完成地面目标物(108)的第二图像(412)；

其中上述步骤四中，在步骤二和步骤三中无人机(102)的飞行拍摄过程中，通过机载处理器(106)记录步骤二中第一指定位置(120)到地表(100)的相对高度第一海拔高度(114)，记录步骤三中第二指定位置(122)到地表(100)的相对高度第二海拔高度(116)；

其中上述步骤五中，通过机载处理器(106)计算第一指定位置(120)和第二指定位置(122)之间的相对高度镜头相对高度(110)和从第一指定位置(120)到第二指定位置(122)的相对水平错位距离(112)；

其中上述步骤六中，通过机载处理器(106)计算步骤二和步骤三中无人机(102)的垂直和水平位移镜头相对高度(110)和相对水平错位距离(112)，计算两个捕获图像之间的投影；

其中上述步骤七中，机载处理器(106)通过上述步骤中收集的数据中获得调整后的立体图像；

其中上述步骤八中，通过机载处理器(106)内的算法技术步骤六中立体图像的密集深度图；

其中上述步骤九中，再通过机载处理器(106)基于中相机的深度和相对高度来求解图像中每个像素的地面采样距离(GSD)；

其中上述步骤十中，最后通过机载处理器(106)根据上述的数据测量目标对象的任何几何属性。

3.根据权利要求1所述的一种无人机巡查测度系统，其特征在于：所述无人机(102)的内部安装陀螺仪和加速计。

4.根据权利要求2所述的一种无人机巡查测度系统的使用方法，其特征在于：所述无人机(102)内的陀螺仪的读数无人机(102)X，Y，Z轴的旋转速度。

5.根据权利要求2所述的一种无人机巡查测度系统的使用方法，其特征在于：所述无人机(102)内每个传感器数据上使用扩展卡尔曼滤波器(EKF)来降低噪声。