CN105872413A

CN105872413A - 一种智能航拍系统

Info

Publication number: CN105872413A
Application number: CN201610383529.5A
Authority: CN
Inventors: 谢敏
Original assignee: Chengdu Deshan Technology Co Ltd
Current assignee: Chengdu Deshan Technology Co Ltd
Priority date: 2016-05-31
Filing date: 2016-05-31
Publication date: 2016-08-17

Abstract

本发明公开了一种智能航拍系统，其特征在于：包括航拍图像采集装置和航拍图像处理装置，所述航拍图像采集装置包括航拍飞行器和摄像装置；所述航拍图像处理装置包括飞行器上的初级处理装置和地面的高级处理装置；所述航拍飞行器采用的是无人机，所述无人机包括空中飞行子系统和地面控制子系统；所述摄像装置包括安装于无人机机身下方的高清摄像头；还包括初级处理装置进行图像初级处理的方法和高级处理装置进行高级图像处理的方法。本发明提供的航拍系统包括自主续航和自动控制的无人机，同时自动进行高清图像的采集和图像多次处理，能够得到完整、清晰的图像。

Description

一种智能航拍系统

技术领域

本发明涉及航拍领域，尤其是一种智能航拍系统。

背景技术

无人机航拍是一个集单片机技术、航拍传感器技术、GPS导航航拍技术、通讯航拍服务技术、飞行控制技术、任务控制技术、编程技术等多技术并依托于硬件的高科技产物，其拍摄影像具有高清晰、大比例尺、小面积、高现势性的优点，特别适合获取带状地区航拍影像(公路、铁路、河流、水库、海岸线等)。且无人驾驶飞机为航拍摄影提供了操作方便，易于转场的遥感平台；起飞降落受场地限制较小，在操场、公路或其他较开阔的地面均可起降，其稳定性、安全性好，转场等非常容易；小型轻便、低噪节能、高效机动、影像清晰、轻型化、小型化、智能化更是无人机航拍的突出特点；但也存在以下方面的问题。

目前，市面上的无人机主要采用锂聚合物电池作为主要动力，续航能力一般在20分钟至30分钟之间，因技术方面不同有所差别，不过大部分续航时间都是在45分钟以内。由于无人机需要尽可能减轻起飞重量，所以无法携带较重的大容量电池，大多数无人机维持十几分钟到二十分钟飞行之后，就必须有人为它们更换电池或者插上充电线，导致通常出门都要携带三四块电池。这是无人机发展一个致命的短板，大大限制了无人机行业的整体发展，若要促进无人机市场持久的良性发展，解决无人机电池续航能力问题迫在眉睫。

无人机在飞行中需要进行飞行的操作，以及自动充电、拍摄数据传输和地面控制通讯等，如果使用手动操作或直接从地面控制，将会不利于无人机的工作，能够进行无人机的智能飞行将变得非常重要。

现有的航拍都采用无人机进行拍摄，然后发回地面进行处理的方式，但航拍的内容一般比较多，传输数据多，所拍摄的数据没有经过处理就发回地面，增加了数据传输的总量，降低了数据传输速度，同时降低了图像处理的效率；同时地面图像处理的效率比较低。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种包括自主续航和自动控制的无人机，同时自动进行高清图像的采集和图像多次处理，得到完整、清晰图像的智能航拍系统。

本发明采用的技术方案如下：

本发明一种智能航拍系统，包括航拍图像采集装置和航拍图像处理装置，所述航拍图像采集装置包括航拍飞行器和摄像装置；所述航拍图像处理装置包括飞行器上的初级处理装置和地面的高级处理装置。

本发明一种智能航拍系统，所述航拍飞行器采用的是无人机，所述无人机包括空中飞行子系统和地面控制子系统；所述空中飞行子系统包括机身、机翼、电源和智能控制模块，智能控制模连接无人机上的所有设备；所述地面控制子系统包括无线数据传输模块和控制模块。

本发明一种智能航拍系统，所述电源包括充电装置和蓄电池，所述充电装置为能量收集装置；所述能量收集装置包括太阳能发电装置、风力发电装置和压力发电装置；能量收集装置与蓄电池连接，用于给蓄电池充电。

以上结构，能量收集装置的设置，可以解决现在无人机的续航问题，为无人机提供持续的动力。在光照的情况下可以通过太阳能发电装置，进行发电，用于电量的存储和飞行使用；在空中同时有很大的空气流动，产生风力，用于发电；压力发电装置的使用，同样可以将无人机的动能转化为电能，为无人机的飞行提供更多的能量。

本发明一种智能航拍系统，所述智能控制模块包括飞机姿态控制模块和无线数据传输模块；所述智能控制模块，用于控制无人机的正常飞行，同时接收地面的控制信息和发送无人机的飞行信息。

以上结构，智能控制模块能够采集无人机飞行需要的数据，通过算法和程序的控制，进行智能飞行，在没有地面控制的情况下，也能飞行。

本发明一种智能航拍系统，所述摄像装置包括安装于无人机机身下方的高清摄像头，用于进行图像采集。

本发明一种智能航拍系统，所述初级处理装置进行初级处理的方法包括：(1)、进行图像的预处理，对输入的图像进行灰度化、图像增强、滤波和二值化克服图像干扰；(2)、进行近重复图像的判断，例如将采集到的图像p和图像q提取特征点，将图像p和图像q的特征点进行相似度比对，相似度公式为：其中，a是两个图像匹配的特征点数，b是匹配后剩余的特征点数，N(p)是图像p的特征点数，Nmax是两个图像中特征值更多图像的特征点数，当相似度S(q,p)大于0.8时，删除特征值少的图像；(3)、将所采集的图像按拍摄时间归类，同时将上一步中相似度大于0.3小于0.8的图像进行归类；(4)、将以上操作后的图像进行压缩，发送到地面控制中心。

以上方法能够将采集的图像进行初步的处理，将图像噪声以及重复的图像进行删除，精简传输数据，提高传输的速度，同时利于地面的再处理。

本发明一种智能航拍系统，所述高级处理装置进行图像处理的方法包括：步骤一：将预处理的图像解压，同时进行广角畸变的校正；步骤二：校正后的图像进行运动模糊处理；步骤三:处理后的图像进行拼接，得到完整、清晰的图像；所述图像处理中图像的输入输出采用的是流水输入输出方式，先处理两幅图像，在输入新的图像，输入图像和前次的拼接图像的边缘进行匹配。

以上方法中，图像经过畸变校正、模糊处理和拼接后，将得到完整和清晰的图像，同时流水输入输出方式替代了原来的输入输出方式，原来的输入输出方式为：所有待拼接图像全部输入后再进行拼接，输出时拼接好的图像作为一个整体来存储和显示，流水输入输出方式可以节省特征提取和匹配的时间，同时减少程序处理的数据量和占用的内存空间，避免程序执行中出现溢出错误，保证程序的正常进行，并且拼接的图像越多，所用时间越短，优势越明显。

本发明一种智能航拍系统，所述广角畸变的校正方法为：包括(1)选择网格模板，其网格距离为15mm，网格距离越大，获得的交点越少，无畸变距离越不精确，网格距离越小，计算量越大，15mm为适当的距离；(2)提取特征点和确定畸变中心；提取特征点即提取网格模板交叉点的畸变和理想坐标，其中检测各个变点的畸变坐标采用SUSAN角点检测法，提取理想坐标时，把畸变图像中相邻网格交点的最大距离作为理想网格间距，然后根据理想网格间距及它的端点确定各个交点的理想坐标；只有精确地定位畸变中心，和理想网格间距，才能计算出各个点到畸变中心的理想距离；寻找最优畸变中心的方法：以各网格点到畸变中心的畸变距离和理想距离之间的关系为参考，判定候选点是不是最优畸变中心。若理想点按某一顺序进行排序，则对应的畸变点排序后也在相应的位置上，使得对应的畸变点排序后也在相应的位置上的点数最多的点就判定为畸变中心；(3)求解畸变系数恢复图像，采用分段拟合恢复法：将整个理想距离包含的范围分为相互间有重叠区域的几部分，然后对这几部分内的点分别拟合出畸变曲线，求解畸变系数，利用畸变系数分段恢复图像，得到畸变图像的恢复图。其中，首段拟合曲线的函数中常数项等于0或近似等于0，末段的拟合出的二次方程的最大值大于畸变图像中距离畸变中心最远的点到畸变中心的距离并且方程的对称中心值要大于恢复图像的对角线长度的一半；中间部分的拟合根据镜头视场角的大小或是畸变的严重程度来分段拟合，但是必须确保相邻两段间有交点存在。

以上方法中，网格模板相比其他的模板可以在图像畸变严重的地方得到更多反映畸变关系的点，同时网格越小，获得的交点越多且无畸变距离也越精确。在分段拟合恢复法中，分段后，每个分段需要拟合的点相对集中，拟合出来的畸变曲线比单条多项式曲线更能反映畸变关系，并且分段拟合的跨度小，可以降低多项式的次数，拟合的曲线更精确。

本发明一种智能航拍系统，所述运动模糊处理的方法为：(1)通过频域的方法来实现运动模糊方向的求解；运动模糊方向的求解方法为：进行Hough变换：将u-v平面变换成累加器，建立一个累加器A(ρ，θ)，ρ的取值范围是图像中角点间的距离的绝对值，θ的取值空间是负90度到90度之间，并将起始值至0；对u-v平面中的每一个非零点根据不同的θ取值，根据ρ＝μcosθ+νsinθ得到ρ，将相应的累加器单元的值加1；判断累加器的最大值，最大值对应的角度θ就是运动模糊角度；取Hough变换后每个角度的最大值组成一个向量，然后对这个向量用一个m维的等值向量做卷积，求卷积的最大值，对应的角度就是模糊角度；(2)进行运动模糊长度的计算：旋转模糊图像,得到水平模糊图像；计算水平模糊图像的微分函数；计算微分图像自相关函数；将各列的数据相加得到一行数据；绘制Sad曲线，确定最小值点，从而确定模糊长度；(3)用逆滤波法对模糊图像进行增强。

以上方法中，频域的方法实现简单，获得的频谱图便于后面计算模糊长度，节省计算时间。模糊图像沿模糊方向进行求导运算，运算后的导数值在两端会出现相反的符号，将导函数进行自相关运算，得到的结果在正负模糊长度两点处取最小值，根据最小值的点的位置可以计算模糊长度。维纳滤波法得到的增强图像与清晰图像的误差小，同时噪声的影响小。所述运动模糊方向的求解方法包括：从模糊图像的频谱公式：|G(μ,ν)|＝|F(μ,ν)||H(μ,ν)|中可知，模糊方向与频谱方向垂直，通过频谱的方向可以判断模糊方向，频谱方向可以通过检测频谱的线性特征来判断，检测线性的方法为Hough变换，Hough变换的计算结果与准确值之间有一定的误差，通过附加判断算法可以减小误差，附加的判断算法为：取Hough变换后每个角度的最大值组成一个向量，然后对这个向量用一个m维的等值向量做卷积，求卷积的最大值，对应的角度就是模糊角度。

本发明一种智能航拍系统，所述图像的拼接方法包括：(1)通过SIFT算法进行特征提取；(2)特征匹配，通过比值判定法，进行特征向量的匹配，即若两个相似度值的比值小于特定值，则认为特定向量和其中一个特征向量是匹配的；(3)相机参数估计，包括粗估计和细调整，即根据图像间的变换矩阵计算相机的各个参数，然后进行误差调整；(4)利用无参数的方法进行曝光补偿；(5)拼接缝的查找，计算拼接线上像素的相似度，当相似度最高时对应的线为拼接线；(6)利用融合算法进行图像融合；所述融合算法为多分辨率样条融合算法，其实现过程为:分别建立两幅待拼接图像A、B的拉普拉斯金字塔LA、LB；建立标注合成图像H取值的图像的金字塔；根据LA、LB和H形成融合图像金字塔LG；根据LG得到融合图像。

以上方法，SIFT算法对图像具有平移、旋转和光照不变性，还具有尺度缩放的不变性和放射变换的不变性，适用于进行特征提取。相机参数估计中的粗估计的方法为：根据图像间的变换矩阵确定相机焦距的值，每两张相邻图像的矩阵确定一个焦距的值，将这些值排序，取中间值作为相机焦距的初步估计值；细调整的方法为：依次正负方向改变相机参数的大小和相机矩阵的值，计算匹配点对的误差和，使之不断减小，直至相邻两次误差和的差值小于阈值2*e-16。图像融合的融合算法的实现过程为:分别建立两幅待拼接图像A、B的拉普拉斯金字塔LA、LB；建立标注合成图像H取值的图像的金字塔；根据LA、LB和H形成融合图像金字塔LG；根据LG得到融合图像。这种方法可以使不同强度的图像能够平滑地过渡，有很好的鲁棒性。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明能够实现无人机的自主续航，所设置的能量收集装置能够通过太阳能发电、风力发电和压力发电的方式进行发电，为无人机提供更多的能量，提高续航能力，从而为航拍带来方便。

2、本发明的无人机上设置有控制系统，通过设置的程序，能够实现无人机的自主航行，为无人机的控制带来方便。

3、本发明中拍摄图像的初步处理，能够精减传输数据，提高传输的速度，同时利于地面的再处理。

4、本发明中流水输入输出方式可以节省特征提取和匹配的时间，同时减少程序处理的数据量和占用的内存空间。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明一种智能航拍系统的结构示意图。

图2是航拍飞行器的结构示意图。

图3是高级处理装置进行图像处理的方法流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1，本发明一种智能航拍系统，包括航拍图像采集装置和航拍图像处理装置，所述航拍图像采集装置包括航拍飞行器和摄像装置；所述航拍图像处理装置包括飞行器上的初级处理装置和地面的高级处理装置。

如图2，本发明一种智能航拍系统，所述航拍飞行器采用的是无人机，所述无人机包括空中飞行子系统和地面控制子系统；所述空中飞行子系统包括机身、机翼、电源和智能控制模块，智能控制模连接无人机上的所有设备；所述地面控制子系统包括无线数据传输模块和控制模块；所述电源包括充电装置和蓄电池，所述充电装置为能量收集装置；所述能量收集装置包括太阳能发电装置、风力发电装置和压力发电装置；能量收集装置与蓄电池连接，用于给蓄电池充电；所述智能控制模块包括飞机姿态控制模块和无线数据传输模块；所述智能控制模块，用于控制无人机的正常飞行，同时接收地面的控制信息和发送无人机的飞行信息。

本发明一种智能航拍系统，所述初级处理装置进行初级处理的方法包括：所述初级处理装置进行预处理的方法包括：(1)、进行图像的预处理，对输入的图像进行灰度化、图像增强、滤波和二值化克服图像干扰；(2)、进行近重复图像的判断，例如将采集到的图像p和图像q提取特征点，将图像p和图像q的特征点进行相似度比对，相似度公式为：其中，a是两个图像匹配的特征点数，b是匹配后剩余的特征点数，N(p)是图像p的特征点数，Nmax是两个图像中特征值更多图像的特征点数，当相似度S(q,p)大于0.8时，删除特征值少的图像；(3)、将所采集的图像按拍摄时间归类，同时将上一步中相似度大于0.3小于0.8的图像进行归类；(4)、将以上操作后的图像进行压缩，发送到地面控制中心。

如图3，本发明一种智能航拍系统，所述高级处理装置进行图像处理的方法包括：步骤一：将预处理的图像解压，同时进行广角畸变的校正；步骤二：校正后的图像进行运动模糊处理；步骤三:处理后的图像进行拼接，得到完整、清晰的图像；所述图像处理中图像的输入输出采用的是流水输入输出方式，先处理两幅图像，在输入新的图像，输入图像和前次的拼接图像的边缘进行匹配。

本发明一种智能航拍系统，所述广角畸变的校正方法为：包括(1)选择网格模板，其网格距离为15mm；(2)提取特征点和确定畸变中心；提取特征点即提取网格模板交叉点的畸变和理想坐标，其中检测各个变点的畸变坐标采用SUSAN角点检测法；寻找最优畸变中心的方法：以各网格点到畸变中心的畸变距离和理想距离之间的关系为参考，判定候选点是不是最优畸变中心；若理想点按某一顺序进行排序，则对应的畸变点排序后也在相应的位置上，使得对应的畸变点排序后也在相应的位置上的点数最多的点就判定为畸变中心；(3)求解畸变系数恢复图像，采用分段拟合恢复法：将整个理想距离包含的范围分为相互间有重叠区域的几部分，然后对这几部分内的点分别拟合出畸变曲线，求解畸变系数，利用畸变系数分段恢复图像，得到畸变图像的恢复图；其中，首段拟合曲线的函数中常数项等于0或近似等于0，末段的拟合出的二次方程的最大值大于畸变图像中距离畸变中心最远的点到畸变中心的距离并且方程的对称中心值要大于恢复图像的对角线长度的一半；中间部分的拟合根据镜头视场角的大小或是畸变的严重程度来分段拟合，但是必须确保相邻两段间有交点存在。

本发明一种智能航拍系统，所述图像的拼接方法包括：(1)通过SIFT算法进行特征提取；(2)特征匹配，通过比值判定法，进行特征向量的匹配，即若两个相似度值的比值小于特定值，则认为特定向量和其中一个特征向量是匹配的；(3)相机参数估计，包括粗估计和细调整，即根据图像间的变换矩阵计算相机的各个参数，然后进行误差调整；(4)利用带参数的方法进行曝光补偿；(5)拼接缝的查找，计算拼接线上像素的相似度，当相似度最高时对应的线为拼接线；(6)利用融合算法进行图像融合；所述融合算法为多分辨率样条融合算法，其实现过程为:分别建立两幅待拼接图像A、B的拉普拉斯金字塔LA、LB；建立标注合成图像H取值的图像的金字塔；根据LA、LB和H形成融合图像金字塔LG；根据LG得到融合图像。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种智能航拍系统，其特征在于：包括航拍图像采集装置和航拍图像处理装置，所述航拍图像采集装置包括航拍飞行器和摄像装置；所述航拍图像处理装置包括飞行器上的初级处理装置和地面的高级处理装置。

2.根据权利要求1所述的一种智能航拍系统，其特征在于：所述航拍飞行器采用的是无人机，所述无人机包括空中飞行子系统和地面控制子系统；所述空中飞行子系统包括机身、机翼、电源和智能控制模块，智能控制模连接无人机上的所有设备；所述地面控制子系统包括无线数据传输模块和控制模块。

3.根据权利要求2所述的一种智能航拍系统，其特征在于：所述电源包括充电装置和蓄电池，所述充电装置为能量收集装置；所述能量收集装置包括太阳能发电装置、风力发电装置和压力发电装置；能量收集装置与蓄电池连接，用于给蓄电池充电。

4.根据权利要求2所述的一种智能航拍系统，其特征在于：所述智能控制模块包括飞机姿态控制模块和无线数据传输模块；所述智能控制模块，用于控制无人机的正常飞行，同时接收地面的控制信息和发送无人机的飞行信息。

5.根据权利要求1所述的一种智能航拍系统，其特征在于：所述摄像装置包括安装于无人机机身下方的高清摄像头，用于进行图像采集。

6.根据权利要求1所述的一种智能航拍系统，其特征在于：所述初级处理装置进行初级处理的方法包括：(1)、进行图像的预处理，对输入的图像进行灰度化、图像增强、滤波和二值化克服图像干扰；(2)、进行近重复图像的判断，例如将采集到的图像p和图像q提取特征点，将图像p和图像q的特征点进行相似度比对，相似度公式为：其中，a是两个图像匹配的特征点数，b是匹配后剩余的特征点数，N(p)是图像p的特征点数，Nmax是两个图像中特征值更多图像的特征点数，当相似度S(q,p)大于0.8时，删除特征值少的图像；(3)、将所采集的图像按拍摄时间归类，同时将上一步中相似度大于0.3小于0.8的图像进行归类；(4)、将以上操作后的图像进行压缩，发送到地面控制中心。

7.根据权利要求1所述的一种智能航拍系统，其特征在于：所述高级处理装置进行图像处理的方法包括：步骤一：将预处理的图像解压，同时进行广角畸变的校正；步骤二：校正后的图像进行运动模糊处理；步骤三:处理后的图像进行拼接，得到完整、清晰的图像；所述图像处理中图像的输入输出采用的是流水输入输出方式，先处理两幅图像，在输入新的图像，输入图像和前次的拼接图像的边缘进行匹配。

8.根据权利要求7所述的一种智能航拍系统，其特征在于：所述广角畸变的校正方法为：包括(1)选择网格模板，其网格距离为15mm；(2)提取特征点和确定畸变中心；提取特征点即提取网格模板交叉点的畸变和理想坐标，其中检测各个变点的畸变坐标采用SUSAN角点检测法；寻找最优畸变中心的方法：以各网格点到畸变中心的畸变距离和理想距离之间的关系为参考，判定候选点是不是最优畸变中心；若理想点按某一顺序进行排序，则对应的畸变点排序后也在相应的位置上，使得对应的畸变点排序后也在相应的位置上的点数最多的点就判定为畸变中心；(3)求解畸变系数恢复图像，采用分段拟合恢复法：将整个理想距离包含的范围分为相互间有重叠区域的几部分，然后对这几部分内的点分别拟合出畸变曲线，求解畸变系数，利用畸变系数分段恢复图像，得到畸变图像的恢复图；其中，首段拟合曲线的函数中常数项等于0或近似等于0，末段的拟合出的二次方程的最大值大于畸变图像中距离畸变中心最远的点到畸变中心的距离并且方程的对称中心值要大于恢复图像的对角线长度的一半；中间部分的拟合根据镜头视场角的大小或是畸变的严重程度来分段拟合，但是必须确保相邻两段间有交点存在。

9.根据权利要求7所述的一种智能航拍系统，其特征在于：所述运动模糊处理的方法为：(1)通过频域的方法来实现运动模糊方向的求解；运动模糊方向的求解方法为：进行Hough变换：将u-v平面变换成累加器，建立一个累加器A(ρ，θ)，ρ的取值范围是图像中角点间的距离的绝对值，θ的取值空间是负90度到90度之间，并将起始值至0；对u-v平面中的每一个非零点根据不同的θ取值，根据ρ＝μcosθ+νsinθ得到ρ，将相应的累加器单元的值加1；判断累加器的最大值，最大值对应的角度θ就是运动模糊角度；取Hough变换后每个角度的最大值组成一个向量，然后对这个向量用一个m维的等值向量做卷积，求卷积的最大值，对应的角度就是模糊角度；(2)进行运动模糊长度的计算：旋转模糊图像,得到水平模糊图像；计算水平模糊图像的微分函数；计算微分图像自相关函数；将各列的数据相加得到一行数据；绘制Sad曲线，确定最小值点，从而确定模糊长度；(3)用逆滤波法对模糊图像进行增强。

10.根据权利要求7所述的一种智能航拍系统，其特征在于：所述图像的拼接方法包括：(1)通过SIFT算法进行特征提取；(2)特征匹配，通过比值判定法，进行特征向量的匹配，即若两个相似度值的比值小于特定值，则认为特定向量和其中一个特征向量是匹配的；(3)相机参数估计，包括粗估计和细调整，即根据图像间的变换矩阵计算相机的各个参数，然后进行误差调整；(4)利用带参数的方法进行曝光补偿；(5)拼接缝的查找，计算拼接线上像素的相似度，当相似度最高时对应的线为拼接线；(6)利用融合算法进行图像融合；所述融合算法为多分辨率样条融合算法，其实现过程为:分别建立两幅待拼接图像A、B的拉普拉斯金字塔LA、LB；建立标注合成图像H取值的图像的金字塔；根据LA、LB和H形成融合图像金字塔LG；根据LG得到融合图像。