CN106965946B - 一种基于检测障碍提高起降安全性的方法及设备 - Google Patents

Abstract

本发明涉及飞行器技术领域，涉及一种基于检测障碍提高起降安全性的方法及设备，具体所述设备通过调整自身方位，使前视拍摄方向为水平，检测当前照度值，根据得到的检测结果选择使用超低照度摄像头或红外热成像摄像头分别采集当前位置的前视图像和俯视图像，分别对前视图像和俯视图像进行障碍检测，当检测到障碍时，生成并发送告警信息。采用红外热成像摄像头和超低照度摄像头配合使用的方法，能够在光线条件极差、甚至0Lux的条件下，使用红外热成像摄像头采集黑白图像，检测障碍，能够有效预警障碍，在光线条件符合超低照度条件的时候，使用超低照度摄像头采集彩色图像，获取的图像更清晰、逼真，更加有利于警示障碍，从而提高飞行安全性。

Description

一种基于检测障碍提高起降安全性的方法及设备

技术领域

本发明涉及飞行器技术领域，尤其涉及一种基于检测障碍提高起降安全性的方法及设备，国际分类属于B64C或B64F分类。

背景技术

随着飞行器等飞行器装备的出现，交通运输的模式发生了巨大的变化。航空运输以方便、快捷的优势吸引着大量的旅客。世界间的距离随之“缩短”，朝发夕至已成为不争的事实，然而航空安全一直是困扰着人们选择出行的一大难题。在航空运输发展的初期，由于科学技术较为落后，因飞行器本身的机械故障而引发的飞行事故居高不下，占据主要原因。

近几十年来，随着科学技术的不断发展，新材料的大量使用，飞行器已是高新科技的代表作，自身的安全系数不断提高，由于自然因素与人为因素而造成的航空事故比例大大增加。据统计数字显示近七成事故由自然原因与人为原因导致，成为制约航空安全的最大障碍。

在飞行、尤其起降过程中，飞行器驾驶员需要了解前方与下方的环境情况，以安全地飞行、起降。然而，现有技术中，飞行器上并没有这样的设备，以使飞行器驾驶员观察飞行器前方与下方的场景。即便有的飞行器具有观察前方和下方场景的摄像装置，但由于使用条件的限制，也不能更好地使用，同时更缺乏相关的理论方法来指导，使得飞行器安全性能得不到有效提高。

发明内容

基于上述问题，本发明的目的是克服上述现有技术的不足，提供具有辅助驾驶系统的飞行器、飞行器的起降方法及避免障碍碰撞的飞行方法和装置，使飞行器驾驶员可以更加方便及时清楚地观察飞行器前方与下方的场景环境。本发明将超低照度摄像机、红外热成像技术、图像处理技术及精密伺服控制等技术相结合汇集于系统中，可很好的辅助飞行员在夜暗及雨、雪、雾、霾等恶劣天气环境下完成飞行器起飞、飞行、降落等需求。

在本发明思想构思的基础上，在具体实施中，可以通过以下四个方面来进行概括说明和展示，需要说明的是，这四方面相互独立又相互联系，其结构和方法要旨皆不构成相互矛盾，本领域技术人员在全面阅读之后能够理解本发明的精神所在。

(一)飞行器飞行辅助驾驶系统

一种飞行器飞行辅助驾驶系统，包括视频采集单元和操控单元，所述操控单元包括工控机和显示单元，其中所述工控机包括图像采集模块和图像处理模块，所述视频采集单元包括前视单元和俯视单元两部分，前视单元和俯视单元分别摄取飞行器前方和飞行器下方的图像，并分别将摄取的图像发送图像采集模块，图像采集模块将获取的图像数据发送图像处理模块进行处理后发送显示单元进行显示。

作为优选方式，所述前视单元包括热成像镜头、可见光镜头，分别用于摄取所述飞行器前方的热成像图像、可见光图像；俯视单元包括热成像镜头、可见光镜头，分别用于摄取所述飞行器下方的热成像图像、可见光图像。

作为优选方式，所述前视单元包括第一前视热成像镜头和第二前视热成像镜头、以及第一前视超低照度镜头和第二前视超低照度镜头，分别用于摄取所述飞行器前方的热成像图像和可见光图像，所述俯视单元包括第一俯视热成像镜头和第二俯视热成像镜头、以及第一俯视超低照度镜头和第二俯视超低照度镜头，分别用于摄取所述飞行器下方的热成像图像和可见光图像。

作为优选方式，所述前视单元和所述俯视单元由单独或成组的热成像镜头，和单独或成组的可见光镜头组成，所述热成像镜头或可见光镜头的数量为1个，2个或4个。

作为优选方式，所述前视单元的两个热成像镜头为同焦距镜头，所述前视单元的两个超低照度镜头为同焦距镜头，所述俯视单元的两个热成像镜头为同焦距镜头，所述俯视单元的两个超低照度镜头为同焦距镜头；

所述图像处理模块包括图像拼接子模块，用于对所述前视单元的两个热成像镜头所摄取的图像进行拼接，对所述前视单元的两个超低照度镜头所摄取的图像进行拼接，对所述俯视单元的两个热成像镜头所摄取的图像进行拼接，对俯视单元的两个超低照度镜头所摄取的图像进行拼接。

作为优选方式，所述前视单元的两个热成像镜头为不同焦距镜头，所述前视单元的两个超低照度镜头为不同焦距镜头，所述俯视单元的两个热成像镜头为不同焦距镜头，所述俯视单元的两个超低照度镜头为不同焦距镜头；

所述图像处理模块包括图像融合子模块，用于对所述前视单元的两个热成像镜头所摄取的图像进行融合，对所述前视单元的两个超低照度镜头所摄取的图像进行融合，对所述俯视单元的两个热成像镜头所摄取的图像进行融合，对所述俯视单元的两个超低照度镜头所摄取的图像进行融合。

作为优选方式，所述前视单元包括两个25mm热成像镜头、两个12.3mm热成像镜头、两个25mm超低照度镜头、两个8mm超低照度镜头，所述俯视单元包括两个25mm热成像镜头、两个12.3mm热成像镜头、两个25mm超低照度镜头、两个8mm超低照度镜头，所述热成像镜头用于摄取热成像图像，所述超低照度镜头用于摄取可见光图像；所述图像处理模块包括图像拼接子模块、图像融合子模块，所述图像拼接子模块用于所述对前视单元的两个25mm热成像镜头所摄取的图像进行拼接，对所述前视单元的两个12.3mm热成像镜头所摄取的图像进行拼接，对所述前视单元的两个25mm超低照度镜头所摄取的图像进行拼接，对所述前视单元的两个8mm超低照度镜头所摄取的图像进行拼接，对所述俯视单元的两个25mm热成像镜头所摄取的图像进行拼接，对所述俯视单元的两个12.3mm热成像镜头所摄取的图像进行拼接，对所述俯视单元的两个25mm超低照度镜头所摄取的图像进行拼接，对所述俯视单元的两个8mm超低照度镜头所摄取的图像进行拼接；所述图像融合子模块用于对所述前视单元的两个25mm热成像镜头所摄取的图像拼接后的图像与所述前视单元的两个12.3mm热成像镜头所摄取的图像拼接后的图像进行融合，对所述前视单元的两个25mm超低照度镜头所摄取的图像拼接后的图像与所述前视单元的两个8mm超低照度镜头所摄取的图像拼接后的图像进行融合，对所述俯视单元的两个25mm热成像镜头所摄取的图像拼接后的图像与所述俯视单元的两个12.3mm热成像镜头所摄取的图像拼接后的图像进行融合，对所述俯视单元的两个25mm超低照度镜头所摄取的图像拼接后的图像与所述俯视单元的两个8mm超低照度镜头所摄取的图像拼接后的图像进行融合。

作为优选方式，所述视频采集单元还包括陀螺仪、伺服平台，用于使前视单元的拍摄方向保持水平以及俯视单元的拍摄方向保持竖直。

作为优选方式，所述工控机还包括存储模块，用于对图像处理模块处理后的视频图像进行实时存储。

作为优选方式，所述工控机还包括回放模块，用于对存储的视频图像进行回放显示，以及视频选择模块，用于选择热成像图像或可见光图像输出到显示单元。

(二)在飞行器起飞、飞行以及降落时的辅助安全飞行方法和应用该方法的装置

该辅助安全飞行方法包括以下步骤：

检测照度值，根据得到的检测结果判断进入超低照度模式或进入红外模式；

当进入所述超低照度模式时，分别采集第一焦距超低照度图像若干幅和第二焦距超低照度图像若干幅，分别对焦距相同的超低照度图像进行图像拼接，得到第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像；然后将第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，将所述融合后的超低照度图像发送给飞行器驾驶人员，显示融合后的超低照度图像，返回结束；

当进入所述红外模式时，分别采集第三焦距红外图像若干幅和第四焦距红外图像若干幅，分别对焦距相同的红外图像进行图像拼接，得到第三焦距的红外拼接图像和第四焦距的红外拼接图像；然后将第三焦距的红外拼接图像和第四焦距的红外拼接图像进行图像融合，得到融合后的红外图像，将所述融合后的红外图像发送给飞行器驾驶人员，显示融合后的红外图像，返回结束。

作为优选方式，所述分别采集第一焦距超低照度图像和第二焦距超低照度图像，包括：分别采集前视方向上的第一焦距超低照度图像、前视方向上的第二焦距超低照度图像，采集俯视方向上的第一焦距超低照度图像、俯视方向上的第二焦距超低照度图像；

所述分别对焦距相同的超低照度图像进行图像拼接，得到第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像，包括：对所述前视方向上焦距相同的超低照度图像进行图像拼接，得到前视方向上的第一焦距的超低照度拼接图像和前视方向上的第二焦距的超低照度拼接图像；以及对所述俯视方向上焦距相同的超低照度图像进行图像拼接，得到俯视方向上的第一焦距的超低照度拼接图像和俯视方向上的第二焦距的超低照度拼接图像；

所述将所述第一焦距的超低照度拼接图像和所述第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，包括：将所述前视方向上的第一焦距的超低照度拼接图像和所述前视方向上的第二焦距的超低照度拼接图像进行图像融合，得到前视方向上融合后的超低照度图像；将所述俯视方向上的第一焦距的超低照度拼接图像和所述俯视方向上的第二焦距的超低照度拼接图像进行图像融合，得到俯视方向上融合后的超低照度图像。

作为优选方式，所述采集第三焦距红外图像和第四焦距红外图像，包括：分别采集前视方向上的第三焦距红外图像、前视方向上的第四焦距红外图像，采集俯视方向上的第三焦距红外图像、俯视方向上的第四焦距红外图像；

所述分别对焦距相同的红外图像进行图像拼接，得到第三焦距的红外拼接图像和第四焦距的红外拼接图像，包括：对所述前视方向上焦距相同的红外图像进行图像拼接，得到前视方向上的第三焦距的红外拼接图像和前视方向上的第四焦距的红外拼接图像；对所述俯视方向上焦距相同的红外图像进行图像拼接，得到俯视方向上的第三焦距的红外拼接图像和俯视方向的第四焦距的红外拼接图像；

所述将所述第三焦距的红外拼接图像和所述第四焦距的红外拼接图像进行图像融合，得到融合后的红外图像，包括：将所述前视方向上的第三焦距的红外拼接图像和所述前视方向上的第四焦距的红外拼接图像进行图像融合，得到前视方向上融合后的红外图像；以及将所述俯视方向上的第三焦距的红外拼接图像和所述俯视方向上的第四焦距的红外拼接图像进行图像融合，得到俯视方向上融合后的红外图像。

作为优选方式，所述检测照度值，根据得到的检测结果选择进入超低照度模式或红外模式，包括：所述检测当前的照度值，如果得到的检测结果符合第一预设条件，则进入超低照度模式；否则进入红外模式。

作为优选方式，所述方法还包括：检测前视拍摄方向是否处于水平，当检测到未处于水平时，调整方位至水平。

此外，该部分还包括公开了一种辅助安全飞行的装置，其特征在于，所述装置安装在飞行器上，在所述飞行器起飞、飞行以及降落时采集图像，包括：

模式选择模块，用于检测照度值，根据得到的检测结果选择进入超低照度模式或红外模式；

超低照度图像采集模块，用于当进入所述超低照度模式时，分别采集第一焦距超低照度图像若干幅和第二焦距超低照度图像若干幅；

超低照度图像拼接模块，用于分别对焦距相同的超低照度图像进行图像拼接，得到第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像；

超低照度图像融合模块，用于将所述第一焦距的超低照度拼接图像和所述第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，将所述融合后的超低照度图像发送给飞行器驾驶人员，显示所述融合后的超低照度图像；

红外图像采集模块，用于当进入所述红外模式时，分别采集第三焦距红外图像若干幅和第四焦距红外图像若干幅；

红外图像拼接模块，用于分别对焦距相同的红外图像进行图像拼接，得到第三焦距的红外拼接图像和第四焦距的红外拼接图像；

红外图像融合模块，用于将所述第三焦距的红外拼接图像和所述第四焦距的红外拼接图像进行图像融合，得到融合后的红外图像，将所述融合后的红外图像发送给飞行器驾驶人员，显示所述融合后的红外图像。

(三)基于检测障碍提高飞行器起降安全性的方法和应用该方法的装置

一种基于检测障碍提高起降安全性的方法，其特征在于，包括以下步骤：拍摄设备调整自身方位，使前视拍摄方向为水平；

检测当前照度值，判断得到的检测结果是否符合超低照度处理条件；

当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的前视图像和俯视图像，经过拼接和融合后得到超低照度前视图像和超低照度俯视图像；

分别对拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息，返回结束；

当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的前视图像和俯视图像，经过拼接和融合后得到红外级前视图像和红外级俯视图像；

分别对拼接和融合后的红外级前视图像和红外级俯视图像进行障碍检测，当检测到红外级前视图像和/或红外级俯视图像中存在障碍时，生成并发送告警信息，返回结束。

作为优选方式，所述拍摄设备调整自身方位使前视拍摄方向为水平，包括：

所述设备实时检测前视拍摄方向是否处于水平，当未处于水平时，调整自身位置，使前视拍摄方向为水平。

作为优选方式，所述通过超低照度摄像头采集当前位置的前视图像和俯视图像，包括：

通过超低照度摄像头采集若干幅前视图像和若干幅俯视图像；

将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第一拼接前视图像；

对不同焦距的第一拼接前视图像进行图像融合，最终融合成一幅图像，作为超低照度前视图像；

将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第一拼接俯视图像；

对不同焦距的第一拼接俯视图像进行图像融合，最终融合成一幅图像，作为超低照度俯视图像。

作为优选方式，所述通过红外热成像摄像头采集当前位置的前视图像和俯视图像，包括：

通过红外热成像摄像头采集若干幅前视图像和若干幅俯视图像；

将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第二拼接前视图像；

对不同焦距的第二拼接前视图像进行图像融合，最终融合成一幅图像，作为红外级前视图像；

将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第二拼接俯视图像；

对不同焦距的第二拼接俯视图像进行图像融合，最终融合成一幅图像，作为红外级俯视图像。

作为优选方式，所述前视图像具体包括：在前视方向上覆盖第一预设角度范围的图像；所述俯视图像具体包括：在俯视方向上覆盖第二预设角度范围的图像。

作为优选方式，所述分别对所述超低照度前视图像和所述超低照度俯视图像进行障碍检测，具体包括：

判断所述超低照度前视图像和/或所述超低照度俯视图像中是否存在图像特征点，是则提取所述图像特征点，根据所述图像特征点绘制障碍图像，并在对应的超低照度前视图像和/或超低照度俯视图像中标记所述障碍图像，以此确定存在障碍；否则确定不存在障碍。

作为优选方式，所述当检测到所述超低照度前视图像和/或所述超低照度俯视图像中存在障碍时，生成并发送告警信息包括：

通过卫星定位所述障碍的位置信息，根据所述障碍的位置信息，以及标记有所述障碍图像的所述超低照度前视图像和/或超低照度俯视图像，生成告警信息，发送所述告警信息。

作为优选方式，所述当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像，具体包括：

当所述检测结果符合超低照度处理条件时，检测飞行状态，

如果处于起飞状态或降落状态或飞行状态，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像。

作为优选方式，所述当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的红外级前视图像和红外级俯视图像，具体包括：

当所述检测结果不符合所述超低照度处理条件时，检测飞行状态，

如果处于起飞状态或降落状态或飞行状态，则通过红外级摄像头采集当前位置的红外级前视图像和红外级俯视图像。

一种基于检测障碍提高起降安全性的设备，其特征在于，包括：

方位调整模块，用于调整自身方位，使前视拍摄方向为水平；

照度检测模块，用于检测当前照度值，判断得到的检测结果是否符合超低照度处理条件；

星光采集模块，用于当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像并进行拼接和融合处理；

星光障碍检测模块，用于分别对经过拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到所述超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息；

红外采集模块，用于当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的红外级前视图像和红外级俯视图像并进行拼接和融合处理；

红外障碍检测模块，用于分别对拼接融合后的所述红外级前视图像和所述红外级俯视图像进行障碍检测，当检测到所述红外级前视图像和/或红外级俯视图像中存在障碍时，生成并发送告警信息。

(四)基于数据同步的避免飞行器碰撞障碍的方法和应用该方法的飞行器

一种基于数据同步的避免碰撞碍的方法，其特征在于，包括：

飞行器获取当前的位置信息，根据所述位置信息组织获取环境信息请求，并将所述获取环境信息请求发送至数据中心；

当接收到所述数据中心返回的环境信息响应时，从所述环境信息响应中获取障碍信息，将其作为历史障碍信息，从所述环境信息响应中获取飞行参数，将其作为历史飞行参数；

根据自身的飞行状态采集环境图像，从所述环境图像中获取当前障碍信息，根据所述当前障碍信息、所述历史障碍信息以及所述历史飞行参数，在所述环境图像上标记该障碍，显示已标记障碍的环境图像；

当避开所述障碍时，获取避开所述障碍过程中的飞行参数，将其作为当前飞行参数，将所述当前位置信息、所述当前飞行参数以及所述当前障碍信息发送至数据中心。

作为优选方式，所述飞行器获取当前位置信息，包括：

所述飞行器采用卫星定位系统获取经度、纬度以及海拔高度，将所述经度、所述纬度以及所述海拔高度作为当前位置信息。

作为优选方式，从所述环境信息响应中获取障碍信息，将其作为历史障碍信息，包括：

从所述环境信息响应中获取障碍的位置信息、尺寸信息、移动属性信息，将所述障碍的位置信息、尺寸信息和移动属性信息作为历史障碍信息。

作为优选方式，所述根据自身的飞行状态采集环境图像，具体包括：

获取自身的飞行状态，如果是起飞状态或降落状态或飞行状态，则采集前视图像和俯视图像，将采集到的图像作为环境图像。

作为优选方式，所述从所述环境图像中获取当前障碍信息，具体包括：

对于在同一方向上采集到的环境图像，将相同焦距的环境图像进行图像拼接，拼接成一幅图像，将该方向上不同焦距的拼接后的图像进行图像融合，得到融合后的图像，从所述融合后的图像上提取特征点，当提取到特征点时，根据所述特征点绘制障碍，并标记所述障碍，通过卫星定位系统获取所述障碍的位置信息，根据所述障碍的位置信息以及标记所述障碍的图像，计算所述障碍的尺寸信息、移动属性信息，将所述障碍的位置信息、尺寸信息、移动属性信息作为当前障碍信息。

作为优选方式，所述根据所述当前障碍信息、所述历史障碍信息以及所述历史飞行参数在所述环境图像上标记障碍，包括：

判断所述当前障碍信息与所述历史障碍信息是否相同，是则在所述环境图像上标记障碍，并且提示所述历史飞行参数；否则根据所述当前障碍信息在所述环境图像上标记障碍。

作为优选方式，所述方法还包括：在标记障碍的图像上绘制所述障碍的移动轨迹；

所述绘制所述障碍的移动轨迹，包括：

每隔预设时间定位一次所述障碍，在每次定位所述障碍时，获取所述障碍所处的海拔、俯仰角、方位角，以及获取连续两次定位所述障碍时所述障碍的位移；

根据所述障碍所处的海拔、俯仰角、方位角以及所述障碍的位移，计算所述障碍移动的轨迹信息，以及所述障碍的运动方向和运动速度；

根据所述障碍移动的轨迹信息和所述障碍的运动方向和运动速度，模拟所述障碍在三维空间中将要移动的轨迹；

绘制所述障碍移动的轨迹信息以及在三维空间中将要移动的轨迹。

作为优选方式，所述采集环境图像，包括：

检测当前照度值，根据得到的检测结果选择对应的摄像模式采集环境图像，

当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集环境图像；

当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集环境图像。

作为优选方式，所述方法还包括：

所述数据中心接收到所述当前位置信息、所述当前飞行参数以及所述当前障碍信息时，获取与所述当前位置信息对应的飞行参数以及障碍信息，用所述当前飞行参数替换原来的飞行参数，用所述当前障碍信息替换原来的障碍信息。

一种基于数据同步的避免碰撞障碍的飞行器，其特征在于，包括：

信息请求模块，用于获取当前的位置信息，根据所述位置信息组织获取环境信息请求，并将所述获取环境信息请求发送至数据中心；

信息接收模块，用于当接收到所述数据中心返回的环境信息响应时，从所述环境信息响应中获取障碍信息，将其作为历史障碍信息，从所述环境信息响应中获取飞行参数，将其作为历史飞行参数；

障碍检测模块，用于根据自身的飞行状态采集环境图像，从所述环境图像中获取当前障碍信息，根据所述当前障碍信息、所述历史障碍信息以及所述历史飞行参数，在所述环境图像上标记该障碍，显示已标记障碍的环境图像；

数据同步模块，用于当避开所述障碍时，获取避开所述障碍过程中的飞行参数，将其作为当前飞行参数，将所述当前位置信息、所述当前飞行参数以及所述当前障碍信息发送至数据中心。

本发明的有益效果是：本发明的飞行器飞行辅助驾驶系统采用前视单元、俯视单元，能够摄取飞行器前方、下方的视频图像发送显示单元显示给飞行员，使飞行员能够掌握飞行器前方、下方的环境情况，提高了飞行、起降的安全性。

附图说明

现在将描述如本发明的优选但非限制性的实施例，本发明的这些和其他特征、方面和优点在参考附图阅读如下详细描述时将变得显而易见，其中：

图1是本发明内容(一)中辅助驾驶系统的结构示意图；

图2是本发明内容(一)中辅助驾驶系统的另一种结构示意图；

图3是本发明内容(一)中辅助驾驶系统的另一种结构示意图；

图4是本发明内容(一)中辅助驾驶系统的另一种结构示意图；

图5是本发明内容(二)中辅助安全飞行的方法流程图；

图6是本发明内容(二)中辅助安全飞行的装置框图；

图7是本发明内容(三)中基于检测障碍提高起降安全性的方法流程图；

图8是本发明内容(三)中基于检测障碍提高起降安全性的设备框图；

图9是本发明内容(四)中基于数据同步的避免碰撞障碍的方法流程图；

图10是本发明内容(四)中基于数据同步的避免碰撞障碍的飞行器装置框图；

图11是本发明内容(四)中障碍检测模块的结构示意图；

图12是本发明内容(一)中图像采集单元安装位置示意图；

图13是本发明内容(一)中图像采集单元摄像头布置示意图；

图14是本发明内容(一)中图像采集单元摄像头布置示意图。

具体实施方式

以下的说明本质上仅仅是示例性的而并不是为了限制本公开、应用或用途。应当理解的是，在全部附图中，对应的附图标记表示相同或对应的部件和特征。

本发明将通过以下四个方面来全面阐释本发明的实质内容，需要说明的是，这四方面相互独立又相互联系，其结构和方法要旨皆不构成相互矛盾，本领域技术人员在全面阅读之后能够理解本发明的精神所在。

一、飞行辅助驾驶系统

根据本发明的一个方面，公开了一种应用于飞行器的飞行辅助驾驶系统，具体如下：

参照图1和图12，在本发明的一个实施例中，本发明的飞行辅助驾驶系统包括视频采集单元100和操控单元200，操控单元200包括工控机210和显示单元240，其中工控机210包括图像采集模块212和图像处理模块211，视频采集单元100安装到飞行器底部下方，其包括前视单元110和俯视单元140两部分，前视单元110和俯视单元140分别摄取飞行器前方和飞行器下方的图像，并分别将摄取的图像发送图像采集模块212，图像采集模块212将获取的图像数据发送图像处理模块211进行处理后发送显示单元240进行显示。本系统具有前视、俯视两大图像采集单元，飞行器驾驶员通过显示屏(显示单元传输)可以清晰地观察飞行器前方、下方的环境情况，确保飞行的安全。前视单元110和俯视单元140可由单独或成组的热成像镜头，和单独或成组的可见光镜头组成，热成像镜头或可见光镜头的数量可以为1个，2个或4个或更多的成对数量。

进一步地，如图2所示，前视单元110包括前视热成像镜头111和前视可见光镜头125，分别用于摄取飞行器前方的热成像图像和可见光图像；俯视单元140包括俯视热成像镜头141和俯视可见光镜头155，分别用于摄取飞行器下方的热成像图像和可见光图像。如此实现了热成像摄像机与可见光摄像机结合使用，实现了热成像摄像机与可见光摄像机的优势互补，在白天使用可见光摄像机采集视频图像，在夜间及雨、雪、雾、霾等恶劣天气条件下使用热成像摄像机，可清晰地观看飞行器前方、下方的情况，从而使设备可不受环境因素影响，达到昼夜采集视频图像的效果；为了能更好地保持拍摄角度，使摄像机始终拍摄飞行器水平前方、竖直下方的视频图像，便于飞行器驾驶员随时掌握飞行器前方、下方的情况，安全地飞行与起降，视频采集单元100还包括陀螺仪170和伺服平台180，二者配合使用，使前视单元110的拍摄方向保持水平以及俯视单元140的拍摄方向保持竖直。

进一步地，如图3所示，前视单元110包括第一前视热成像镜头112和第二前视热成像镜头113、以及第一前视超低照度镜头126和第二前视超低照度镜头127，分别用于摄取飞行器前方的热成像图像和可见光图像。

同样，俯视单元140包括第一俯视热成像镜头142和第二俯视热成像镜头143、以及第一俯视超低照度镜头156和第二俯视超低照度镜头157，分别用于摄取飞行器下方的热成像图像和可见光图像。采用超低照度摄像机，能够使摄像机在光线比较暗的情况下仍能够摄取清晰的图像，扩大了本系统的适用范围。

其中，前视单元110的两个热成像镜头112和113可以为同焦距镜头，前视单元110的两个超低照度镜头126和127可以为同焦距镜头，俯视单元140的两个热成像镜头142和143可以为同焦距镜头，俯视单元140的两个超低照度镜头156和157可以为同焦距镜头。

需要说明的是，焦距越大视场角越小，拍摄的距离越远，焦距越小视场角越大，拍摄的距离越近，采集不同焦距下的图像的目的在于，将不同焦距图像融合，达到图像大视角并且远距离的目的，以此丰富图像内容，图像更清晰。

基于此，图像处理模块211包括图像拼接子模块213，用于对前视单元110的两个热成像镜头112和113(第一前视热成像镜头112和第二前视热成像镜头113)所摄取的图像进行拼接，对前视单元110的两个超低照度镜头126和127(第一俯视超低照度镜头126和第二俯视超低照度镜头127)所摄取的图像进行拼接，对俯视单元140的两个热成像镜头142和143(第一俯视热成像镜头142和第二俯视热成像镜头143)所摄取的图像进行拼接，对俯视单元140的两个超低照度镜头156和157(第一俯视超低照度镜头156和第二俯视超低照度镜头157)所摄取的图像进行拼接。

前视单元110的两个热成像镜头112和113也可以为不同焦距镜头，前视单元110的两个超低照度镜头126和127也可以为不同焦距镜头，俯视单元140的两个热成像镜头142和143也可以为不同焦距镜头，俯视单元140的两个超低照度镜头156和157也可以为不同焦距镜头。

图像处理模块211还包括图像融合子模块214，用于对前视单元110的两个热成像镜头112和113(第一前视热成像镜头112和第二前视热成像镜头113)所摄取的图像进行融合，对前视单元110的两个超低照度镜头126和127(第一俯视超低照度镜头126和第二俯视超低照度镜头127)所摄取的图像进行融合，对俯视单元140的两个热成像镜头142和143(第一俯视热成像镜头142和第二俯视热成像镜头143)所摄取的图像进行融合，对俯视单元140的两个超低照度镜头156和157(第一俯视超低照度镜头156和第二俯视超低照度镜头157)所摄取的图像进行融合。

工控机210还包括存储模块215、回放模块216、电子放大模块217、视频选择模块218。其中，存储模块215用于对图像处理模块211处理后的视频图像进行实时存储；回放模块216用于对存储的视频图像进行回放显示；电子放大模块217在有远距离的目标视频图像不利于人眼观察时，可在操控单元200对目标区域执行电子放大功能，将远处目标区域进行放大，使远处渺小图像变大变清晰，方便飞行器驾驶员观察远处目标；视频选择模块218用于选择热成像图像或可见光图像输出到显示单元240。或者，图像融合子模块214分别对前视单元110的最终的热成像图像与最终的可见光图像进行融合、对俯视单元140的最终的热成像图像与最终的可见光图像进行融合，显示装置240显示融合后的视频图像。

如图4所示，为了更好地获取图像辅助驾驶，在另一个实施例中，前视单元110包括四个热成像镜头和四个超低照度镜头，其分别为两个25mm热成像镜头(即第一前视25mm热成像镜头114和第二前视25mm热成像镜头115)、两个12.3mm热成像镜头(即第一前视12.3mm热成像镜头116和第二前视12.3mm热成像镜头117)、两个25mm超低照度镜头(即第一前视25mm超低照度镜头128和第二前视25mm超低照度镜头129)和两个8mm超低照度镜头(即第一前视8mm超低照度镜头130和第二前视8mm超低照度镜头131)。

如图13所示前视单元110的摄像头具体朝向布置，共计八个摄像头分列两排四纵布置，其中两个25mm热成像镜头位于第一排中间，两个25mm超低照度镜头分列第一排两侧，两个12.3mm热成像镜头位于第二排中间，两个8mm超低照度镜头分列第二排两侧，这样的布置方式能够最大化不同摄像头的相应功能。下述俯视单元140的八个摄像头布置方式与上述相同，可参见图14。

俯视单元140也包括四个热成像镜头和四个超低照度镜头，其分别为两个25mm热成像镜头(即第一俯视25mm热成像镜头144和第二俯视25mm热成像镜头145)、两个12.3mm热成像镜头(即第一俯视12.3mm热成像镜头146和第二俯视12.3mm热成像镜头147)、两个25mm超低照度镜头(即第一俯视25mm超低照度镜头158和第二俯视25mm超低照度镜头159)和两个8mm超低照度镜头(即第一俯视8mm超低照度镜头160和第二俯视8mm超低照度镜头161)，热成像镜头用于摄取热成像图像，超低照度镜头用于摄取可见光图像。

图像处理模块211包括图像拼接子模块213和图像融合子模块214，图像拼接子模块213用于对前视单元110的两个相同焦距的热成像镜头(热成像镜头114和115、热成像镜头116和117)所摄取的图像进行拼接，对前视单元110的两个相同焦距的超低照度镜头(超低照度镜头128和129、超低照度镜头130和131)所摄取的图像进行拼接，对俯视单元140的两个相同焦距的热成像镜头(热成像镜头144和145、热成像镜头146和147)所摄取的图像进行拼接，对俯视单元140的两个相同焦距的超低照度镜头(超低照度镜头158和159、超低照度镜头160和161)所摄取的图像进行拼接；

图像融合子模块214用于对前视单元110的第一前视25mm热成像镜头114和第二前视25mm热成像镜头115所摄取的图像拼接后的图像与前视单元110的第一前视12.3mm热成像镜头116和第二前视12.3mm热成像镜头117所摄取的图像拼接后的图像进行融合，对前视单元110的第一前视25mm超低照度镜头128和第二前视25mm超低照度镜头129所摄取的图像拼接后的图像与前视单元110的第一前视8mm超低照度镜头130和第二前视8mm超低照度镜头131所摄取的图像拼接后的图像进行融合，对俯视单元140的第一俯视25mm热成像镜头144和第二俯视25mm热成像镜头145所摄取的图像拼接后的图像与俯视单元140的第一俯视12.3mm热成像镜头146和第二俯视12.3mm热成像镜头147所摄取的图像拼接后的图像进行融合，对俯视单元140的第一俯视25mm超低照度镜头158和第二俯视25mm超低照度镜头159所摄取的图像拼接后的图像与俯视单元140的第一俯视8mm超低照度镜头160和第二俯视8mm超低照度镜头161所摄取的图像拼接后的图像进行融合。

上述图像处理过程通过对同焦距的镜头所摄取的视频图像的拼接，可以形成宽视角的视频图像，而通过对拼接后的不同焦距的视频图像的融合，既达到了宽视场角的要求，又确保了图像中央的高清晰度，解决了图像远处不清晰的问题。本实施例的其余部分与上一实施例相同，此处不再赘述。当然从节省成本的角度出发，还可以全部采用超低照度摄像机(红外摄像机的造价比较高)，用红外灯辅助照明，使超低照度摄像机能够采集到清晰图像。全部采用超低照度摄像机时，前视/俯视方向上的各个摄像机的焦距，可以调整为：两个4mm，两个8mm。

该部分技术方案取得的技术效果：采用上述辅助飞行系统的飞行器采用前视单元、俯视单元，能够摄取飞机前方、下方的视频图像发送显示单元显示给飞行员，使飞行员能够掌握飞机前方、下方的环境情况，提高了飞行、起降的安全性。

二、在飞行器起飞、飞行以及降落时的辅助安全飞行方法和应用该方法的装置

本发明还提供了一种辅助安全飞行的方法，应用在飞行器起飞、飞行以及降落时，该方法主要是利用光照传感器检测照度值，根据检测结果选择进入超低照度模式或红外模式，在进入相应的模式时，按照不同的焦距分别采集图像，分别对焦距相同的图像进行图像拼接，将拼接后的图像进行图像融合，并显示融合后的图像，在本方案中涉及两种模式，即超低照度模式和红外模式，通过这两种模式相互切换，采集图像，能够有效解决在雨、雪、雾、霾等恶劣天气条件下，视线差飞行不安全的问题。结合相同焦距图像拼接，再将拼接后的图像进行融合，获得大视场角、清晰的图像，以此辅助飞行，进一步提高飞行的安全性。

如图5所示，具体包括以下步骤：

步骤101：检测照度值，根据得到的检测结果判断进入超低照度模式或红外模式，如果是超低照度模式，则执行步骤102；如果是红外模式，则执行步骤105；

在本发明中，检测当前环境的照度值，对得到的检测结果进行判断，如果该检测结果符合第一预设条件，则确定进入超低照度模式，执行步骤102；否则确定进入红外模式，执行步骤105，其中，第一预设条件可以为大于0.0001Lux。本发明提供的技术方案中，包含超低照度模式以及红外模式，当然也可以包含其他模式，例如：当检测结果大于0.1Lux时，进入普通模式，此时可以采用光学摄像镜头采集图像；当检测结果大于0.01Lux小于等于0.1Lux时，进入低照度模式，此时可以采用低照度摄像机采集图像；当检测结果大于0.001Lux小于等于0.01Lux进入月光级模式，采用月光级摄像机采集图像；当检测结果大于0.0001Lux小于等于0.001Lux时，进入超低照度模式，采用超低照度摄像机采集图像；当检测结果小于等于0.0001Lux时，进入红外模式，采用红外热成像摄像机采集图像，各种模式采集图像的方法相同，此处不再赘述。

步骤102：分别采集第一焦距超低照度图像若干幅、第二焦距超低照度图像若干幅，然后执行步骤103；

在本发明中，进入超低照度模式时，可以在不同焦距条件下，使用超低照度摄像机采集图像，通常来说，焦距越大视场角越小，拍摄的距离越远，在本方法中，使用超低照度摄像机在前视方向上分别以第一焦距、第二焦距作为焦距值，采集超低照度图像，其中，第一焦距的取值与第二焦距的取值可以不相同，第一焦距值可以为25mm，第二焦距值可以为8mm。将采集到的超低照度图像分别作为前视方向上的第一焦距超低照度图像、前视方向上的第二焦距超低照度图像。使用超低照度摄像机在俯视方向上分别以第一焦距、第二焦距作为焦距值，采集超低照度图像，将采集到的超低照度图像分别作为俯视方向上的第一焦距超低照度图像、俯视方向上的第二焦距超低照度图像。在进行图像采集的过程中，为了提高采集到的图像的清晰度以及图像的视角足够开阔，可以在前视方向上，采集若干幅焦距相同、拍摄角度不同的图像；同样也可以在俯视方向上，采集若干幅焦距相同、拍摄角度不同的图像。

步骤103：分别对焦距相同的超低照度图像进行图像拼接，得到第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像；

在本发明中，对前视方向上焦距相同的超低照度图像进行图像拼接，得到前视方向上的第一焦距的超低照度拼接图像和前视方向上的第二焦距的超低照度拼接图像，也就是说，将若干幅前视方向上的第一焦距超低照度图像拼接成一幅图像，得到前视方向上的第一焦距的超低照度拼接图像。将若干幅前视方向上的第二焦距超低照度图像拼接成一幅图像，得到前视方向上的第二焦距的超低照度拼接图像。同样的方法得到俯视方向上的第一焦距的超低照度拼接图像和俯视方向上的第二焦距的超低照度拼接图像。

在本发明中，通过将相同朝向上、相同焦距条件下，针对各角度采集的图像进行图像拼接，得到前视方向上的第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像，其中，第一焦距的超低照度拼接图像是第一焦距条件下采集到的图像拼接而成的，第二焦距的超低照度拼接图像是第二焦距条件下采集到的图像拼接而成的，将各角度的图像拼接成一幅图像时，能够增加图像内容、提高图像特征的清晰度。另外，与第二焦距的超低照度拼接图像相比较，第一焦距的超低照度拼接图像视场角窄、但是能够拍摄到较远处的目标，相应的，第二超低照度拼接图形视场角宽，但远处的图像特征比较模糊。

步骤104：将第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，将融合后的超低照度图像发送给飞行器驾驶人员，显示融合后的超低照度图像，返回结束；

在本发明中，将前视方向上的第一焦距的超低照度拼接图像和前视方向上的第二焦距的超低照度拼接图像进行图像融合，得到前视方向上融合后的超低照度图像；将俯视方向上的第一焦距的超低照度拼接图像和俯视方向上的第二焦距的超低照度拼接图像进行图像融合，得到俯视方向上融合后的超低照度图像。在本发明中，通过将前视方向上的第一焦距的超低照度拼接图像与第二焦距的超低照度拼接图像进行图像融合，使视场角较窄的第一焦距的超低照度拼接图像融合到视场角较宽的第二焦距的超低照度拼接图像中，既达到了宽视场角的目的，又提高了图像的清晰度，并且能够看清楚远处的图像特征。

步骤105：分别采集第三焦距红外图像若干幅和第四焦距红外图像若干幅，执行步骤106；

在本发明中，进入红外模式时，可以在不同焦距条件下，使用红外热成像摄像机采集图像，通常来说，焦距越大视场角越小，拍摄的距离越远，在本方法中，使用红外热成像摄像机在前视方向(俯视方向)上分别以第三焦距、第四焦距作为焦距值采集红外图像，其中，第三焦距和第四焦距可以不相同，第三焦距可以为25mm，第四焦距可以为12.3mm。将采集到的红外图像分别作为前视方向(或俯视方向)上的第三焦距红外图像、前视方向(或俯视方向)上的第四焦距红外图像。在进行图像采集的过程中，为了提高采集到的图像的清晰度以及图像的视角足够开阔，可以在前视方向上，采集若干幅焦距相同、拍摄角度不同的图像；同样也可以在俯视方向上，采集若干幅焦距相同、拍摄角度不同的图像。

步骤106：分别对焦距相同的若干幅红外图像进行图像拼接，得到第三焦距的红外拼接图像和第四焦距的红外拼接图像；

在本发明中，对若干幅前视方向上焦距相同的红外图像进行图像拼接，得到前视方向上的第三焦距的红外拼接图像和前视方向上的第四焦距的红外拼接图像。同样的方法得到俯视方向上的第三焦距的红外拼接图像和俯视方向上的第四焦距的红外拼接图像。

步骤107：将第三焦距的红外拼接图像和第四焦距的红外拼接图像进行图像融合，得到融合后的红外图像，将融合后的红外图像发送给飞行器驾驶人员，显示融合后的红外图像，返回结束。

在本发明中，将前视方向上的第三焦距的红外拼接图像和前视方向上的第四焦距的红外拼接图像进行图像融合，得到前视方向上融合后的红外图像。同理，将俯视方向上的第三焦距的红外拼接图像和俯视方向上的第四焦距的红外拼接图像进行图像融合，得到俯视方向上融合后的红外图像。

在本发明中，上述处理方式使视场角较窄的第三焦距的红外拼接图像融合到视场角较宽的第四焦距的红外拼接图像中，既达到了宽视场角的目的，又提高了图像的清晰度，并且能够看清楚远处的图像特征。

在本发明中，针对照度值的不同，采用红外模式和超低照度模式采集图像，照度条件理想时，采用超低照度模式采集图像。在照度条件差时，比如有浓雾、霾、云层、雨、雪、暗夜等恶劣条件下，采用红外模式采集图像，能够采集到图像，以此了解环境，辅助飞行。

在该方法中，通过对图像拼接得到大视场角的图像，进而能够采集到更多的图像内容；将第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，显示融合后的超低照度图像，通常来说，焦距值越大，视角越小，拍摄的距离越远，在本发明中，将焦距不同的图像进行图像融合，以此获得更远、更宽视角的图像，进一步增加图像内容。另外，在红外模式下进行工作时，耗电量大，成本比较高，因此，在本发明中，采用红外模式与超低照度模式相结合的方式能够有效采集到清晰、大视场角的图像，耗电量低，节约成本。

需要说明的是，在本方法中还可以包括：检测前视拍摄方向是否处于水平，当检测到未处于水平时，调整方位至水平，可以使用陀螺仪检测是否处于水平，当处于水平时，能够采集到前视图、俯视图，当未处于水平时，需要调整至水平，然后再采集前视图、俯视图。另外，在本发明中，还可以用户自主选择图像采集模式。可以在飞行器起飞、飞行或者降落时，根据用户选择指令的图像采集模式来进行下一步操作。在本发明中，可以获取并解析用户输入的语音命令，根据解析结果选择相应的图像采集模式。

还可以获取用户在屏幕上触摸的位置，根据该位置信息选择相应的图像采集模式。当然也可以检测被用户触发的物理按键，当被触发的物理按键是超低照度模式对应的按键时，执行步骤102；当用户触发的物理按键是红外模式对应的按键时，执行步骤105。在本发明实施例中，可以将用来采集红外图像的红外摄像机，以及用来采集超低照度图像的超低照度摄像机，分别呈放射状排布，以此增宽视场角，使采集到的图像视场角更宽。

相应地，为实现上述该方法，还公开了对应的一种辅助安全飞行的装置，如图6所示，该装置应用于飞行器起飞、飞行以及降落时采集图像，其包括：模式选择模块201，用于检测照度值，根据得到的检测结果选择进入超低照度模式或红外模式；

在本发明中，模式选择模块201，具体用于检测当前环境的照度值，对得到的检测结果进行判断，如果该检测结果符合第一预设条件，则触发超低照度图像采集模块202；否则触发红外图像采集模块205，其中，第一预设条件可以为大于0.0001Lux。另外，还可以根据照度值划进行划分出更精确的模式，以此使不同的类型的摄像机相互配合使用，达到更清晰，内容更丰富的图像，相对应的，模式选择模块201，具体用于检测当前环境的照度值，对得到的检测结果进行判断，当检测结果大于0.1Lux时，进入普通模式，此时可以采用光学摄像镜头采集图像；当检测结果大于0.01Lux小于等于0.1Lux时，进入低照度模式，此时可以采用低照度摄像机采集图像；当检测结果大于0.001Lux小于等于0.01Lux进入月光级模式，采用月光级摄像机采集图像；当检测结果大于0.0001Lux小于等于0.001Lux时，进入超低照度模式，采用超低照度摄像机采集图像；当检测结果小于等于0.0001Lux时，进入红外模式，采用红外热成像摄像机采集图像，各种模式采集图像的方法相同，此处不再赘述。

超低照度图像采集模块202，用于当进入超低照度模式时，分别采集第一焦距超低照度图像、第二焦距超低照度图像；

在本发明中，超低照度图像采集模块202，用于使用超低照度摄像机在前视方向上分别以第一焦距、第二焦距作为焦距值，采集超低照度图像，其中，第一焦距的取值与第二焦距的取值不相同，第一焦距值可以为25mm，第二焦距值可以为8mm。将采集到的超低照度图像分别作为前视方向上的第一焦距超低照度图像、前视方向上的第二焦距超低照度图像。使用超低照度摄像机在俯视方向上分别以第一焦距、第二焦距作为焦距值，采集超低照度图像，将采集到的超低照度图像分别作为俯视方向上的第一焦距超低照度图像、俯视方向上的第二焦距超低照度图像。在进行图像采集的过程中，为了提高采集到的图像的清晰度以及图像的视角足够开阔，可以在前视方向上，采集若干幅焦距相同、拍摄角度不同的图像；同样也可以在俯视方向上，采集若干幅焦距相同、拍摄角度不同的图像。

超低照度图像拼接模块203，用于分别对焦距相同的超低照度图像进行图像拼接，得到第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像；

在本发明中，超低照度图像拼接模块203，具体用于对前视方向上焦距相同的超低照度图像进行图像拼接，得到前视方向上的第一焦距的超低照度拼接图像和前视方向上的第二焦距的超低照度拼接图像，也就是说，将若干幅前视方向上的第一焦距超低照度图像拼接成一幅图像，得到前视方向上的第一焦距的超低照度拼接图像。将若干幅前视方向上的第二焦距超低照度图像拼接成一幅图像，得到前视方向上的第二焦距的超低照度拼接图像。

超低照度图像拼接模块203，具体还用于对俯视方向上焦距相同的超低照度图像进行图像拼接，得到俯视方向上的第一焦距的超低照度拼接图像和俯视方向上的第二焦距的超低照度拼接图像，也就是说，将若干幅俯视方向上的第一焦距超低照度图像拼接成一幅图像，得到俯视方向上的第一焦距的超低照度拼接图像。将若干幅俯视方向上的第二焦距超低照度图像拼接成一幅图像，得到俯视方向上的第二焦距的超低照度拼接图像。

超低照度图像融合模块204，用于将第一焦距的超低照度拼接图像和第二焦距的超低照度拼接图像进行图像融合，得到融合后的超低照度图像，将所述融合后的超低照度图像发送给飞行器驾驶人员，显示融合后的超低照度图像。

在本发明中，超低照度图像融合模块204，具体用于将前视方向上的第一焦距的超低照度拼接图像和前视方向上的第二焦距的超低照度拼接图像进行图像融合，得到前视方向上融合后的超低照度图像；

超低照度图像融合模块204，具体还用于将俯视方向上的第一焦距的超低照度拼接图像和俯视方向上的第二焦距的超低照度拼接图像进行图像融合，得到俯视方向上融合后的超低照度图像。

红外图像采集模块205，用于当进入红外模式时，分别采集第三焦距红外图像、第四焦距红外图像，触发红外图像拼接模块206；

在本发明中，红外图像采集模块205，具体用于使用红外热成像摄像机在前视方向上分别以第三焦距、第四焦距作为焦距值，采集红外图像，其中，第三焦距可以为25mm，第四焦距可以为12.3mm。将采集到的红外图像分别作为前视方向上的第三焦距红外图像、前视方向上的第四焦距红外图像。使用红外热成像摄像机在俯视方向上分别以第三焦距、第四焦距作为焦距值，采集红外图像，将采集到的红外图像分别作为俯视方向上的第三焦距红外图像、俯视方向上的第四焦距红外图像。在进行图像采集的过程中，为了提高采集到的图像的清晰度以及图像的视角足够开阔，可以在前视方向上，采集若干幅焦距相同、拍摄角度不同的图像；同样也可以在俯视方向上，采集若干幅焦距相同、拍摄角度不同的图像。

红外图像拼接模块206，用于分别对焦距相同的红外图像进行图像拼接，得到第三焦距的红外拼接图像和第四焦距的红外拼接图像；

在本发明中，红外图像拼接模块206，具体用于对前视方向上焦距相同的红外图像进行图像拼接，得到前视方向上的第三焦距的红外拼接图像和前视方向上的第四焦距的红外拼接图像，也就是说，将若干幅前视方向上的第三焦距红外图像拼接成一幅图像，得到前视方向上的第三焦距的红外拼接图像。将若干幅前视方向上的第四焦距红外图像拼接成一幅图像，得到前视方向上的第四焦距的红外拼接图像。

还用于对俯视方向上焦距相同的红外图像进行图像拼接，得到俯视方向上的第三焦距的红外拼接图像和俯视方向上的第四焦距的红外拼接图像，也就是说，将若干幅俯视方向上的第三焦距红外图像拼接成一幅图像，得到俯视方向上的第三焦距的红外拼接图像。将若干幅俯视方向上的第四焦距红外图像拼接成一幅图像，得到俯视方向上的第四焦距的红外拼接图像。

红外图像融合模块207，用于将第三焦距的红外拼接图像和第四焦距的红外拼接图像进行图像融合，得到融合后的红外图像，将所述融合后的红外图像发送给飞行器驾驶人员，显示融合后的红外图像。

在本发明中，红外图像融合模块207，具体用于将前视方向上的第三焦距的红外拼接图像和前视方向上的第四焦距的红外拼接图像进行图像融合，得到前视方向上融合后的红外图像。

还用于将俯视方向上的第三焦距的红外拼接图像和俯视方向上的第四焦距的红外拼接图像进行图像融合，得到俯视方向上融合后的红外图像。

在本发明中，通过将前视方向上的第三焦距的红外拼接图像与第四焦距的红外拼接图像进行图像融合，使视场角较窄的第三焦距的红外拼接图像融合到视场角较宽的第四焦距的红外拼接图像中，既达到了宽视场角的目的，又提高了图像的清晰度，并且能够看清楚远处的图像特征。针对照度值的不同，采用红外模式和超低照度模式采集图像，照度条件理想时，采用超低照度模式采集图像。在照度条件差时，比如有浓雾、霾、云层、雨、雪、暗夜等恶劣条件下，采用红外模式采集图像，能够采集到图像，以此了解环境，辅助飞行。另外，在红外模式下进行工作时，耗电量大，成本比较高，因此在本发明中，采用红外模式与超低照度模式相结合的方式能够有效采集到清晰、大视场角的图像，耗电量低，节约成本。

本装置还可包括：检测方位模块，用于检测前视拍摄方向是否处于水平，当检测到未处于水平时，调整方位至水平。具体的检测方位模块可以是陀螺仪，使用陀螺仪检测是否处于水平，当处于水平时，采集前视图、俯视图，当未处于水平时，需要调整至水平，然后再采集前视图、俯视图。通过采集前视图像和俯视图像，将两者相结合的方式，将飞行过程中相关角度的图像展现给操作人员，便于安全飞行。

三、基于检测障碍提高飞行器起降安全性的方法和应用该方法的装置

为了进一步辅助飞行，在前述内容基础上，可以对融合后的前视图、俯视图进行障碍检测，检测到障碍后，可以生成告警信息，以警示飞行器操作人员。具体如下，

如图7所示公开了一种基于检测障碍提高起降安全性的方法，包括以下步骤：

步骤1010：调整拍摄设备自身方位，使前视拍摄方向为水平；

在本发明实施例中，拍摄设备实时检测前视拍摄方向是否处于水平，当未处于水平时，通过伺服平台调整自身位置，使前视拍摄方向为水平。具体可以将陀螺仪固定在设备中，通过陀螺仪检测设备是否处于水平。

步骤1020：检测当前照度值，判断检测结果是否符合超低照度处理条件，是则执行步骤1030；否则执行步骤1050；

在该实施例中，检测当前照度值，对得到的检测结果进行判断，如果该检测结果符合超低照度处理条件，则确定进入超低照度模式，执行步骤1030；否则确定进入红外模式，执行步骤1050。其中，超低照度处理条件可以为大于0.0001Lux。

步骤1030：使用超低照度摄像头采集当前位置的若干幅前视图像和若干幅俯视图像，经过拼接和融合后得到超低照度前视图像和超低照度俯视图像，然后执行步骤1040；

在实施例中，可用8个摄像头(4个红外热成像摄像头+4个超低照度摄像头)采集前视图像，8个摄像头(4个红外热成像摄像头+4个超低照度摄像头)采集俯视图像，相同类型的摄像头焦距可相同或不同，例如采集前视图像的8个摄像头中，两个超低照度摄像头的焦距为25mm，另外两个超低照度摄像头的焦距为8mm。

使用超低照度摄像头采集若干幅前视图像和若干幅俯视图像；其中，前视图像为在前视方向上覆盖第一预设角度范围的图像，俯视图像为在俯视方向上覆盖第二预设角度范围的图像。

可选择性地，将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第一拼接前视图像。然后，对不同焦距的第一拼接前视图像进行图像融合，最终融合成一幅图像，作为超低照度前视图像。

可选择性地，将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第一拼接俯视图像。对不同焦距的第一拼接俯视图像进行图像融合，最终融合成一幅图像，作为超低照度俯视图像。

在提供的技术方案中，可以针对不同的飞行状态采集不同的图像，以此来辅助安全飞行。可以在检测结果符合超低照度处理条件时，检测飞行状态，如果处于起飞状态或降落状态或飞行状态，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像。

步骤1040：分别对拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息，返回结束。

在该实施例中，进行障碍检测可以通过判断超低照度前视图像和/或超低照度俯视图像中是否存在图像特征点来判断，当确定存在图像特征点时，提取图像特征点，根据图像特征点绘制障碍图像，并在对应的超低照度前视图像和超低照度俯视图像中标记障碍图像；当确定不存在图像特征点时，确定不存在障碍。

通过卫星定位障碍的位置信息，根据障碍的位置信息，以及标记有障碍图像的超低照度前视图像和超低照度俯视图像，生成告警信息，发送告警信息。

步骤1050：使用红外热成像摄像头采集当前位置的若干幅前视图像和若干幅俯视图像，经过拼接和融合后得到红外级前视图像和红外级俯视图像，执行步骤1060；

在实施例中，使用红外热成像摄像头采集若干幅前视图像和若干幅俯视图像，其中，前视图像为在前视方向上覆盖第一预设角度范围的图像，俯视图像为在俯视方向上覆盖第二预设角度范围的图像。

可选择性地，将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第二拼接前视图像。对不同焦距的第二拼接前视图像进行图像融合，最终融合成一幅图像，作为红外级前视图像。

可选择性地，将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第二拼接俯视图像。对不同焦距的第二拼接俯视图像进行图像融合，最终融合成一幅图像，作为红外级俯视图像。

在实施例中，可以针对不同的飞行状态采集不同的图像，以此来辅助安全飞行。可以在检测结果不符合超低照度处理条件时，检测飞行状态，如果处于起飞状态或降落状态或飞行状态，则通过红外级摄像头采集当前位置的红外级前视图像和红外级俯视图像。

步骤1060：分别对拼接和融合后的红外级前视图像和红外级俯视图像进行障碍检测，当检测到红外级前视图像和/或红外级俯视图像中存在障碍时，生成并发送告警信息。

在实施例中，进行障碍检测的方法同上，可以通过判断红外级前视图像和/或红外级俯视图像中是否存在图像特征点来判断是否存在障碍，当确定存在图像特征点时，提取图像特征点，根据图像特征点绘制障碍图像，并在对应的红外级前视图像和红外级俯视图像中标记障碍图像；当确定不存在图像特征点时，确定不存在障碍。

通过卫星定位障碍的位置信息，根据障碍的位置信息，以及标记有障碍图像的红外级前视图像和红外级俯视图像，生成告警信息，发送告警信息。在实施例中，还可以显示该告警信息，并且当检测到触屏事件时，放大障碍图像。

为实现上述方法，引申出该方法对应的基于检测障碍提高起降安全性的设备，如图8所示，该设备包括：

方位调整模块2010，用于调整自身方位，使前视拍摄方向为水平；

在本发明实施例中，方位调整模块2010用于实时检测前视拍摄方向是否处于水平，当未处于水平时，通过伺服平台调整自身位置，使前视拍摄方向为水平。方位调整模块2010具体可以是陀螺仪，其固定在设备中，用于检测设备是否处于水平。

照度检测模块2020，用于检测当前照度值，判断检测结果是否符合超低照度处理条件；

在本发明实施例中，照度检测模块2020，具体用于检测当前照度值，对得到的检测结果进行判断，如果该检测结果符合超低照度处理条件，则触发星光采集模块2030；否则触发红外采集模块2050。其中，超低照度处理条件可以为大于0.0001Lux。

星光采集模块2030，用于当检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像并进行拼接和融合处理，或者拼接和融合处理功能可由其他单独模块完成；

在本发明实施例中，星光采集模块2030用于采集若干幅前视图像和若干幅俯视图像；其中，前视图像为在前视方向上覆盖第一预设角度范围的图像，俯视图像为在俯视方向上覆盖第二预设角度范围的图像。

可选择地，星光采集模块2030或其他单独模块还可将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第一拼接前视图像。对不同焦距的第一拼接前视图像进行图像融合，最终融合成一幅图像，作为超低照度前视图像。

将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第一拼接俯视图像。对不同焦距的第一拼接俯视图像进行图像融合，最终融合成一幅图像，作为超低照度俯视图像。

在提供的技术方案中，可以针对不同的飞行状态采集不同的图像，以此来辅助安全飞行。可以在检测结果符合超低照度处理条件时，触发状态监测模块，用于检测飞行状态，如果处于起飞状态，则通过超低照度摄像头采集当前位置的超低照度前视图像；如果处于降落状态，则通过超低照度摄像头采集当前位置的超低照度俯视图像；如果处于飞行状态，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像。

星光障碍检测模块2040，用于分别对经过拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息；

在实施例中，星光障碍检测模块2040可以通过判断超低照度前视图像和/或超低照度俯视图像中是否存在图像特征点来判断是否存在障碍，当确定存在图像特征点时，提取图像特征点，根据图像特征点绘制障碍图像，并在对应的超低照度前视图像和超低照度俯视图像中标记障碍图像；当确定不存在图像特征点时，确定不存在障碍。

星光障碍检测模块2040，还用于通过卫星定位障碍的位置信息，根据障碍的位置信息，以及标记有障碍图像的超低照度前视图像和超低照度俯视图像，生成告警信息，发送告警信息。

红外采集模块2050，用于当检测结果不符合超低照度处理条件时，则通过红外热成像摄像头采集当前位置的红外级前视图像和红外级俯视图像并进行拼接和融合处理，或者拼接和融合处理功能可由其他单独模块完成；

在本发明实施例中，红外采集模块2050用于使用红外热成像摄像头采集若干幅前视图像和若干幅俯视图像，其中，前视图像为在前视方向上覆盖第一预设角度范围的图像，俯视图像为在俯视方向上覆盖第二预设角度范围的图像。

可选择地，红外采集模块2050或其他单独模块还可将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第二拼接前视图像。对不同焦距的第二拼接前视图像进行图像融合，最终融合成一幅图像，作为红外级前视图像。

同理，还可将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第二拼接俯视图像。对不同焦距的第二拼接俯视图像进行图像融合，最终融合成一幅图像，作为红外级俯视图像。

在本发明实施例中，可以针对不同的飞行状态采集不同的图像，以此来辅助安全飞行。本装置可以包括状态检测模块，用于在检测结果不符合超低照度处理条件时，检测飞行状态，如果处于起飞状态，则通过红外级摄像头采集当前位置的红外级前视图像；如果处于降落状态，则通过红外级摄像头采集当前位置的红外级俯视图像；当处于飞行状态时，则通过红外级摄像头采集当前位置的红外级前视图像和红外级俯视图像。

红外障碍检测模块2060，用于分别对拼接融合后的红外级前视图像和红外级俯视图像进行障碍检测，当检测到红外级前视图像和/或红外级俯视图像中存在障碍时，生成并发送告警信息。

在实施例中，红外障碍检测模块2060用于通过判断红外级前视图像和/或红外级俯视图像中是否存在图像特征点来判断是否存在障碍，当确定存在图像特征点时，提取图像特征点，根据图像特征点绘制障碍图像，并在对应的红外级前视图像和红外级俯视图像中标记障碍图像；当确定不存在图像特征点时，确定不存在障碍。

还用于通过卫星定位障碍的位置信息，根据障碍的位置信息，以及标记有障碍图像的红外级前视图像和红外级俯视图像，生成告警信息，发送告警信息。需要说明的是，在本发明实施例中，还可以包括触屏模块，用于显示该告警信息，并且当检测到触屏事件时，放大障碍图像。本发明实施例中提到的超低照度摄像头具体为低照度超低照度摄像头。

该部分技术方案取得的技术效果为：设备通过调整自身方位，使前视拍摄方向为水平，检测当前照度值，根据得到的检测结果选择使用超低照度摄像头或红外热成像摄像头分别采集当前位置的前视图像和俯视图像，分别对前视图像和俯视图像进行障碍检测，当检测到障碍时，生成并发送告警信息。采用红外热成像摄像头和超低照度摄像头配合使用的方法，能够在光线条件极差、甚至0Lux的条件下，使用红外热成像摄像头采集黑白图像，检测障碍，能够有效预警障碍。进一步的，在光线条件符合超低照度条件的时候，使用超低照度摄像头采集彩色图像，获取的图像更清晰、逼真，更加有利于警示障碍，从而提高飞行安全性。

四、基于数据同步的避免碰撞障碍的方法及应用该方法的飞行器

如图9所示，本发明还提供了一种基于数据同步的避免碰撞障碍的方法，包括：

步骤401：飞行器获取当前的位置信息，根据位置信息组织获取环境信息请求，并将获取环境信息请求发送至数据中心；

在实施例中，飞行器通过卫星定位系统获取经度、纬度以及海拔高度，将经度、纬度以及海拔高度作为当前位置信息，具体可以向GPS或北斗卫星定位系统发送定位请求，接收返回的经度、纬度以及海拔高度。

步骤402：当接收到数据中心返回的环境信息响应时，从环境信息响应中获取障碍信息，将其作为历史障碍信息，从环境信息响应中获取飞行参数，将其作为历史飞行参数；

数据中心存储有与位置信息对应的环境信息响应，环境响应中包含障碍的位置信息、尺寸信息、移动属性信息、以及绕过该障碍时的飞行参数。在本方案中，飞行器可以从接收到的环境信息响应中，获取障碍的位置信息、尺寸信息、移动属性信息，将障碍的位置信息、尺寸信息和移动属性信息作为历史障碍信息，从该环境响应中获取飞行参数、将其作为历史飞行参数。

步骤403：根据自身的飞行状态采集环境图像，从环境图像中获取当前障碍信息，根据当前障碍信息、历史障碍信息以及历史飞行参数，在环境图像上标记该障碍，显示已标记障碍的环境图像；

对于飞行器来说，存在四种飞行状态，即起飞、飞行、降落以及静止，针对不同的飞行状态采集不同的环境图像辅助飞行。飞行器采集图像的方法可以为：获取自身的飞行状态，如果是起飞状态或降落状态或飞行状态，则采集前视图像、俯视图像(参见前述内容一和内容二部分)，将采集到的图像作为环境图像。当然为了全方位的进行障碍检测，还可以采集仰视图像、左视图像、右视图像以及后视图像，从而能够全方位的观测到周围的环境，避免其他方向上运动的障碍妨碍飞行安全。

如前所述，为了提高采集到的图像的清晰度以及节约成本，在采集环境图像时，可以检测当前照度值，根据得到的检测结果选择对应的摄像模式采集环境图像，当检测结果符合超低照度处理条件时，则通过超低照度摄像头采集环境图像；当检测结果不符合超低照度处理条件时，则通过红外热成像摄像头采集环境图像。其中，超低照度处理条件可以为大于0.0001Lux的照度值。

在获取到环境信息后可以从环境图像中获取当前障碍信息，对于在同一方向上采集到的环境图像，将相同焦距的环境图像进行图像拼接，拼接成一幅图像。将该方向上不同焦距的拼接后的图像进行图像融合，得到融合后的图像，从融合后的图像上提取特征点，当提取到特征点时，根据特征点绘制障碍(该过程与前述内容三部分相同或相似)，并标记障碍，通过卫星定位系统获取障碍的位置信息，根据障碍的位置信息以及标记障碍的图像，计算障碍的尺寸信息、移动属性信息，将障碍的位置信息、尺寸信息、移动属性信息作为当前障碍信息。然后，判断当前障碍信息与历史障碍信息是否相同，是则在环境图像上标记障碍，并且提示历史飞行参数；否则根据当前障碍信息在环境图像上标记障碍。

在发明的该方面，还可以在标记障碍的图像上绘制障碍的移动轨迹，可以每隔预设时间定位一次障碍，在每次定位障碍时，获取障碍所处的海拔、俯仰角、方位角，以及获取连续两次定位障碍时障碍的位移；

根据障碍所处的海拔、俯仰角、方位角以及障碍的位移，计算障碍移动的轨迹信息，以及障碍的运动方向和运动速度；

根据障碍移动的轨迹信息和障碍的运动方向和运动速度，模拟障碍在三维空间中将要移动的轨迹；

绘制障碍移动的轨迹信息以及在三维空间中将要移动的轨迹。

步骤404：当避开障碍时，获取避开障碍过程中的飞行参数，将其作为当前飞行参数，将当前位置信息、当前飞行参数以及当前障碍信息发送至数据中心。

在发明的该方面，数据中心接收到当前位置信息、当前飞行参数以及当前障碍信息时，获取与当前位置信息对应的飞行参数以及障碍信息，用当前飞行参数替换原来的飞行参数，用当前障碍信息替换原来的障碍信息。

需要说明的是，本发明实施例中，飞行器未接收到数据中心返回的环境信息响应时，可以根据自身的飞行状态采集环境图像，从环境图像中获取当前障碍信息，根据当前障碍信息在环境图像上标记该障碍，显示已标记障碍的环境图像，当避开障碍时，获取避开障碍过程中的飞行参数，将其作为当前飞行参数，将当前位置信息、当前飞行参数以及当前障碍信息发送至数据中心。在本发明实施例中，可以将用来环境图像的摄像机呈放射状排布，以此增宽视场角，使采集到的图像视场角更宽。

另一方面，在本发明提供的技术方案中，为达到本发明相同的目的，还可以将步骤401至步骤403替换为步骤a1至步骤a3。

步骤a1：飞行器根据自身的飞行状态采集环境图像，从环境图像中获取当前障碍信息，将环境图像和/或当前障碍信息发送给数据中心；

本步骤中的具体实施方式与上述步骤403中记载的方式相同，此处不再赘述。

步骤a2：当接收到数据中心返回的环境信息响应时，从环境信息响应中获取障碍信息，将其作为历史障碍信息，从环境信息响应中获取飞行参数，将其作为历史飞行参数；

本步骤中从环境信息响应中获取障碍信息以及从环境信息响应中获取飞行参数的具体实施方式与上述步骤402中记载的方式相同，此处不再赘述。

步骤a3：根据当前障碍信息、历史障碍信息以及历史飞行参数，在环境图像上标记该障碍，显示已标记障碍的环境图像，执行步骤404。

本步骤中的标记障碍以及显示已标记障碍的环境图像的具体实施方式与步骤403中记载的方式相同，此处不再赘述。

与上述方法相对应的，如图10所示，本发明还提供一种基于数据同步的避免碰撞障碍的飞行器，包括：

信息请求模块4010，用于获取当前的位置信息，根据位置信息组织获取环境信息请求，并将获取环境信息请求发送至数据中心；

在该飞行器中，信息请求模块4010用于通过卫星定位系统获取经度、纬度以及海拔高度，将经度、纬度以及海拔高度作为当前位置信息。可以向GPS或北斗卫星定位系统发送定位请求，接收返回的经度、纬度以及海拔高度。根据位置信息组织获取环境信息请求，并将其发送给数据中心。

信息接收模块4020，用于当接收到数据中心返回的环境信息响应时，从环境信息响应中获取障碍信息，将其作为历史障碍信息，从环境信息响应中获取飞行参数，将其作为历史飞行参数；

在本飞行器中，信息接收模块4020，从接收到的环境信息响应中，获取障碍的位置信息、尺寸信息、移动属性信息，将障碍的位置信息、尺寸信息和移动属性信息作为历史障碍信息，从该环境响应中获取飞行参数、将其作为历史飞行参数。

障碍检测模块4030用于根据自身的飞行状态采集环境图像，从环境图像中获取当前障碍信息，根据当前障碍信息、历史障碍信息以及历史飞行参数，在环境图像上标记该障碍，显示已标记障碍的环境图像；

数据同步模块4040，用于当避开障碍时，获取避开障碍过程中的飞行参数，将其作为当前飞行参数，将当前位置信息、当前飞行参数以及当前障碍信息发送至数据中心。

在此处，如图11所示，障碍检测模块4030，可包括：

状态检测单元2031，用于获取自身的飞行状态；

环境图像采集单元2032，用于在起飞状态或降落状态或飞行状态时，采集前视图像和俯视图像，将其作为环境图像；

障碍检测单元2033，用于在获取到环境信息后可以从环境图像中获取当前障碍信息，对于在同一方向上采集到的环境图像，将相同焦距的环境图像进行图像拼接，拼接成一幅图像。将该方向上不同焦距的拼接后的图像进行图像融合，得到融合后的图像，从融合后的图像上提取特征点，当提取到特征点时，根据特征点绘制障碍，并标记障碍，通过卫星定位系统获取障碍的位置信息，根据障碍的位置信息以及标记障碍的图像，计算障碍的尺寸信息、移动属性信息，将障碍的位置信息、尺寸信息、移动属性信息作为当前障碍信息；此处的图像采集、拼接和融合参见前述内容一、二和三部分，与之相同或相似，在此不再赘述。

标记障碍单元2034，用于判断当前障碍信息与历史障碍信息是否相同，是则在环境图像上标记障碍，并且提示历史飞行参数；否则根据当前障碍信息在环境图像上标记障碍。

另外，障碍检测模块4030还可以在标记障碍的图像上绘制障碍的移动轨迹，其包括：障碍定位单元，用于可以每隔预设时间定位一次障碍，在每次定位障碍时，获取障碍所处的海拔、俯仰角、方位角，以及获取连续两次定位障碍时障碍的位移；计算单元，用于根据障碍所处的海拔、俯仰角、方位角以及障碍的位移，计算障碍移动的轨迹信息，以及障碍的运动方向和运动速度；模拟轨迹单元，用于根据障碍移动的轨迹信息和障碍的运动方向和运动速度，模拟障碍在三维空间中将要移动的轨迹；绘制轨迹单元，用于绘制障碍移动的轨迹信息以及在三维空间中将要移动的轨迹。

本装置中，障碍检测模块4030还可以包括：模式检测单元，用于在采集环境图像时，检测当前照度值，根据得到的检测结果选择对应的摄像模式采集环境图像，当检测结果符合超低照度处理条件时，则通过超低照度摄像头采集环境图像；其中，超低照度处理条件可以为大于0.0001Lux的照度值。当检测结果不符合超低照度处理条件时，则通过红外热成像摄像头采集环境图像。

在本发明技术方案中，数据中心接收到当前位置信息、当前飞行参数以及当前障碍信息时，获取与当前位置信息对应的飞行参数以及障碍信息，用当前飞行参数替换原来的飞行参数，用当前障碍信息替换原来的障碍信息。

该部分内容技术方案取得的有益效果为：飞行器根据自身所处位置信息组织获取环境信息请求，并将其发送至数据中心；当接收到数据中心返回的环境信息响应时，从环境信息响应中获取历史障碍信息，以及历史飞行参数，根据自身的飞行状态采集环境图像，从环境图像中获取当前障碍信息，根据当前障碍信息、历史障碍信息以及历史飞行参数，在环境图像上标记该障碍，显示已标记障碍的环境图像，以此辅助飞行器飞行，另外在避开障碍，获取避开障碍过程中的飞行参数，将其作为当前飞行参数，将当前位置信息、当前飞行参数以及当前障碍信息发送至数据中心进行备份，以便在后续飞行时参考。进一步的，本发明提供的技术方案中，还将红外摄像头和超低照度摄像头配合使用，采集环境图像，以此保证获取到的图像清晰，并且不受照度、雾、霾、雨、雪等因素的影响。

需要说明的是，本发明四部分的各个实施例均采用递进或部分重复的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本文所公开的实施例，用于使本领域技术人员实现或使用本发明。对这些实施例的多种修改或变型对本领域技术人员来说将是显而易见的。本文所描述的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所描述的实施例，而是要符合与本文所公开的原理和新颖性特点相一致的最宽的范围。

Claims (10)

1.一种基于检测障碍提高起降安全性的方法，其特征在于，包括以下步骤：

拍摄设备调整自身方位，使前视拍摄方向为水平；

检测当前照度值，判断得到的检测结果是否符合超低照度处理条件；

当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的前视图像和俯视图像，经过拼接和融合后得到超低照度前视图像和超低照度俯视图像；

分别对拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息，返回结束；

当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的前视图像和俯视图像，经过拼接和融合后得到红外级前视图像和红外级俯视图像；

分别对拼接和融合后的红外级前视图像和红外级俯视图像进行障碍检测，当检测到红外级前视图像和红外级俯视图像中存在障碍时，生成并发送告警信息，返回结束。

2.如权利要求1所述的方法，其中，所述拍摄设备调整自身方位使前视拍摄方向为水平，包括：

所述设备实时检测前视拍摄方向是否处于水平，当未处于水平时，调整自身位置，使前视拍摄方向为水平。

3.如权利要求1所述的方法，其中，所述通过超低照度摄像头采集当前位置的前视图像和俯视图像，包括：

通过超低照度摄像头采集若干幅前视图像和若干幅俯视图像；

将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第一拼接前视图像；

对不同焦距的第一拼接前视图像进行图像融合，最终融合成一幅图像，作为超低照度前视图像；

将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第一拼接俯视图像；

对不同焦距的第一拼接俯视图像进行图像融合，最终融合成一幅图像，作为超低照度俯视图像。

4.如权利要求1所述的方法，其中，所述通过红外热成像摄像头采集当前位置的前视图像和俯视图像，包括：

通过红外热成像摄像头采集若干幅前视图像和若干幅俯视图像；

将焦距相同的前视图像划分为一组，将每组焦距相同的前视图像拼接成一幅图像，得到该焦距对应的第二拼接前视图像；

对不同焦距的第二拼接前视图像进行图像融合，最终融合成一幅图像，作为红外级前视图像；

将焦距相同的俯视图像划分为一组，将每组焦距相同的俯视图像拼接成一幅图像，得到该焦距对应的第二拼接俯视图像；

对不同焦距的第二拼接俯视图像进行图像融合，最终融合成一幅图像，作为红外级俯视图像。

5.如权利要求1所述的方法，其中，所述前视图像具体包括：在前视方向上覆盖第一预设角度范围的图像；所述俯视图像具体包括：在俯视方向上覆盖第二预设角度范围的图像。

6.如权利要求1所述的方法，其中，所述分别对拼接和融合后的所述超低照度前视图像和所述超低照度俯视图像进行障碍检测，具体包括：

判断所述超低照度前视图像和/或所述超低照度俯视图像中是否存在图像特征点，是则提取所述图像特征点，根据所述图像特征点绘制障碍图像，并在对应的超低照度前视图像和/或超低照度俯视图像中标记所述障碍图像，以此确定存在障碍；否则确定不存在障碍。

7.如权利要求1所述的方法，其中，所述当检测到所述超低照度前视图像和/或所述超低照度俯视图像中存在障碍时，生成并发送告警信息包括：

通过卫星定位所述障碍的位置信息，根据所述障碍的位置信息，以及标记有所述障碍图像的所述超低照度前视图像和/或超低照度俯视图像，生成告警信息，发送所述告警信息。

8.如权利要求1所述的方法，其中，所述当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像，具体包括：

当所述检测结果符合超低照度处理条件时，检测飞行状态，

如果处于起飞状态或降落状态或飞行状态，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像。

9.如权利要求1所述的方法，其中，所述当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的红外级前视图像和红外级俯视图像，具体包括：

当所述检测结果不符合所述超低照度处理条件时，检测飞行状态，

如果处于起飞状态或降落状态或飞行状态，则通过红外级摄像头采集当前位置的红外级前视图像和红外级俯视图像。

10.一种基于检测障碍提高起降安全性的设备，其特征在于，包括：

方位调整模块，用于调整自身方位，使前视拍摄方向为水平；

照度检测模块，用于检测当前照度值，判断得到的检测结果是否符合超低照度处理条件；

星光采集模块，用于当所述检测结果符合超低照度处理条件时，则通过超低照度摄像头采集当前位置的超低照度前视图像和超低照度俯视图像并进行拼接和融合处理；

星光障碍检测模块，用于分别对经过拼接融合后的超低照度前视图像和超低照度俯视图像进行障碍检测，当检测到所述超低照度前视图像和/或超低照度俯视图像中存在障碍时，生成并发送告警信息；

红外采集模块，用于当所述检测结果不符合所述超低照度处理条件时，则通过红外热成像摄像头采集当前位置的红外级前视图像和红外级俯视图像并进行拼接和融合处理；

红外障碍检测模块，用于分别对拼接融合后的所述红外级前视图像和所述红外级俯视图像进行障碍检测，当检测到所述红外级前视图像和/或红外级俯视图像中存在障碍时，生成并发送告警信息。