发明内容
本申请通过提供一种飞行器着陆方法、系统、飞行器及存储介质,旨在解决飞行器非正常着陆的问题。
本申请提供了一种飞行器着陆方法,所述飞行器着陆方法,包括:
获取目标区域对应的环境视景信息,并根据所述环境视景信息确定着陆点位置;
根据飞行器的当前位置以及所述着陆点位置确定着陆飞行路线;
控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆。
可选地,所述获取目标区域对应的环境视景信息,并根据所述环境视景信息确定着陆点位置的步骤包括:
在所述飞行器到达所述目标区域时,通过图像采集传感器采集所述目标区域内的图像信息和/或视频信息,根据所述图像信息和/或视频信息确定所述目标区域对应的环境视景信息;
获取所述目标区域关联的地图信息以及所述飞行器的飞行信息;
根据所述环境视景信息、所述地图信息以及所述飞行信息确定所述着陆点位置。
可选地,所述在所述飞行器到达所述目标区域时,通过图像采集传感器采集所述目标区域内的图像信息和/或视频信息,并根据所述图像信息和/或视频信息确定所述目标区域对应的环境视景信息的步骤,还包括:
在所述飞行器到达所述目标区域时,通过图像采集传感器从不同拍摄角度采集所述目标区域内的图像信息和/或视频信息;
根据各个拍摄角度采集的所述图像信息和/或视频信息确定对应的环境视景信息;
拼接各个拍摄角度对应的所述环境视景信息,得到所述目标区域对应的环境视景信息。
可选地,所述在所述飞行器到达所述目标区域时,通过图像采集传感器从不同拍摄角度采集所述目标区域内的图像信息和/或视频信息的步骤包括:
在所述图像采集传感器的数量为一个时,在所述飞行器到达所述目标区域时,控制所述图像采集传感器旋转至不同的拍摄角度采集目标区域内的图像信息和/或视频信息;或者,
在所述图像采集传感器的数量为至少两个时,在所述飞行器到达所述目标区域时,控制位于不同拍摄角度的各个所述图像采集传感器采集目标区域内的图像信息和/或视频信息。
可选地,所述在所述飞行器到达所述目标区域时,通过图像采集传感器采集所述目标区域内的图像信息和/或视频信息,根据所述图像信息和/或视频信息确定所述目标区域对应的环境视景信息的步骤之后,包括:
在所述飞行器的显示屏上显示所述环境视景信息;
和/或,融合所述环境视景信息、所述地图信息以及所述飞行信息;
在所述飞行器的显示屏上显示融合后的所述环境视景信息、所述地图信息以及所述飞行信息。
可选地,所述根据所述环境视景信息、所述地图信息以及所述飞行信息确定所述着陆点位置的步骤包括:
在接收到基于所述飞行器的显示屏的预设操作指令时,根据所述预设操作指令及融合后的所述环境视景信息、所述地图信息以及所述飞行信息确定所述着陆点位置,其中,所述预设操作指令包括触摸指令、输入指令、移动指令和滑动指令中的至少一种。
可选地,所述根据飞行器的当前位置以及所述着陆点位置确定着陆飞行路线的步骤之前,包括:
获取图像采集传感器的安装位置、所述图像采集传感器采集的图像信息和/或视频信息中目标对象占用的像素点数量,根据所述像素点数量和所述安装位置确定所述飞行器在默认坐标系下的着陆点位置;和/或,
根据距离传感器获取着陆点位置与飞行器的当前位置之间的距离,基于所述距离确定所述飞行器在默认坐标系下的着陆点位置;
所述根据飞行器的当前位置以及所述着陆点位置确定着陆飞行路线的步骤包括:
获取所述飞行器相对于地面的高度;
根据所述高度、所述飞行器的当前位置和所述飞行器在默认坐标系下的着陆点位置确定所述着陆飞行路线。
可选地,所述获取目标区域对应的环境视景信息,并根据所述环境视景信息确定着陆点位置的步骤之后,包括:
在检测到飞行器着陆过程中存在障碍物时,根据所述飞行器的当前位置和所述着陆点位置确定至少两条着陆飞行路线;
从所述着陆飞行路线中确定距离最短的目标着陆飞行路线;
控制所述飞行器根据所述目标着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆。
可选地,所述控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆的步骤包括:
确定所述飞行器当前的飞行模式;
在所述飞行模式为第一预设模式时,控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆,其中,所述第一预设模式包括全自动飞行模式或半自动飞行模式。
此外,为实现上述目的,本发明还提供了一种飞行器,该飞行器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的飞行器着陆程序,所述飞行器着陆程序被所述处理器执行时实现上述的飞行器着陆方法的步骤。
此外,为实现上述目的,本发明还提供了一种飞行器着陆系统,该飞行器着陆系统至少包括距离传感器、图像采集传感器、定位传感器、显示屏以及飞行器,其中,所述距离传感器用于获取所述飞行器相对于地面的高度;
所述图像采集传感器用于采集目标区域内的图像信息和/或视频信息;
所述定位传感器用于获取所述飞行器的当前位置;
所述显示屏用于显示所述飞行器的环境视景信息、和/或所述目标区域关联的地图信息、和/或飞行信息;
所述距离传感器、所述图像采集传感器、所述定位传感器以及所述显示屏均与所述飞行器连接。
此外,为实现上述目的,本发明还提供了一种计算机可读存储介质,其上存储有飞行器着陆程序,所述飞行器着陆程序被处理器执行时实现上述的飞行器着陆方法的步骤。
本申请提供的一种飞行器着陆方法、系统、飞行器及存储介质的技术方案,采用了获取目标区域对应的环境视景信息,进而根据该环境视景信息确定着陆点位置,在确定着陆点位置以及飞行器的当前位置之后,根据飞行器的当前位置以及着陆点位置确定飞行器的着陆飞行路线,进而控制飞行器根据该着陆飞行路线运动,以控制飞行器在该着陆点着陆的技术方案,由于可以根据结合环境视景信息进而确定着陆点位置,使得飞行器可以准确降落在该着陆点位置,解决了飞行器的非正常着陆的问题,提高本申请的技术方案使得飞行器可以准确且安全的降落在着陆点位置。
具体实施方式
本申请为了解决飞行器非正常着陆的问题,本申请提出了一种飞行器着陆方法,通过在检测到飞行器到达着陆点所在目标区域时,获取所述目标区域对应的环境视景信息,在飞行器的显示屏上显示所述环境视景信息,基于所述环境视景信息确定着陆点位置;还可在飞行器的显示屏上显示融合后的环境视景信息、地图信息以及飞行器的飞行信息,并基于融合后的信息确定着陆点位置;根据所述着陆点位置以及所述飞行器的当前位置确定所飞行器的飞行路线;控制飞行器以所述飞行路线进行着陆,从而使得飞行器能够准确且安全降落在着陆点位置。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为飞行器的硬件运行环境的结构示意图。
如图1所示,该飞行器可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的飞行器结构并不构成对飞行器限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及飞行器着陆程序。其中,操作系统是管理和控制飞行器硬件和软件资源的程序,飞行器着陆程序以及其它软件或程序的运行。
在图1所示的飞行器中,用户接口1003主要用于连接终端,与终端进行数据通信;网络接口1004主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的飞行器着陆程序。
在本实施例中,飞行器包括:存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的飞行器着陆程序。
以下将以实施例的方式介绍本申请的技术方案。
如图2所示,在本申请的第一实施例中,本申请的飞行器着陆方法,包括以下步骤:
步骤S110,获取目标区域对应的环境视景信息,并根据所述环境视景信息确定着陆点位置。
在本实施例中,所述目标区域为飞行器的着陆区域。所述环境视景信息为飞行器在飞行过程中,该飞行器周围的环境信息,包括地形、合作目标例如与该飞行器协同合作的其他飞行器、非合作目标例如飞鸟、气象以及非协同合作的其他飞行器等信息。可以通过不同的传感器采集不同类型的环境视景信息,在获取这些环境视景信息之后,对各类环境视景信息进行融合,从而在飞行器的显示屏上显示融合后的环境视景信息,以便飞行员对飞行器周围的环境进行观察,进而提高飞行安全。
可选地,在获取目标区域对应的环境视景信息之前,该飞行器到达该目标区域,可在该目标区域内设置信标,根据该信标信号的强弱确定该飞行器是否到达该目标区域附近。还可在该目标区域内设置视觉定位标识,例如可在该目标区域内设置二维码或者不同形状的标识,在识别到该视觉定位标识时,表示该飞行器到达该目标区域附近。可选地,还可以通过飞行器上的图像采集传感器实时采集图像信息,通过对该图像信息中进行识别和检测,从而确定飞行器是否到达该目标区域;可结合神经网络模型对该图像信息进行目标识别和检测,进而确定飞行器是否到达该目标区域。
在本实施例中,在飞行器到达该目标区域之后,表示该飞行器即将进入着陆进程或已经进入着陆进程。在飞行器到达该目标区域之后,可获取该目标区域对应的环境视景信息,进而根据该环境视景信息确定着陆点位置,其中,该着陆点位置为该目标区域内的一个点。
可选地,在飞行器到达该目标区域之后,可在飞行器的显示屏上指定该飞行器的预期着陆点位置,该预期着陆点位置为该目标区域内的一个点。在指定预期着陆点位置之后,控制图像采集传感器朝该预期着陆点位置采集环境视景信息,将该环境视景信息传输至飞行器的显示屏上进行显示,以便对着陆过程中的环境视景信息进行实时观察,并可实时调整该着陆点位置。可选地,可实时获取环境视景信息,也可以在到达该目标区域之后,获取该目标区域对应的环境视景信息,进而根据该环境视景信息确定着陆点位置。
可选地,图像采集传感器可将环境视景信息直接发送给任务/显控计算机;还可以是图像采集传感器与任务/显控计算机之间有其他设备,该设备负责处理环境视景信息,并将环境视景信息发送给任务/显控计算机,同时中转任务/显控计算机发送给图像采集传感器的指令。
可选地,获取目标区域对应的环境视景信息,并根据所述环境视景信息确定着陆点位置还包括:
步骤S111,在所述飞行器到达所述目标区域时,通过图像采集传感器采集所述目标区域内的图像信息和/或视频信息,根据所述图像信息和/或视频信息确定所述目标区域对应的环境视景信息。
在本实施例中,在飞行器到达目标区域时,可通过图像采集传感器采集目标区域内的图像信息和/或视频信息。其中,该图像采集传感器用于获取飞行器目标区域的环境视景信息,可以选择但不限于包括单/双目视频传感器、双轴光电吊舱、三轴光电吊舱等,图像采集传感器较佳地优选为应具备白天和/或夜晚工作能力(即具备可见光和/或红外模式)。可以设置一个或者多个图像采集传感器,该图像采集传感器的安装位置也可根据实际情况进行设置,例如该图像采集传感器可设置在飞行器的头部,也可以设置在飞行器的其他部位。可以在飞行器的不同部位安装对应的图像采集传感器,从多方位采集飞行器周围的环境视景信息,以便飞行员对飞行环境进行观察。
在本实施例中,该图像采集传感器可以用于采集目标区域内的图像信息,也可用于采集目标区域内的视频信息,还可用于同时采集目标区域内的图像信息以及视频信息,进而根据采集的图像信息和/或视频信息确定目标区域对应的环境视景信息。
可选地,在飞行器到达目标区域时,通过图像采集传感器采集目标区域内的图像信息,根据图像信息确定目标区域内的环境视景信息。可选地,在飞行器到达目标区域时,通过图像采集传感器采集目标区域内的视频信息,根据视频信息确定目标区域对应的环境视景信息。可选地,在飞行器到达目标区域时,通过图像采集传感器采集目标区域内的图像信息和视频信息,根据图像信息和视频信息确定目标区域对应的环境视景信息。
步骤S112,获取所述目标区域关联的地图信息以及所述飞行器的飞行信息。
在本实施例中,为了提高飞行器着陆的准确度,还可结合其他信息确定着陆点位置。可根据飞行器在目标区域的位置信息获取与该位置信息关联的地图信息。可通过飞行器上的其他传感器获取飞行器的飞行信息,其中,可通过角度传感器获取飞行器的飞行状态、飞行角度信息。可通过GPS传感器或者定位传感器获取飞行器的位置信息和航线信息。可通过距离传感器获取飞行器的高度信息等。
步骤S113,根据所述环境视景信息、所述地图信息以及所述飞行信息确定所述着陆点位置。
在本实施例中,在确定飞行器的环境视景信息、地图信息以及飞行信息之后,将各个信息进行预处理,例如,数据清洗、目标识别、目标标识之后,再进行信息融合。进而根据融合后的环境视景信息、所述地图信息以及所述飞行信息确定着陆点位置。具体的,任务/显控计算机获取环境视景信息后,将对环境视景信息进行必要的处理,并将处理完成后的环境视景信息发送给显示屏。其中,任务/显控计算机对环境视景信息处理包括:
AI目标识别:任务/显控计算机获取环境视景信息后,通过AI智能识别算法,对视景内的典型目标(如人、车、树、建筑、铁塔、平地等)进行识别和标注,以辅助驾驶员进行着陆点选择。例如,该AI智能识别算法可以是R-CNN算法、YOLO算法等。在获取到图像信息之后,将该图像信息输入该智能识别模型,在该智能识别模型中对该图像信息进行例如灰度处理、二值化处理、滤波处理之后,提取该图像信息中的目标,并通过检测框标注该目标,从而确定该目标的位置。
融合处理:可以将地图信息、航线信息、飞行状态等典型信息和环境视景信息进行融合,并将融合后的视频流发送给显示屏。还可将处理完成后的环境视景信息直接发送给显示屏。融合处理可以是提取该信息中的特征信息,对该特征信息进行卷积运算,最终将各个信息转换为同一维度的信息,再将信息进行融合。
本申请根据上述技术方案,通过将环境视景信息与当地的二维地图实时进行叠加融合,实现高效和准确的获取着陆点位置。
可选地,在所述飞行器到达所述目标区域时,通过图像采集传感器采集所述目标区域内的图像信息和/或视频信息,并根据所述图像信息和/或视频信息确定所述目标区域对应的环境视景信息的步骤,还包括:
步骤S1111,在所述飞行器到达所述目标区域时,通过图像采集传感器从不同拍摄角度采集所述目标区域内的图像信息和/或视频信息;
步骤S1112,根据各个拍摄角度采集的所述图像信息和/或视频信息确定对应的环境视景信息;
步骤S1113,拼接各个拍摄角度对应的所述环境视景信息,得到所述目标区域对应的环境视景信息。
在本实施例中,在该图像采集传感器的数量为多个时,可定义位于飞行器不同位置的图像采集传感器的采集模式,例如,可设置位于飞行器头部的图像采集传感器的采集模式为图像采集模式,在该图像采集模式下采集图像信息;设置位于飞行器顶部的图像采集传感器的采集模式为视频采集模式,在该视频采集模式下采集视频信息等。
可选地,在飞行器到达目标区域时,可通过安装在飞行器不同位置的图像采集传感器采集不同拍摄角度的该目标区域的图像信息,根据各个拍摄角度采集的图像信息确定对应的环境视景信息,将各个拍摄角度采集的环境视景信息进行拼接,从而得到目标区域对应的环境视景信息。还可以是对各个拍摄角度采集的图像信息按照预设的序列进行拼接,根据拼接后的图像信息得到目标区域对应的环境视景信息。
可选地,还可以是在飞行器到达目标区域时,可通过安装在飞行器不同位置的图像采集传感器采集不同拍摄角度的该目标区域的视频信息,根据各个拍摄角度采集的视频信息确定对应的环境视景信息,将各个拍摄角度采集的环境视景信息进行拼接,从而得到目标区域对应的环境视景信息。还可以是对各个拍摄角度采集的视频信息按照预设的序列进行拼接,根据拼接后的视频信息得到目标区域对应的环境视景信息。
可选地,在所述图像采集传感器的数量为至少两个时,可以是在飞行器到达目标区域时,可通过安装在飞行器不同位置的图像采集传感器采集不同拍摄角度的该目标区域的视频信息和图像信息,根据各个拍摄角度采集的视频信息和图像信息分别确定对应的环境视景信息,将各个拍摄角度采集的环境视景信息进行拼接,从而得到目标区域对应的环境视景信息。还可以是对各个拍摄角度采集的视频信息和图像信息分别按照预设的序列进行拼接,根据拼接后的视频信息和图像信息分别得到目标区域对应的环境视景信息。还可以是对各个拍摄角度采集的图像信息嵌入对应的拍摄角度采集的视频信息中,并在完成图像嵌入之后,将嵌入图像信息的视频信息按照预设的序列进行拼接,进而根据拼接后的嵌入图像信息的视频信息得到目标区域对应的环境视景信息。
上述所述的拼接主要包括以下方式:将图像信息和/或视频信息按照拍照时间进行拼接;或者,将图像信息和/或视频信息按照拍照角度进行拼接;或者,按照自动义的规则将图像信息和/或视频信息进行拼接。
可选地,在图像采集传感器的数量为一个时,可在飞行器到达目标区域时,控制图像采集传感器旋转至不同拍摄角度采集目标区域内的图像信息和/或视频信息,根据各个拍摄角度采集的所述图像信息和/或视频信息确定对应的环境视景信息;拼接各个拍摄角度对应的所述环境视景信息,得到所述目标区域对应的环境视景信息。例如,可控制图像采集传感器每隔预设时长旋转至不同的拍摄角度采集目标区域内的图像信息和/或视频信息。还可在飞行器的显示屏接收到对该图像采集传感器的拍摄角度的旋转指令时,调整该图像采集传感器的拍摄角度。该图像采集传感器还可对自身采集的图像信息和/或视频信息进行检测,进而自适应调节自身的拍摄角度等。
本申请根据上述技术方案,由于可以从不同的拍摄角度采集环境视景信息,进而可采用该环境视景信息对飞行器的周围环境进行实时观察,提高飞行安全。
可选地,在确定目标区域对应的环境视景信息之后,可直接在飞行器的显示屏上显示该环境视景信息。其中,飞行器的驾驶舱的显示屏布置可参考图4,该显示屏除了可以布置在飞行员的前方,还可根据飞行员的飞行习惯确定该显示屏在驾驶舱的安装位置。该显示屏内各功能区的布局方式可参考图5,以下将对该显示屏各功能区进行说明:
屏幕显示区:显示屏,用于显示飞行器航路信息、飞行信息、环境视景信息等。可选择触摸屏,选择触摸屏后,可通过屏幕上操作代替其他按键操作。可选地,还可选择感应屏,可通过检测手势变化进行相应的控制。可选地,该显示屏的显示亮度可根据当前外界环境光线的亮度进行自适应调节。
快捷键区:布置在右手的反手位,典型功能包括但不限于屏幕显示模式快速切换、飞行器操控模式切换、飞行器起飞键、飞行器着陆键等。
功能按键区:数字键、字母键、符号键等典型功能键,布置在屏幕区右侧。
移动/选择与确认按键区:包括“上”“下”“左”“右”移动键/选择键和确认键,实现光标在屏幕上的移动、选择以及确认。在着陆点选择过程中,可以利用滚轮进行坐标精细微调。其功能和作用可以被键鼠滚轮代替,二者可二选一。
键鼠滚轮区:类似鼠标滚轮,采用球形滚轮设计,可沿任意方向滚动,实现光标在屏幕上的移动、选择以及确认。在着陆点选择过程中,可以利用滚轮进行坐标精细微调。其功能和作用可以被选择与确认按键区代替,二者可二选一。
可选地,上述的快捷键、功能按键、移动/选择与确认按键可以是实体按钮,键鼠滚轮可以是实体滚轮之外,还可以与环境视景信息一样在显示屏上进行显示,在显示屏上显示对应的触摸标识。可选地,在该快捷键、功能按键、移动/选择与确认按键、键鼠滚轮在显示屏上显示时,可以对快捷键、功能按键、移动/选择与确认按键、键鼠滚轮进行隐藏或者最小化等,以避免该上述按键对显示屏的显示区域进行占用,增大显示屏上环境视景信息的显示范围。
可选地,该显示屏内各功能区的布局方式还可以根据飞行员的工作习惯进行调整。
可选地,参照图6,在确定目标区域对应的环境视景信息,获取目标区域关联的地图信息以及飞行器的飞行信息之后,融合环境视景信息、地图信息以及飞行信息;在飞行器的显示屏上显示融合后的环境视景信息、地图信息以及飞行信息。
可选地,在显示屏上显示信息时,可采用显示屏上的快捷键进行显示模式的切换。可选地,在该显示屏上还可单独显示地图信息、航线信息以及飞行器的飞行状态。可选地,参照图6,在该显示屏上还可将地图信息、航线信息、预期着陆点位置、飞行状态信息、环境视景信息等进行叠加显示。可选地,参照图3,还可在显示屏上还可仅显示环境视景信息及实际着陆点等信息。预期着陆点位置与最终确定的实际着陆点采用不同的符号进行表示。
可选地,可在接收到基于飞行器的显示屏的预设操作指令时,根据所述预设操作指令及融合后的所述环境视景信息、所述地图信息以及所述飞行信息确定所述着陆点位置,其中,所述预设操作指令包括触摸指令、输入指令、移动指令和滑动指令中的至少一种。
本申请根据上述技术方案,由于可以图形交互界面进行着陆点位置搜索并确认着陆点位置,实现了驾驶员与飞行器之间进行高效、便捷、准确地交互,以及提高对飞行器控制的便捷性。
步骤S120,根据飞行器的当前位置以及所述着陆点位置确定着陆飞行路线。
在本实施例中,在确定着陆点位置之后,可通过定位传感器或者距离传感器采集飞行器的当前位置。在确定飞行器的当前位置之后,可根据飞行器的当前位置以及着陆点位置确定飞行器着陆飞行路线。
可选地,当飞行器降落过程中存在障碍物时,可根据飞行器的当前位置和着陆点位置确定多条着陆飞行路线,可从多条着陆飞行路线中确定一条最短的着陆飞行路线,该最短的着陆飞行路线为距离最短的目标着陆飞行路线,该目标着陆飞行路线从多条着陆飞行路线中获取,可控制该飞行器可沿着该目标着陆飞行路线进行运动,进而控制飞行器在该着陆点位置着陆,实现着陆过程中的避障。
可选地,可在确定着陆飞行路线之后,控制飞行器的动力系统和飞机操控舵面,进而使得飞行器可以降落在着陆点位置。
可选地,本申请除了根据融合后的环境视景信息确定着陆点位置、高精度地图确定着陆点位置、距离传感器确定着陆点位置之外,还可采用以下步骤确定着陆点位置:
步骤S210,获取图像采集传感器的安装位置、所述图像采集传感器采集的图像信息和/或视频信息中目标对象占用的像素点数量,根据所述像素点数量和所述安装位置确定所述飞行器在默认坐标系下的着陆点位置;
和/或,步骤S220,根据距离传感器获取着陆点位置与飞行器的当前位置之间的距离,基于所述距离确定所述飞行器在默认坐标系下的着陆点位置。
在本实施例中,由于该着陆点位置是通过采集的图像数据或者视频数据确定的,该着陆点位置为相机坐标系下的位置,即二维位置。因此,需要将该相机坐标系下的着陆点位置转换为飞行器在默认坐标系下的着陆点位置,即在空间中的位置,在根据该飞行器默认坐标系下的着陆点位置确定飞行器的着陆飞行路线。而将该相机坐标系下的着陆点位置转换为飞行器在默认坐标系下的着陆点位置需要结合图像采集传感器的焦距大小以及安装位置,还可结合图像采集传感器的安装角、实时框架角等参数计算着陆点相对飞行器的空间位置,即飞行器在默认坐标系下的着陆点位置。该转换过程采用常规的相机坐标系与飞行器在默认坐标系位置转换方式,在此不再赘述。当驾驶员通过显控设备选择着陆点后,机上计算机也可根据机上存储的高精度地图,自动直接获取着陆点的位置信息,并发送给飞管计算机生成导航信息。
可选地,还可通过距离传感器获取着陆点位置与飞行器的当前位置之间的距离,进而根据该距离确定飞行器在默认坐标系下的着陆点位置。
可选地,还可根据由像素点数量和所述安装位置确定飞行器在默认坐标系下的着陆点位置,以及距离确定的飞行器在默认坐标系下的着陆点位置两种方式共同确定着陆点位置,对着陆点位置进行校准,以提高着陆点位置的识别精度。
在根据上述方式确定着陆点位置之后,进一步根据飞行器的当前位置以及着陆点位置确定着陆飞行路线的步骤包括:
步骤S121,获取所述飞行器相对于地面的高度;
步骤S122,根据所述高度、所述飞行器的当前位置和所述飞行器在默认坐标系下的着陆点位置确定所述着陆飞行路线。
在本实施例中,在确定飞行器在默认坐标系下的着陆点位置,需要结合飞行器相对与地面的高度,该高度可通过距离传感器进行测量。其中,该距离传感器用于获取飞行器下方的地形数据和飞行器的绝对高度数据,可以选择但不限于包括毫米波雷达、激光高度表、激光雷达、SAR雷达、声波雷达等。在获取飞行器相对于地面的高度、在飞行器在默认坐标系下的着陆点位置之后,可将高度、飞行器的当前位置和在飞行器在默认坐标系下的着陆点位置发送至飞管计算机。飞管计算机获得更新后的着陆点位置信息后将结合高度传感器等其他传感器的数据生成必要的着陆飞行路线或者导航信息,并发送给飞控计算机。
步骤S130,控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆。
在本实施例中,飞控计算机获得着陆飞行路线和/或导航信息以后,将对飞行器舵面和动力系统生成必要的控制指令。动力系统及舵面的控制器收到控制信息后按照指令进行工作,驱动飞行器向着陆点位置靠近,从而实现着陆。
可选地,所述控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆的步骤包括:
步骤 S131,确定所述飞行器当前的飞行模式;
步骤 S132,在所述飞行模式为第一预设模式时,控制所述飞行器根据所述着陆飞行路线运动,以控制所述飞行器在所述着陆点位置着陆,其中,所述第一预设模式包括全自动飞行模式或半自动飞行模式。
在本实施例中,着陆过程可以采用全自动/半自动着陆或完全在驾驶员操控下进行着陆。如果飞行器支持两种着陆模式,则飞行器应向驾驶员提供模式切换的能力。以下为全自动飞行模式或半自动飞行模式下的着陆过程:
若预期着陆点位置符合着陆要求(符合性包括符合飞行任务需要的着陆位置,符合飞机着陆条件),驾驶员将通过显示屏上按钮(触摸屏按钮或边上的机械按钮)确认在预期着陆点位置进行着陆,或驾驶员不作任何操作,飞行控制系统默认预期着陆点位置作为实际着陆点。
若预期着陆点位置不符合着陆要求,通过显示屏重新选择着陆点,选择着陆点的方式包括但不限于如下几种:
方式一(触摸指令):若显示屏为触摸屏,驾驶员结合环境视景信息,直接在显示屏上触摸选点,并确认该点为最终选定的着陆点。选点过程滑动屏幕,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式二(输入指令):驾驶员结合环境视景信息,通过显示屏上功能按键输入最终着陆点的坐标,并确认该点为最终选定的着陆点。选定后,视频传感器的视场保持向最终选定的着陆点靠近,并最终锁定该点。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式三(移动指令):驾驶员结合环境视景信息,通过显示屏上的移动/选择与确认键区按钮移动屏幕上的着陆点标识,并选择和确认最终选定的着陆点。选点过程,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式四(滑动指令):驾驶员结合环境视景信息,通过显示屏上的键鼠滚轮按钮移动屏幕上的着陆点标识,并选择和确认最终选定的着陆点。选点过程,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
最终选定的着陆点确定以后,任务/显控计算机将根据图像采集传感器的安装位置、安装角、实时框架角、焦距等参数计算着陆点相对飞行器的空间位置,以及着陆点的经纬坐标信息,并发送给飞管计算机。
飞管计算机获得更新后的着陆点位置信息后将结合高度传感器等其他传感器的数据生成必要的着陆飞行路线,并发送给飞控计算机。飞控计算机获得着陆飞行路线以后,将对飞行器舵面和动力系统生成必要的控制指令。动力系统及舵面的控制器收到控制信息后按照指令进行工作,驱动飞行器向目标点靠近,逐渐自动/半自动完成着陆过程。
本实施例根据上述技术方案,本申请为了解决飞行器非正常着陆的问题,本申请提出了一种飞行器着陆方法,通过在检测到飞行器到达着陆点所在目标区域时,获取所述目标区域对应的环境视景信息,在飞行器的显示屏上显示所述环境视景信息,基于所述环境视景信息确定着陆点位置;还可在飞行器的显示屏上显示融合后的环境视景信息、地图信息以及飞行器的飞行信息,并基于融合后的信息确定着陆点位置;根据所述着陆点位置以及所述飞行器的当前位置确定所飞行器的飞行路线;控制飞行器以所述飞行路线进行着陆,从而使得飞行器能够准确且安全降落在着陆点位置。
在一实施例中,参照图7,图7为本申请一实施例的流程示意图。具体的,
A-0:飞行器到达着陆区域附近,即将进入着陆进程或已经进入着陆进程。
A-1:飞行器到达着陆区域附近,飞行器应已被告知一个准确的位置(坐标信息)作为预期着陆点位置,该点应属于预期着陆区域中的一个点。
A-2:任务/显控计算机获取预期着陆点位置信息后,将控制视频传感器对准预期的着陆区域。
A-3:视频传感器对准预期的着陆区域后,将预期的着陆区域的环境视景信息直接或间接的发送给任务/显控计算机。
(1)直接:视频传感器将环境视景信息直接发送给任务/显控计算机;
(2)间接:视频传感器与任务/显控计算机之间有其他设备,该设备负责处理视景信息并将视景信息发送给任务/显控计算机,同时中转任务/显控计算机发送给视频传感器的指令。
A-4:任务/显控计算机获取视景信息后将对视景信息进行必要的处理,并将处理完成后的视景信息发送给显示屏,任务/显控计算机典型的视景信息处理形式包括但不限于:
(1)AI目标识别:任务/显控计算机获取视景信息后,通过AI智能识别算法,对视景内的典型目标(如人、车、树、建筑、铁塔、平地等)进行识别和标注,以辅助驾驶员进行着陆点选择。
(2)视频流处理:
模式一:将地图信息、航线信息、飞行状态等典型信息和环境视景信息进行融合,并将融合后的视频流发送给显示屏。
模式二:将处理完成后的环境视景信息直接发送给显示屏。
A-5:显示屏获取环境视景信息后将通过显示屏进行显示。显示模式包括但不限于如下几种类型,并可通过显示屏上快捷键进行显示模式切换。
显示模式一:地图信息、航线信息、飞行状态等典型信息和环境视景信息融合叠加显示。
显示模式二:仅显示环境视景信息。
显示模式三:显示地图信息、航线信息、飞行状态及其他需要告知驾驶员的飞行信息。
B-0:显示屏将环境视景信息显示出来后,驾驶员将通过显示屏获取预期的着陆区域的视景信息。
B-1:着陆过程可以采用全自动/半自动着陆或完全在驾驶员操控下进行着陆。如果飞行器支持两种着陆模式,则飞行器应向驾驶员提供模式切换的能力。B-2~B-6主要针对全自动/半自动着陆的模式。
B-2:驾驶员通过显示屏选择和/或确认新的着陆点。该阶段可分为如下几个步骤:
步骤一:若预期着陆点位置符合着陆要求(符合性包括符合飞行任务需要的着陆位置,符合飞机着陆条件),驾驶员将通过显示屏上按钮(触摸屏按钮或边上的机械按钮)确认在预期着陆点位置进行着陆,或驾驶员不作任何操作,飞行控制系统默认预期着陆点位置作为实际着陆点。
步骤二:若预期着陆点位置不符合着陆要求,驾驶员将通过显示屏重新选择着陆点,选择着陆点的方式包括但不限于如下几种:
方式一:若显示屏为触摸屏,驾驶员结合环境视景信息,直接在显示屏上触摸选点,并确认该点为最终选定的着陆点。选点过程滑动屏幕,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式二:驾驶员结合环境视景信息,通过显示屏上功能按键输入最终着陆点的坐标,并确认该点为最终选定的着陆点。选定后,视频传感器的视场保持向最终选定的着陆点靠近,并最终锁定该点。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式三:驾驶员结合环境视景信息,通过显示屏上的移动/选择与确认键区按钮移动屏幕上的着陆点标识,并选择和确认最终选定的着陆点。选点过程,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
方式四:驾驶员结合环境视景信息,通过显示屏上的键鼠滚轮按钮移动屏幕上的着陆点标识,并选择和确认最终选定的着陆点。选点过程,视频传感器始终保持最终选定的着陆点标识在视场画面以内。对于确认过程,当最终选定的着陆点标识不再移动,即使驾驶员不对该点进行确认操作,飞行控制系统将按照既定逻辑默认该点为最终选定的着陆点。
B-3:最终选定的着陆点确定以后,任务/显控计算机将根据视频传感器的安装位置、安装角、实时框架角、焦距等参数计算着陆点相对飞行器的空间位置,计算着陆点的经纬坐标信息或飞行器在默认坐标系下的位置信息,或任务计算机根据驾驶员在融合地图信息的显示屏上选择着陆点后直接通过地图信息获取着陆点的准确位置信息,并发送给飞管计算机。
B-4:飞管计算机获得更新后的着陆点位置信息后将结合高度传感器等其他传感器的数据生成必要的导航信息,并发送给飞控计算机。
B-5:飞控计算机获得导航信息以后,将对飞行器舵面和动力系统生成必要的控制指令。
B-6:动力系统及舵面的控制器收到控制信息后按照指令进行工作,驱动飞行器向目标点靠近,逐渐自动/半自动完成着陆过程。
本发明实施例提供了飞行器着陆方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图5所示,本申请提供的一种飞行器着陆系统,该飞行器着陆系统包括:
距离传感器、图像采集传感器、定位传感器、显示屏以及飞行器,其中,
所述距离传感器用于获取所述飞行器相对于地面的高度;具体的,距离传感器用于获取飞行器下方的地形数据和飞行器的绝对高度数据,可以选择但不限于包括毫米波雷达、激光高度表、激光雷达、SAR雷达、声波雷达等。
所述图像采集传感器用于采集目标区域内的图像信息和/或视频信息;具体的,用于获取飞行器着陆点附近的环境视景信息,可以选择但不限于包括单/双目视频传感器、双轴光电吊舱、三轴光电吊舱等,视频传感器较佳地优选为应具备白天和/或夜晚工作能力(即具备可见光和/或红外模式)。
所述定位传感器用于获取所述飞行器的当前位置;具体的,用于获取飞行器当前的经纬坐标及高度坐标,可以选择但不限于GNSS天线。
所述显示屏用于显示所述飞行器的环境视景信息、和/或所述目标区域关联的地图信息、和/或飞行信息;
所述距离传感器、所述图像采集传感器、所述定位传感器以及所述显示屏均与所述飞行器连接。
可选地,图像采集传感器优选布置于机头,距离传感器优选布置于机身腹部,定位传感器优选布置于机身顶部。
可选地,参照图8,该飞行器着陆系统还可包括飞管计算机、任务/显控计算机、飞控计算机、动力系统控制器、舵机控制器等。
可选地,该飞行器着陆系统还可包括RF(Radio Frequency,射频)电路,音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本发明飞行器具体实施方式与上述飞行器着陆方法各实施例基本相同,在此不再赘述。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有飞行器着陆程序,所述飞行器着陆程序被处理器执行时实现如上所述的飞行器着陆方法的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
由于本申请实施例提供的存储介质,为实施本申请实施例的方法所采用的存储介质,故而基于本申请实施例所介绍的方法,本领域所属人员能够了解该存储介质的具体结构及变形,故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。