CN109866933B - 用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 - Google Patents
用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 Download PDFInfo
- Publication number
- CN109866933B CN109866933B CN201711247684.5A CN201711247684A CN109866933B CN 109866933 B CN109866933 B CN 109866933B CN 201711247684 A CN201711247684 A CN 201711247684A CN 109866933 B CN109866933 B CN 109866933B
- Authority
- CN
- China
- Prior art keywords
- landing zone
- rotorcraft
- sought
- landing
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法。本发明涉及一种用于辅助驾驶旋翼飞行器(2)以在旋翼飞行器着陆区上着陆的阶段之前的进近阶段期间驾驶旋翼飞行器(2)的设备(1)。具体而言,此类设备(1)包括:用于沿视线(20,20')拍摄所述旋翼飞行器(2)的环境的多个图像的相机(3,3'),所述视线(20,20')至少沿所述旋翼飞行器(2)的向前方向Dx来查看;以及用于在所述多个图像中的至少一个图像中标识至少一个所寻找的着陆区的处理器装置。
Description
相关申请的交叉引用
本申请要求在2016年7月11日提交的FR1601075的权益,其公开通过援引整体纳入于此。
技术领域
本发明涉及用于辅助驾驶的设备的领域,且涉及在适用于旋翼飞行器时辅助驾驶的相关联方法。此类设备具体地用于在旋翼飞行器正在接近预备旋翼飞行器着陆区(诸如尤其是直升机起降场、直升飞机场、或直升机坪)的阶段期间促进引导旋翼飞行器。
背景技术
具体地,对于旋翼飞行器的机组人员而言,标识旋翼飞行器要在其上着陆的着陆区有时会是复杂的,例如当着陆区被布置在建筑物上、诸如船只或舰艇之类的交通工具上、或者在具有多个不同着陆区的平台上时。
在着陆区位于一群地理上靠近在一起的若干建筑物或平台中时,对着陆区的此类标识可被发现甚至更加复杂。
在实践中,在一位置具有多个着陆区时,旋翼飞行器的机组人员需要允许附加时间以执行侦察。旋翼飞行器随后需要携带附加量的燃料以能够执行此类侦察操作。
一般而言,并且如在文献EP 2 996 009或WO 2014/169364中描述的,已知向无人飞行器(诸如无人机)提供使得能够标识远程着陆区并随后保证在无人机接近所述先前标识的着陆区时引导该无人机的设备。借助适于检测着陆区的存在以及自动跟踪着陆区的位置的相机来相对于着陆区引导无人机。此类相机可尤其被选择成是“平摇-倾斜-缩放”型,即它可具有两个自由度来相对于无人机的行进方向旋转移动,即通过仰角和通过相对方位角,并且它还可具有将镜头推向着陆区的能力。
然而,虽然此类设备使得无人机能够朝布置在相机视野中的单个着陆区来引导,但它没有被适配成使得旋翼飞行器机组人员能够从包括地理上彼此接近的多个着陆区的群中标识一个特定着陆区。
一种用于辅助驾驶旋翼飞行器的方法和系统也是已知的,如在N.Peinecke在2014年6月通过SPIE会议录发布且被欧洲专利局引用为“文献XP 060037261”的“Detection ofhelicopter landing sites in unprepared terrain(在无准备地形中检测直升机着陆点)”,用于在使旋翼飞行器着陆的阶段期间向旋翼飞行器的飞行员提供与无准备着陆点有关的信息。
在此类情形中,此类着陆点最初未被准备用于接纳旋翼飞行器。此类着陆因此不能被认为是发生在旋翼飞行器着陆区上,因为此类区域被特别地准备用于接纳旋翼飞行器,具体地它设置有特定标记。
文献XP 060037261中描述的系统使得预选择无准备类型的着陆点成为可能,例如因变于例如其大小、其取向、以及该地点的布局。
潜在着陆点随后被显示在监视屏上,以平面图叠加在地面的雷达图像上。此类系统随后使得旋翼飞行器的飞行员能够从位于旋翼飞行器下方的那些建议地点中选择一个此类着陆点,并随后手动地操纵旋翼飞行器以便着陆。
然而,在此类情形中,该系统没有描述沿视线查看的相机。它也没有使得各着陆点中的每一者的图像能够被独立地显示。
因而,文献XP 060037261也没有公开用于在来自所述多个图像的至少一个图像中标识与预选择类型的着陆点相对应的至少一个潜在着陆点的处理器装置。
此外,飞行员不能致动用于选择所需着陆点的装置,并且该系统不包括用于生成使得旋翼飞行器能够朝所需着陆点自动驾驶的控制设置点的任何控制单元。
一种用于辅助驾驶旋翼飞行器的方法和系统也是已知的,如在文献EP 2 977 976A2中描述的,用于使旋翼飞行器能够在着陆在着陆点的阶段期间被驾驶。
然而,文献EP 2 977 976 A2没有描述沿视线查看以便显示表示所寻找的着陆区的图像的相机。相机可被使用,但它像雷达一样被使用,仅用于提供地面的平面图。
最后,已知用于辅助驾驶以促进飞行器在着陆点紧急着陆的其他系统和方法,诸如在文献US 9 257 048 B1和US 2016/055754 A1中描述的。
如上所述,这些文献中没有一者描述了用于沿视线拍摄图像的相机以及随后从来自该相机的各图像之间选择着陆点。
这些各种系统和方法因而更多地适配成促进在着陆阶段期间而非在着陆阶段之前的进近阶段期间驾驶旋翼飞行器。
发明内容
本发明因而具有提出一种使得可能克服上述限制的设备的目标。具体而言,本发明的用于辅助驾驶的设备和方法使得可能在沿看向地平线的视线查看的同时标识给定类型的多个着陆区,并随后在进近阶段期间一旦这些着陆区之一已被旋翼飞行器的机组人员选择就在基本上地平的方向上朝该着陆区引导旋翼飞行器。
因而,本发明涉及一种用于辅助驾驶旋翼飞行器以使得能够在旋翼飞行器着陆区上着陆的阶段之前的进近阶段期间驾驶旋翼飞行器的设备。如上所述,具体而言,此类着陆区可以是直升机起降场、直升飞机场、或直升机坪的形式。
此类设备是值得注意的,在于它包括:
用于预选择所述设备要寻找的着陆区的类型的预选择装置,所述预选择装置由所述旋翼飞行器的机组成员来致动;
用于沿视线拍摄所述旋翼飞行器的环境的多个图像的至少一个相机,所述视线至少指向所述旋翼飞行器的向前方向Dx(即,后前方向);
用于在来自所述多个图像中的至少一个图像中标识与经由所述预选择装置预选择的着陆区的类型相对应的至少一个所寻找的着陆区的处理器装置;
用于至少显示表示所寻找的着陆区的图像的显示部件;
用于使所述旋翼飞行器的机组人员能够从所寻找的着陆区中选择所需着陆区的选择装置;以及
用于生成使得所述旋翼飞行器能够朝所需着陆区基本上地平地自动驾驶的控制设置点的控制单元。
换言之,该用于辅助驾驶的设备使得机组人员能够在显示部件上查看与经由预选择装置预选择的所寻找类型的着陆区相对应的多个着陆区。此类着陆区也远离旋翼飞行器且在至少地平方向上远离旋翼飞行器。此类着陆区因而不构成位于旋翼飞行器垂直下方的无准备紧急着陆点。控制设置点随后用于在几百米或几千米上空沿基本上地平的路径驾驶旋翼飞行器。
此类预选择装置可尤其由其上显示着陆区的象征图像或照片的预选择触摸屏来形成。旋翼飞行器的驾驶员或副驾驶员随后可选择该设备此后要寻找且要被显示在显示部件上的着陆区的类型。
此外,用于标识所寻找的着陆区的处理器装置可由计算装置、处理器、或更一般地由具有能够在多个图像中标识所寻找的着陆区的必要计算能力的计算机构成。对所寻找的着陆区的此类标识发生在若干阶段中。最初,可能使用所谓的“梯度”方法来检测地平线。更确切而言,此类方法包括将垂直“Sobel”过滤器用于图像。此类方法因而用于放大对比度并检测地平线。此后,它足以通过使用“Hough”变换找出贯穿最大数目的点的线。在实践中,地平线在图像中不完全是直线,而是抛物线弧。
然而,仅大致地检测地平线不是麻烦的,因为检测地平线仅用于消除图像的高部分(这对应于天空且不直接对检测着陆区有用)。
此外,处理器装置通过利用总是给出旋翼飞行器的姿态的辅助机载仪器,并随后指定图像需要被旋转以获得与具有水平姿态的旋翼飞行器相对应的竖直图像的角度,来计入旋翼飞行器关于滚转轴的倾角。
一旦已标识了地平线且天空已被消除,处理器装置就执行“区域生长”方法,如在以下不同应用中描述的:Arnaud Le Troter、Sébastien Mavromatis以及Jean Sequeira发布的题为“Soccer field detection in video images using color and spatialcoherence(使用色彩和空间相干在视频图像中检测足球场)”-图像分析和识别国际会议,葡萄牙波尔图,2004年10月。
此类区域生长方法随后用于通过色度分布来搜索图像中的支配色或感兴趣区域。它还使得可能搜索遵从图像的色度准则来相干的区域,并且随后它可将放大模型用于图像的像素上。此类模型已知用于建立对组成图像的有色像素的调查,并且它可利用色彩空间的表示,诸如称为色调、饱和度、以及亮度(HSL)的色彩空间。
此类区域生长方法可尤其用于检测图像的底部部分中布置在地平线下方的海洋和图像的高部分中布置在地平线上方的天空。
此后,其余像素可在各个连通区域中被编组在一起以获得包括一个或多个所寻找的着陆区的区域。纯粹存在于天空中的连通区域被移除,因为它们一般与不对应于所寻找的着陆区的云、雾、或飞行物相对应。
相干区域的形成包括将每一像素指派给“HSL”区域或不指派给HSL区域(如果该像素的色彩不在支配HSL区域(或图像的支配色)中的任一者中的话)。此后,处理器装置用于创建属于共同HSL区域的像素的连通区域。
将像素放大到区域的现象通过应用对应于闭包的数学形态工具来执行。被选择用于闭包的结构化元素是大小远小于要在图像中检测的着陆区或一群着陆区的最小大小的圆。被选择用于结构化元素的大小是要被检测的对象的大小的十分之一的量级。
所获得的区域随后被标识为潜在着陆区,并且它们可由显示装置独立地显示并随后由机组人员选择。
因而,一旦所需着陆区已被机组人员选择,控制单元随后使得旋翼飞行器能够朝所需着陆区自动驾驶,而无需旋翼飞行器的驾驶员一方的任何其他动作,并且在旋翼飞行器的包括至少水平分量的向前方向上这样做。
有利地,显示部件可用于显示分别表示要由该设备寻找的多个类型的着陆区的各种图像,并且预选择装置可以是触摸类型的且被直接布置在显示部件的显示表面上。
因而,用于显示表示所寻找的着陆区的图像的显示部件以及用于从所寻找的着陆区中选择所需着陆区的装置可以是选择触摸屏形式的单个部件。
此外,预选择触摸屏可以与选择触摸屏相同且由单个触摸屏形成,该单个触摸屏初始地使得可能预选择要寻找的着陆区的类型,并随后显示与预选择类型的着陆区相对应的至少一个所标识的着陆区,并且最后选择所需着陆区。
在实践中,处理器装置可用于在来自多个图像中的至少一个图像中标识至少一个群,该群包括与经由预选择装置预选择的着陆区的类型相对应的多个所寻找的着陆区。在这样的情形中,显示部件可用于显示表示包括多个所寻找的着陆区的群的图像。选择装置可以使得能够从包括多个所寻找的着陆区的群中选择所需群。
换言之,处理器装置用于在图像中标识具有多个着陆区(诸如船只或石油平台)的连通区域。在旋翼飞行器朝具有多群着陆区的位置(诸如非常相似的石油平台的场地)飞行时,此类标识尤其有用。
在本发明的特定实施例中,该设备可包括用于根据所需着陆区的图像来确定旋翼飞行器与所需着陆区的几何中心之间的距离的计算装置。
当在地面上通过圆来标记着陆区时,形成该圆的圆周的线的粗细度可被标准化,并且可具有遵从“CAP 437-海上直升机起降区标准”法规的一米的值。对于其他着陆区,可能因变于在地面上或支撑面上标记着陆区的圆、正方形、或三角形的粗细度来定义其他类别的着陆区。取决于已被预选择的着陆区的类型,可由计算装置使用不同算法。
另外,对于由预定圆标记的着陆区,通过使用相机查看圆的粗细度的角ε,可能计算距着陆区的中心的距离d。相机看到的着陆区的形状是相机看到的且在图像中标识的与圆的变形形状相对应的椭圆,对该椭圆可以计算各个方程。
通过使用小角度近似,获得下式:
其中e是着陆区的等于1米的轮廓线的粗细度。值ε可通过使用投影几何和针孔相机的近似来计算。针孔近似包括假定所有光线穿过单个点(称为“针孔”)且投影到捕获各图像的平面上。该点与该平面之间的距离被称为焦距f。
根据针孔模型,光线相交的点被定义为三维空间的矩形参考系的原点,其中z轴是与图像平面正交且背离图像的轴。
坐标为(x,y,z)的点被投影到图像平面上作为(x',y',z'),其中
查看对象的角度随后对应于该对象在图像平面上的大小除以焦距。这一近似只对于小角度是有效的。具体而言,针孔近似不适用于大角度。具体而言,图像的大小由像素的数目来定义:因此,有必要乘以比例系数以将角度转换成像素。该设备随后再现已知的特性的场景。因而,借助相机,该场景被捕获,并且所获得的图像使得可能计算比例系数。
计算装置通过将相机拍摄的图像旋转与旋翼飞行器的滚转角相反的角度来开始以获得竖直图像。
此后,角度最初通过将由机载仪器提供的旋翼飞行器的俯仰角加相机的视线与旋翼飞行器的纵向轴之间的角度(如果相机相对于飞行器固定则是常数值,否则在它活动时,该角度可由相机系统被传送到计算装置)求和来计算。角度随后通过将这一总和加到在该图像上测得的角度来计算。从图像测得的角度同相机的视线与穿过相机和着陆区的中心的轴之间的角度相对应。在图像上测得的这一角度因而从由相机提供的数据获得,该数据用于根据像素并根据着陆区的中心与相机的视线之间的像素距离来定义角度。
因而,地平距离通过以下公式给出:
垂直距离或高度差由以下公式给出:
此外,满足CAP 437标准的着陆区是中心有H的圆形形状。在旋翼飞行器远离穿过此类着陆区的中心的垂直轴时,着陆区看起来是椭圆的形式,该椭圆可由矩形参考系中的具有以下形式的简化方程来表征:
其中E(xE,yE)是椭圆的圆心,θ是椭圆的取向,a是半焦轴且b是半非焦轴。因而,为了表征椭圆而不管它位于何处,计算装置用于确定这五个参数。
文献US 4 618 989给出如何从图像提取椭圆参数的示例。
有利地,计算装置可为旋翼飞行器确定用于接近所需着陆区的至少一个进近路径。显示部件随后可显示表示旋翼飞行器的进近路径的图像。选择装置随后可用于从进近路径中选择旋翼飞行器的所选进近路径。最后,控制单元可生成使得旋翼飞行器能够遵循所需进近路径朝所需着陆区基本上地平地自动驾驶的控制设置点。
计算装置根据已知或计算得到的数据(诸如旋翼飞行器与椭圆圆心之间的距离、旋翼飞行器相对于三个轴的状态参数(诸如旋翼飞行器的行进速度向量的分量Vx、Vy和Vz,滚转角、俯仰角、以及偏航角)连同相机相对于参考位置的移动(如果有的话)来确定进近路径。
旋翼飞行器的机组人员随后可确认或拒绝显示在显示部件上的所提出的进近。在该设备指定非遵从着陆区时,机组人员随后可以迫使该设备将旋翼飞行器引导到机组人员希望着陆的着陆区。因而,在所有时间,机组人员保持超越用于辅助驾驶的设备的决策权。机组人员不同意该设备的情况可能发生在极少情形中,诸如迫降在已关闭着陆区上、不符合该设备中定义的任何标准的着陆区、或的确一个或多个相机的故障。
在实践中,处理器装置可用于在多个图像中的至少一个图像中标识所需着陆区是否包括阻挡元素,并随后在显示部件上显示信息消息与表示包括该阻挡元素的所需着陆区的图像。
梯度过滤方法被用在着陆区内以揭示其中的H。此后,Hough变换可被应用以检测H的各线段。此后,搜索与两个线段共用的端点相对应的角以找出与一组十二个线段相对应的十二个角。
如果距着陆区的距离小于特定预定值并且如果H形状仍然未被检测到,则该设备可警告旋翼飞行器的机组人员。未能接触到H形状可发生在若干情形中,诸如已被一旋翼飞行器占用的着陆区,或更一般而言,已关闭且不要被着陆的着陆区。在这两种情形中,向旋翼飞行器的机组人员返回警报以推荐脱离控制旋翼飞行器的至少一个旋翼的控件的自动驾驶的规程。
另外,可能发生的是停放在着陆区的旋翼飞行器没有阻止H形状被检测到。具体而言,取决于旋翼飞行器和着陆区的相应大小并且还取决于视线的角度,H形状可能是完全可见的。然而,在这一特定情形中,地面上的旋翼飞行器可能遮挡着陆区的轮廓线的一部分,并且这也可被检测到。
在一实施例中,处理器装置可用于在多个图像中的至少一个图像中标识所需着陆区的紧邻环境是否包括禁飞区。
这样的禁飞区是大小很小的区域,其中高度大于安全值的静止元素可存在于着陆区的紧密邻域中。此类禁飞区随后被使用特定符号和/或特定颜色标记在着陆区的外围。随后禁止任何旋翼飞行器通过遵循经由禁飞区通过的进近路径来接近着陆区。
此类禁飞区可以在若干步骤中检测到,第一步骤包括通过色度分析来检测感兴趣元素。具体而言,禁飞区的轮廓线一般由可通过色度分析来标识的平行红白条带来表示。此后,验证具有这些颜色的元素是否的确是所讨论的标记,并且最后从中导出三维空间中禁飞区的轮廓线。
检测色彩的步骤近似以上解释的方法。搜索适当颜色的直线是使用Hough变换以检测直线段来执行的。
最后,检测三维空间中的区域是通过将着陆区和该标记的图像正交投影到在三维空间中包含着陆区的平面上来完成的。
在这样的情形中,旋翼飞行器的进近路径可用于避开所需着陆区的紧邻环境中存在的禁飞区。
在所获得的用于定位着陆区以及其邻域中的禁飞区的结果的基础上,随后提出并在显示部件上显示进近路径。着陆区的状况也可被叠加在显示器上以向飞行员通知该着陆区上是否已经存在旋翼飞行器或者该着陆区是否被关闭。
有利地,至少一个相机可包括布置在活动塔座中的第一相机,该活动塔座用于沿仰角和/或相对方位角调整第一相机的第一视线的取向,该第一相机拥有第一视野且用于获得所寻找的着陆区的全景图像。例如,第一相机的第一视野可以是30°x20°的中等视野。
在实践中,相机可包括布置在活动塔座中的第二相机,该活动塔座用于沿仰角和/或相对方位角调整第二相机的第二视线的取向,该第二相机拥有小于第一相机的第一视野的第二视野且用于获得所寻找的着陆区的高分辨率图像。例如,这一第二相机的第二视野可以是5°x3.5°的小视野。术语“高分辨率”指定第二相机获得的图像的分辨率大于每英寸250像素(ppi)。
具有广角110°x110°且面向下的非活动第三相机可用于在紧接着陆阶段之前获得着陆区的图像。
在本发明的一实施例中,该设备可包括用于存储与所寻找的着陆区有关的信息的至少一个存储器,显示部件使得该信息能够与表示所寻找的着陆区的对应图像一起显示和/或被显示来代替该对应图像。
作为示例,存储在这一存储器中的信息可包括用于显示在显示部件上的图像或照片。具体而言,着陆区的此类照片的分辨率可以大于由该设备的相机拍摄的图像的分辨率,或者它们可已经在特定角度或在有利的天气条件下拍摄。
如已经提及的,本发明还提供了一种在以下方面值得注意的旋翼飞行器:它包括以上描述的用于辅助驾驶以使得能够在旋翼飞行器着陆区上着陆的阶段之前的进近阶段期间驾驶旋翼飞行器的设备。
此类安装有用于辅助驾驶的上述设备的旋翼飞行器因而更高效并且消耗更少燃料就能到达位于相同类型的其他着陆区的紧密邻域中的着陆区。
如已经提及的,根据本发明的旋翼飞行器也更安全,因为它使得机组人员能够避开不可用或设置已关闭的着陆区。最后,它使得旋翼飞行器的机组人员可能在计入禁飞区(如果有的话)的同时选择进近路径。
本发明还提供了一种辅助驾驶旋翼飞行器的方法,该方法在旋翼飞行器着陆区上着陆的阶段之前的进近阶段期间执行。
另外,此类方法是值得注意的,在于它包括:
用于预选择通过该方法要寻找的着陆区的类型的预选择步骤,该预选择步骤通过旋翼飞行器的机组成员致动预选择装置来执行;
用于至少沿所述旋翼飞行器的向前方向Dx拍摄所述旋翼飞行器的环境的多个图像的采集步骤;
用于在所述多个图像中的至少一个图像中标识与在所述预选择步骤期间预选择的着陆区的类型相对应的至少一个所寻找的着陆区的处理步骤;
用于至少显示表示所寻找的着陆区的一个图像的至少一个显示步骤;
由所述旋翼飞行器的机组人员执行以至少从所寻找的着陆区中选择一个所需着陆区的至少一个选择步骤;以及
用于至少生成使得所述旋翼飞行器能够朝所需着陆区基本上地平地自动驾驶的控制设置点的至少一个控制步骤。
换言之,此类方法尤其适用于在搜索着陆区时节省时间,其中该着陆区位于相同类型(例如作为示例具有相同形状或相同符号)的其他着陆区旁边。这一方法还使得可能在旋翼飞行器接近所需着陆区时降低旋翼飞行器的机组人员的工作负荷。
有利地,处理步骤可用于在来自多个图像中的至少一个图像中标识至少一个群,该群包括与在预选择步骤期间预选择的着陆区的类型相对应的多个所寻找的着陆区。在这样的情形中,显示步骤可用于显示表示包括多个所寻找的着陆区的群的图像。最后,选择步骤可用于从包括多个所寻找的着陆区的群中选择所需群,以及控制步骤随后可生成使得旋翼飞行器能够朝所需着陆区基本上地平地自动驾驶的控制设置点。
在实践中,该方法可包括在所需着陆区的图像的基础上确定旋翼飞行器与所需着陆区的几何中心之间的距离的计算步骤。
在本发明的一实现中,计算步骤为旋翼飞行器可确定至少一个进近路径以便接近所需着陆区。显示步骤随后可显示表示旋翼飞行器的进近路径的图像。在此类情形中,选择步骤可用于从旋翼飞行器的至少一个进近路径中选择所需进近路径。此后,控制步骤因而可生成用于遵循所需进近路径朝所需着陆区基本上地平地自动驾驶旋翼飞行器的控制设置点。
有利地,处理步骤可用于在多个图像中的至少一个图像中标识所需着陆区是否包括阻挡元素,并随后在显示步骤期间显示信息消息与表示包括该阻挡元素的所需着陆区的图像。
在实践中,处理步骤可用于在多个图像中的至少一个图像中标识所需着陆区的紧邻环境是否包括禁飞区。
在本发明的一实现中,旋翼飞行器的进近路径可用于避开该至少一个所需着陆区的紧邻环境中存在的禁飞区。
有利地,该方法可包括用于存储与所寻找的着陆区有关的信息的至少一个存储步骤,显示步骤使得该信息能够与表示所寻找的着陆区的对应图像一起显示和/或被显示来代替该对应图像。
附图说明
从作为解说给出的示例的以下描述的上下文中以及参考附图更详细地显现了本发明及其优点,附图中:
图1是根据本发明的旋翼飞行器的侧视图;
图2是在到着陆区的进近阶段期间旋翼飞行器的侧视图;
图3是示出根据本发明的用于辅助驾驶飞行器的设备的框图;
图4到7示出根据本发明的由显示部件显示的各个图像或图像群;以及
图8到11是解说根据本发明的辅助驾驶旋翼飞行器的方法的各变型的流程图。
在每一附图中向存在于一个以上附图中的元素给出相同的附图标记。
具体实施方式
如上文提及的,并且如图1所示,本发明涉及用于辅助驾驶旋翼飞行器2的设备1,并且涉及安装有用于辅助驾驶的此类设备1的旋翼飞行器2。更具体而言,设备1由旋翼飞行器2的机组成员在着陆区上着陆的阶段之前在接近旋翼飞行器2的着陆区的阶段期间使用。
此类设备1还包括至少用于沿视线20、20'拍摄旋翼飞行器2的环境的多个图像的至少一个相机3、3'。借助活动塔座19、19',相机3、3'因而可跟踪机组人员希望将旋翼飞行器2着陆于其上的着陆区。
如图所示,相机3、3'的视线20、20'至少指向沿旋翼飞行器2的前向方向Dx,并使得相机3、3'能够拍摄在这一前向方向Dx上位于旋翼飞行器2的前方的旋翼飞行器2的环境的多个图像。因而,该多个图像可包括地平线,而不是仅仅提供位于旋翼飞行器2下方的环境的平面图图像。
如图2所示,旋翼飞行器2相对于所需着陆区14的定位可由旋翼飞行器2与着陆区14的地理中心13之间的距离来定义,或其实可由与距离d在XZ参考系(其中X是水平轴而Z是垂直轴)中的投影相对应的垂直距离Dv和水平距离Dh来定义。
此类设备1因而可以处理来自沿视线20、20'指向的相机的图像,以计算旋翼飞行器2与所需着陆区14之间的距离Dv和Dh。
此外,并且如图3所示,用于辅助驾驶的设备1还包括使机组人员能够预选择随后要由设备1寻找的着陆区的类型的预选择装置5。如上文提及的,这些预选择装置可以尤其由触摸屏来形成,该触摸屏既用于显示各种类型4的着陆区又用于对它们进行预选择。
另外,此类设备1包括用于处理来自相机3、3'的图像的处理器装置6。此类处理器装置6随后使得可能在由相机提供的图像中标识与预选择类型4的着陆区相对应的至少一个所寻找的着陆区14、14'。
显示部件7随后用于显示对由处理器装置6标识的各个所寻找的着陆区14、14'的选择。选择装置8随后使得机组人员能够从显示在显示部件7上的多个所寻找的着陆区14、14'中选择所需着陆区14。
有利地,且作为示例,此类显示部件7和选择装置8可以是触摸屏的形式,或者其实它们可以与形成预选择装置5的上述触摸屏相同。
设备1还可具有用于生成用于朝所需着陆区14基本上地平地自动驾驶旋翼飞行器2的控制设置点的控制单元9。
此外,设备1还可包括用于使用由相机拍摄的图像来确定旋翼飞行器2与所需着陆区14的地理中心13之间的距离d的计算装置12。此类距离信息因而可由显示部件7显示,叠加在表示所寻找的着陆区14、14'的图像上。
此外,此类设备1还可包括用于存储与所寻找的着陆区14、14'有关的信息的存储器21。在此类情形中,显示部件7随后可以与表示所寻找的着陆区14、14'的图像同时显示这一信息。显示部件7还可用于使用存储在存储器21中并且示出这一所寻找的着陆区14、14'的另一图像来替换从相机获得的表示所寻找的着陆区14、14'的图像。
如在图4中所示,且如上文已经提及的,预选择装置5和显示部件7可由单个触摸屏形成。在此类情形中,预选择装置5由布置在显示部件7的显示表面10中的触摸垫形成。
各种类型4的着陆区随后可作为示例以圆、四边形、或三角形的形式来示出。
如在图5中所示,处理器装置6还可用于标识多个群15、15'、15",每一个群具有多个所寻找的着陆区14、14'。在此类情形中,显示部件7还用于显示与这些各个群15、15'、15"相对应的多个图像。
选择部件8随后使得机组人员能够选择这些群15之一,以随后使控制单元9能够生成用于朝包括多个所寻找的着陆区14、14'的所选群15基本上地平地自动驾驶旋翼飞行器2的控制设置点。
此外,计算装置12还用于确定使旋翼飞行器2能够接近所需着陆区14的至少一个进近路径16、16'、16"。在此类情形中,并且如图6所示,显示部件7随后还可用于显示这些进近路径16、16'、16"。
选择部件8随后使机组人员能够选择进近路径16中的所需一个进近路径,以随后使控制单元9能够生成使旋翼飞行器2能够使用所需进近路径16朝所需着陆区14基本上地平地自动驾驶的控制设置点。。
如图7所示,处理器单元6还可用于标识所需着陆区14中存在的阻挡元素17。作为示例,此类阻挡元素17可以是已经存在于所需着陆区14上的另一旋翼飞行器。
另外,阻挡元素17可通过处理来自距所需着陆区14几百米的相机3的图像来被检测到。因此,此类设备1使得机组人员能够在旋翼飞行器2的机组人员目测之前很久就预测所需着陆区14'的变化。
同样,处理器部件6还可用于标识所需着陆区14的环境中存在的禁飞区18。
因而,禁飞区18可通过处理来自距所需着陆区14几百米的相机3的图像来被检测到。因此,此类设备1使得可能向机组人员提出排除所检测禁飞区18的进近路径16、16'、16”。
如图8中所示,本发明还涉及在接近着陆区14、14'的阶段期间执行的辅助驾驶旋翼飞行器2的方法30。此类方法30因而包括彼此序贯地运行的多个步骤。
此外,方法30包括使得旋翼飞行器2的机组人员能够预选择随后要寻找的着陆区的类型4的预选择步骤31。
方法30随后包括用于通过使用一个或多个相机3、3'沿视线20、20'采集旋翼飞行器2的环境的图像的采集步骤32。
处理步骤33随后用于从来自相机3、3'的多个图像中标识至少一个所寻找的着陆区14、14'。显示步骤34随后用于显示所寻找的着陆区14、14'。
此外,方法30包括用于从所寻找的着陆区14、14'中选择所需着陆区14的选择步骤35。
最后,方法30包括寻求生成用于在朝向所需着陆区14的进近阶段期间基本上地平地自动驾驶旋翼飞行器2的控制设置点的控制步骤36。
如图9所示,辅助驾驶的方法40还可包括附加步骤的分支47,这一分支47与显示和选择步骤34和35并行地执行。
因而,分支47可包括用于至少显示表示包括多个所寻找的着陆区14、14'的群15、15'、15”的一个图像的显示步骤44。在此类情形中,处理来自相机3、3'的图像的步骤33还用于标识这些群15、15'、15”。
分支47随后包括使旋翼飞行器2的机组人员能够从表示包括多个所寻找的着陆区14、14'的群15、15'、15”的一个或多个图像中选择表示所需群15的图像的选择步骤45。
最后,此类分支47包括用于在进近阶段期间生成使旋翼飞行器2能够朝向所需群15自动驾驶的控制设置点的控制步骤46。
同样,并且如图10所示,辅助驾驶的方法50还可包括附加步骤的分支57,这一分支57与控制步骤36并行地发生。
方法50的此类分支57随后包括用于使用相机3、3'所拍摄的图像来确定旋翼飞行器2与着陆区14、14'的地理中心13之间的距离d的计算步骤51。此类计算步骤51还用于确定使旋翼飞行器2能够接近所需着陆区14的至少一个进近路径16、16'、16"。
显示步骤54随后用于显示旋翼飞行器2的进近路径16、16'、16”,叠加在所需着陆区14的图像上,此后是使旋翼飞行器2的机组人员能够选择所需路径16的选择步骤55。
最后,此类分支57还包括用于生成用于遵循所需进近路径16朝所需着陆区14基本上地平地自动驾驶旋翼飞行器的控制设置点的控制步骤56。
如图11所示,辅助驾驶的方法的另一变型60还可包括将与所寻找的着陆区14、14'有关的信息存储在存储器21中的存储步骤61。
此后,在显示表示所寻找的着陆区14、14'的图像的同时,显示步骤64使得存储在存储器21中的信息能够被显示,例如叠加在其上。
此外,还设想了使用存储在存储器21中的所寻找的着陆区14、14'的图像来替换相机3、3'所拍摄的图像。存储在存储器21中的此类图像可以用优于来自相机3、3'的图像的分辨率的分辨率来拍摄,或其实以特定视角来拍摄或者在对在驾驶辅助设备1的显示部件7上显示图像最优的天气条件下和/或光照条件下拍摄。
自然地,本发明可经历与其实现有关的多种变型。尽管描述了几个实施例,但容易理解不可能想到详尽无遗地确定所有可能的实施例。自然有可能设想到由等效装置替换所描述的任何装置,而不超出本发明的范围。
Claims (20)
1.一种用于辅助驾驶旋翼飞行器(2)以使得能够在旋翼飞行器着陆区上着陆的阶段之前的进近阶段期间驾驶旋翼飞行器(2)的设备(1),其中所述设备(1)包括:
用于预选择所述设备(1)要寻找的着陆区的类型(4)的预选择装置(5),所述预选择装置(5)由所述旋翼飞行器(2)的机组成员来致动;
用于沿视线(20,20')拍摄所述旋翼飞行器(2)的环境的多个图像的至少一个相机(3,3'),所述视线(20,20')至少指向所述旋翼飞行器(2)的向前方向(Dx);
用于在来自所述多个图像中的至少一个图像中标识与经由所述预选择装置(5)预选择的着陆区的类型(4)相对应的至少一个所寻找的着陆区的处理器装置(6);
用于至少显示表示所述至少一个所寻找的着陆区的图像的显示部件(7);
用于使所述旋翼飞行器(2)的机组人员能够从所述至少一个所寻找的着陆区中选择所需着陆区的选择装置(8);以及
用于生成使得所述旋翼飞行器(2)能够朝所需着陆区基本上地平地自动驾驶的控制设置点的控制单元(9)。
2.如权利要求1所述的设备,其特征在于,所述显示部件(7)用于显示分别表示要由所述设备(1)寻找的多个类型(4)的着陆区的各图像,并且所述预选择装置(5)是触摸类型的且被直接布置在所述显示部件(7)的显示表面(10)上。
3.如权利要求1所述的设备,其特征在于:
所述处理器装置(6)用于在来自所述多个图像中的至少一个图像中标识至少一个群,所述群包括与经由所述预选择装置(5)预选择的着陆区的类型(4)相对应的多个所寻找的着陆区;
所述显示部件(7)用于显示表示包括多个所寻找的着陆区的所述至少一个群的图像;以及
所述选择装置(8)使得能够从包括多个所寻找的着陆区的所述至少一个群中选择所需群。
4.如权利要求1所述的设备,其特征在于,所述设备(1)包括用于使用所需着陆区的图像来确定所述旋翼飞行器(2)与所需着陆区的几何中心(13)之间的距离(d)的计算装置(12)。
5.如权利要求4所述的设备,其特征在于:
所述计算装置(12)为所述旋翼飞行器(2)确定至少一个进近路径以便接近所需着陆区;
所述显示部件(7)显示表示所述旋翼飞行器(2)的所述至少一个进近路径的图像;
所述选择装置(8)用于从所述旋翼飞行器(2)的所述至少一个进近路径中选择所需进近路径;以及
所述控制单元(9)生成使得所述旋翼飞行器(2)能够遵循所需进近路径朝所需着陆区基本上地平地自动驾驶的控制设置点。
6.如权利要求1所述的设备,其特征在于,所述处理器装置(6)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区是否包括阻挡元素(17),并随后在所述显示部件(7)上显示信息消息与表示包括所述阻挡元素(17)的所述至少一个所寻找的着陆区的图像。
7.如权利要求1所述的设备,其特征在于,所述处理器装置(6)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区的紧邻环境是否包括禁飞区(18)。
8.如权利要求5所述的设备,其特征在于,所述处理器装置(6)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区的紧邻环境是否包括禁飞区(18),并且其中所述旋翼飞行器的至少一个进近路径用于避开所述至少一个所寻找的着陆区的紧邻环境中存在的禁飞区(18)。
9.如权利要求1所述的设备,其特征在于,所述至少一个相机(3,3')包括布置在活动塔座中的第一相机(3),所述活动塔座用于沿仰角和/或相对方位角调整所述第一相机(3)的第一视线(20)的取向,所述第一相机(3)拥有第一视野且用于获得所述至少一个所寻找的着陆区的全景图像。
10.如权利要求9所述的设备,其特征在于,所述至少一个相机(3,3')包括布置在所述活动塔座中的第二相机(3'),所述活动塔座用于沿仰角和/或相对方位角调整所述第二相机(3')的第二视线(20')的取向,所述第二相机(3')拥有小于所述第一相机(3)的第一视野的第二视野且用于获得所述至少一个所寻找的着陆区的高分辨率图像。
11.如权利要求1所述的设备,其特征在于,所述设备(1)包括用于存储与所述至少一个所寻找的着陆区有关的信息的至少一个存储器(21),所述显示部件(7)使得所述信息能够与表示所述至少一个所寻找的着陆区的对应图像一起显示和/或被显示来代替所述对应图像。
12.一种旋翼飞行器(2),包括至少一个如权利要求1所述的设备(1)。
13.一种辅助驾驶旋翼飞行器(2)的方法(30,40,50,60),所述方法(30,40,50,60)在旋翼飞行器着陆区上的着陆阶段之前的进近阶段期间执行,其中所述方法(30,40,50,60)包括:
用于预选择通过所述方法(30,40,50,60)要寻找的着陆区的类型(4)的预选择步骤(31),所述预选择步骤(31)通过所述旋翼飞行器(2)的机组成员致动预选择装置(5)来执行;
用于至少沿所述旋翼飞行器(2)的向前方向(Dx)拍摄所述旋翼飞行器(2)的环境的多个图像的采集步骤(32);
用于在所述多个图像中的至少一个图像中标识与在所述预选择步骤(31)期间预选择的着陆区的类型(4)相对应的至少一个所寻找的着陆区的处理步骤(33);
用于至少显示表示所述至少一个所寻找的着陆区的一个图像的至少一个显示步骤(34,44,54,64);
由所述旋翼飞行器(2)的机组人员执行的、至少从所述至少一个所寻找的着陆区中选择一个所需着陆区的至少一个选择步骤(35,45,55);以及
用于至少生成使得所述旋翼飞行器(2)能够朝所需着陆区基本上地平地自动驾驶的控制设置点的至少一个控制步骤(36,46,56)。
14.如权利要求13所述的方法(40),其特征在于:
所述处理步骤(33)用于在来自所述多个图像中的至少一个图像中标识至少一个群,所述群包括与在所述预选择步骤(31)期间预选择的着陆区的类型(4)相对应的多个所寻找的着陆区;
所述显示步骤(44)用于显示表示包括多个所寻找的着陆区的所述至少一个群的图像;
所述选择步骤(45)用于从包括多个所寻找的着陆区的所述至少一个群中选择所需群;以及
所述控制步骤(46)生成使得所述旋翼飞行器(2)能够朝所需着陆区基本上地平地自动驾驶的控制设置点。
15.如权利要求13所述的方法,其特征在于,所述方法(50)包括在所需着陆区的图像的基础上确定所述旋翼飞行器(2)与所需着陆区的几何中心(13)之间的距离(d)的计算步骤(51)。
16.如权利要求15所述的方法,其特征在于:
所述计算步骤(51)为所述旋翼飞行器(2)确定至少一个进近路径以便接近所需着陆区;
所述显示步骤(54)显示表示所述旋翼飞行器(2)的所述至少一个进近路径的图像;
所述选择步骤(55)用于从所述旋翼飞行器(2)的所述至少一个进近路径中选择所需进近路径;以及
所述控制步骤(56)生成遵循所需进近路径朝所需着陆区基本上地平地自动驾驶所述旋翼飞行器(2)的控制设置点。
17.如权利要求13所述的方法,其特征在于,所述处理步骤(33)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区是否包括阻挡元素(17),并随后在所述显示步骤(34,44,54)期间显示信息消息与表示包括所述阻挡元素(17)的所述至少一个所寻找的着陆区的图像。
18.如权利要求13所述的方法,其特征在于,所述处理步骤(33)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区的紧邻环境是否包括禁飞区(18)。
19.如权利要求16所述的方法,其特征在于,所述处理步骤(33)用于在所述多个图像中的至少一个图像中标识所述至少一个所寻找的着陆区的紧邻环境是否包括禁飞区(18),并且其中所述旋翼飞行器(2)的所述至少一个进近路径用于避开所述至少一个所寻找的着陆区的紧邻环境中存在的禁飞区(18)。
20.如权利要求13所述的方法,其特征在于,所述方法(60)包括用于存储与所述至少一个所寻找的着陆区有关的信息的至少一个存储步骤(61),所述显示步骤(64)使得所述信息能够与表示所述至少一个所寻找的着陆区的对应图像一起显示和/或被显示来代替所述对应图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711247684.5A CN109866933B (zh) | 2017-12-01 | 2017-12-01 | 用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711247684.5A CN109866933B (zh) | 2017-12-01 | 2017-12-01 | 用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109866933A CN109866933A (zh) | 2019-06-11 |
CN109866933B true CN109866933B (zh) | 2022-08-26 |
Family
ID=66914639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711247684.5A Active CN109866933B (zh) | 2017-12-01 | 2017-12-01 | 用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109866933B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2885439B1 (fr) * | 2005-05-09 | 2010-11-19 | Airbus France | Procede et dispositif d'aide au pilotage d'un avion lors d'une phase d'approche en vue d'un atterrissage |
US9520066B2 (en) * | 2010-04-21 | 2016-12-13 | The Boeing Company | Determining landing sites for aircraft |
DE102014211522A1 (de) * | 2014-06-17 | 2015-12-17 | Robert Bosch Gmbh | Radaranordnung und Verfahren zum Bestimmen der Lage eines Luftfahrzeugs bezüglich einer Landeplattform |
US9892646B2 (en) * | 2014-07-22 | 2018-02-13 | Sikorsky Aircraft Corporation | Context-aware landing zone classification |
-
2017
- 2017-12-01 CN CN201711247684.5A patent/CN109866933B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109866933A (zh) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10384801B2 (en) | Device for assisting the piloting of a rotorcraft, associated display, and a corresponding method of assisting piloting | |
US11835561B2 (en) | Unmanned aerial vehicle electromagnetic avoidance and utilization system | |
US11453512B2 (en) | System and a method for assisting landing an aircraft, and a corresponding aircraft | |
CN107202982B (zh) | 一种基于无人机位姿计算的信标布置及图像处理方法 | |
US9494447B2 (en) | Methods and systems for attitude differentiation in enhanced vision images | |
Prinzel Iii et al. | The efficacy of head-down and head-up synthetic vision display concepts for retro-and forward-fit of commercial aircraft | |
CN106054929A (zh) | 一种基于光流的无人机自动降落引导方法 | |
CN107194989A (zh) | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 | |
EP2618322B1 (en) | System and method for detecting and displaying airport approach lights | |
Krátký et al. | Autonomous reflectance transformation imaging by a team of unmanned aerial vehicles | |
CN111498127B (zh) | 安装在飞行器上的定向照明系统和相关的照明方法 | |
CN105644785A (zh) | 一种基于光流法和地平线检测的无人机着陆方法 | |
CN111709994B (zh) | 一种自主无人机视觉探测与引导系统及方法 | |
CN109613926A (zh) | 多旋翼无人机自动降落高精度自动识别降落区域的方法 | |
Oszust et al. | A vision-based method for supporting autonomous aircraft landing | |
CN110866483A (zh) | 一种动静结合的机场跑道异物视觉检测与定位方法 | |
CN108024070A (zh) | 在合成图像上覆盖传感器图像的方法及相关显示系统 | |
Babaev et al. | The directions for collaborate usage of flight apparatus technical vision system information and electronic cartography | |
KR102045362B1 (ko) | 회전익기의 조종 보조 장치, 연관된 디스플레이, 및 대응하는 조종 보조 방법 | |
Kawamura et al. | Vision-Based Precision Approach and Landing for Advanced Air Mobility | |
CN109866933B (zh) | 用于辅助驾驶旋翼飞行器的设备、相关联的显示以及辅助驾驶的对应方法 | |
Angermann et al. | High precision approaches enabled by an optical-based navigation system | |
Senpheng et al. | Automatic landing assistant system based on stripe lines on runway using computer vision | |
CN115686043A (zh) | 固定翼飞行器和旋翼飞行器的空中对接方法 | |
Wang et al. | A real-time sensor guided runway detection method for forward-looking aerial images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |