CN117163302B - 飞行器仪表显示方法、装置、设备及存储介质 - Google Patents
飞行器仪表显示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117163302B CN117163302B CN202311432885.8A CN202311432885A CN117163302B CN 117163302 B CN117163302 B CN 117163302B CN 202311432885 A CN202311432885 A CN 202311432885A CN 117163302 B CN117163302 B CN 117163302B
- Authority
- CN
- China
- Prior art keywords
- current
- obstacle
- aircraft
- virtual camera
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000003550 marker Substances 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 abstract description 4
- 230000002787 reinforcement Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150061388 LON1 gene Proteins 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种飞行器仪表显示方法、装置、设备及存储介质,涉及航空技术领域。该方法包括:根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系;根据当前飞行器在目标时刻的位置参数以及当前障碍物在目标时刻的位置参数,确定当前障碍物与当前飞行器的目标点的第二相对位置关系;根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置;在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,显示背景为视觉传感器在目标时刻采集的图像帧。该方法可以实现高效、准确地在仪表屏幕中对图像帧中的当前障碍物的加强显示,保障驾驶员对当前飞行环境充分认知。
Description
技术领域
本发明涉及航空技术领域,尤其涉及飞行器仪表显示方法、装置、设备及存储介质。
背景技术
城市空中交通(Urban Air Mobility,简称:UAM)是一种新兴的交通出行方式。UAM专注于城市区域内或城际中3千米-100千米的短途运输,在高度100米以下的超低空或100米-1000米的低空空域飞行。UAM中飞行器的驾乘人员在5人以下,例如,1人或者2人。城市内飞行基本采用电池(例如,锂电池或燃料电池)供电,城际飞行则可能采用混合电推进,UAM对于缓解城市交通拥堵和减少交通事故有重大意义。
电动垂直起降飞机(Electric Vertical Take-Off and Landing,简称:eVTOL),可有效解决传统商用航空距离城市核心区远、无法覆盖城市交通、空间场地要求高、驾驶员水平要求高等问题,同时摆脱地面交通的拥堵与长距离绕行问题,将会是UAM的主要飞行器。
UAM具有空间紧凑,人员、设施密集,安全要求高等特点,这些特点决定了以eVTOL为主的UAM飞行器除了需要具备短距/垂直起降功能、简化的飞行控制方式,更需要一套直观的仪表显示界面。
目前,以eVTOL为主的UAM飞行器的仪表显示界面中只能显示当前飞行速度以及飞行高度等简单信息,显示的信息过于单一,无法使驾驶员基于仪表显示界面充分掌握当前驾驶环境,从而,影响飞行器驾驶的安全性。
发明内容
本发明提供了一种飞行器仪表显示方法、装置、设备及存储介质,以解决相关技术中由于仪表显示界面显示信息单一,无法使驾驶员基于仪表显示界面充分掌握当前驾驶环境,从而,影响飞行器驾驶的安全性的技术问题。
根据本发明的一方面,提供了一种飞行器仪表显示方法,包括:
根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系;其中,所述虚拟相机为在三维引擎中定义的相机;
根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系;
根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置;其中,所述显示位置用于表征所述当前障碍物与所述虚拟相机的相对位置;
在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标;其中,所述标记图标为在所述三维引擎中定义的图标,所述仪表屏幕的显示背景为所述当前飞行器的视觉传感器在所述目标时刻采集的图像帧。
根据本发明的另一方面,提供了一种飞行器仪表显示装置,包括:
第一确定模块,用于根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系;其中,所述虚拟相机为在三维引擎中定义的相机;
第二确定模块,用于根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系;
第三确定模块,用于根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置;其中,所述显示位置用于表征所述当前障碍物与所述虚拟相机的相对位置;
显示模块,用于在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标;其中,所述标记图标为在所述三维引擎中定义的图标,所述仪表屏幕的显示背景为所述当前飞行器的视觉传感器在所述目标时刻采集的图像帧。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的飞行器仪表显示方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的飞行器仪表显示方法。
本发明实施例的技术方案,包括:根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系,其中,虚拟相机为在三维引擎中定义的相机;根据当前飞行器在目标时刻的位置参数以及当前障碍物在目标时刻的位置参数,确定当前障碍物与当前飞行器的目标点的第二相对位置关系;根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置,其中,显示位置用于表征当前障碍物与虚拟相机的相对位置;在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,其中,标记图标为在三维引擎中定义的图标,仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。本实施例提供的飞行器仪表显示方法具有以下技术效果:一方面,在三维引擎中定义虚拟相机,并且根据当前飞行器在目标时刻的姿态参数确定第一相对位置关系,进而,根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置,可以保证高效地确定出的准确的显示位置;另一方面,可以实现标记图标与当前障碍物的避障等级对应,使驾驶员根据标记图标充分感知当前驾驶环境,提高驾驶安全性;再一方面,显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧,可以实现针对图像帧中的当前障碍物,在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,实现在仪表屏幕中对图像帧中的当前障碍物的加强显示,使驾驶员更为直观地感知当前驾驶环境。因此,本实施例提供的飞行器仪表显示方法可以实现高效、准确地在仪表屏幕中对图像帧中的当前障碍物的加强显示,能够保障驾驶员在复杂交通情况下对当前飞行环境充分认知,从而,能够提前飞行预判,保证飞行安全,提升安全飞行裕度,并最终达到保证城市空中交通运营的高安全级别。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种飞行器仪表显示方法的流程图;
图2是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表显示模块与其他模块的结构示意图;
图3是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的一种显示内容的示意图;
图4是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的另一种显示内容的示意图;
图5是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的再一种显示内容的示意图;
图6是根据本发明实施例提供的另一种飞行器仪表显示方法的流程图;
图7是虚拟相机三维坐标系的示意图;
图8是虚拟相机二维坐标系以及仪表屏幕坐标系的示意图;
图9是根据本发明实施例提供的一种飞行器仪表显示装置的结构示意图;
图10是实现本发明实施例的飞行器仪表显示方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“初始”及“当前”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例提供的一种飞行器仪表显示方法的流程图。本实施例可适用于在飞行器的仪表屏幕中显示当前障碍物的情况。该方法可以由飞行器仪表显示装置来执行,该飞行器仪表显示装置可以采用硬件和/或软件的形式实现,该飞行器仪表显示装置可配置于飞行器的控制器中。如图1所示,该方法包括如下步骤。
步骤101:根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系。
其中,虚拟相机为在三维引擎中定义的相机。
本实施例中的当前飞行器指的是可以当前正在执行本实施例提供的飞行器仪表显示方法的飞行器。当前飞行器可以为UAM中的飞行器。示例性地,本实施例中的当前飞行器可以为eVTOL。
本实施例中的当前飞行器包括仪表。仪表可以包括仪表屏幕。本实施例提供的飞行器仪表显示方法除了可以在仪表屏幕中显示当前飞行器的当前飞行速度以及飞行高度等信息之外,还可以在仪表屏幕中显示当前障碍物的避障等级对应的标记图标,以使驾驶员充分感知当前驾驶环境,进行安全驾驶,从而,提高飞行器驾驶的安全性。
图2是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表显示模块与其他模块的结构示意图。如图2所示,本实施例中的飞行器仪表显示模块21可以分别与当前飞行器的导航系统22、当前飞行器的检测避障系统23、当前飞行器的飞行控制系统25以及当前飞行器的视觉传感器24连接。导航系统22可以向飞行器仪表显示模块21提供当前飞行器的位置参数。检测避障系统23可以向飞行器仪表显示模块21提供当前障碍物的位置参数以及对应的避障等级。飞行控制系统25可以向飞行器仪表显示模块21提供当前飞行器的姿态参数。视觉传感器24可以向飞行器仪表显示模块21提供视觉传感器24采集到的视频流。可以理解,视频流可以包括图像帧。
本实施例中的目标时刻指的是当前时刻。本实施例中的当前飞行器在目标时刻的姿态参数可以包括当前飞行器在当前时刻的滚转信息、朝向信息以及俯仰信息。可选地,滚转信息可以用滚转角来表征。朝向信息可以用朝向角来表征。俯仰信息可以用俯仰角来表征。当前飞行器有三个轴:从机头到机尾并穿过重心的纵轴;穿过两侧机翼并穿过重心的横轴;垂直于纵轴与横轴并穿过重心的立轴。当前飞行器的姿态的变化则是围绕着这三个轴的转动。绕纵轴的转动称为滚转运动,绕横轴的转动称为俯仰运动,绕立轴的转动称为偏转运动。
本实施例提供的飞行器仪表显示方法利用三维引擎以实现在仪表屏幕中显示当前障碍物的避障等级对应的标记图标。三维引擎指的是用于创建和渲染三维图像的软件框架。本实施例中采用的三维引擎可以为Direct3D、OpenGL、Unreal Engine、Unity 3D以及Three.js。
本实施例需要在三维引擎中定义相机。为了与飞行器上搭载的真实视觉传感器进行区分,本实施例中将三维引擎中定义的相机称为虚拟相机。虚拟相机用于模拟飞行器上的真实的视觉传感器的视野。示例性地,本实施例中的三维引擎可以为Three.js。Three.js的三要素包括:场景、相机、渲染器。Three.js可以显示以相机模型(即,虚拟相机)眼点为中心的渲染场景,在渲染场景中可以添加三维模型。本实施例中的虚拟相机采用Three.js中的透视投影的相机。虚拟相机的参数如下所示:PerspectiveCamera(fov : Number,aspect : Number, near : Number, far : Number )。其中,fov表示视景体竖直方向上的张角,aspect表示虚拟相机水平方向长度和竖直方向长度的比值,near表示虚拟相机到视景体最近距离,far表示虚拟相机到视景体最远距离。可以理解,far应该大于near。
本实施例中的当前飞行器的目标点可以为当前飞行器的中心点或者重心等。
本实施例中的虚拟相机模拟的是当前飞行器上的视觉传感器的视野。随着当前飞行器的姿态的变化,当前飞行器上的视觉传感器的视野也会随之发生变化。为了保证最终输出的标记图标的位置的准确性,本实施例中的虚拟相机的视野也要随着当前飞行的姿态参数而变化。这表现为在当前飞行器的不同的姿态参数下,虚拟相机与当前飞行器的目标点的相对位置关系不同。因此,在步骤101中,需要根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系。
可选地,本实施例中的当前飞行器在目标时刻的姿态参数可以为从飞行控制系统中获取到的参数。
一种实现方式中,可以根据当前飞行器在目标时刻的姿态参数,确定虚拟相机在该姿态参数下的位置,之后,再基于虚拟相机在该姿态参数下的位置以及当前飞行器的目标点的位置,确定虚拟相机与当前飞行器的目标点的第一相对位置关系。
另一种实现方式中,为了便于计算,可以设定一个目标坐标系。根据当前飞行器在目标时刻的姿态参数,确定出虚拟相机在该目标坐标系中的位置。根据当前飞行器的目标点在该目标坐标系中的位置以及虚拟相机在该目标坐标系中的位置,确定出虚拟相机与当前飞行器的目标点的第一相对位置关系。
再一种实现方式中,为了提高计算效率、降低计算复杂度,可以设定虚拟相机三维坐标系。其中,虚拟相机三维坐标系的原点为当前飞行器的目标点。可以根据当前飞行器在目标时刻的姿态参数,确定出虚拟相机在虚拟相机三维坐标系中的位置。由于虚拟相机三维坐标系的原点为当前飞行器的目标点。因此,确定出虚拟相机在虚拟相机三维坐标系中的位置即相当于确定出了虚拟相机与当前飞行器的目标点的第一相对位置关系。这一实现方式将在后续实施例中进行详细说明。
步骤102:根据当前飞行器在目标时刻的位置参数以及当前障碍物在目标时刻的位置参数,确定当前障碍物与当前飞行器的目标点的第二相对位置关系。
本实施例中的当前障碍物指的是当前飞行器的视野内的障碍物。本实施例中的当前飞行器的视野即为当前飞行器的视觉传感器的视野。可以理解,当前障碍物的数量可以为多个。当前障碍物的类型可以为其他飞行器或者其他生物等。本实施例对此不做限制。
本实施例中的当前飞行器的位置参数可以包括在大地坐标系中的当前飞行器的经度、纬度及高度等。可选地,这里的当前飞行器的经度、纬度及高度可以为当前飞行器的目标点的经度、纬度及高度。当前障碍物的位置参数可以包括在大地坐标系中的当前障碍物的经度、纬度及高度等。或者,当前飞行器的位置参数可以为当前飞行器在其他坐标系中的坐标。当前障碍物的位置参数可以为当前障碍物在该其他坐标系中的坐标。本实施例中对该其他坐标系的具体类型不做限制。
一种实现方式中,可以直接根据当前飞行器在目标时刻的位置参数以及当前障碍物在目标时刻的位置参数,直接确定当前障碍物与当前飞行器的目标点的第二相对位置关系。
另一种实现方式中,为了便于计算,可以设定一个目标坐标系。根据当前飞行器在目标时刻的位置参数,确定当前飞行器在目标坐标系中的坐标值。根据当前障碍物在目标时刻的位置参数,确定当前障碍物在目标坐标系中的坐标值。再根据当前飞行器在目标坐标系中的坐标值以及当前障碍物在目标坐标系中的坐标值,确定当前障碍物与当前飞行器的目标点的第二相对位置关系。
再一种实现方式中,为了提高计算效率、降低计算复杂度,可以根据当前飞行器在目标时刻的位置参数,确定当前飞行器在虚拟相机三维坐标系中的坐标值。根据当前障碍物在目标时刻的位置参数,确定当前障碍物在虚拟相机三维坐标系中的坐标值。再根据当前飞行器在虚拟相机三维坐标系中的坐标值以及当前障碍物在虚拟相机三维坐标系中的坐标值,确定当前障碍物与当前飞行器的目标点的第二相对位置关系。该实现方法将在后续实施例中进行详细说明。
步骤103:根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置。
其中,显示位置用于表征当前障碍物与虚拟相机的相对位置。
在步骤103中,一种实现方式中,可以根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在以虚拟相机为参考建立的一坐标系中的位置。之后,再根据当前障碍物在以虚拟相机为参考建立的一坐标系中的位置,确定当前障碍物在仪表屏幕中的显示位置。
另一种实现方式中,可以根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在虚拟相机二维坐标系中的坐标值。之后,再根据当前障碍物在虚拟相机二维坐标系中的坐标值,确定当前障碍物在仪表屏幕中的显示位置。
再一种实现方式中,可以根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在虚拟相机二维坐标系中的坐标值。之后,再根据当前障碍物在虚拟相机二维坐标系中的坐标值,确定当前障碍物在仪表屏幕坐标系中的坐标值。当前障碍物在仪表屏幕坐标系中的坐标值即为当前障碍物在仪表屏幕中的显示位置。
可以理解,第一相对位置关系用于表示虚拟相机与当前飞行器的目标点的相对位置,第二相对位置关系用于表示当前障碍物与当前飞行器的目标点的相对位置。因此,根据第一相对位置关系以及第二相对位置关系,确定出的当前障碍物在仪表屏幕中的显示位置可以用于表征当前障碍物与虚拟相机的相对位置。
步骤104:在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标。
其中,标记图标为在三维引擎中定义的图标。仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。
在本实施例中,仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。可以理解,一方面,该图像帧中包含视觉传感器在其视野内采集到的当前障碍物,也即,该图像帧中包含视觉传感器与其采集到的当前障碍物的相对位置。另一方面,由于当前障碍物在仪表屏幕中的显示位置用于表征当前障碍物与虚拟相机的相对位置,而虚拟相机的视野与视觉传感器的视野一致,因此,当前障碍物在仪表屏幕中的显示位置实质可以表征当前障碍物与视觉传感器的相对位置。结合上述两方面,这意味着,在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,使得所显示的标记图标刚好位于当前飞行器的视觉传感器在目标时刻采集的图像帧中的当前障碍物的位置处,实现在仪表屏幕中对当前障碍物的标记。
同时,在步骤104中,标记图标为与当前障碍物的避障等级对应的标记图标。
可选地,在确定出当前障碍物在仪表屏幕中的显示位置后,可以通过三维引擎新建一个与当前障碍物的避障等级对应的标记图标以及材质示例。示例性地,该标记图标可以为环形图标。并在仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标。示例性地,该标记图标可以为WGL 3D环形模型。当然,可以理解,本实施例中对标记图标的形状不做限制,例如,标记图标还可以为其他多边形。
一种实现方式中,为了让驾驶员充分感知驾驶环境,避障等级不同,标记图标的标记范围不同,以使驾驶员更直观地感知障碍物对飞行环境的影响。本实例中的标记范围指的是标记图标的大小,或者,标记图标所围合的面积。例如,避障等级越高,标记图标的标记范围越大。本实施例中的避障等级还可以表述为警告报警(即避障等级高)、纠正报警(避障等级中)以及预防性报警(避障等级低)。
可选地,基于该实现方式,在步骤104之前,本实施例提供的方法还包括如下步骤:根据当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记范围的映射关系,确定当前障碍物的标记范围;根据标记范围确定当前障碍物的避障等级对应的标记图标。示例性地,假设标记图标为圆环(即标记图标包括一个内圆与外圆),预设的障碍物的避障等级与标记范围的映射关系可以为:避障等级高-标记范围:外圆直径5厘米(cm),内圆直径3cm;避障等级中-标记范围:外圆直径3cm,内圆直径1cm;避障等级低-标记范围:外圆直径1cm,内圆直径0.2cm。
另一种实现方式中,避障等级不同,标记图标的标记颜色不同。例如,避障等级越高,标记图标的颜色的波长越长。也即,避障等级越高,标记图标被人眼注意到的可能性越大。
再一种实现方式中,避障等级不同,标记图标的标记范围以及标记颜色均不同。例如,避障等级越高,标记图标的标记范围越大,同时,标记图标的颜色的波长越长。
基于该实现方式,根据标记范围确定当前障碍物的避障等级对应的标记图标,包括:根据当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记颜色的映射关系,确定当前障碍物的标记颜色;根据标记范围以及标记颜色,确定当前障碍物的避障等级对应的标记图标。示例性地,预设的障碍物的避障等级与标记颜色的映射关系可以为:避障等级高-标记颜色:红色;避障等级中-标记颜色:黄色;避障等级低-标记颜色:绿色。
可选地,基于上述实现方式,在确定出标记图标后,在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标时,可以使将标记图标的中心点或者重心与仪表屏幕的显示位置的重合,从而实现显示标记图标。
可选地,为了进一步向驾驶员提供安全驾驶辅助信息,保证驾驶员直观、全面掌握飞行环境状况,以提升安全飞行裕度,本实施例提供的方法还包括以下至少一项:在当前障碍物的避障等级对应的标记图标的预设位置处显示针对当前障碍物的避障策略;在当前障碍物的避障等级对应的标记图标的预设位置处显示当前障碍物的类型;在当前障碍物的避障等级对应的标记图标的预设位置处显示当前障碍物的运动趋势;在当前障碍物的避障等级对应的标记图标的预设位置处显示当前障碍物的高度以及运动速度。
请继续参照图2,当前障碍物的避障策略、当前障碍物的类型、当前障碍物的运动趋势、当前障碍物的高度以及运动速度可以是检测避障系统23提供的。
当前障碍物的避障策略例如可以包括:上升**米以避开该当前障碍物,或者,下降**米以避开该当前障碍物。当前障碍物的类型例如可以包括:当前障碍物为固定翼飞行器,或者,当前障碍物为旋转翼飞行器。当前障碍物的运动趋势可以包括:当前障碍物爬升或者下降。标记图标的预设位置处指的是预先定义的可以显示当前障碍物的避障策略、当前障碍物的类型、当前障碍物的运动趋势、当前障碍物的高度以及运动速度等至少一种信息的位置。例如,当标记图标为圆形时,标记图标的预设位置指的是沿着圆周且与圆周的距离小于预设距离阈值的位置。
图3是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的一种显示内容的示意图。如图3所示,该仪表屏幕31的显示背景包括两个当前障碍物:第一当前障碍物32以及第二当前障碍物33。其中,第一当前障碍物32的避障等级为警告报警,第二当前障碍物33的避障等级为纠正报警。因此,第一当前障碍物32对应的标记图标的标记范围相较于第二当前障碍物33对应的标记图标的标记范围较大,并且,第一当前障碍物32对应的标记图标的标记颜色为红色,第二当前障碍物33对应的标记图标的标记颜色为黄色。图3中以标记图标中不同的填充类型来表示标记图标不同的颜色。图3中以标记图标为环形进行示例性说明。
图4是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的另一种显示内容的示意图。如图4所示,该仪表屏幕31的显示背景包括两个当前障碍物:第一当前障碍物32以及第二当前障碍物33。其中,第一当前障碍物32的避障等级为警告报警,第二当前障碍物33的避障等级为纠正报警。图4与图3相比,显示的内容还可以包括:当前障碍物的类型、当前障碍物的运动趋势、当前障碍物的高度以及运动速度。例如,图4中,第一当前障碍物32的类型为旋转翼,第一当前障碍物32的运动趋势为下降,第一当前障碍物32的高度为1700英尺(ft),第一当前障碍物32的运动速度为100千米/小时(km/h)。第二当前障碍物33的类型为固定翼,第二当前障碍物33的运动趋势为爬升,第二当前障碍物33的高度为2500ft,第二当前障碍物33的运动速度为300km/h。可以看出,图4中,标记图标的预设位置指的是沿着圆周且与圆周的距离小于预设距离阈值的位置
图5是根据本发明实施例提供的一种飞行器仪表显示方法中飞行器仪表屏幕的再一种显示内容的示意图。如图5所示,该仪表屏幕31的显示背景包括两个当前障碍物:第一当前障碍物32以及第二当前障碍物33。其中,第一当前障碍物32的避障等级为警告报警,第二当前障碍物33的避障等级为纠正报警。图5与图4相比,显示的内容还可以包括:当前障碍物的避障策略。例如,图5中,第一当前障碍物32的避障策略为上升500ft,第二当前障碍物33的避障策略为上升300ft。
需要说明的是,在图3、图4以及图5中,仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。本实施例提供的飞行器仪表显示方法可以实现针对图像帧中的当前障碍物,在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,实现了对图像帧中当前障碍物的准确标记,并且,可以根据避障等级显示标记图标,实现在仪表屏幕中对当前障碍物的加强显示,以使驾驶员能够充分掌握当前驾驶环境,进行安全驾驶,保障和提升了飞行安全。
本实施例提供了一种飞行器仪表显示方法,包括:根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系,其中,虚拟相机为在三维引擎中定义的相机;根据当前飞行器在目标时刻的位置参数以及当前障碍物在目标时刻的位置参数,确定当前障碍物与当前飞行器的目标点的第二相对位置关系;根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置,其中,显示位置用于表征当前障碍物与虚拟相机的相对位置;在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,其中,标记图标为在三维引擎中定义的图标,仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。本实施例提供的飞行器仪表显示方法具有以下技术效果:一方面,在三维引擎中定义虚拟相机,并且根据当前飞行器在目标时刻的姿态参数确定第一相对位置关系,进而,根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置,可以保证高效地确定出的准确的显示位置;另一方面,可以实现标记图标与当前障碍物的避障等级对应,使驾驶员根据标记图标充分感知当前驾驶环境,提高驾驶安全性;再一方面,显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧,可以实现针对图像帧中的当前障碍物,在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标,实现在仪表屏幕中对图像帧中的当前障碍物的加强显示,使驾驶员更为直观地感知当前驾驶环境。因此,本实施例提供的飞行器仪表显示方法可以实现高效、准确地在仪表屏幕中对图像帧中的当前障碍物的加强显示,能够保障驾驶员在复杂交通情况下对当前飞行环境充分认知,从而,能够提前飞行预判,保证飞行安全,提升安全飞行裕度,并最终达到保证城市空中交通运营的高安全级别。
图6是根据本发明实施例提供的另一种飞行器仪表显示方法的流程图。本实施例在图1所示实施例及各种可选的实现方案的基础上,对如何确定第一相对位置关系、如何确定第二相对位置关系、如何确定当前障碍物在仪表屏幕中的显示位置作一详细说明。如图6所示,本实施例提供的飞行器仪表显示方法包括如下步骤。
步骤401:根据当前飞行器的视觉传感器与当前飞行器的目标点的位置偏移量,确定虚拟相机在虚拟相机三维坐标系中的初始坐标值。
在步骤401中,第一相对位置关系包括虚拟相机在虚拟相机三维坐标系中的第一坐标值。虚拟相机三维坐标系的原点为当前飞行器的目标点。示例性地,当前飞行器的目标点可以为当前飞行器的中心点。
图7是虚拟相机三维坐标系的示意图。如图7所示,虚拟相机三维坐标系的原点为当前飞行器的中心点,Y轴正方向指向天空,Z轴正方向为当前飞行器的前进方向的反方向,X轴与Y轴、Z轴构成右手坐标系。
当前飞行器的视觉传感器与当前飞行器的目标点的位置偏移量可以从当前飞行器的设计参数中获取。假设当前飞行器的视觉传感器与当前飞行器的目标点的位置偏移量为,则虚拟相机在虚拟相机三维坐标系中的初始坐标值为/>。
步骤402:根据当前飞行器在目标时刻的姿态参数,确定虚拟相机在虚拟相机三维坐标系中坐标值的旋转量。
在步骤402中,由于当前飞行器的姿态的变化,视觉传感器的视野会发生变化,因而,虚拟相机的视野也要随着当前飞行的姿态参数而变化。
可选地,根据当前飞行器在目标时刻的滚转、朝向、俯仰参数,设置虚拟相机在虚拟相机三维坐标系中坐标值的旋转量。
示例性地,当前飞行器的姿态参数与虚拟相机三维坐标系中坐标轴的旋转关系为:俯仰对应绕X轴旋转,朝向对应绕Y轴旋转,滚转对应绕Z轴旋转。
可以预先设定飞行器的姿态参数与虚拟相机在虚拟相机三维坐标系中坐标值的旋转量的映射关系,进而,可以根据当前飞行器在目标时刻的姿态参数以及该映射关系,确定虚拟相机在虚拟相机三维坐标系中坐标值的旋转量。
步骤403:根据虚拟相机在虚拟相机三维坐标系中坐标值的旋转量,调整虚拟相机在虚拟相机三维坐标系中的初始坐标值,得到虚拟相机在虚拟相机三维坐标系中的第一坐标值。
在步骤403中,可以根据步骤401的输出结果以及步骤402的输出结果,确定出虚拟相机在虚拟相机三维坐标系中的第一坐标值。该第一坐标值就是第一相对位置关系。
以下描述如何确定第二相对位置关系,其包括步骤404至步骤407。在本实施例中,当前飞行器在目标时刻的位置参数包括当前飞行器在目标时刻的经度、纬度以及高度,当前障碍物在目标时刻的位置参数包括当前障碍物在目标时刻的经度、纬度以及高度。第二相对位置关系包括当前障碍物在虚拟相机三维坐标系中的第二坐标值。
步骤404:将当前飞行器在目标时刻的经度、纬度以及高度,转换为当前飞行器在地心坐标系中的坐标值。
假设当前飞行器在目标时刻的经度、纬度以及高度为(lat0,lon0,alt0),将其转换为当前飞行器在地心坐标系中的坐标值(x0,y0,z0)。转换公式为:
其中,N为基准椭球体的曲率半径,e为椭球偏心率。,。a表示地球长半径长度 6378137.0米(m) ,b表示地球短半径长度6356752.31424518m。
本实施例中的地心坐标系指的是地球质心(总椭球的几何中心)为原点的大地坐标系。地心坐标系有多种实现方式。可选地,本实施例中的地心坐标系可以为:原点 O (0,0,0)为地球质心,z轴与地轴平行指向北极点,x 轴指向本初子午线与赤道的交点,y 轴垂直于xOz平面(即东经90度与赤道的交点)构成右手坐标系。
步骤405:将当前障碍物在目标时刻的经度、纬度以及高度,转换为当前障碍物在地心坐标系中的坐标值。
假设当前障碍物在目标时刻的经度、纬度以及高度为(lat1,lon1,alt1),将其转换为当前飞行器在地心坐标系中的坐标值(x1,y1,z1)。转换公式为:
/>
其中,,/>。a表示地球长半径长度 6378137.0米(m) ,b表示地球短半径长度6356752.31424518m。
步骤406:根据当前飞行器在地心坐标系中的坐标值以及当前障碍物在地心坐标系中的坐标值,确定当前飞行器与当前障碍物在目标时刻的位置偏差。
可选地,基于步骤404与步骤405,当前飞行器与当前障碍物在目标时刻的位置偏差可以为:
。
步骤407:根据当前飞行器与当前障碍物在目标时刻的位置偏差,以及,当前飞行器在目标时刻的经度、纬度以及高度,确定当前障碍物在虚拟相机三维坐标系中的第二坐标值。
在步骤407中,为了便于计算,设定站心坐标系。本实施例中的站心坐标系的原点为当前飞行器的中心点,E轴正方向指向东,N轴正方向指向北,U轴正方向指向天空。
步骤407一种可能的实现方式为:根据当前飞行器与当前障碍物在目标时刻的位置偏差,以及,当前飞行器在目标时刻的经度、纬度以及高度,确定当前障碍物在站心坐标系中的坐标值,进而,再根据当前障碍物在站心坐标系中的坐标值确定当前障碍物在虚拟相机三维坐标系中的第二坐标值。
可选地,假设当前障碍物在站心坐标系中的坐标值为(e2,u2,n2),则可以根据如下公式确定当前障碍物在站心坐标系中的坐标值:
可选地,假设当前障碍物在虚拟相机三维坐标系中的第二坐标值为(x2,y2,z2),则可以根据如下公式确定当前障碍物在虚拟相机三维坐标系中的第二坐标值:
。
如前所述,当前障碍物在虚拟相机三维坐标系中的第二坐标值即为第二相对位置关系。
在本实施例中,根据第一相对位置关系以及第二相对位置关系,确定当前障碍物在仪表屏幕中的显示位置包括如下步骤408至步骤410。
步骤408:根据第一坐标值以及第二坐标值,确定当前障碍物在虚拟相机二维坐标系中的坐标值。
在步骤408中,虚拟相机二维坐标系指的是虚拟相机三维坐标系投影后得到的二维坐标系。在确定出第一坐标值以及第二坐标值后,可以使用三维引擎中的vector.project(camera)方法,将当前障碍物投影到虚拟相机二维坐标系中,得到当前障碍物在虚拟相机二维坐标系中的坐标值(vector.x,vector.y)。
也即,将虚拟相机在虚拟相机三维坐标系中的第一坐标值,以及,当前障碍物在虚拟相机三维坐标系中的第二坐标值,输入vector.project(camera)方法中,就可以得到当前障碍物在虚拟相机二维坐标系中投影得到的坐标值。
步骤409:将当前障碍物在虚拟相机二维坐标系中的坐标值转换为当前障碍物在仪表屏幕坐标系中的坐标值。
在确定出当前障碍物在虚拟相机二维坐标系中的坐标值后,为了便于显示,可以将当前障碍物在虚拟相机二维坐标系中的坐标值转换为当前障碍物在仪表屏幕坐标系中的坐标值。
图8是虚拟相机二维坐标系以及仪表屏幕坐标系的示意图。如图8所示,坐标系tx-0-ty为虚拟相机二维坐标系。坐标系sx-s0-sy为仪表屏幕坐标系。虚拟相机二维坐标系中的坐标原点为仪表屏幕中显示区域的中心点。当前障碍物投影在虚拟相机二维坐标系中点为B点,B点在虚拟相机二维坐标系中的坐标值为(vector.x,vector.y)。本实施例中的仪表屏幕中的显示区域指的是仪表屏幕中用于显示视觉传感器在目标时刻采集的图像帧的区域。仪表屏幕中的显示区域(也可称为画布)有可能与仪表屏幕本身的面积相同,也有可能是仪表屏幕本身的面积中的一部分。
在步骤409中,要计算当前障碍物在仪表屏幕坐标系sx-s0-sy中的坐标值。计算公式可以为:
;
。
其中,指的是仪表屏幕中显示区域的宽度,指的是仪表屏幕中显示区域的高度。需要说明的是,与/>的比值需要与虚拟相机参数中的aspect相同,以保证标记图标实现对图像帧中当前障碍物的标记。
步骤410:将当前障碍物在仪表屏幕坐标系中的坐标值,确定为当前障碍物在仪表屏幕中的显示位置。
步骤411:在仪表屏幕的显示位置处显示当前障碍物的避障等级对应的标记图标。
其中,标记图标为在三维引擎中定义的图标,仪表屏幕的显示背景为当前飞行器的视觉传感器在目标时刻采集的图像帧。
步骤411的实现方式和技术原理与步骤104的实现方式和技术原理类似,此处不再赘述。
本实施例提供的飞行器仪表显示方法,一方面,通过确定虚拟相机在虚拟相机三维坐标系中的初始坐标值,以及,虚拟相机在虚拟相机三维坐标系中坐标值的旋转量,从而确定虚拟相机在虚拟相机三维坐标系中的第一坐标值,并且,虚拟相机三维坐标系的原点为当前飞行器的目标点,该实现方式可以简单、高效且准确地确定出虚拟相机与当前飞行器的目标点的第一相对位置关系,进一步提高了飞行的安全性;另一方面,通过确定当前飞行器在地心坐标系中的坐标值,确定当前障碍物在地心坐标系中的坐标值,从而确定当前障碍物在虚拟相机三维坐标系中的第二坐标值,同样实现简单、高效且准确地确定出当前障碍物与当前飞行器的目标点的第二相对位置关系,进一步提高了飞行的安全性;再一方面,根据第一坐标值以及第二坐标值,确定当前障碍物在虚拟相机二维坐标系中的坐标值后,将当前障碍物在虚拟相机二维坐标系中的坐标值转换为当前障碍物在仪表屏幕坐标系中的坐标值,以便于根据当前障碍物在仪表屏幕坐标系中的坐标值,在仪表屏幕中显示当前障碍物的避障等级对应的标记图标,便于实现,且效率较高。
图9是根据本发明实施例提供的一种飞行器仪表显示装置的结构示意图。如图9所示,该装置包括:第一确定模块71、第二确定模块72、第三确定模块73以及显示模块74。
第一确定模块71,用于根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系。
其中,所述虚拟相机为在三维引擎中定义的相机。
第二确定模块72,用于根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系。
第三确定模块73,用于根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置。
其中,所述显示位置用于表征所述当前障碍物与所述虚拟相机的相对位置。
显示模块74,用于在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标。
其中,所述标记图标为在所述三维引擎中定义的图标。所述仪表屏幕的显示背景为所述当前飞行器的视觉传感器在所述目标时刻采集的图像帧。
一实施例中,所述第一相对位置关系包括所述虚拟相机在虚拟相机三维坐标系中的第一坐标值,所述虚拟相机三维坐标系的原点为所述当前飞行器的目标点。第一确定模块71,用于:根据所述当前飞行器的视觉传感器与所述当前飞行器的目标点的位置偏移量,确定所述虚拟相机在虚拟相机三维坐标系中的初始坐标值;根据所述当前飞行器在所述目标时刻的姿态参数,确定所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量;根据所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量,调整所述虚拟相机在所述虚拟相机三维坐标系中的初始坐标值,得到所述虚拟相机在所述虚拟相机三维坐标系中的第一坐标值。
一实施例中,所述当前飞行器在所述目标时刻的位置参数包括当前飞行器在所述目标时刻的经度、纬度以及高度。所述当前障碍物在所述目标时刻的位置参数包括所述当前障碍物在所述目标时刻的经度、纬度以及高度。所述第二相对位置关系包括所述当前障碍物在所述虚拟相机三维坐标系中的第二坐标值。第二确定模块72,用于:将所述当前飞行器在所述目标时刻的经度、纬度以及高度,转换为所述当前飞行器在地心坐标系中的坐标值;将所述当前障碍物在所述目标时刻的经度、纬度以及高度,转换为所述当前障碍物在所述地心坐标系中的坐标值;根据所述当前飞行器在地心坐标系中的坐标值以及所述当前障碍物在所述地心坐标系中的坐标值,确定所述当前飞行器与所述当前障碍物在所述目标时刻的位置偏差;根据所述当前飞行器与所述当前障碍物在所述目标时刻的位置偏差,以及,所述当前飞行器在所述目标时刻的经度、纬度以及高度,确定所述当前障碍物在所述虚拟相机三维坐标系中的第二坐标值。
一实施例中,第三确定模块73,用于:根据所述第一坐标值以及所述第二坐标值,确定所述当前障碍物在虚拟相机二维坐标系中的坐标值;将所述当前障碍物在虚拟相机二维坐标系中的坐标值转换为所述当前障碍物在仪表屏幕坐标系中的坐标值;将所述当前障碍物在仪表屏幕坐标系中的坐标值,确定为所述当前障碍物在仪表屏幕中的显示位置。
一实施例中,该装置还包括:第四确定模块以及第五确定模块。
第四确定模块,用于根据所述当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记范围的映射关系,确定所述当前障碍物的标记范围。
第五确定模块,用于根据所述标记范围确定所述当前障碍物的避障等级对应的标记图标。
一实施例中,第五确定模块,具体用于:根据所述当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记颜色的映射关系,确定所述当前障碍物的标记颜色;根据所述标记范围以及所述标记颜色,确定所述当前障碍物的避障等级对应的标记图标。
一实施例中,所述显示模块74还用于执行以下操作中的至少一项:在所述当前障碍物的避障等级对应的标记图标的预设位置处显示针对所述当前障碍物的避障策略;在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的类型;在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的运动趋势;在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的高度以及运动速度。
本发明实施例所提供的飞行器仪表显示装置可执行本发明任意实施例所提供的飞行器仪表显示方法,具备执行方法相应的功能模块和有益效果。
图10是实现本发明实施例的飞行器仪表显示方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图10所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在随机访问存储器(RAM)13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、只读存储器(ROM)12以及随机访问存储器(RAM)13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如飞行器仪表显示方法。
在一些实施例中,飞行器仪表显示方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由只读存储器(ROM)12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到随机访问存储器(RAM)13并由处理器11执行时,可以执行上文描述的飞行器仪表显示方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行飞行器仪表显示方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)或者包括中间件部件的计算系统(例如,应用服务器)或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)或者包括这种后台部件、中间件部件或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (9)
1.一种飞行器仪表显示方法,其特征在于,包括:
根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系;其中,所述虚拟相机为在三维引擎中定义的相机;
根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系;
根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置;其中,所述显示位置用于表征所述当前障碍物与所述虚拟相机的相对位置;
在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标;其中,所述标记图标为在所述三维引擎中定义的图标,所述仪表屏幕的显示背景为所述当前飞行器的视觉传感器在所述目标时刻采集的图像帧;
所述第一相对位置关系包括所述虚拟相机在虚拟相机三维坐标系中的第一坐标值,所述虚拟相机三维坐标系的原点为所述当前飞行器的目标点;
所述根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系,包括:
根据所述当前飞行器的视觉传感器与所述当前飞行器的目标点的位置偏移量,确定所述虚拟相机在虚拟相机三维坐标系中的初始坐标值;
根据所述当前飞行器在所述目标时刻的姿态参数,确定所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量;
根据所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量,调整所述虚拟相机在所述虚拟相机三维坐标系中的初始坐标值,得到所述虚拟相机在所述虚拟相机三维坐标系中的第一坐标值。
2.根据权利要求1所述的飞行器仪表显示方法,其特征在于,所述当前飞行器在所述目标时刻的位置参数包括当前飞行器在所述目标时刻的经度、纬度以及高度,所述当前障碍物在所述目标时刻的位置参数包括所述当前障碍物在所述目标时刻的经度、纬度以及高度;所述第二相对位置关系包括所述当前障碍物在所述虚拟相机三维坐标系中的第二坐标值;
所述根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系,包括:
将所述当前飞行器在所述目标时刻的经度、纬度以及高度,转换为所述当前飞行器在地心坐标系中的坐标值;
将所述当前障碍物在所述目标时刻的经度、纬度以及高度,转换为所述当前障碍物在所述地心坐标系中的坐标值;
根据所述当前飞行器在地心坐标系中的坐标值以及所述当前障碍物在所述地心坐标系中的坐标值,确定所述当前飞行器与所述当前障碍物在所述目标时刻的位置偏差;
根据所述当前飞行器与所述当前障碍物在所述目标时刻的位置偏差,以及,所述当前飞行器在所述目标时刻的经度、纬度以及高度,确定所述当前障碍物在所述虚拟相机三维坐标系中的第二坐标值。
3.根据权利要求2所述的飞行器仪表显示方法,其特征在于,所述根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置,包括:
根据所述第一坐标值以及所述第二坐标值,确定所述当前障碍物在虚拟相机二维坐标系中的坐标值;
将所述当前障碍物在虚拟相机二维坐标系中的坐标值转换为所述当前障碍物在仪表屏幕坐标系中的坐标值;
将所述当前障碍物在仪表屏幕坐标系中的坐标值,确定为所述当前障碍物在仪表屏幕中的显示位置。
4.根据权利要求1所述的飞行器仪表显示方法,其特征在于,所述在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标之前,所述方法还包括:
根据所述当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记范围的映射关系,确定所述当前障碍物的标记范围;
根据所述标记范围确定所述当前障碍物的避障等级对应的标记图标。
5.根据权利要求4所述的飞行器仪表显示方法,其特征在于,所述根据所述标记范围确定所述当前障碍物的避障等级对应的标记图标,包括:
根据所述当前障碍物的避障等级,以及,预设的障碍物的避障等级与标记颜色的映射关系,确定所述当前障碍物的标记颜色;
根据所述标记范围以及所述标记颜色,确定所述当前障碍物的避障等级对应的标记图标。
6.根据权利要求1所述的飞行器仪表显示方法,其特征在于,所述方法还包括以下至少一项:
在所述当前障碍物的避障等级对应的标记图标的预设位置处显示针对所述当前障碍物的避障策略;
在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的类型;
在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的运动趋势;
在所述当前障碍物的避障等级对应的标记图标的预设位置处显示所述当前障碍物的高度以及运动速度。
7.一种飞行器仪表显示装置,其特征在于,包括:
第一确定模块,用于根据当前飞行器在目标时刻的姿态参数,确定虚拟相机与当前飞行器的目标点的第一相对位置关系;其中,所述虚拟相机为在三维引擎中定义的相机;
第二确定模块,用于根据所述当前飞行器在所述目标时刻的位置参数以及当前障碍物在所述目标时刻的位置参数,确定所述当前障碍物与所述当前飞行器的目标点的第二相对位置关系;
第三确定模块,用于根据所述第一相对位置关系以及所述第二相对位置关系,确定所述当前障碍物在仪表屏幕中的显示位置;其中,所述显示位置用于表征所述当前障碍物与所述虚拟相机的相对位置;
显示模块,用于在所述仪表屏幕的显示位置处显示所述当前障碍物的避障等级对应的标记图标;其中,所述标记图标为在所述三维引擎中定义的图标,所述仪表屏幕的显示背景为所述当前飞行器的视觉传感器在所述目标时刻采集的图像帧;
所述第一相对位置关系包括所述虚拟相机在虚拟相机三维坐标系中的第一坐标值,所述虚拟相机三维坐标系的原点为所述当前飞行器的目标点;
所述第一确定模块,具体用于:根据所述当前飞行器的视觉传感器与所述当前飞行器的目标点的位置偏移量,确定所述虚拟相机在虚拟相机三维坐标系中的初始坐标值;根据所述当前飞行器在所述目标时刻的姿态参数,确定所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量;根据所述虚拟相机在所述虚拟相机三维坐标系中坐标值的旋转量,调整所述虚拟相机在所述虚拟相机三维坐标系中的初始坐标值,得到所述虚拟相机在所述虚拟相机三维坐标系中的第一坐标值。
8.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的飞行器仪表显示方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的飞行器仪表显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311432885.8A CN117163302B (zh) | 2023-10-31 | 2023-10-31 | 飞行器仪表显示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311432885.8A CN117163302B (zh) | 2023-10-31 | 2023-10-31 | 飞行器仪表显示方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117163302A CN117163302A (zh) | 2023-12-05 |
CN117163302B true CN117163302B (zh) | 2024-01-23 |
Family
ID=88947086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311432885.8A Active CN117163302B (zh) | 2023-10-31 | 2023-10-31 | 飞行器仪表显示方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117163302B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1161096A (zh) * | 1995-08-10 | 1997-10-01 | 世雅企业股份有限公司 | 虚拟图象生成设备及其方法 |
CN105159317A (zh) * | 2015-09-14 | 2015-12-16 | 深圳一电科技有限公司 | 无人机及其控制方法 |
CN108171116A (zh) * | 2017-12-01 | 2018-06-15 | 北京臻迪科技股份有限公司 | 飞行器辅助避障方法、装置和辅助避障系统 |
WO2022110912A1 (zh) * | 2020-11-27 | 2022-06-02 | 清华大学 | 基于无人机视频的林火蔓延数据同化方法以及装置 |
CN116048120A (zh) * | 2023-01-10 | 2023-05-02 | 中国建筑一局(集团)有限公司 | 一种未知动态环境下小型四旋翼无人机自主导航系统及方法 |
CN116503803A (zh) * | 2023-04-27 | 2023-07-28 | 上海木蚁机器人科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
CN116620168A (zh) * | 2023-05-24 | 2023-08-22 | 江苏泽景汽车电子股份有限公司 | 一种障碍物预警方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9390559B2 (en) * | 2013-03-12 | 2016-07-12 | Honeywell International Inc. | Aircraft flight deck displays and systems and methods for enhanced display of obstacles in a combined vision display |
-
2023
- 2023-10-31 CN CN202311432885.8A patent/CN117163302B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1161096A (zh) * | 1995-08-10 | 1997-10-01 | 世雅企业股份有限公司 | 虚拟图象生成设备及其方法 |
CN105159317A (zh) * | 2015-09-14 | 2015-12-16 | 深圳一电科技有限公司 | 无人机及其控制方法 |
CN108171116A (zh) * | 2017-12-01 | 2018-06-15 | 北京臻迪科技股份有限公司 | 飞行器辅助避障方法、装置和辅助避障系统 |
WO2022110912A1 (zh) * | 2020-11-27 | 2022-06-02 | 清华大学 | 基于无人机视频的林火蔓延数据同化方法以及装置 |
CN116048120A (zh) * | 2023-01-10 | 2023-05-02 | 中国建筑一局(集团)有限公司 | 一种未知动态环境下小型四旋翼无人机自主导航系统及方法 |
CN116503803A (zh) * | 2023-04-27 | 2023-07-28 | 上海木蚁机器人科技有限公司 | 障碍物检测方法、装置、电子设备以及存储介质 |
CN116620168A (zh) * | 2023-05-24 | 2023-08-22 | 江苏泽景汽车电子股份有限公司 | 一种障碍物预警方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117163302A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210358315A1 (en) | Unmanned aerial vehicle visual point cloud navigation | |
CN103116360B (zh) | 一种无人机避障控制方法 | |
CN207133659U (zh) | 一种无人飞行器远程控制系统 | |
CN109683629B (zh) | 基于组合导航和计算机视觉的无人机电力架线系统 | |
CN109062233A (zh) | 一种输电线路无人机自动驾驶巡检方法 | |
CN108062108A (zh) | 一种基于机载计算机的智能多旋翼无人机及其实现方法 | |
CN104932529A (zh) | 一种无人机自主飞行的云端控制系统 | |
CN109923492A (zh) | 飞行路径确定 | |
CN106125747A (zh) | 基于vr交互的无人机机载第一视角随动吊舱系统 | |
CN105259917A (zh) | 一种无人飞行器安全快速降落装置及方法 | |
WO2021212519A1 (zh) | 飞行指引方法、装置、系统、遥控终端及可读存储介质 | |
CN111665508B (zh) | 直升机载地形跟随与回避可视化导航系统以及导航方法 | |
CN106708073A (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
CN109508036B (zh) | 一种中继点生成方法、装置和无人机 | |
CN107144281A (zh) | 基于合作目标和单目视觉的无人机室内定位系统及定位方法 | |
CN107783119A (zh) | 应用在避障系统中的决策融合方法 | |
CN113223328A (zh) | 无人载具视线的增强 | |
CN106843275A (zh) | 一种无人机定点绕飞方法、装置以及系统 | |
CN102190081A (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
CN208126205U (zh) | 一种自动避障的无人飞行装置 | |
CN112000118A (zh) | 一种无人机保护方法及无人机 | |
CN108766035B (zh) | 一种点密度引导下的无人机地形匹配飞行控制系统 | |
CN205121348U (zh) | 无人飞行器安全快速降落系统及其遥控设备和无人飞行器 | |
CN116661497A (zh) | 一种智能飞行汽车 | |
CN111189449A (zh) | 一种机器人地图构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |