CN112313597A - 飞行器控制方法、设备、系统及存储介质 - Google Patents
飞行器控制方法、设备、系统及存储介质 Download PDFInfo
- Publication number
- CN112313597A CN112313597A CN201980040366.2A CN201980040366A CN112313597A CN 112313597 A CN112313597 A CN 112313597A CN 201980040366 A CN201980040366 A CN 201980040366A CN 112313597 A CN112313597 A CN 112313597A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- data
- server
- flight
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 35
- 238000013439 planning Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 24
- 230000007613 environmental effect Effects 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
一种飞行器控制方法、飞行器、服务器、飞行系统及计算机可读存储介质,该方法包括:获取飞行器对应的飞行数据(S101);将飞行数据发送至与飞行器通信连接的服务器(S102);获取服务器根据飞行数据生成的导航信息(S103);根据导航信息执行飞行操作(S104)。该方法提高了飞行器的导航能力。
Description
技术领域
本申请涉及飞行器控制技术领域,尤其涉及一种飞行器控制方法、设备、系统及存储介质。
背景技术
飞行器比如无人机,可应用在航拍、农业植保、电力巡查、救灾、巡航表演等各个领域,应用十分广泛。目前,无人机的架构是all-in-one的框架,在无人机内部安装所有必须的传感器和处理器,通过遥控器和图传系统对无人机进行操控。然而,由于安装在无人机内部的处理器计算资源有限,使得无人机在很多方面的应用受到限制,比如无人机送快递、无人机巡检等等。总的来说,无人机无法完成大范围内全自主导航。
因此,如何提高无人机等飞行器的导航能力成为亟需解决的问题。
发明内容
基于此,本申请提供了一种飞行器控制方法、设备、系统及存储介质,以提高无人机等飞行器的导航能力。
第一方面,本申请提供了一种飞行器控制方法,所述方法包括:
获取飞行器对应的飞行数据;
将所述飞行数据发送至与所述飞行器通信连接的服务器;
获取所述服务器根据所述飞行数据生成的导航信息;
根据所述导航信息执行飞行操作。
第二方面,本申请还提供了一种飞行器控制方法,所述方法包括:
获取至少一个飞行器对应的至少一个飞行数据;
根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
第三方面,本申请还提供了一种飞行器,所述飞行器包括机体、拍摄装置以及存储器和处理器;
所述拍摄装置连接于所述机体以拍摄图像;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取飞行器对应的飞行数据;
将所述飞行数据发送至与所述飞行器通信连接的服务器;
获取所述服务器根据所述飞行数据生成的导航信息;
根据所述导航信息执行飞行操作。
第四方面,本申请还提供了一种服务器,所述服务器包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取至少一个飞行器对应的至少一个飞行数据;
根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
第五方面,本申请还提供了一种飞行系统,所述飞行系统包括服务器与至少一个飞行器,所述服务器与所述至少一个飞行器通信连接;
所述至少一个飞行器用于获取飞行数据;
所述至少一个飞行器用于将所述飞行数据发送至所述服务器;
所述服务器用于根据所述飞行数据,生成对应的导航信息;
所述至少一个飞行器用于从所述服务器获取所述导航信息,根据所述导航信息执行飞行操作。
第六方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的飞行器控制方法。
本申请公开的飞行器控制方法、飞行器、服务器、飞行系统及计算机可读存储介质,飞行器通过与服务器交互通信,将飞行数据发送至服务器,通过服务器强大的处理能力生成导航信息,飞行器根据该导航信息执行飞行操作,从而提高了飞行器的导航能力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1本申请实施例提供的一种飞行系统的示意性框图;
图2是本申请的实施例提供的一种飞行器控制方法的步骤示意流程图;
图3是本申请的实施例提供的另一种飞行器控制方法的步骤示意流程图;
图4是本申请的实施例提供的飞行器的示意性框图;
图5是本申请的实施例提供的服务器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本申请的实施例提供了一种飞行器控制方法、飞行器、服务器、飞行系统及计算机可读存储介质,用于实现提高飞行器的导航能力。
请参阅图1,图1为本申请实施例提供的一种飞行系统的示意性框图。如图1所示,飞行系统100可以包括至少一个飞行器110和服务器120,飞行器110和服务器120通信连接。
飞行器110可以为旋翼型飞行器,当然,飞行器也可以是其他类型的无人机或可移动装置,本申请实施例不限于此。
服务器120可以一台独立的服务器,或者是服务器集群,或者是多台服务器按照一定逻辑组成系统。在实际应用中,该服务器可以是无人机服务器或者云服务器。
示例性的,飞行器110包括机体、拍摄装置等。拍摄装置连接于机体,可搭载在飞行器110下方,用于进行图像的拍摄。可以理解的,拍摄装置也可以设于飞行器的其他适宜位置,例如飞行器的机头,本申请实施例不限于此。
在一个实施例中,飞行器110还包括定位装置,搭载于飞行器110上,用于实时采集飞行器的定位数据。具体地,该定位数据可包括经度信息和纬度信息。
飞行器110还包括惯性测量装置,所述惯性测量装置用于测量飞行器的飞行速度、姿态数据等。
飞行器110还包括距离测量装置,距离测量装置搭载于飞行器110上,用于测量飞行器的距离数据、高度数据等。该距离测量装置包括如下至少一种:飞行时间(Time ofFlight,TOF)测距探测设备、雷达、超声波探测设备和激光探测设备等。
在飞行器110执行飞行时,飞行器110获取飞行数据,其中,飞行数据包括:飞行器的运行数据、图像数据、环境数据中的至少一个;基于飞行器的飞行数据,例如飞行器搭载的各项传感装置及拍摄装置获取飞行器本身的运行数据及其所处位置的图像数据及环境数据,可以有效地整合集成空间中各点在各时间段所处状态,进而为实现服务器对导航数据的实时更新提供基础。运行数据包括定位数据、姿态数据、高度数据中的至少一种;环境数据包括深度数据、温度数据、距离数据中的至少一种。特别地,从飞行器的运行数据可以得知飞行器本体的相关信息,例如通过定位数据和高度数据可以确定飞行器在三维空间中的位置,姿态数据可以反映飞行器在三维空间中任意时间点的形态;结合环境数据和图像数据即可以得出飞行器飞行轨迹周围在任意时间点的地图信息。当然,采用环境数据和/或图像数据也可以得出较为粗略的地图信息。
飞行器110将获取的飞行数据发送至服务器120,服务器120用于根据所述飞行数据,生成对应的导航信息。飞行器110获取所述导航信息,并根据所述导航信息执行飞行操作。通过服务器120强大的处理能力生成导航信息,飞行器110根据该导航信息执行飞行操作,解决了飞行器110自身计算负载过重的问题,实现了飞行器110超远距离飞行,大范围内全自主导航,从而提高了飞行器110的导航能力。
示例性的,飞行器110获取所述导航信息,包括:
按预设周期接收所述服务器120发送的所述导航信息;或者,主动获取所述服务器120发送的所述导航信息,其中,所述导航信息保存于所述服务器端。也即,飞行器110既可以采取主动方式,例如接受用户指令、响应特定触发方式以获取所述导航信息,也可以采取被动方式获得所述导航信息,而不限于某种固定方式。
示例性的,飞行器110根据所述导航信息执行飞行操作,包括:
飞行器110根据所述导航信息,生成飞行器110对应的飞行路径信息,并根据所述飞行路径信息执行飞行操作。由于生成飞行路径信息的操作对计算资源的要求不高,飞行器110自身处理器可以满足要求,根据自身生成的飞行路径信息执行飞行操作,实时性好,可以避免飞行器110飞行控制存在延时的问题。同理,在飞行器110自身处理器上完成对飞行器的手动控制指令、对飞行器配件的操纵信息等实时性要求较高而运算量较小的需求,可以避免将所有指令进行远程处理时,由于信道带宽不足或信号干扰等因素导致传输时延的问题,从而进一步提高飞行器的响应速度,提升用户体验。
示例性的,飞行器110将所述深度数据以第一传输频率发送至服务器120。其中可选地,所述第一传输频率至少为20hz。在现今网络带宽满足传输要求的情况下,以20hz以上的传输频率发送深度数据,实现了数据的快速传输。
示例性的,飞行器110将所述图像数据以第二传输频率发送至所述服务器120。其中,所述图像数据包括至少一个方向上的数据,比如,所述图像数据包括六个方向上的数据;其中可选地,所述第二传输频率至少为20hz。在实际应用当中,不是必须要将六个方向上的数据全部上传,比如以第二传输频率上传三个方向上的数据,在减少数据传输量的同时,也能够满足服务器生成导航信息的数据量需求。
示例性的,飞行器110基于当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器120。其中,所述通信链路包括5G通信链路。飞行器110基于5G通信链路将所述飞行数据发送至所述服务器120。随着5G通信的发展,飞行器110配置5G通信链路,通过5G通信链路发送飞行数据,实现飞行器110与服务器120之间的实时通信。
示例性的,服务器120根据所述飞行数据,生成对应的导航信息,包括:
服务器120根据所述飞行数据及历史导航数据生成导航信息,其中,所述历史导航数据包括至少一个飞行器110已执行航程对应的飞行数据、图像数据、以及环境数据。其中可选地,所述历史导航数据还可以包括可移动平台、固定拍摄点装置等其他设备采集到的飞行数据、图像数据、环境数据等。示例性的,还可以通过已有的二维或三维地图服务提供历史导航数据。服务器120参考历史导航数据和飞行数据生成导航信息,相比于仅通过飞行器110的飞行数据生成导航信息的方式,生成的导航信息可靠性更高,飞行器110根据该导航信息执行飞行操作,可以进一步提高导航的精准性。
示例性的,服务器120根据所述飞行数据,生成对应的导航信息,包括:
根据所述飞行数据,生成包含所述至少一个飞行器110对应的局部地图信息的综合地图信息。服务器120通过综合多个飞行器110的飞行数据来生成综合地图信息,通过该综合地图信息可以实现各个飞行器110更加精准导航,或者可选地,通过该综合地图信息还可以对各个飞行器110进行调度控制。
示例性的,服务器120将至少一个飞行器110对应的局部地图信息以第三传输频率发送至对应的飞行器110。其中,所述第三传输频率至少为10hz。
示例性的,服务器120根据所述飞行数据,生成对应的导航信息,包括:
根据所述飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。例如,服务器120根据至少一个飞行器110对应的图像数据,生成场景理解信息。又如,服务器120根据至少一个飞行器110对应的深度图数据和定位数据,生成地图构建信息。根据场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息等导航信息,可以进一步提高飞行器110导航的精准性。
示例性的,服务器120根据所述调度规划信息,对至少一个飞行器110进行调度控制。例如,以无人机为例,当无人机需要进行多机协同时,如无人机送快递,无人机巡检时,通过服务器对不同无人机进行调度,从而实现多个无人机间的高效协同工作。
可以理解的,上述对于飞行系统各部件的命名仅仅出于标识的目的,并不因此对本申请实施例进行限制。
以下将基于飞行系统、所述飞行系统中的飞行器和所述飞行系统中的服务器对本申请的实施例提供的飞行器控制方法进行详细介绍。需知,图1中的飞行系统并不构成对该飞行器控制方法的应用场景的限定。
请参阅图2,图2是本申请的实施例提供的一种飞行器控制方法的示意流程图。该方法可以用于上述实施例提供的任意一种飞行器中,以实现提高飞行器的导航能力。
如图2所示,该飞行器控制方法具体包括步骤S101至步骤S104。
S101、获取飞行器对应的飞行数据。
在飞行器飞行的过程中,获取飞行器当前飞行对应的飞行数据。其中,飞行数据包括飞行器的运行数据、图像数据、环境数据中的至少一个。
运行数据包括定位数据、姿态数据、高度数据中的至少一种。定位数据包括经度信息和维度信息;姿态数据包括飞行姿态角,具体包括航向角、俯仰角和横滚角等。
环境数据包括深度数据、温度数据、距离数据中的至少一种。
S102、将所述飞行数据发送至与所述飞行器通信连接的服务器。
获取到飞行器当前飞行对应的飞行数据后,将该飞行数据发送至与飞行器通信连接的服务器。
示例性的,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
基于所述飞行器的当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器。
飞行器配置有至少一条通信链路,不同的通信链路适配不同的网络带宽。例如,通信链路包括4G通信链路、5G通信链路等。当获取到飞行器当前飞行对应的飞行数据后,基于飞行器的当前网络带宽适配的通信链路,将飞行数据发送至服务器。例如,基于飞行器的当前网络带宽适配的5G通信链路,将飞行数据发送至服务器。
示例性的,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
将所述深度数据以第一传输频率发送至所述服务器。
对于飞行数据中的深度数据,将其以第一传输频率发送至服务器。其中,第一传输频率至少为20hz。
例如,深度数据的分辨率大小采用640*480,每个像素位宽为2个字节,当第一传输频率为20hz时,深度数据的带宽为:640*480*2*20=12288000Bytes/s。该带宽在满足深度数据的精度需求的同时,也能够满足服务器生成导航信息的数据量需求。
示例性的,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
将所述图像数据以第二传输频率发送至所述服务器,所述图像数据包括至少一个方向上的数据。
对于飞行数据中的图像数据,图像数据包括六个方向上的数据。在实际应用当中,不是必须要将六个方向上的数据全部上传,比如上传三个方向上的数据。
对于图像数据的上传,例如,图像数据的分辨率大小采用640*480,每个像素位宽为1个字节,当上传六个方向上的数据,第二传输频率为20hz时,图像数据的带宽为:640*480*1*20*6=36864000Bytes/s。同样地,该带宽在满足图像数据的精度需求的同时,也能够满足服务器生成导航信息的数据量需求。
S103、获取所述服务器根据所述飞行数据生成的导航信息。
服务器接收飞行器发送的飞行数据,并根据该飞行数据生成对应的导航信息。飞行器获取服务器根据飞行数据生成的导航信息。
示例性的,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
按预设周期接收所述服务器发送的所述导航信息;或者
主动获取所述服务器发送的所述导航信息,其中,所述导航信息保存于所述服务器端。
具体地,飞行器获取服务器根据飞行数据生成的导航信息的方式包括多种。例如,其中一种方式是服务器直接按预设周期将导航信息发送至飞行器,飞行器按预设周期接收服务器发送的导航信息。又如,另外一种方式是导航信息保存于服务器端,飞行器主动获取服务器发送的导航信息。
示例性的,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据所述飞行数据及历史导航数据生成的导航信息,所述历史导航数据包括至少一个飞行器已执行航程对应的飞行数据、图像数据、以及环境数据。
在一实施例中,保存飞行器的历史导航数据,其中,历史导航数据包括至少一个飞行器已执行航程对应的飞行数据、图像数据、以及环境数据。可选地,历史导航数据还可以包括可移动平台、固定拍摄点装置等其他设备采集到的飞行数据、图像数据、环境数据等。服务器根据接收到的飞行器发送的飞行数据及历史导航数据,生成对应的导航信息。飞行器获取服务器根据飞行数据及历史导航数据生成的导航信息。相比于仅通过飞行器的飞行数据生成导航信息的方式,生成的导航信息可靠性更高,飞行器根据该导航信息执行飞行操作,可以进一步提高导航的精准性。
示例性的,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据至少一个所述飞行器对应的至少一个所述飞行数据,生成的至少一个所述飞行器对应的综合地图信息。
示例性的,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据至少一个所述飞行数据生成的场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
服务器根据至少一个飞行数据生成的导航信息还包括场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息等。飞行器获取场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
S104、根据所述导航信息执行飞行操作。
飞行器获取导航信息后,根据该导航信息执行飞行操作。
示例性的,所述根据所述导航信息执行飞行操作,包括:
根据所述导航信息,生成所述飞行器对应的飞行路径信息;
根据所述飞行路径信息执行飞行操作。
飞行器根据获取的导航信息,生成当前飞行对应的飞行路径信息,并基于该飞行路径信息执行飞行操作。由于生成飞行路径信息的操作对计算资源的要求不高,飞行器自身处理器可以满足要求,根据自身生成的飞行路径信息执行飞行操作,实时性好,可以避免飞行器飞行控制存在延时的问题。
上述实施例通过飞行器与服务器交互通信,将飞行数据发送至服务器,通过服务器强大的处理能力生成导航信息,飞行器根据该导航信息执行飞行操作,解决了飞行器自身计算负载过重的问题,实现了飞行器超远距离飞行,大范围内全自主导航,从而提高了飞行器的导航能力。
请参阅图3,图3是本申请的实施例提供的另一种飞行器控制方法的示意流程图。该方法可以用于上述实施例提供的任意一种服务器中,以实现提高飞行器的导航能力。
如图3所示,该飞行器控制方法具体包括步骤S201至步骤S202。
S201、获取至少一个飞行器对应的至少一个飞行数据。
服务器与至少一个飞行器通信连接,获取至少一个飞行器对应的至少一个飞行数据,例如,接收至少一个飞行器发送的飞行数据。
其中,飞行数据包括飞行器的运行数据、图像数据、环境数据中的至少一个。运行数据包括定位数据、姿态数据、高度数据中的至少一种。定位数据包括经度信息和维度信息;姿态数据包括飞行姿态角,具体包括航向角、俯仰角和横滚角等;环境数据包括深度数据、温度数据、距离数据中的至少一种。
S202、根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
在获取到至少一个飞行器对应的飞行数据之后,服务器根据该飞行数据,生成至少一个飞行器对应的导航信息。飞行器获取服务器生成的导航信息,并根据该导航信息执行飞行操作。
示例性的,所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,包括:
根据所述至少一个飞行数据,生成包含所述至少一个飞行器对应的局部地图信息的综合地图信息。
在获取到多个飞行器对应的飞行数据后,服务器根据多个飞行数据生成综合地图信息,其中,该综合地图信息包含了每个飞行器对应的局部地图信息。
示例性的,服务器将飞行器对应的局部地图信息以第三传输频率发送至对应的飞行器。其中,所述第三传输频率至少为10hz。例如,服务器以10hz的传输频率,通过当前网络带宽适配的通信链路(如5G通信链路)将局部地图信息发送至飞行器。
示例性的,所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,包括:
根据所述至少一个飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
例如,服务器根据至少一个飞行器对应的图像数据,生成场景理解信息。服务器根据至少一个飞行器对应的深度图数据和定位数据,生成地图构建信息。
示例性的,服务器根据至少一个飞行器对应的飞行数据生成调度规划信息后,服务器可根据所述调度规划信息,对至少一个飞行器进行调度控制。例如,以无人机为例,当无人机需要进行多机协同时,如无人机送快递,无人机巡检时,通过服务器对不同无人机进行调度。
上述实施例通过服务器与至少一个飞行器交互通信,服务器获取至少一个飞行器对应的至少一个飞行数,通过服务器强大的处理能力,根据至少一个飞行数据生成对应的导航信息,供至少一个飞行器根据导航信息执行飞行操作,从而提高了飞行器的导航能力。并且,飞行器之间通过服务器实现了大范围内信息互通与融合,服务器对多个飞行器进行调度,多个飞行器利用服务器实现集中式管理,协同工作更加高效。
请参阅图4,图4是本申请一实施例提供的飞行器的示意性框图。该飞行器400包括拍摄装置410、处理器411和存储器412,处理器411、存储器412和拍摄装置410通过总线连接,该总线比如为I2C(Inter-integrated Circuit)总线。飞行器400还包括机体,拍摄装置410连接于所述机体以拍摄图像。
具体地,处理器411可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器412可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取飞行器对应的飞行数据;
将所述飞行数据发送至与所述飞行器通信连接的服务器;
获取所述服务器根据所述飞行数据生成的导航信息;
根据所述导航信息执行飞行操作。
在一些实施例中,所述飞行数据包括:所述飞行器的运行数据、所述飞行器的图像数据、以及所述飞行器的环境数据中的至少一个。所述运行数据包括定位数据、姿态数据、高度数据中的至少一种。所述环境数据包括深度数据、温度数据、距离数据中的至少一种。
在一些实施例中,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
将所述深度数据以第一传输频率发送至所述服务器。
在一些实施例中,所述第一传输频率至少为20hz。
在一些实施例中,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
将所述图像数据以第二传输频率发送至所述服务器,所述图像数据包括至少一个方向上的数据。
在一些实施例中,所述图像数据包括六个方向上的数据。所述第二传输频率至少为20hz。
在一些实施例中,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
基于所述飞行器的当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器。
在一些实施例中,所述通信链路包括5G通信链路。
在一些实施例中,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据所述飞行数据及历史导航数据生成的导航信息,所述历史导航数据包括至少一个飞行器已执行航程对应的飞行数据、图像数据、以及环境数据。
在一些实施例中,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据至少一个所述飞行器对应的至少一个所述飞行数据,生成的至少一个所述飞行器对应的综合地图信息。
在一些实施例中,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据至少一个所述飞行数据生成的场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
在一些实施例中,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
按预设周期接收所述服务器发送的所述导航信息;或者
主动获取所述服务器发送的所述导航信息,其中,所述导航信息保存于所述服务器端。
在一些实施例中,所述处理器在实现所述根据所述导航信息执行飞行操作时,具体实现:
根据所述导航信息,生成所述飞行器对应的飞行路径信息;
根据所述飞行路径信息执行飞行操作。
请参阅图5,图5是本申请一实施例提供的服务器的示意性框图。该服务器500包括处理器511和存储器512,处理器511和存储器512通过总线连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器511可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器512可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取至少一个飞行器对应的至少一个飞行数据;
根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
在一些实施例中,所述处理器在实现所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息时,具体实现:
根据所述至少一个飞行数据,生成包含所述至少一个飞行器对应的局部地图信息的综合地图信息。
在一些实施例中,所述处理器在实现所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息时,具体实现:
根据所述至少一个飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
在一些实施例中,所述处理器在执行所述计算机程序时,还实现如下步骤:
将至少一个飞行器对应的局部地图信息以第三传输频率发送至对应的飞行器。
在一些实施例中,所述第三传输频率至少为10hz。
在一些实施例中,所述处理器在执行所述计算机程序时,还实现如下步骤:
根据所述调度规划信息,对至少一个飞行器进行调度控制。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的飞行器控制方法的步骤。
其中,所述计算机可读存储介质可以是前述实施例所述的飞行器或服务器的内部存储单元,例如所述飞行器或服务器的硬盘或内存。所述计算机可读存储介质也可以是所述飞行器或服务器的外部存储设备,例如所述飞行器或服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (54)
1.一种飞行器控制方法,其特征在于,包括:
获取飞行器对应的飞行数据;
将所述飞行数据发送至与所述飞行器通信连接的服务器;
获取所述服务器根据所述飞行数据生成的导航信息;
根据所述导航信息执行飞行操作。
2.根据权利要求1所述的方法,其特征在于,所述飞行数据包括:所述飞行器的运行数据、所述飞行器的图像数据、以及所述飞行器的环境数据中的至少一个。
3.根据权利要求2所述的方法,其特征在于,所述运行数据包括定位数据、姿态数据、高度数据中的至少一种。
4.根据权利要求2所述的方法,其特征在于,所述环境数据包括深度数据、温度数据、距离数据中的至少一种。
5.根据权利要求4所述的方法,其特征在于,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
将所述深度数据以第一传输频率发送至所述服务器。
6.根据权利要求5所述的方法,其特征在于,所述第一传输频率至少为20hz。
7.根据权利要求2所述的方法,其特征在于,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
将所述图像数据以第二传输频率发送至所述服务器,所述图像数据包括至少一个方向上的数据。
8.根据权利要求7所述的方法,其特征在于,所述图像数据包括六个方向上的数据。
9.根据权利要求7所述的方法,其特征在于,所述第二传输频率至少为20hz。
10.根据权利要求1所述的方法,其特征在于,所述将所述飞行数据发送至与所述飞行器通信连接的服务器,包括:
基于所述飞行器的当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器。
11.根据权利要求10所述的方法,其特征在于,所述通信链路包括5G通信链路。
12.根据权利要求1所述的方法,其特征在于,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据所述飞行数据及历史导航数据生成的导航信息,所述历史导航数据包括至少一个飞行器已执行航程对应的飞行数据、图像数据、以及环境数据。
13.根据权利要求1所述的方法,其特征在于,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据至少一个所述飞行器对应的至少一个所述飞行数据,生成的至少一个所述飞行器对应的综合地图信息。
14.根据权利要求1所述的方法,其特征在于,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
获取所述服务器根据至少一个所述飞行数据生成的场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
15.根据权利要求1所述的方法,其特征在于,所述获取所述服务器根据所述飞行数据生成的导航信息,包括:
按预设周期接收所述服务器发送的所述导航信息;或者
主动获取所述服务器发送的所述导航信息,其中,所述导航信息保存于所述服务器端。
16.根据权利要求1所述的方法,其特征在于,所述根据所述导航信息执行飞行操作,包括:
根据所述导航信息,生成所述飞行器对应的飞行路径信息;
根据所述飞行路径信息执行飞行操作。
17.一种飞行器控制方法,其特征在于,包括:
获取至少一个飞行器对应的至少一个飞行数据;
根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
18.根据权利要求17所述的方法,其特征在于,所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,包括:
根据所述至少一个飞行数据,生成包含所述至少一个飞行器对应的局部地图信息的综合地图信息。
19.根据权利要求17所述的方法,其特征在于,所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,包括:
根据所述至少一个飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
20.根据权利要求18所述的方法,其特征在于,所述方法还包括:
将至少一个飞行器对应的局部地图信息以第三传输频率发送至对应的飞行器。
21.根据权利要求20所述的方法,其特征在于,所述第三传输频率至少为10hz。
22.根据权利要求19所述的方法,其特征在于,所述方法还包括:
根据所述调度规划信息,对至少一个飞行器进行调度控制。
23.一种飞行器,其特征在于,所述飞行器包括机体、拍摄装置以及存储器和处理器;
所述拍摄装置连接于所述机体以拍摄图像;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取飞行器对应的飞行数据;
将所述飞行数据发送至与所述飞行器通信连接的服务器;
获取所述服务器根据所述飞行数据生成的导航信息;
根据所述导航信息执行飞行操作。
24.根据权利要求23所述的飞行器,其特征在于,所述飞行数据包括:所述飞行器的运行数据、所述飞行器的图像数据、以及所述飞行器的环境数据中的至少一个。
25.根据权利要求24所述的飞行器,其特征在于,所述运行数据包括定位数据、姿态数据、高度数据中的至少一种。
26.根据权利要求24所述的飞行器,其特征在于,所述环境数据包括深度数据、温度数据、距离数据中的至少一种。
27.根据权利要求26所述的飞行器,其特征在于,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
将所述深度数据以第一传输频率发送至所述服务器。
28.根据权利要求27所述的飞行器,其特征在于,所述第一传输频率至少为20hz。
29.根据权利要求24所述的飞行器,其特征在于,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
将所述图像数据以第二传输频率发送至所述服务器,所述图像数据包括至少一个方向上的数据。
30.根据权利要求29所述的飞行器,其特征在于,所述图像数据包括六个方向上的数据。
31.根据权利要求29所述的飞行器,其特征在于,所述第二传输频率至少为20hz。
32.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述将所述飞行数据发送至与所述飞行器通信连接的服务器时,具体实现:
基于所述飞行器的当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器。
33.根据权利要求32所述的飞行器,其特征在于,所述通信链路包括5G通信链路。
34.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据所述飞行数据及历史导航数据生成的导航信息,所述历史导航数据包括至少一个飞行器已执行航程对应的飞行数据、图像数据、以及环境数据。
35.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据至少一个所述飞行器对应的至少一个所述飞行数据,生成的至少一个所述飞行器对应的综合地图信息。
36.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
获取所述服务器根据至少一个所述飞行数据生成的场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
37.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述获取所述服务器根据所述飞行数据生成的导航信息时,具体实现:
按预设周期接收所述服务器发送的所述导航信息;或者
主动获取所述服务器发送的所述导航信息,其中,所述导航信息保存于所述服务器端。
38.根据权利要求23所述的飞行器,其特征在于,所述处理器在实现所述根据所述导航信息执行飞行操作时,具体实现:
根据所述导航信息,生成所述飞行器对应的飞行路径信息;
根据所述飞行路径信息执行飞行操作。
39.一种服务器,其特征在于,所述服务器包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取至少一个飞行器对应的至少一个飞行数据;
根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息,以供所述至少一个飞行器根据所述导航信息执行飞行操作。
40.根据权利要求39所述的服务器,其特征在于,所述处理器在实现所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息时,具体实现:
根据所述至少一个飞行数据,生成包含所述至少一个飞行器对应的局部地图信息的综合地图信息。
41.根据权利要求39所述的服务器,其特征在于,所述处理器在实现所述根据所述至少一个飞行数据,生成所述至少一个飞行器对应的导航信息时,具体实现:
根据所述至少一个飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
42.根据权利要求40所述的服务器,其特征在于,所述处理器在执行所述计算机程序时,还实现如下步骤:
将至少一个飞行器对应的局部地图信息以第三传输频率发送至对应的飞行器。
43.根据权利要求42所述的服务器,其特征在于,所述第三传输频率至少为10hz。
44.根据权利要求41所述的服务器,其特征在于,所述处理器在执行所述计算机程序时,还实现如下步骤:
根据所述调度规划信息,对至少一个飞行器进行调度控制。
45.一种飞行系统,其特征在于,包括服务器与至少一个飞行器,所述服务器与所述至少一个飞行器通信连接;
所述至少一个飞行器用于获取飞行数据;
所述至少一个飞行器用于将所述飞行数据发送至所述服务器;
所述服务器用于根据所述飞行数据,生成对应的导航信息;
所述至少一个飞行器用于从所述服务器获取所述导航信息,根据所述导航信息执行飞行操作。
46.根据权利要求45所述的飞行系统,其特征在于,所述飞行数据包括:所述飞行器的运行数据、所述飞行器的图像数据、以及所述飞行器的环境数据中的至少一个。
47.根据权利要求46所述的飞行系统,其特征在于,所述环境数据包括深度数据、温度数据、距离数据中的至少一种。
48.根据权利要求47所述的飞行系统,其特征在于,所述将所述飞行数据发送至所述服务器,包括:
将所述深度数据以第一传输频率发送至所述服务器。
49.根据权利要求46所述的飞行系统,其特征在于,所述将所述飞行数据发送至所述服务器,包括:
将所述图像数据以第二传输频率发送至所述服务器,所述图像数据包括至少一个方向上的数据。
50.根据权利要求45所述的飞行系统,其特征在于,所述将所述飞行数据发送至所述服务器,包括:
基于飞行器的当前网络带宽适配的通信链路,将所述飞行数据发送至所述服务器。
51.根据权利要求50所述的飞行系统,其特征在于,所述通信链路包括5G通信链路。
52.根据权利要求45所述的飞行系统,其特征在于,所述根据所述飞行数据,生成对应的导航信息,包括:
根据所述飞行数据,生成所述至少一个飞行器对应的综合地图信息。
53.根据权利要求45所述的飞行系统,其特征在于,所述根据所述飞行数据,生成对应的导航信息,包括:
根据所述飞行数据,生成场景理解信息、地图构建信息、复杂路径规划信息、调度规划信息中的至少一种。
54.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至16中任一项所述的飞行器控制方法,或者实现如权利要求17至22中任一项所述的飞行器控制方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/120036 WO2021097772A1 (zh) | 2019-11-21 | 2019-11-21 | 飞行器控制方法、设备、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112313597A true CN112313597A (zh) | 2021-02-02 |
Family
ID=74336530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980040366.2A Pending CN112313597A (zh) | 2019-11-21 | 2019-11-21 | 飞行器控制方法、设备、系统及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112313597A (zh) |
WO (1) | WO2021097772A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118092475A (zh) * | 2024-04-23 | 2024-05-28 | 国网山东省电力公司滨州市滨城区供电公司 | 配电网无人机巡检环节处理方法、系统、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556408A (zh) * | 2014-09-15 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法及相关装置 |
US20180004201A1 (en) * | 2015-02-04 | 2018-01-04 | Moshe Zach | Flight management system for uavs |
CN109642796A (zh) * | 2016-08-24 | 2019-04-16 | 高通股份有限公司 | 用于无人机的导航辅助数据和路线计划 |
US20190295427A1 (en) * | 2016-06-10 | 2019-09-26 | ETAK Systems, LLC | Air traffic control of passenger drones concurrently using a plurality of wireless networks |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN207133659U (zh) * | 2017-08-30 | 2018-03-23 | 上海拓攻机器人有限公司 | 一种无人飞行器远程控制系统 |
IT201700121411A1 (it) * | 2017-10-25 | 2019-04-25 | Vinati S R L | Metodo per il controllo del traffico di velivoli |
CN108417041A (zh) * | 2018-05-15 | 2018-08-17 | 江苏大学 | 一种基于四旋翼和云服务器的乡村道路监控系统及方法 |
CN109143166B (zh) * | 2018-10-10 | 2020-05-05 | 江苏空神航空工业有限公司 | 一种超远距离的无人机导航方法 |
-
2019
- 2019-11-21 CN CN201980040366.2A patent/CN112313597A/zh active Pending
- 2019-11-21 WO PCT/CN2019/120036 patent/WO2021097772A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556408A (zh) * | 2014-09-15 | 2016-05-04 | 深圳市大疆创新科技有限公司 | 一种飞行器的飞行控制方法及相关装置 |
US20180004201A1 (en) * | 2015-02-04 | 2018-01-04 | Moshe Zach | Flight management system for uavs |
US20190295427A1 (en) * | 2016-06-10 | 2019-09-26 | ETAK Systems, LLC | Air traffic control of passenger drones concurrently using a plurality of wireless networks |
CN109642796A (zh) * | 2016-08-24 | 2019-04-16 | 高通股份有限公司 | 用于无人机的导航辅助数据和路线计划 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118092475A (zh) * | 2024-04-23 | 2024-05-28 | 国网山东省电力公司滨州市滨城区供电公司 | 配电网无人机巡检环节处理方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021097772A1 (zh) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11776413B2 (en) | Aerial vehicle flight control method and device thereof | |
Campbell et al. | Cooperative tracking using vision measurements on seascan UAVs | |
WO2017211029A1 (zh) | 无人机飞行路径规划方法和装置 | |
CN109074090A (zh) | 无人机硬件架构 | |
US10120377B2 (en) | Multiple unmanned aerial vehicle autonomous coordination | |
CN104808558A (zh) | 一种适用于特种通用飞机的多任务载荷系统 | |
US20210018938A1 (en) | Computation load distribution | |
CN109978947A (zh) | 一种监控无人机的方法、装置、设备和存储介质 | |
CN110244765B (zh) | 一种飞行器航线轨迹生成方法、装置、无人机及存储介质 | |
CN109102195B (zh) | 一种卫星自主在线滚动任务配置方法及系统 | |
KR102037504B1 (ko) | 위경 고도 좌표계를 기반으로 하는 비행 모델의 입체영상 생성 장치 및 그 방법 | |
CN110636255A (zh) | 一种基于4g网络的无人机图像、视频传输分发系统及方法 | |
Almeida et al. | Distributed UAV-swarm-based real-time geomatic data collection under dynamically changing resolution requirements | |
Giyenko et al. | Intelligent unmanned aerial vehicle platform for smart cities | |
Li et al. | Beyond visual line of sight UAV control for remote monitoring using directional antennas | |
CN104724295A (zh) | 一种无人机载荷通用接口系统 | |
CN112313597A (zh) | 飞行器控制方法、设备、系统及存储介质 | |
Bailey | Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation | |
CN104106012A (zh) | 用于多功能飞行器的信息和控制系统 | |
CN109799841A (zh) | 一种无人机地面控制系统、设备和存储介质 | |
WO2021130980A1 (ja) | 飛行体の飛行経路表示方法及び情報処理装置 | |
CN215416387U (zh) | 一种无人机 | |
Kaugerand et al. | A system of systems solution for perimeter control: Combining unmanned aerial system with unattended ground sensor network | |
CN112149467A (zh) | 飞机集群执行任务的方法和长机 | |
US20240210918A1 (en) | supervision device configured for communicating with an edge computation device onboard an aircraft and an associated electronic system for executing software applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |