CN117693723A - 无人机的控制方法、装置、无人机及存储介质 - Google Patents
无人机的控制方法、装置、无人机及存储介质 Download PDFInfo
- Publication number
- CN117693723A CN117693723A CN202280050048.6A CN202280050048A CN117693723A CN 117693723 A CN117693723 A CN 117693723A CN 202280050048 A CN202280050048 A CN 202280050048A CN 117693723 A CN117693723 A CN 117693723A
- Authority
- CN
- China
- Prior art keywords
- height
- flying
- map
- flying spot
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012876 topography Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 7
- 230000001953 sensory effect Effects 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/04—Control of altitude or depth
Abstract
一种无人机的控制方法、装置、无人机及存储介质。其中,方法包括:获取无人机的起飞点的位置(S101);根据起飞点的位置获取起飞点周围区域的高度图(S102);根据起飞点周围区域的高度图确定起飞点周围区域中的最高目标的高度信息(S103);根据最高目标的高度信息,确定最高目标与起飞点之间的相对高度(S104);根据相对高度,确定无人机相对于起飞点的限飞高度,并根据确定的限飞高度控制无人机(S105);其中,限飞高度大于或等于相对高度。无人机的控制方法在满足飞行安全的前提下,更加合理,为用户提供了更多的飞行自由度,对用户更加友好。
Description
本申请涉及无人机技术领域,尤其涉及一种无人机的控制方法、装置、无人机及存储介质。
目前,为了飞行安全或者符合政府的飞行监管部门的规定,无人机都设置了相对于起飞点的限飞高度,无人机的控制器会限制无人机飞行到限飞高度之上。目前,无人机的限飞高度是个默认值,然而,这种限飞策略在某些情况中,对用户非常不友好。例如,用户希望对一栋大楼的楼顶进行拍摄,若用户在这栋大楼旁边一个比较低洼的地方起飞无人机时,即便该大楼的建筑高度是小于限飞高度的,无人机可能在飞到大楼的楼顶之前已经达到了限飞高度,从而无法抵达楼顶,这显然是不合理的,对用户也不友好。
发明内容
本申请实施例提出了一种无人机的控制方法、装置、无人机及存储介质,用于在确保无人机飞行安全的前提下,提高无人机飞行自由度,提升用户体验。
本申请的第一方面提供了一种无人机的控制方法。该方法,包括:
获取所述无人机的起飞点的位置;
根据所述起飞点的位置获取所述起飞点周围区域的高度图;
根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息;
根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
本申请的第二方面提供了一种无人机的控制装置。该装置,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于执行:
获取所述无人机的起飞点的位置;
根据所述起飞点的位置获取所述起飞点周围区域的高度图;
根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息;
根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度;
根据所述相对高度,确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机;
其中,所述限飞高度大于或等于所述相对高度。
本申请的第三方面提供了一种无人机。该无人机,包括:上述第二方面所述的控制装置。
本申请的第四方面提供了一种计算机可读存储介质。该计算机可读存储介质中存储有程序指令,所述程序指令用于实现上述第一方面所述的控制方法。
本申请实施例提供的技术方案中,相对于起飞点的限飞高度是根据起飞点的位置以及起飞点周围区域中的最高目标的高度信息确定的,也就是说,相对于不同的起飞点的限飞高度是不同的,并非像现有技术中那样是个默认值。可见,本申请实施例提供的技术方案在满足飞行安全的前提下,更加合理,为用户提供了更多的飞行自由度,对用户更加友好。
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一实施例提供的控制方法的流程示意图;
图2为本申请一实施例提供的应用示例图;
图3为本申请一实施例提供的控制装置的结构框图;
图4为本申请另一实施例提供的控制装置的结构框图;
图5为本申请又一实施例提供的控制装置的结构框图。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
为了便于理解本申请的技术方案和技术效果,下面对现有技术进行简要说明:
现有限高方案中,在飞行过程中,通过气压计检测相对于起飞点(也即将无人机起飞点的海拔高度作为起飞零点)的相对高度,控制无人机相对于起飞点的相对高度不超过默认的限飞高度(例如:200米)。由上述分析可知,这种限飞策略在某些情况中,是不合理的,对用户非常不友好。继续以背景技术中提及的应用场景为例,用户若还想继续拍摄大楼的楼顶,就必须使无人机返航,然后带着无人机到达与大楼的楼底差不多高的地方再次起飞无人机,用户操作成本高,用户体验不好。
为了解决或部分解决上述问题,本申请实施例提供了一种无人机的控制方法。在该方法中,相对于起飞点的限飞高度是根据起飞点的位置以及起飞点周围区域中的最高目标的高度信息确定的,也就是说,相对于不同的起飞点的限飞高度是不同的,并非像现有技术中那样是个默认值。可见,本申请实施例提供的技术方案在满足飞行安全的前提下,更加合理,为用户提供了更多的飞行自由度,对用户更加友好。
下面结合附图,对本申请的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1示出了本申请一实施例提供的无人机的控制方法的流程示意图。该控制方法可以应用于无人机、无人机的控制终端和/或服务器。无人机与控制终端之间进行信息交互,所述控制终端可以用于通过无人机与控制终端之间的无线通信链路向无人机传输控制数据和/或者接收无人机发送的数据,在某些情况中,无人机通过控制终端与服务器进行信息交互,在某些情况中,无人机与服务器之间进行信息交互。具体实施时,该控制方法的执行主体可以为无人机;或者该控制方法的执行主体可以为无人机的控制终端;或者该控制方法的执行主体可以为服务器;或者该控制方法的执行主体可包括无人机和无人机的控制终端,无人机与控制终端之间进行信息交互;或者该控制方法的执行主体可包括无人机和服务器,无人机与服务器之间进行信息交互。进 一步地,所述控制方法的执行主体可以为无人机的控制装置,所述无人机的控制装置可以设置在无人机、无人机的控制终端或服务器中,或者所述无人机的控制装置的一部分设置在无人机、无人机的控制终端和服务器中的一个中,所述无人机的控制装置的另一部分设置在无人机、无人机的控制终端和服务器中的另一个中。如图1所示,该方法,包括:
S101、获取所述无人机的起飞点的位置。
S102、根据所述起飞点的位置获取所述起飞点周围区域的高度图。
S103、根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息。
S104、根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度。
S105、根据所述相对高度,确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
其中,所述限飞高度大于或等于所述相对高度。
上述S101中,通常,无人机内部搭载有定位装置,所述定位装置可以包括卫星定位装置。因此,无人机可通过其内部的定位装置来确定无人机的起飞点的位置。无人机可在其起飞时通过定位装置确定起飞点的位置,具体的,可在接收到起飞指令时,将当前定位到的位置作为起飞点的位置。例如所述该起飞点的位置可包括:经纬度信息和高度信息。无人机的控制装置可以获取所述起飞点的位置。
上述S102中,所述起飞点周围区域的高度图可包括所述起飞点周围区域内各个位置的经纬度信息及其高度信息。或者,所述起飞点周围区域的高度图可包括所述起飞点周围区域内的各个目标的经纬度信息及其高度信息。该高度信息可以是海拔高度。在某些情况中,所述高度信息也可以以除海平面之外的其他参考平面为参考平面。
所述起飞点周围区域的范围可根据实际需要来确定。在一种可实现的方案中,所述起飞点周围区域的范围可根据所述无人机的最远飞行距离确定的,例如:无人机的最远飞行距离为2km,则所述起飞点周围区域的范围为以所述起飞点为中心、以2km为半径的圆形区域。在另一种可实现的方案中,所述起飞点周围区域的范围大小是由无人机的控制终端检测用户的范围设置操作确定的。具体的,控制终端可为用户提供一个范围设置界面,可在该界面显示地图,并接收用户在该地图上的范围划定操作,以确定上述范围。
上述S103中,在所述起飞点周围区域的高度图中查找所述起飞点周围区 域中的最高目标的高度信息。具体地,从所述起飞点周围区域的高度图所包含的高度信息中查找最大的高度信息,以作为所述最高目标的高度信息。
上述S104中,根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度,具体的,根据所述最高目标的高度信息以及所述起飞点的高度信息,确定所述最高目标与所述起飞点之间的相对高度。举例来说:所述最高目标的高度信息为H,所述起飞点的高度信息为h,则最高目标与起飞点之间的相对高度为H-h。
上述S105中,在一实例中,可将相对高度直接作为所述无人机相对于所述起飞点的限飞高度。这样,可确保无人机从当前起飞点起飞后,能够飞越过该起飞点周围区域内的任意一个目标,例如:建筑物、树木、山顶等。
在另一实例中,为了确保无人机飞行安全,上述限飞高度可大于上述相对高度,具体大多少,可根据实际情况来设定,在一具体实例中,上述方法,还可包括:
S106、获取安全高度值。
相应的,上述105中所述根据所述相对高度确定所述无人机相对于所述起飞点的限飞高度,可包括:
S1051、根据所述相对高度和所述安全高度值确定所述无人机相对于所述起飞点的限飞高度。
如图2所示,最高目标200与无人机100的起飞点的相对高度为H1,可将所述相对高度H1和所述安全高度值H2之和作为无人机100相对于起飞点的限飞高度H3。其中,安全高度值的大小可根据实际情况来设定,例如:20米。
上述安全高度值可以是默认设置的;或者,上述安全高度值是根据所述无人机的控制终端检测到的用户的高度设置操作确定的,这样方便用户根据飞行情况自行设定。具体的,可在无人机的控制终端提供一高度设置操作界面,例如,在该界面可提供多个可供选择的安全高度值,根据检测到的用户在该界面的高度设置操作,确定用户在该界面选中的安全高度值。
上述105中,根据所述确定的限飞高度控制所述无人机,也即控制无人机在飞行过程中相对于起飞点的相对飞行高度不超过所述确定的限飞高度。
本申请实施例提供的技术方案中,相对于起飞点的限飞高度是根据起飞点的位置以及起飞点周围区域中的最高目标的高度信息确定的,也就是说,相对于不同的起飞点的限飞高度是不同的,并非像现有技术中那样是个默认值。可见,本申请实施例提供的技术方案在满足飞行安全的前提下,更加合理,为用户提供了更多的飞行自由度,对用户更加友好。
在实际应用中,上述S104中根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度,可包括:
1041、根据所述最高目标的高度信息以及所述起飞点的高度信息,确定所述起飞点是否低于所述最高目标。
1042、若所述起飞点低于所述最高目标,则根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度。
进一步的,上述方法,还可包括:
106、若所述起飞点不低于所述最高目标,则获取安全高度值,将所述安全高度值作为所述无人机相对于起飞点的限飞高度。
进一步的,上述方法,还可包括如下步骤的一个:
107、显示所述确定的限飞高度。
108、将所述确定的限飞高度发送给所述无人机的控制终端以使所述控制终端显示所述确定的限飞高度。
实际应用中,当上述控制方法的执行主体为无人机的控制终端时,无人机的控制终端可显示所述确定的限飞高度。当上述控制方法的执行主体为无人机或服务器时,可将所述确定的限飞高度发送给所述无人机的控制终端以使所述控制终端显示所述确定的限飞高度。
在无人机的控制终端显示所述确定的限飞高度,这样方便用户了解情况,尤其在手动操控无人机飞行的场景中,有助于用户规划飞行路径。
在一种可实现的方案中,上述102中根据所述起飞点的位置获取所述起飞点周围区域的高度图,包括:
1021a、根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,以作为获取结果。
1022a、根据所述获取结果确定所述起飞点周围区域的高度图。
在一种可实现的方案中,上述1021a中“根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图”,具体可包括:
S11、若根据所述起飞点的位置确定所述无人机位于城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图。
可根据所述起飞点的位置以及地图,确定所述无人机是否位于城市区域。
相应的,上述1022a中根据所述获取结果确定所述起飞点周围区域的高度图,包括:
S21、根据所述起飞点周围区域的建筑物高度图确定所述起飞点周围区域的高度图。
所述起飞点周围区域的建筑物高度图包括所述起飞点周围区域内的建筑物的经纬度信息和高度信息。在一实例中,可将起飞点周围区域的建筑物高度图作为起飞点周围区域的高度图。
在另一种可实现的方案中,上述1021a中根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,具体可包括:
S12、若根据所述起飞点的位置确定无人机位于非城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的地形图。
若无人机位于非城市区域,例如:农村地区或者山区,则可使用地形图。
相应的,上述1022a中“根据所述获取结果确定所述起飞点周围区域的高度图”,具体可包括:
S22、根据所述起飞点周围区域的地形图确定所述起飞点周围区域的高度图。
在一实例中,可将起飞点周围区域的地形图作为起飞点周围区域的高度图。
在又一种可实现的方案中,上述1021a中根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:
S13、根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和地形图。
相应的,上述1022a中根据所述获取结果确定所述起飞点周围区域的高度图,具体可包括:
S23、将所述起飞点周围区域的建筑物高度图和地形图进行融合以确定所述起飞点周围区域的高度图。
具体地,起飞点周围区域的建筑物高度图包括各建筑物的高度信息;起飞点周围区域的地形图包括各位置点的地形高度。具体地,可根据建筑物高度图,对地形图进行修正,得到起飞点周围区域的高度图;或者,根据地形图,对建筑物高度图进行修正,得到起飞点周围区域的高度图。
在本实施例中,通过融合起飞点周围区域的建筑物高度图和地形图得到起飞点周围区域的高度图信息会更加全面,有助于提升飞行安全性。
以无人机或无人机的控制终端作为上述控制方法的执行主体为例,上述所述起飞点周围区域的建筑物高度图和/或地形图可从服务器处获取。具体地,上述1021a中根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:
S11、向服务器发送所述起飞点的位置。
S12、接收所述服务器发送的其根据所述起飞点的位置从存储装置中检索得到的所述起飞点周围区域的建筑物高度图和/或地形图。
服务器可事先在存储装置中存储各地区的建筑物高度图和/或地形图。示例性的,其中,地区可以是一个城区(例如:北京西城区)、城市(例如北京)或一个国家(例如中国)。所述存储装置可以是服务器的本地存储装置,所述存储装置也可以与服务器能够读取的外部存储装置。
具体的,服务器可根据所述起飞点的位置,确定所述起飞点所在的目标地区;从存储装置中检索所述目标地区的建筑物高度图和/或地形图,并根据检索得到的建筑物高度图和/或地形图,确定出所述起飞点周围区域的建筑物高度图和/或地形图。
在又一实例中,上述102中根据所述起飞点的位置获取所述起飞点周围区域的高度图,包括:
1021b、向服务器发送所述起飞点的位置。
1022b、接收服务器发送的所述起飞点周围区域的高度图。
其中,所述起飞点周围区域的高度图是服务器根据接收到的起飞点的位置从存储装置中检索得到的。
服务器可事先在存储装置中存储各地区的高度图。服务器可根据起飞点的位置,确定所述起飞点所在的目标地区,根据目标地区的高度图,确定所述起飞点周围区域的高度图。在一实例中,上述各地区的高度图可以是根据各地区的建筑物高度图和/或地形图确定的。在另一实例中,由于飞行器有定位系统以及环境观测系统,且目前无人机的数量已经到达一个比较大的数量,这些无人机飞过的地方,都存在对于环境的观测,这些环境观测数据可以通过网络回传回服务器,从而构建出各种环境下的安全飞行高度,例如:最低安全飞行高度。对于环境的观测有两种方式:通过双目视觉的直接观测和通过天空检测的远距离间接观测,具体观测方法可参见现有技术,在此不在详述。具体地,所述高度图包括根据在所述起飞点周围区域中飞行过的无人机采集到的传感数据生成的第一高度图。第一高度图中包括各位置点的经纬度信息和高度信息。在又一实例中,所述高度图是根据所述起飞点周围区域的第一高度图、建筑物高度图以及地形图中的至少两个确定的。
上文中提及的建筑物高度图以及地形图可从第三方地图数据库公司处获取。其中,地形图是通过卫星测量得到的,有地形的高度;建筑物高度图是通过地面测绘获得的,有测绘的建筑物的高度,其精度高于地形图。这两类地图可混合使用,卫星测量的地形图适合非城市环境下作业使用,建筑物高 度图(也即高精地图)适合城市环境作业使用。
在实际应用中,上述确定限飞高度以及根据确定出的限飞高度控制无人机的步骤可在确定出上述无人机的控制装置具有设置限飞高度的权限时执行,否则不执行,可直接根据默认的固定限飞高度控制无人机。具体的,上述方法,还可包括:
109、确定是否具有设置限飞高度的权限。
可采用如下方式的中一种或多种来确定无人机的控制装置是否具有设置限飞高度的权限:
方式一、根据所述起飞点的位置,确定是否具有设置限飞高度的权限。
实际应用中,某些区域,例如:学校区域或者居民区域,安全性要求较高,可能不支持设置限飞高度的权限。因此,可事先设置支持设置限飞高度的权限的第一区域列表或设置不支持设置限飞高度的权限的第二区域列表。后续根据起飞点的位置,确定其所属的目标区域。在一实例中,在第一区域列表中查找所述目标区域;若在第一区域列表中查找到所述目标区域,则确定具有设置限飞高度的权限;若在第一区域列表中未查找到所述目标区域,则确定不具有设置限飞高度的权限。在另一实例中,在第二区域列表中查找所述目标区域;若在第二区域列表中查找到所述目标区域,则确定不具有设置限飞高度的权限;若在第二区域列表中未查找到所述目标区域,则确定具有设置限飞高度的权限。
方式二、根据与所述无人机相关联的身份信息,确定是否具有设置限飞高度的权限。
由于采用本申请实施例提供的控制方案,无人机相比于现有技术能够飞行到更高的区域或者更加灵活地设置限飞高度,为了确保飞行安全,需要无人机使用者具有更好的飞行控制能力。因此,可根据与所述无人机相关联的身份信息,确定是否具有设置限飞高度的权限,所述与无人机相关联的身份信息可以包括无人机的身份信息(例如序列号)或无人机的使用者的身份信息(例如身份证号、无人机的操作证书号等)。进一步地,在某些实施例中,可根据与无人机相关联的身份信息,确定所述无人机的使用者的飞行技能等级;根据飞行技能等级,确定是否具有设置限飞高度的权限。例如:飞行技能等级高于或等于预设飞行技能等级时,确定具有设置限飞高度的权限;飞行技能等级低于预设飞行技能等级时,确定不具有设置限飞高度的权限。
方式三、确定是否获取到由飞行监管部门认证的限飞高度设置电子证书;若确定出获取到所述限飞高度设置电子证书,则确定具有设置限飞高度的权 限。
无人机使用者可在网络平台上向飞行监管部门申请限飞高度设置电子证书,飞行监管部门可根据无人机的飞行性能和/或无人机使用者的资质,例如:无人机飞行技能等级,来确定是否通过申请。通过申请,则向无人机使用者颁发由飞行监管部门认证的限飞高度设置电子证书。无人机的控制装置可以获取所述电子证书,其中,所述电子证书可以如从飞行监管部门的服务器获取的。
若未获取到由飞行监管部门认证的限飞高度设置电子证书,则确定不具有设置限飞高度的权限。
相应的,上述105中根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机,包括:若具有设置限飞高度的权限,则根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
进一步的,上述方法,还可包括:
110、若不具有设置限飞高度的权限,则获取相对于所述起飞点的固定限飞高度,根据所述固定限飞高度控制所述无人机。
上述固定限飞高度是事先默认的,是固定的。具体地,控制无人机在飞行过程中相对于起飞点的相对飞行高度不超过该固定限飞高度。
进一步的,上述109中“确定是否具有设置限飞高度的权限”,具体可包括:接收到用户针对设置限飞高度的权限的开启操作后,确定是否具有设置限飞高度的权限。
在本实施例中,由用户选择是否开启设置限飞高度的权限。若用户不开启,则获取相对于所述起飞点的固定限飞高度,根据所述固定限飞高度控制所述无人机。
在上述各实施例中,确定出的限飞高度用于限定的是无人机相对于起飞点的最大飞行高度。在实际应用时,还可确定出无人机所能飞到的最大海拔高度。具体的,可确定无人机的飞行位置;根据所述飞行位置,获取所述飞行位置周围区域的高度图;根据所述高度图,确定所述飞行位置周围区域中的最高目标的高度信息;根据所述最高目标的高度信息确定所述无人机在所述飞行位置周围区域所能飞到的最高海拔高度。在一实例中,可将最高目标的高度信息和安全飞行高度之和作为所述无人机在所述飞行位置周围区域所能飞到的最高海拔高度。上述飞行位置可以是起飞点的位置,还可以是飞行 过程中的任意飞行位置。上述周围区域的大小的确定方式可参照上述各实施例中相应内容,在此不再详述。
目前,无人机,尤其航拍无人机的使用现在虽然越来越流行,但是由于航拍无人机作业区域是在空中,并且是通过用户远程进行操作,所以一直有安全上的隐患。安全隐患最大的一点是对高度的控制。一是无人机外部的:无人机在空中受到观测限制,观测盲区,观测时机等因素的影响,无法完全掌握周围环境,一旦与其他飞行器发生碰撞,后果往往会比较严重,所以现在飞行器的限高区域往往比较严格。二是无人机自身的:由于当前飞行器只能通过自身搭载的传感器对周围环境进行观测,而这种观测是不可靠的,往往会出现漏判,错判,从而导致飞行器与障碍物发生碰撞。
本申请旨在通过先验的高程地图数据,让飞行器的限高和返航能够更加的安全和高效。现有限高方案,飞行限制较多,在起伏的地面上,限制较多,可能无法满足航拍飞行器的拍摄任务需求,如背景技术中所述的那样。现有返航方案,是通过基于路径规划的方法,规划一条从当前点返航到起飞点的路线,在路径上遇到障碍物的时候会执行避障动作,其缺陷为:夜晚中无法观测周围环境,无法避障;遇到白墙或者玻璃等障碍物,避障可能失效;规划的轨迹由于没有环境信息,可能不是最优;由于返航遇到障碍物会升高,一旦升高到超过固定限高高度还未越过障碍物,无人机会卡住,无法继续返航。
需要补充说明的是,除了返航任务,其他自动化任务,例如:一键短片等,都可以引入先验的高度图,让自动化任务更加高效和安全。返航可以使用高程地图中先验的城市建筑物位置和高度作为返航依据,从而规划更加合理和安全的返航路径。一键短片需要摄像头一直朝向目标,很多飞行器都没有全向的避障功能,那么使用先验的高程地图,因为可以提前知道障碍物的位置,所以可以让自动化任务更加安全。引入先验的高度图,不仅可以提供飞行安全,还能提高飞行路径规划的合理性。
以自动化任务为例,获取无人机的起飞点的位置;根据所述起飞点的位置获取所述起飞点周围区域的高度图;根据所述高度图以及所述无人机相对于所述起飞点的固定限飞高度,规划所述无人机的飞行路径。
具体地,可根据所述无人机的起飞点的高度以及所述无人机相对于所述起飞点的固定限飞高度,确定所述无人机所能飞到的最高飞行高度;根据所述最高飞行高度以及所述高度图中各目标的高度,规划所述无人机的飞行路径,以绕过高度高于最高飞行高度的目标。
图3示出了本申请一实施例提供的无人机的控制装置的结构示意图,其中,无人机的控制装置可以执行如前所述的无人机的控制方法。如图3所示,所述控制装置20包括:存储器22和处理器21;
所述存储器22,用于存储程序;
所述处理器21,与所述存储器22耦合,用于执行所述存储器22中存储的所述程序,以用于执行:
获取所述无人机的起飞点的位置;
根据所述起飞点的位置获取所述起飞点周围区域的高度图;
根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息;
根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度;
根据所述相对高度,确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机;
其中,所述限飞高度大于或等于所述相对高度。
可选的,如图4所示,所述装置20,还包括:
显示器23,用于显示所述确定的限飞高度;或者,
如图5所示,所述装置20,还包括:
通信组件24,用于将所述确定的限飞高度发送给所述无人机的控制终端以使所述控制终端显示所述确定的限飞高度。
可选的,所述处理器21,还用于:
获取安全高度值;
根据所述相对高度和所述安全高度值确定所述无人机相对于所述起飞点的限飞高度。
可选的,所述安全高度值是根据所述无人机的控制终端检测到的高度设置操作确定的。
可选的,所述处理器21,还用于:
根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,以作为获取结果;
根据所述获取结果确定所述起飞点周围区域的高度图。
可选的,所述处理器21,还用于:
向服务器发送所述起飞点的位置;
接收所述服务器发送的其根据所述起飞点的位置从存储装置中检索得到的所述起飞点周围区域的建筑物高度图和/或地形图。
可选的,所述处理器21,还用于:
若根据所述起飞点的位置确定所述无人机位于城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图;
根据所述起飞点周围区域的建筑物高度图确定所述起飞点周围区域的高度图;
可选的,所述处理器21,还用于:
若根据所述起飞点的位置确定无人机位于非城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的地形图;
根据所述起飞点周围区域的地形图确定所述起飞点周围区域的高度图。
可选的,所述处理器21,还用于:
根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和地形图;
将所述起飞点周围区域的建筑物高度图和地形图进行融合以确定所述起飞点周围区域的高度图。
可选的,所述处理器21,还用于:向服务器发送所述起飞点的位置;
接收服务器发送的所述起飞点周围区域的高度图,其中,所述起飞点周围区域的高度图是服务器根据接收到的起飞点的位置从存储装置中检索得到的。
可选的,所述高度图包括根据在所述起飞点周围区域中飞行过的无人机采集到的传感数据生成的第一高度图。
可选的,所述处理器21,还用于:
确定是否具有设置限飞高度的权限;
若具有设置限飞高度的权限,则根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
可选的,所述处理器21,还用于:
若不具有设置限飞高度的权限,则获取相对于所述起飞点的固定限飞高度,根据所述固定限飞高度控制所述无人机。
可选的,所述处理器21,还用于:
根据所述起飞点的位置,确定是否具有设置限飞高度的权限。
可选的,所述处理器21,还用于:
根据与所述无人机相关联的身份信息,确定是否具有设置限飞高度的权限。
可选的,所述处理器21,还用于:
确定是否获取到由飞行监管部门认证的限飞高度设置电子证书;
若确定出获取到所述限飞高度设置电子证书,则确定具有设置限飞高度的权限。
可选的,所述处理器21,还用于:接收到用户针对设置限飞高度的权限的开启操作后,确定是否具有设置限飞高度的权限。
本申请又一实施例还提供了无人机。该无人机包括上述任一项所述的控制装置。
本申请又一实施例还提供了控制终端。该控制终端包括上述任一项所述的控制装置。所述控制终端与无人机建立无线通信连接。
本申请又一实施例还提供了服务器。该服务器包括上述任一项所述的控制装置。所述服务器与无人机建立无线通信连接。
本申请又一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现上述各方法实施例提供的控制方法的步骤或功能。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的相关检测装置(例如:IMU)和方法,可以通过其它的方式实现。例如,以上所描述的遥控装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,遥控装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (36)
- 一种无人机的控制方法,其特征在于,包括:获取所述无人机的起飞点的位置;根据所述起飞点的位置获取所述起飞点周围区域的高度图;根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息;根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度;根据所述相对高度,确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机;其中,所述限飞高度大于或等于所述相对高度。
- 根据权利要求1所述的方法,其特征在于,所述方法还包括:显示所述确定的限飞高度;或者,将所述确定的限飞高度发送给所述无人机的控制终端以使所述控制终端显示所述确定的限飞高度。
- 根据权利要求1或2所述的方法,其特征在于,所述方法还包括:获取安全高度值;所述根据所述相对高度确定所述无人机相对于所述起飞点的限飞高度,包括:根据所述相对高度和所述安全高度值确定所述无人机相对于所述起飞点的限飞高度。
- 根据权利要求3所述的方法,其特征在于,所述安全高度值是根据所述无人机的控制终端检测到的高度设置操作确定的。
- 根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的高度图,包括:根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,以作为获取结果;根据所述获取结果确定所述起飞点周围区域的高度图。
- 根据权利要求5所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:向服务器发送所述起飞点的位置;接收所述服务器发送的其根据所述起飞点的位置从存储装置中检索得到的所述起飞点周围区域的建筑物高度图和/或地形图。
- 根据权利要求5或6所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:若根据所述起飞点的位置确定所述无人机位于城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图;所述根据所述获取结果确定所述起飞点周围区域的高度图,包括:根据所述起飞点周围区域的建筑物高度图确定所述起飞点周围区域的高度图。
- 根据权利要求5或6所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:若根据所述起飞点的位置确定无人机位于非城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的地形图;所述根据所述获取结果确定所述起飞点周围区域的高度图,包括:根据所述起飞点周围区域的地形图确定所述起飞点周围区域的高度图。
- 根据权利要求5或6所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,包括:根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和地形图;所述根据所述获取结果确定所述起飞点周围区域的高度图,包括:将所述起飞点周围区域的建筑物高度图和地形图进行融合以确定所述起飞点周围区域的高度图。
- 根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述起飞点的位置获取所述起飞点周围区域的高度图,包括:向服务器发送所述起飞点的位置;接收服务器发送的所述起飞点周围区域的高度图,其中,所述起飞点周围区域的高度图是服务器根据接收到的起飞点的位置从存储装置中检索得到的。
- 根据权利要求1至4中任一项所述的方法,其特征在于,所述高度图包括根据在所述起飞点周围区域中飞行过的无人机采集到的传感数据生成的第一高度图。
- 根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:确定是否具有设置限飞高度的权限;所述根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的 限飞高度,并根据所述确定的限飞高度控制所述无人机,包括:若具有设置限飞高度的权限,则根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
- 根据权利要求12所述的方法,其特征在于,还包括:若不具有设置限飞高度的权限,则获取相对于所述起飞点的固定限飞高度,根据所述固定限飞高度控制所述无人机。
- 根据权利要求12或13所述的方法,其特征在于,所述确定是否具有设置限飞高度的权限,包括:根据所述起飞点的位置,确定是否具有设置限飞高度的权限。
- 根据权利要求12或13所述的方法,其特征在于,所述确定是否具有设置限飞高度的权限,包括:根据与所述无人机相关联的身份信息,确定是否具有设置限飞高度的权限。
- 根据权利要求12或13所述的方法,其特征在于,所述确定是否具有设置限飞高度的权限,包括:确定是否获取到由飞行监管部门认证的限飞高度设置电子证书;若确定出获取到所述限飞高度设置电子证书,则确定具有设置限飞高度的权限。
- 根据权利要求12或13所述的方法,其特征在于,所述确定是否具有设置限飞高度的权限,包括:接收到用户针对设置限飞高度的权限的开启操作后,确定是否具有设置限飞高度的权限。
- 一种无人机的控制装置,其特征在于,包括:存储器和处理器;所述存储器,用于存储程序代码;所述处理器,用于调用并执行所述程序代码,以用于执行:获取所述无人机的起飞点的位置;根据所述起飞点的位置获取所述起飞点周围区域的高度图;根据所述起飞点周围区域的高度图确定所述起飞点周围区域中的最高目标的高度信息;根据所述最高目标的高度信息,确定所述最高目标与所述起飞点之间的相对高度;根据所述相对高度,确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机;其中,所述限飞高度大于或等于所述相对高度。
- 根据权利要求18所述的装置,其特征在于,还包括:显示器,用于显示所述确定的限飞高度;或者,通信组件,用于将所述确定的限飞高度发送给所述无人机的控制终端以使所述控制终端显示所述确定的限飞高度。
- 根据权利要求18或19所述的装置,其特征在于,所述处理器,还用于:获取安全高度值;所述处理器,具体用于:根据所述相对高度和所述安全高度值确定所述无人机相对于所述起飞点的限飞高度。
- 根据权利要求20所述的装置,其特征在于,所述安全高度值是根据所述无人机的控制终端检测到的高度设置操作确定的。
- 根据权利要求18至21中任一项所述的装置,其特征在于,所述处理器,具体用于:根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和/或地形图,以作为获取结果;根据所述获取结果确定所述起飞点周围区域的高度图。
- 根据权利要求22所述的装置,其特征在于,所述处理器,具体用于:向服务器发送所述起飞点的位置;接收所述服务器发送的其根据所述起飞点的位置从存储装置中检索得到的所述起飞点周围区域的建筑物高度图和/或地形图。
- 根据权利要求22或23所述的装置,其特征在于,所述处理器,具体用于:若根据所述起飞点的位置确定所述无人机位于城市区域,则根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图;根据所述起飞点周围区域的建筑物高度图确定所述起飞点周围区域的高度图。
- 根据权利要求22或23所述的装置,其特征在于,所述处理器,具体用于:若根据所述起飞点的位置确定无人机位于非城市区域,则根据所述起飞 点的位置获取所述起飞点周围区域的地形图;根据所述起飞点周围区域的地形图确定所述起飞点周围区域的高度图。
- 根据权利要求22或23所述的装置,其特征在于,所述处理器,具体用于:根据所述起飞点的位置获取所述起飞点周围区域的建筑物高度图和地形图;将所述起飞点周围区域的建筑物高度图和地形图进行融合以确定所述起飞点周围区域的高度图。
- 根据权利要求18至21中任一项所述的装置,其特征在于,所述处理器,具体用于:向服务器发送所述起飞点的位置;接收服务器发送的所述起飞点周围区域的高度图,其中,所述起飞点周围区域的高度图是服务器根据接收到的起飞点的位置从存储装置中检索得到的。
- 根据权利要求18至21中任一项所述的装置,其特征在于,所述高度图包括根据在所述起飞点周围区域中飞行过的无人机采集到的传感数据生成的第一高度图。
- 根据权利要求18至21中任一项所述的装置,其特征在于,所述处理器,还用于:确定是否具有设置限飞高度的权限;所述处理器,具体用于:若具有设置限飞高度的权限,则根据所述最高目标的高度信息确定所述无人机相对于所述起飞点的限飞高度,并根据所述确定的限飞高度控制所述无人机。
- 根据权利要求29所述的装置,其特征在于,所述处理器,还用于:若不具有设置限飞高度的权限,则获取相对于所述起飞点的固定限飞高度,根据所述固定限飞高度控制所述无人机。
- 根据权利要求29或30所述的装置,其特征在于,所述处理器,具体用于:根据所述起飞点的位置,确定是否具有设置限飞高度的权限。
- 根据权利要求29或30所述的装置,其特征在于,所述处理器,具体用于:根据与所述无人机相关联的身份信息,确定是否具有设置限飞高度的权 限。
- 根据权利要求29或30所述的装置,其特征在于,所述处理器,具体用于:确定是否获取到由飞行监管部门认证的限飞高度设置电子证书;若确定出获取到所述限飞高度设置电子证书,则确定具有设置限飞高度的权限。
- 根据权利要求29或30所述的装置,其特征在于,所述处理器,具体用于:接收到用户针对设置限飞高度的权限的开启操作后,确定是否具有设置限飞高度的权限。
- 一种无人机,其特征在于,包括上述权利要求18至34中任一项所述的控制装置。
- 一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1至17中任意一项所述的控制方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/083368 WO2023184085A1 (zh) | 2022-03-28 | 2022-03-28 | 无人机的控制方法、装置、无人机及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117693723A true CN117693723A (zh) | 2024-03-12 |
Family
ID=88198516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280050048.6A Pending CN117693723A (zh) | 2022-03-28 | 2022-03-28 | 无人机的控制方法、装置、无人机及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117693723A (zh) |
WO (1) | WO2023184085A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965964B2 (en) * | 2015-08-11 | 2018-05-08 | Here Global B.V. | Multi-dimensional map |
CN107368084A (zh) * | 2016-05-11 | 2017-11-21 | 松下电器(美国)知识产权公司 | 飞行控制方法及无人飞行器 |
WO2018157310A1 (zh) * | 2017-02-28 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 控制无人飞行器飞行的方法和设备、限飞区生成方法和设备 |
JP2019104307A (ja) * | 2017-12-11 | 2019-06-27 | 株式会社日立システムズ | 飛行制限システム、飛行制限方法 |
CN111103895A (zh) * | 2019-12-09 | 2020-05-05 | 西北工业大学 | 一种无人机通过限制空域的导航方法、系统、设备及可读存储介质 |
WO2021237462A1 (zh) * | 2020-05-26 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 无人飞行器的限高方法、装置、无人飞行器及存储介质 |
-
2022
- 2022-03-28 CN CN202280050048.6A patent/CN117693723A/zh active Pending
- 2022-03-28 WO PCT/CN2022/083368 patent/WO2023184085A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023184085A1 (zh) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109029422B (zh) | 一种多无人机协作构建三维调查地图的方法和装置 | |
CN111656424B (zh) | 基于大数据的自动飞行无人机系统及其自动飞行方法 | |
US20200326729A1 (en) | Method and system for providing route of unmanned air vehicle | |
CN102654940B (zh) | 基于无人驾驶飞机的交通信息采集系统的信息处理方法 | |
US7269513B2 (en) | Ground-based sense-and-avoid display system (SAVDS) for unmanned aerial vehicles | |
CN107924636B (zh) | 移动体识别系统及识别方法 | |
CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
CN107783106B (zh) | 无人机与障碍物之间的数据融合方法 | |
CN108132678B (zh) | 一种飞行器的飞行控制方法及相关装置 | |
CA2767312C (en) | Automatic video surveillance system and method | |
CN107783545B (zh) | 基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统 | |
CN203528817U (zh) | 一种基于无人机的山地旅游紧急救援系统 | |
EP1288888B1 (en) | A method and system for improving situational awareness of command and control units | |
WO2016201359A1 (en) | A low altitude aircraft identification system | |
CN105374152A (zh) | 无人机监控智能分析指挥系统 | |
CN106373433A (zh) | 一种飞行器的飞行路线设置方法及装置 | |
KR101701397B1 (ko) | 무인 비행체를 이용한 차량 단속방법 및 시스템 | |
CN107783555B (zh) | 一种基于无人机的目标定位方法、装置及系统 | |
WO2021237618A1 (zh) | 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质 | |
CN114020002A (zh) | 无人机巡检风机叶片的方法、装置、设备、无人机及介质 | |
US20040145511A1 (en) | Method for recognizing and identifying objects | |
CN112235355B (zh) | 一种公路路政无人机巡查方法和系统 | |
CN109163718A (zh) | 一种面向建筑群的无人机自主导航方法 | |
CN117693723A (zh) | 无人机的控制方法、装置、无人机及存储介质 | |
CN109724473B (zh) | 一种车载并联组网式反无人机防御系统的防御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |