CN116203986B - 无人机及其降落方法、主控设备 - Google Patents
无人机及其降落方法、主控设备 Download PDFInfo
- Publication number
- CN116203986B CN116203986B CN202310244170.3A CN202310244170A CN116203986B CN 116203986 B CN116203986 B CN 116203986B CN 202310244170 A CN202310244170 A CN 202310244170A CN 116203986 B CN116203986 B CN 116203986B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- peak value
- distance
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013519 translation Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000000712 assembly Effects 0.000 claims 2
- 238000000429 assembly Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012876 topography Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请提供了一种无人机降落方法,包括:控制光发射器向目标位置发射检测光;控制光接收器接收检测光经由目标位置上的物体反射形成的反射光;将光接收器中第一区域的像素接收的反射光转换成第一电信号、第二区域的像素接收的反射光转换成第二电信号;根据第一电信号和第二电信号分别生成第一直方图和第二直方图,第一直方图包括与第一电信号对应的第一波峰和第一距离值,第二直方图包括与第二电信号对应的第二波峰和第二距离值;根据第一波峰和第二波峰以及第一距离值和第二距离值生成控制结果,并根据控制结果控制无人机运动,控制结果包括降落和平移。本申请提供的无人机降落方法能够控制无人机准确地降落于安全的地面。
Description
技术领域
本申请涉及无人机技术领域,尤其涉及一种无人机及其降落方法、主控设备。
背景技术
无人驾驶飞机简称“无人机”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。随着无人机技术的发展,各种带成像功能的无人机被广泛应用,如,用于执行航拍、地理测绘、植保、勘探等飞行作业。
然而,无人机执行完飞行任务后返回降落点进行自主降落时,通常无法检测待降落地面的地形,或者无法检测待降落地面是否存在障碍物。若无人机降落在水面、或者存在障碍物等地面,无人机会直接落入水中,或者与障碍物发生碰撞,导致无人机的损坏。因此,无人机降落容易受到待降落地的地形和障碍物的影响,导致无人机降落困难。
发明内容
有鉴于此,实有必要提供一种无人机及其降落方法、主控设备,能够控制无人机准确地降落于安全的地面。
第一方面,本申请实施例提供一种无人机降落方法,所述无人机包括具有光发射器和光接收器的dToF组件,所述无人机降落方法包括:
控制光发射器向目标位置发射检测光;
控制光接收器接收所述检测光经由所述目标位置上的物体反射形成的反射光,其中,一部分所述反射光被所述光接收器中第一区域的像素接收,另一部分所述反射光被所述光接收器中第二区域的像素接收;
将所述第一区域的像素接收的反射光转换成第一电信号、所述第二区域的像素接收的反射光转换成第二电信号;
根据所述第一电信号和所述第二电信号分别生成第一直方图和第二直方图,其中,所述第一直方图包括与所述第一电信号对应的第一波峰,所述第二直方图包括与所述第二电信号对应的第二波峰;
根据所述第一直方图得到与所述第一区域相对应的第一距离值,根据所述第二直方图得到与所述第二区域相对应的第二距离值;以及
根据所述第一波峰和所述第二波峰以及所述第一距离值和所述第二距离值生成控制结果,并根据所述控制结果控制所述无人机运动,其中,所述控制结果包括降落和平移。
第二方面,本申请实施例提供一种主控设备,所述主控设备包括:
存储器,用于存储程序指令;以及
处理器,用于执行所述程序指令以实现如上所述的无人机降落方法。
第三方面,本申请实施例提供一种无人机,所述无人机包括本体、dToF组件和如上所述的主控设备,所述主控设备和所述dToF组件均安装于所述本体,所述dToF组件和所述主控设备电性连接。
上述无人机及其降落方法、主控设备,通过在无人机上设置dToF组件,将光接收器的像素划分为第一区域和第二区域,根据第一区域接收到的反射光相应形成第一直方图,根据第二区域接收到的反射光相应形成第二直方图,根据第一直方图计算得到的第一距离值和第二直方图计算得到的第二距离值、第一直方图中的第一波峰和第二直方图中的第二波峰判断目标位置是否适合无人机降落。通过第一距离值和第二距离值能够确定目标位置的地面是否平整,而第一波峰和第二波峰能够反映目标位置的地形特质,因此,无人机降落方法能够精确地对目标位置的地面平整度和地形特质进行检测,从而控制无人机准确地降落于安全的地面。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本申请实施例提供的无人机降落方法的流程图。
图2为本申请实施例提供的无人机降落方法的第一子流程图。
图3为本申请实施例提供的无人机降落方法的第二子流程图。
图4为本申请实施例提供的无人机降落方法的第三子流程图。
图5为本申请实施例提供的无人机降落方法的第四子流程图。
图6为本申请实施例提供的无人机降落方法的第五子流程图。
图7为本申请实施例提供的无人机降落方法的第六子流程图。
图8为本申请实施例提供的无人机的内部结构示意图。
图9为图8所示的无人机的光接收器的像素示意图。
图10为本申请实施例提供的无人机降落方法的应用场景示意图。
图11为本申请实施例提供的主控设备的内部结构示意图。
图12为本申请实施例提供的无人机的立体图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,换句话说,描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,还可以包含其他内容,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
请结合参看图1、图8至图10,图1为本申请实施例提供的无人机降落方法的流程图,图8为本申请实施例提供的无人机的内部结构示意图,图9为本申请实施例提供的无人机的光接收器的像素示意图,图10为本申请实施例提供的无人机降落方法的应用场景示意图。无人机降落方法用于控制无人机20寻找合适、安全的降落点,并准确地进行降落。
具体地,无人机20包括dToF(direct Time of Flight,直接飞行时间)组件21,dToF组件21包括光发射器211、光接收器212、第一TDC电路213和第二TDC电路214。在本实施例中,光接收器212包括若干像素2120,若干像素2120被划分为第一区域A和第二区域B。第一TDC电路213与第一区域A的像素2120相对应,第二TDC电路214与第二区域B的像素2120相对应。其中,第一TDC电路213与第一区域A的像素2120通过无人机20内部的电路结构相对应,第二TDC电路214与第二区域B的像素2120通过无人机20内部的电路结构相对应。将由第二区域B指向第一区域A的方向设为第一方向X,将由第一区域A指向第二区域B的方向设为第二方向Y。
可选地,若干像素2120被均匀且对称地划分为第一区域A和第二区域B。可以理解的是,第一区域A中像素2120的数量与第二区域B中像素2120的数量相等。其中,第一区域A和第二区域B可以以左右对称的形式、上下对称的形式或者其它对称形式划分像素2120。
在一些可行的实施例中,若干像素2120被不等量地划分为第一区域A和第二区域B。即是说,第一区域A中像素2120的数量大于或者小于第二区域B中像素2120的数量。其中,无论第一区域A中像素2120的数量和第二区域B中像素2120的数量如何,第一区域A和第二区域B均为连续的区域。
当无人机20需要寻找降落点进行降落时,无人机20预先移动至距离地面一定高度的位置悬停。以图10所示的应用场景为例,无人机20悬停于距离地面一定高度的空中,无人机20下方为一片砂石地,沙地中有一条河流经过。
无人机降落方法具体包括如下步骤。
步骤S102,控制光发射器向目标位置发射检测光。
控制光发射器211向目标位置C发射检测光。在本实施例中,目标位置C为以无人机20在地面上的正投影区域为中心,向四周延伸预设值的区域。其中,目标位置C可以为方形区域,也可以为圆形区域;预设值可以根据实际需求进行设置,在此不做限定。
在一些可行的实施例中,目标位置C还可以恰好为无人机20在地面上的正投影区域。
步骤S104,控制光接收器接收检测光经由目标位置上的物体反射形成的反射光。
检测光经由目标位置C所在范围的物体反射形成反射光,反射光入射至光接收器212,并被光接收器212接收。在本实施例中,一部分反射光被光接收器212中第一区域A的像素2120接收,另一部分反射光被光接收器212中第二区域B的像素2120接收。
具体地,与第一区域A相对应的目标位置C反射检测光形成的反射光被第一区域A的像素2120接收;与第二区域B相对应的目标位置C反射检测光形成的反射光被第二区域B的像素2120接收。在本实施例中,目标位置C划分为与第一区域A相对应的目标区域C1和与第二区域B相对应的目标区域C2。可以理解的是,目标区域C1形成的反射光被第一区域A的像素2120接收,目标区域C2形成的反射光被第二区域B的像素2120接收。其中,由于第一区域A和第二区域B对称设置,则目标区域C1和目标区域C2也对称设置。举例来说,若第一区域A和第二区域B以左右对称的形式划分像素2120,则目标位置C的左半部为目标区域C1、右半部为目标区域C2。
举例来说,在当前应用场景中,目标位置C的地形特质包含水域和沙地,目标区域C1的地形特质大部分为水域,目标区域C2的地形特质大部分为沙地。则第一区域A的像素2120接收的反射光大部分由水面反射形成,第二区域B的像素2120接收的反射光大部分由砂石反射形成。
步骤S106,将第一区域的像素接收的反射光转换成第一电信号、第二区域的像素接收的反射光转换成第二电信号。
具体地,将第一区域A的像素2120接收的反射光转换成第一电信号,将第二区域B的像素2120接收的反射光转换成第二电信号。在本实施例中,控制第一TDC电路213将第一区域A的像素2120接收的反射光转换成第一电信号,控制第二TDC电路214将第二区域B的像素2120接收的反射光转换成第二电信号。可以理解的是,第一TDC电路213仅接收第一区域A的像素对应的反射光,第二TDC电路214仅接收第二区域B的像素对应的反射光。其中,第一电信号反映目标区域C1的距离和地形特质,第二电信号反映目标区域C2的距离和地形特质。
步骤S108,根据第一电信号和第二电信号分别生成第一直方图和第二直方图。
根据第一电信号生成第一直方图,根据第二电信号生成第二直方图。在本实施中,第一直方图包括与第一电信号对应的第一波峰,第二直方图包括与第二电信号对应的第二波峰。其中,第一波峰和第二波峰的高度可以反映地形特质。即是说,峰值的大小可以反映地形特质。需要说明的是,不同的地形特质所对应的波峰可以预先通过测算得到,并存储在无人机20的存储模块中,便于后续比对时直接调用。
具体地,当峰值较高时,表示地面的反射率高、质地较硬实;当峰值较低时,表示地面的反射率低、质地较柔软。在本实施例中,将反射率高、质地较硬实的地面概括为硬质地面,将反射率低、质地较柔软的地面概括为非硬质地面。其中,硬质地面包括但不限于水泥地面、沥青地面、板石地面、砂石地面等,非硬质地面包括但不限于水域、草地、存在较多细小树枝的地面等。可以理解的是,硬质地面为适合无人机20降落的地面,非硬质地面为不适合无人机20降落的地面。
在一些可行的实施例中,可以根据第一电信号计算与第一区域A相对应的像素2120的雪崩次数,根据第二电信号计算与第二区域B相对应的像素2120的雪崩次数;也可以根据第一电信号生成与第一区域A相对应的噪声,根据第二电信号生成与第二区域B相对应的噪声。其中,雪崩次数和噪声等其它根据第一电信号和第二电信号得到的指标也可以反映地形特质。
步骤S110,根据第一直方图得到与第一区域相对应的第一距离值,根据第二直方图得到与第二区域相对应的第二距离值。
具体地,根据第一直方图计算与第一区域A相对应的第一距离值,根据第二直方图计算与第二区域B相对应的第二距离值。可以理解的是,第一距离值为第一区域A与目标区域C1之间的距离大小,第二距离值为第二区域B与目标区域C2之间的距离大小。
步骤S112,根据第一波峰和第二波峰以及第一距离值和第二距离值生成控制结果,并根据控制结果控制无人机运动。
具体地,根据第一距离值和第二距离值生成控制结果,或者根据第一距离值和第二距离值、第一波峰和第二波峰生成控制结果,根据控制结果控制无人机20运动。在本实施例中,控制结果包括降落和平移。
可选地,在一些实施例中,先根据第一距离值和第二距离值判断目标位置C的地面平整度,再根据第一波峰和第二波峰判断目标位置C是否适合降落。当根据第一距离值和第二距离值确定目标位置C的地面平整度较高后,根据第一波峰和第二波峰判断目标位置C是否适合降落。当根据第一波峰和第二波峰确定目标位置C的地形特质适合降落时,将目标位置C作为降落点,控制无人机20降落于目标位置C;当根据第一波峰和第二波峰确定目标位置C的地形特质不适合降落时,控制无人机20平移,以寻找地面的地形特质适合降落的降落点。当根据第一距离值和第二距离值确定目标位置C的地面平整度较低时,控制无人机20平移,以寻找地面的平整度适合降落的降落点。
可选地,在另一些实施例中,先根据第一波峰和第二波峰判断目标位置C是否适合降落,再根据第一距离值和第二距离值判断目标位置C的地面平整度。当根据第一波峰和第二波峰确定目标位置C的地形特质适合降落后,根据第一距离值和第二距离值判断目标位置C是否平整。当根据第一距离值和第二距离值确定目标位置C的地面平整度较高时,将目标位置C作为降落点,控制无人机20降落于目标位置C;当根据第一距离值和第二距离值确定目标位置C的地面平整度较低时,控制无人机20缓慢平移,以寻找地面平整度适合降落的降落点,并判断新的降落检测点的地形特质。当根据第一波峰和第二波峰确定目标位置C的地形特质不适合降落时,控制无人机20平移,以寻找地面的地形特质适合降落的降落点。
可选地,在一些实施例中,在计算得到第一距离值和第二距离值之后,还可以先根据第一距离值或者第二距离值判断无人机20与目标位置C之间的距离是否为预设高度(例如:某一高度范围)。当无人机20与目标位置C之间的距离为预设高度时,再对目标位置C是否适合降落进行检测;当无人机20与目标位置C之间的距离不在预设高度时,控制无人机20上升或者下降,以使无人机20与目标位置C之间的距离为预设高度。可以理解的是,预设高度为适合无人机20进行降落检测的高度范围。其中,预设高度可以根据实际情况进行设置,在此不做限定。在另一些可行的实施例中,还可以根据发射检测光的发射时间和接收反射光的接收时间计算无人机20与目标位置C之间的距离,在此不做限定。
关于如何根据第一波峰和第二波峰以及第一距离值和第二距离值生成控制结果、如何根据控制结果控制无人机20运动的具体过程将在下文详细描述。
上述实施例中,通过在无人机上设置dToF组件,将光接收器的像素划分为第一区域和第二区域,根据第一区域接收到的反射光相应形成第一直方图,根据第二区域接收到的反射光相应形成第二直方图,根据第一直方图计算得到的第一距离值和第二直方图计算得到的第二距离值、第一直方图中的第一波峰和第二直方图中的第二波峰判断目标位置是否适合无人机降落。通过第一距离值和第二距离值能够确定目标位置的地面是否平整,而第一波峰和第二波峰能够反映目标位置的地形特质,因此,无人机降落方法能够精确地对目标位置的地面平整度和地形特质进行检测,从而控制无人机准确地降落于安全的地面。
请结合参看图2,其为本申请实施例提供的无人机降落方法的第一子流程图。步骤S112中,根据第一波峰和第二波峰以及第一距离值和第二距离值生成控制结果具体包括如下步骤。
步骤S202,计算第一距离值和第二距离值之差为距离差值。
具体地,处理器计算第一距离值和第二距离值之间的差值为距离差值,并存储在对应的存储器中,以备于后续判断时调用。
步骤S204,判断距离差值是否在预设差值范围内。
具体地,判断距离差值是否在预设差值范围内。在本实施例中,预设差值范围反映了目标区域C1和目标区域C2之间的高度落差,即目标位置C的地面平整度。
当距离差值在预设差值范围内时,执行步骤S206;当距离差值不在预设差值范围内时,执行步骤S208。
步骤S206,当距离差值在预设差值范围内时,根据第一波峰和第二波峰生成控制结果。
具体地,当预设差值在预设差值范围内时,表示目标区域C1和目标区域C2之间的高度落差较小,即目标位置C的地面平整度较高。因此,可以进行后续的检测判断,即根据第一波峰和第二波峰生成控制结果。
步骤S208,当距离差值不在预设差值范围内时,生成平移的控制结果。
具体地,当距离差值不在预设差值范围内时,表示目标区域C1和目标区域C2之间的高度落差较大,即目标位置C的地面平整度较低。因此,控制无人机20重新寻找合适的降落点,即生成平移的控制结果。
具体地,生成沿第一方向或者第二方向平移的控制结果。由于当前目标位置C的地面平整度较低,也无法确定目标区域C1远离目标区域C2一侧的地面平整度更高,还是目标区域C2远离目标区域C1一侧的地面平整度更高。因此,可以生成沿第一方向平移的控制结果,即生成向目标区域C1远离目标区域C2一侧的方向平移的控制结果;也可以生成沿第二方向平移的控制结果,即生成向目标区域C2远离目标区域C1一侧的方向平移的控制结果。需要说明的是,当无人机20根据控制结果平移一段距离之后,根据新的目标位置,可能还需要重新检测地面平整度。
上述实施例中,先根据第一距离值和第二距离值之间的距离差值判断目标位置的地面平整度,当地面平整度符合降落标准,即距离差值位于预设差值范围内时,再根据第一波峰和第二波峰对目标位置进行判断,从而确保无人机能够平稳地降落至目标位置,以防止无人机由于地面不平整导致损坏。
在另一些实施例中,步骤S112中,根据所述第一波峰和所述第二波峰以及所述第一距离值和所述第二距离值生成控制结果具体包括如下步骤(如图7所示)。
步骤S201,计算第一波峰的第一峰值和第二波峰的第二峰值。
计算第一波峰的最高值为第一峰值,计算第二波峰的最高值为第二峰值。
步骤S203,判断第一峰值和第二峰值是否均位于预设峰值范围内。
判断第一峰值和第二峰值是否均位于预设峰值范围内。在本实施例中,预设峰值范围为位于预设高度的无人机20发射的检测光被硬质地面反射形成反射光的波峰范围。可以理解的是,预设峰值范围与预设高度相关。其中,预设高度越大,预设峰值范围的取值越小,预设峰值范围的范围大小越小;预设高度越小,预设峰值范围的取值越大,预设峰值范围的范围大小越大。
当第一峰值和第二峰值均位于预设峰值范围内时,执行步骤S205;当第一峰值和/或第二峰值不位于预设峰值范围时,执行步骤S213。
步骤S205,当第一峰值和第二峰值均位于预设峰值范围内时,计算第一距离值和第二距离值之差为距离差值。
当第一峰值和第二峰值均位于预设峰值范围内时,表示无人机20下方的目标位置C均为硬质地面。因此,可以进行后续的检测判断,即根据第一距离值和第二距离值生成控制结果。具体地,处理器计算第一距离值和第二距离值之间的差值为距离差值,并存储在对应的存储器中,以备于后续判断时调用。
步骤S207,判断距离差值是否在预设差值范围内。
具体地,判断距离差值是否在预设差值范围内。在本实施例中,预设差值范围反映了目标区域C1和目标区域C2之间的高度落差,即目标位置C的地面平整度。
当距离差值在预设差值范围内时,执行步骤S209;当距离差值不在预设差值范围内时,执行步骤S211。
步骤S209,当距离差值在预设差值范围内时,生成降落的控制结果。
当距离差值在预设差值范围内时,表示目标区域C1和目标区域C2之间的高度落差较小,即目标位置C的地面平整度较高。因此,生成降落的控制结果。
步骤S211,当距离差值不在预设差值范围内时,生成平移的控制结果。
当距离差值不在预设差值范围内时,表示目标区域C1和目标区域C2之间的高度落差较大,即目标位置C的地面平整度较低。因此,控制无人机20重新寻找合适的降落点,即生成平移的控制结果。具体地,生成沿第一方向或者第二方向平移的控制结果。需要说明的是,当无人机20根据控制结果平移一段距离之后,根据新的目标位置,可能还需要重新检测地面的地形特质。
步骤S213,当第一峰值和/或第二峰值不位于预设峰值范围时,生成平移的控制结果。
当第一峰值不位于预设峰值范围内时,表示无人机20下方的目标区域C1不为硬质地面,不适合无人机20降落;当第二峰值不位于预设峰值范围内时,表示无人机20下方的目标区域C2不为硬质地面,不适合无人机20降落;当第一峰值和第二峰值均不位于预设峰值范围内时,表示无人机20下方的目标位置C均不为硬质地面,不适合无人机20降落。因此,生成平移的控制结果。
上述实施例中,先根据第一波峰和第二波峰对目标位置的地形特质进行判断,当地形特质符合降落标准,即第一峰值和第二峰值均位于预设峰值范围内时,再根据第一距离值和第二距离值之间的距离差值对目标位置的地面平整度进行判断,从而确保无人机能够平稳地降落至目标位置,以防止无人机由于地面不平整导致损坏。
请结合参看图3,其为本申请实施例提供的无人机降落方法的第二子流程图。步骤S206具体包括如下步骤。
步骤S302,计算第一波峰的第一峰值和第二波峰的第二峰值。
计算第一波峰的最高值为第一峰值,计算第二波峰的最高值为第二峰值。
步骤S304,判断第一峰值和第二峰值是否均位于预设峰值范围内。
判断第一峰值和第二峰值是否均位于预设峰值范围内。在本实施例中,预设峰值范围为位于预设高度的无人机20发射的检测光被硬质地面反射形成反射光的波峰范围。可以理解的是,预设峰值范围与预设高度相关。其中,预设高度越大,预设峰值范围的取值越小,预设峰值范围的范围大小越小;预设高度越小,预设峰值范围的取值越大,预设峰值范围的范围大小越大。
当第一峰值和第二峰值均位于预设峰值范围内时,执行步骤S306;当第一峰值和/或第二峰值不位于预设峰值范围内时,执行步骤S308。
步骤S306,当第一峰值和第二峰值均位于预设峰值范围内时,生成降落的控制结果。
当第一峰值和第二峰值均位于预设峰值范围内时,表示无人机20下方的目标位置C均为硬质地面,适合无人机20降落。因此,生成降落的控制结果。
步骤S308,当第一峰值和/或第二峰值不位于预设峰值范围内时,生成平移的控制结果。
当第一峰值不位于预设峰值范围内时,表示无人机20下方的目标区域C1不为硬质地面,不适合无人机20降落;当第二峰值不位于预设峰值范围内时,表示无人机20下方的目标区域C2不为硬质地面,不适合无人机20降落;当第一峰值和第二峰值均不位于预设峰值范围内时,表示无人机20下方的目标位置C均不为硬质地面,不适合无人机20降落。因此,生成平移的控制结果。
举例来说,由于目标区域C1的地形特质大部分为水域,目标区域C2的地形特质大部分为沙地,则第一峰值不位于预设峰值范围内,第二峰值位于预设峰值范围内。若无人机20直接进行降落,会有落入水中导致无人机20损坏的危险。因此,需要控制无人机20平移至安全位置再进行降落。
上述实施例中,预先根据无人机处于预设高度时接收到被硬质地面反射的反射光形成相应的直方图,根据直方图的波峰范围构建预设峰值范围。当无人机需要降落时,先移动至预设高度再进行检测,确定目标位置的地面平整度符合降落标准后,根据第一峰值、第二峰值是否位于预设峰值范围内判断无人机能否降落于目标位置,使得无人机能够降落于合适、安全的降落点。
请结合参看图4,其为本申请实施例提供的无人机降落方法的第三子流程图。步骤S308和步骤S213具体包括如下步骤。
步骤S402,当第一峰值位于预设峰值范围内、第二峰值不位于预设峰值范围内时,生成沿第一方向平移的控制结果。
当第一峰值位于预设峰值范围内、第二峰值不位于预设峰值范围内时,表示无人机20下方的目标区域C1为硬质地面、目标区域C2为非硬质地面。若无人机20直接降落于目标位置C,则位于目标区域C2部分的无人机20可能会出现无法平稳降落或者损坏等问题。由于目标区域C1为硬质地面,则可以认为目标区域C1远离目标区域C2的一侧也为硬质地面,因此,生成沿第一方向平移的控制结果,即生成向目标区域C1远离目标区域C2一侧的方向平移的控制结果。
步骤S404,当第一峰值不位于预设峰值范围内、第二峰值位于预设峰值范围内时,生成沿第二方向平移的控制结果。
当第一峰值不位于预设峰值范围内、第二峰值位于预设峰值范围内时,表示无人机20下方的目标区域C1为非硬质地面、目标区域C2为硬质地面。若无人机20直接降落于目标位置C,则位于目标区域C1部分的无人机20可能会出现无法平稳降落或者损坏等问题。由于目标区域C2为硬质地面,则可以认为目标区域C2远离目标区域C1的一侧也为硬质地面,因此,生成沿第二方向平移的控制结果,即生成向目标区域C2远离目标区域C1一侧的方向平移的控制结果。
步骤S406,当第一峰值和第二峰值均不位于预设峰值范围内时,判断第一峰值是否大于第二峰值。
当第一峰值和第二峰值均不位于预设峰值范围内时,表示无人机20下方的目标位置C均为非硬质地面。若无人机20直接降落于目标位置C,则无人机20整体可能会出现无法平稳降落或者损坏等问题。此时,判断第一峰值是否大于第二峰值。
当第一峰值大于第二峰值时,执行步骤S408;当第一峰值小于第二峰值时,执行步骤S410;当第一峰值等于第二峰值时,执行步骤S412。
步骤S408,当第一峰值大于第二峰值时,生成沿第一方向平移的控制结果。
当第一峰值大于第二峰值时,可以认为目标区域C1远离目标区域C2的一侧为硬质地面的概率更大,因此,生成沿第一方向平移的控制结果,即生成向目标区域C1远离目标区域C2一侧的方向平移的控制结果。
步骤S410,当第一峰值小于第二峰值时,生成沿第二方向平移的控制结果。
当第一峰值小于第二峰值时,可以认为目标区域C2远离目标区域C1的一侧为硬质地面的概率更大,因此,生成沿第二方向平移的控制结果,即生成向目标区域C2远离目标区域C1一侧的方向平移的控制结果。
步骤S412,当第一峰值等于第二峰值时,生成沿第一方向或者第二方向平移的控制结果。
当第一峰值等于第二峰值时,可以认为无法确认哪一边更适合降落,因此,可以生成沿第一方向平移的控制结果,即生成向目标区域C1远离目标区域C2一侧的方向平移的控制结果;也可以生成沿第二方向平移的控制结果,即生成向目标区域C2远离目标区域C1一侧的方向平移的控制结果。
上述实施例中,当检测到与第一区域对应的目标区域更适合降落时,控制无人机向第二区域指向第一区域的方向移动;当检测到与第二区域对应的目标区域更适合降落时,控制无人机向第一区域指向第二区域的方向移动,使得无人机能够更好地降落在适合的地面。
请结合参看图5,其为本申请实施例提供的无人机降落方法的第四子流程图。步骤S112中,根据控制结果控制无人机运动具体包括如下步骤。
步骤S502,当控制结果为降落时,控制无人机降落至目标位置。
当控制结果为降落时,控制无人机20沿正投影方向降落至目标位置C。
步骤S504,当控制结果为沿第一方向平移时,控制无人机沿第一方向移动预设距离。
当控制结果为沿第一方向X平移时,控制无人机20沿第一方向X移动预设距离。在本实施例中,控制无人机20沿第一方向X平移。其中,预设距离的具体数值可以根据实际情况进行设置,在此不做限定。
步骤S506,当控制结果为沿第二方向平移时,控制无人机沿第二方向移动预设距离。
当控制结果为沿第二方向Y平移时,控制无人机20沿第二方向Y移动预设距离。在本实施例中,控制无人机20沿第二方向Y平移。
请结合参看图6,其为本申请实施例提供的无人机降落方法的第五子流程图。执行步骤S504或者S506之后,无人机降落方法还包括如下步骤。
步骤S602,判断无人机与新的目标位置之间的距离是否为预设高度。
当无人机20移动预设距离后,新的目标位置为以当前无人机20在地面上的正投影区域为中心,向四周延伸预设值的区域。为了确保对地形特质检测的准确性,需要对无人机20与新的目标位置之间的距离进行检测。
具体地,控制光发射器211向新的目标位置发射检测光,控制光接收器212接收检测光经由新的目标位置上的物体反射形成的反射光,根据发射检测光的发射时间和接收反射光的接收时间计算无人机20与新的目标位置之间的距离。判断无人机20与新的目标位置之间的距离是否为预设高度。
当无人机与新的目标位置之间的距离不为预设高度时,执行步骤S504;当无人机与新的目标位置之间的距离为预设高度时,执行步骤S506。
步骤S604,控制无人机上升或者下降。
当无人机20与新的目标位置之间的距离不为预设高度时,控制无人机20上升或者下降。具体地,当无人机20与新的目标位置之间的距离大于预设高度时,控制无人机20下降;当无人机20与新的目标位置之间的距离小于预设高度时,控制无人机20上升。控制无人机20上升或者下降之后,可以再次检测无人机20与新的目标位置之间的距离。不断对无人机20与新的目标位置之间的距离进行调整,直至无人机20与新的目标位置之间的距离为预设高度。
步骤S606,检测新的目标位置是否适合降落。
当无人机20与新的目标位置之间的距离为预设高度时,检测新的目标位置是否适合降落。具体地,通过构建新的目标位置对应的第一直方图和第二直方图来判断新的目标位置是否适合降落。第一直方图和第二直方图的具体构建方法、判断新的目标位置是否适合降落的方法与上述实施例基本一致,在此不再一一赘述。
上述实施例中,控制无人机平移以寻找新的目标位置后,需要对无人机与新的目标位置之间的距离进行检测,确保无人机与新的目标位置之间的距离为预设高度后,再对新的目标位置进行检测,使得用于判断是否适合降落的预设峰值范围与无人机的高度更加适配,同时保证了每次检测时发射至目标位置的检测光的一致性,从而能够精准地判断新的目标位置是否适合降落。
请结合参看图11,其为本申请实施例提供的主控设备的内部结构示意图。主控设备10包括存储器11和处理器12。存储器11用于存储程序指令,处理器12用于执行程序指令以实现上述无人机降落方法。
其中,处理器12在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其它数据处理芯片,用于运行存储器11中存储的程序指令。
存储器11至少包括一种类型的可读存储介质,该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机设备的内部存储单元,例如计算机设备的硬盘。存储器11在另一些实施例中也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。进一步地,存储器11还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机设备的应用软件及各类数据,例如实现无人机降落方法的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
请结合参看图12,其为本申请实施例提供的无人机的立体图。无人机20包括本体22、dToF组件21和主控设备10。在本实施例中,主控设备10和dToF组件21均安装于本体22,dToF组件21和主控设备10电性连接。其中,主控设备10的具体结构参照上述实施例。
在本实施例中,本体22包括机身221和机翼222。具体地,本体22包括若干机翼222,若干机翼222分布于机身221。
具体地,dToF组件21的数量至少为一个。当dToF组件21的数量为一个时,dToF组件21可以安装于机身221,也可以安装于机翼222。当dToF组件21的数量为至少两个时,dToF组件21可以全部安装于机身221;可以全部安装于机翼222;也可以部分安装于机身221,部分安装于机翼222。其中,不论dToF组件21的数量为多少,dToF组件21始终安装于本体22朝向地面的一侧。
进一步地,dToF组件21包括光发射器211、光接收器212、第一TDC电路213和第二TDC电路214。在本实施例中,光接收器212包括多个像素2120,多个像素2120划分为第一区域A和第二区域B。第一TDC电路213与第一区域A的像素2120相对应,第二TDC电路214与第二区域B的像素2120相对应。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上所列举的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。
Claims (12)
1.一种无人机降落方法,所述无人机包括具有光发射器和光接收器的dToF组件,其特征在于,所述无人机降落方法包括:
控制光发射器向目标位置发射检测光;
控制光接收器接收所述检测光经由所述目标位置上的物体反射形成的反射光,其中,一部分所述反射光被所述光接收器中第一区域的像素接收,另一部分所述反射光被所述光接收器中第二区域的像素接收;
将所述第一区域的像素接收的反射光转换成第一电信号、所述第二区域的像素接收的反射光转换成第二电信号;
根据所述第一电信号和所述第二电信号分别生成第一直方图和第二直方图,其中,所述第一直方图包括与所述第一电信号对应的第一波峰,所述第二直方图包括与所述第二电信号对应的第二波峰;
根据所述第一直方图得到与所述第一区域相对应的第一距离值,根据所述第二直方图得到与所述第二区域相对应的第二距离值;其中,目标位置C划分为与第一区域相对应的目标区域C1和与第二区域相对应的目标区域C2,第一距离值为第一区域与目标区域C1之间的距离大小,第二距离值为第二区域与目标区域C2之间的距离大小;以及
根据所述第一波峰和所述第二波峰以及所述第一距离值和所述第二距离值生成控制结果,并根据所述控制结果控制所述无人机运动,其中,所述控制结果包括降落和平移;
所述dToF组件还包括与所述第一区域的像素相对应的第一TDC电路、与所述第二区域的像素相对应的第二TDC电路;将所述第一区域的像素接收的反射光转换成第一电信号、所述第二区域的像素接收的反射光转换成第二电信号具体包括:
控制所述第一TDC电路将所述第一区域的像素接收的反射光转换成所述第一电信号;以及
控制所述第二TDC电路将所述第二区域的像素接收的反射光转换成所述第二电信号。
2.如权利要求1所述的无人机降落方法,其特征在于,根据所述第一波峰和所述第二波峰以及所述第一距离值和所述第二距离值生成控制结果具体包括:
计算所述第一距离值和所述第二距离值之差为距离差值;
判断所述距离差值是否在预设差值范围内;
当所述距离差值在所述预设差值范围内时,根据所述第一波峰和所述第二波峰生成控制结果;以及
当所述距离差值不在所述预设差值范围内时,生成平移的控制结果。
3.如权利要求2所述的无人机降落方法,其特征在于,根据所述第一波峰和所述第二波峰生成控制结果具体包括:
计算所述第一波峰的第一峰值和所述第二波峰的第二峰值;
判断所述第一峰值和所述第二峰值是否均位于预设峰值范围内;
当所述第一峰值和所述第二峰值均位于所述预设峰值范围内时,生成降落的控制结果;以及
当所述第一峰值和/或所述第二峰值不位于所述预设峰值范围内时,生成平移的控制结果。
4.如权利要求3所述的无人机降落方法,其特征在于,由所述第二区域指向所述第一区域的方向设为第一方向,由所述第一区域指向所述第二区域的方向设为第二方向;当所述第一峰值和/或所述第二峰值不位于所述预设峰值范围内时,生成平移的控制结果具体包括:
当所述第一峰值位于所述预设峰值范围内、所述第二峰值不位于所述预设峰值范围内时,生成沿所述第一方向平移的控制结果;以及
当所述第一峰值不位于所述预设峰值范围内、所述第二峰值位于所述预设峰值范围内时,生成沿所述第二方向平移的控制结果。
5.如权利要求3所述的无人机降落方法,其特征在于,由所述第二区域指向所述第一区域的方向设为第一方向,由所述第一区域指向所述第二区域的方向设为第二方向;当所述第一峰值和/或所述第二峰值不位于所述预设峰值范围内时,生成平移的控制结果具体包括:
当所述第一峰值和所述第二峰值均不位于所述预设峰值范围时,判断所述第一峰值是否大于所述第二峰值;
当所述第一峰值大于所述第二峰值时,生成沿所述第一方向平移的控制结果;
当所述第一峰值小于所述第二峰值时,生成沿所述第二方向平移的控制结果;以及
当所述第一峰值等于所述第二峰值时,生成沿所述第一方向或者所述第二方向平移的控制结果。
6.如权利要求2所述的无人机降落方法,其特征在于,由所述第二区域指向所述第一区域的方向设为第一方向,由所述第一区域指向所述第二区域的方向设为第二方向;当所述距离差值不在所述预设差值范围内时,生成平移的控制结果具体包括:
生成沿所述第一方向或者所述第二方向平移的控制结果。
7.如权利要求4或5或6所述的无人机降落方法,其特征在于,根据所述控制结果控制所述无人机运动具体包括:
当所述控制结果为降落时,控制所述无人机降落至所述目标位置;
当所述控制结果为沿所述第一方向平移时,控制所述无人机沿所述第一方向移动预设距离;以及
当所述控制结果为沿所述第二方向平移时,控制所述无人机沿所述第二方向移动预设距离。
8.如权利要求7所述的无人机降落方法,其特征在于,控制所述无人机沿所述第一方向或者所述第二方向移动预设距离之后,所述无人机降落方法还包括:
判断所述无人机与新的目标位置之间的距离是否为预设高度;
当所述无人机与新的目标位置之间的距离不为预设高度时,控制所述无人机上升或者下降;以及
当所述无人机与新的目标位置之间的距离为预设高度时,检测所述新的目标位置是否适合降落。
9.一种主控设备,其特征在于,所述主控设备包括:
存储器,用于存储程序指令;以及
处理器,用于执行所述程序指令以实现如权利要求1至8中任一项所述的无人机降落方法。
10.一种无人机,其特征在于,所述无人机包括本体、dToF组件和如权利要求9所述的主控设备,所述主控设备和所述dToF组件均安装于所述本体,所述dToF组件和所述主控设备电性连接。
11.如权利要求10所述的无人机,其特征在于,所述本体包括机身和机翼,所述dToF组件的数量至少为一个,所述dToF组件安装于所述机身和/或所述机翼。
12.如权利要求10所述的无人机,其特征在于,所述dToF组件包括光发射器、光接收器、第一TDC电路和第二TDC电路,所述光接收器包括多个像素,所述多个像素划分成第一区域和第二区域,所述第一TDC电路与所述第一区域的像素相对应,所述第二TDC电路与所述第二区域的像素相对应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310244170.3A CN116203986B (zh) | 2023-03-14 | 2023-03-14 | 无人机及其降落方法、主控设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310244170.3A CN116203986B (zh) | 2023-03-14 | 2023-03-14 | 无人机及其降落方法、主控设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116203986A CN116203986A (zh) | 2023-06-02 |
CN116203986B true CN116203986B (zh) | 2024-02-02 |
Family
ID=86507717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310244170.3A Active CN116203986B (zh) | 2023-03-14 | 2023-03-14 | 无人机及其降落方法、主控设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116203986B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149526A2 (en) * | 2016-03-04 | 2017-09-08 | May Patents Ltd. | A method and apparatus for cooperative usage of multiple distance meters |
CN109507633A (zh) * | 2017-09-14 | 2019-03-22 | 钟志刚 | 无人机降落引导系统 |
CN110525650A (zh) * | 2016-12-22 | 2019-12-03 | 深圳市大疆创新科技有限公司 | 无人机及其控制方法 |
CN212341461U (zh) * | 2020-04-20 | 2021-01-12 | 深圳奥锐达科技有限公司 | 一种基于时间延时的距离测量系统 |
CN112306086A (zh) * | 2019-07-30 | 2021-02-02 | 广州极飞科技有限公司 | 无人机降落区域的确定方法、装置、无人机和存储介质 |
CN112505715A (zh) * | 2020-12-08 | 2021-03-16 | 上海炬佑智能科技有限公司 | ToF传感装置及其距离检测方法 |
CN113534180A (zh) * | 2020-04-14 | 2021-10-22 | 华为技术有限公司 | 一种飞行时间tof测量方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201413564D0 (en) * | 2014-07-31 | 2014-09-17 | Stmicroelectronics Res & Dev | Time of flight determination |
WO2021072380A1 (en) * | 2019-10-10 | 2021-04-15 | Ouster, Inc. | Processing time-series measurements for lidar accuracy |
-
2023
- 2023-03-14 CN CN202310244170.3A patent/CN116203986B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149526A2 (en) * | 2016-03-04 | 2017-09-08 | May Patents Ltd. | A method and apparatus for cooperative usage of multiple distance meters |
CN110525650A (zh) * | 2016-12-22 | 2019-12-03 | 深圳市大疆创新科技有限公司 | 无人机及其控制方法 |
CN109507633A (zh) * | 2017-09-14 | 2019-03-22 | 钟志刚 | 无人机降落引导系统 |
CN112306086A (zh) * | 2019-07-30 | 2021-02-02 | 广州极飞科技有限公司 | 无人机降落区域的确定方法、装置、无人机和存储介质 |
CN113534180A (zh) * | 2020-04-14 | 2021-10-22 | 华为技术有限公司 | 一种飞行时间tof测量方法及装置 |
CN212341461U (zh) * | 2020-04-20 | 2021-01-12 | 深圳奥锐达科技有限公司 | 一种基于时间延时的距离测量系统 |
CN112505715A (zh) * | 2020-12-08 | 2021-03-16 | 上海炬佑智能科技有限公司 | ToF传感装置及其距离检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116203986A (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107272019B (zh) | 基于激光雷达扫描的路沿检测方法 | |
EP3588141B1 (en) | Distance-measuring apparatus, mobile object, distance-measuring method, and distance-measuring system | |
US10564649B2 (en) | Flight planning for unmanned aerial tower inspection | |
US9696430B2 (en) | Method and apparatus for locating a target using an autonomous unmanned aerial vehicle | |
US20220277516A1 (en) | Three-dimensional model generation method, information processing device, and medium | |
CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
CN112306084B (zh) | 一种无人机迫降方法、装置、无人机和存储介质 | |
CN110799989A (zh) | 一种障碍物检测方法、设备、可移动平台及存储介质 | |
CN114994684A (zh) | 多雷达数据融合的扬尘场景下障碍物检测方法与系统 | |
CN110515390B (zh) | 飞行器自主降落方法及装置、电子设备、存储介质 | |
CN113658241B (zh) | 单目结构光的深度恢复方法、电子设备及存储介质 | |
JP2016161572A (ja) | 侵入オブジェクトを検出するシステムおよび方法 | |
CN113743171A (zh) | 目标检测方法及装置 | |
CN112119428A (zh) | 获取降落位置的方法、设备、无人机、系统及存储介质 | |
WO2017098934A1 (ja) | レーザ計測システム及びレーザ計測方法 | |
CN116203986B (zh) | 无人机及其降落方法、主控设备 | |
CN111275715A (zh) | 点云分割方法、装置、电子设备、存储介质和机器人 | |
KR102462230B1 (ko) | 무인 비행장치 및 그의 동작 방법 | |
EP3667368A1 (en) | Sensor control device | |
KR101881201B1 (ko) | 교통로의 검출 범위를 결정하는 방법 및 디바이스 | |
US20230341558A1 (en) | Distance measurement system | |
AU2021214621A1 (en) | Method and system for locating a light source | |
CN110554398B (zh) | 一种激光雷达及探测方法 | |
CN213180018U (zh) | 遥感影像数据一体化测绘系统 | |
RU2727087C1 (ru) | Сенсор spr (радар подповерхностного зондирования) для помощи в осуществлении навигации технического устройства |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |