CN109211573B - 一种无人机悬停稳定性的评测方法 - Google Patents
一种无人机悬停稳定性的评测方法 Download PDFInfo
- Publication number
- CN109211573B CN109211573B CN201811064641.8A CN201811064641A CN109211573B CN 109211573 B CN109211573 B CN 109211573B CN 201811064641 A CN201811064641 A CN 201811064641A CN 109211573 B CN109211573 B CN 109211573B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- camera
- hovering
- stability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种无人机悬停稳定性的评测方法,该方法通过将相机设置为手动或快门优先模式,利用慢速快门达到相片的长时间曝光,从而记录下代表无人机位置的亮点在曝光时间内的移动轨迹,形成光轨迹图像,将所述光轨迹图像作为悬停状态下无人机的运动轨迹图像。对得到的所述光轨迹图像进行图像处理,获取包含所有光轨迹的凸多边形轮廓,然后计算出所述凸多边形的直径即凸多边形上任意两顶点之间距离的最大值,以此直径生成的圆形区域即为悬停状态下的无人机在一定时间内偏移运动的范围,从而评测无人机定点悬停的稳定性。该方法可应用于多种无人机的悬停稳定性,测量精度不易受到辅助测量装置固有误差影响,测量结果具有良好的可视化效果。
Description
技术领域
本发明属于无人机技术领域,具体涉及一种可用于无人机悬停稳定性的评测方法。
背景技术
随着当今科学技术的不断发展,旋翼无人机的自主飞行作为国内外学者研究的热点,在物流运输、航拍航测、国防安防等领域得到了广泛的应用。在这些领域中无人机的飞行平台需要保证良好的稳定性和精确快速的悬停能力,特别是在某些需要极度稳定的工作环境下,悬停的稳定性直接决定了工作质量的好坏。因此评测无人机悬停稳定性具有十分重要的现实意义。
对无人机(Unmanned Aerial Vehicle)悬停稳定性评测的定义为:通过特定的技术方法测量和评判悬停状态下的无人机在一定时间内偏移运动范围的大小,从而评判无人机悬停稳定性的优劣。
目前无人机悬停稳定性的评测方法主要有两种方式:基于人眼的主观观测方式和借助无人机实时定位的测量方式。
基于人眼的主观观测方式主要是通过人眼的视觉观察,并辅以无人机飞行人员所具备的先验知识,对无人机悬停稳定性进行观测。但是由于人眼的视觉残留效应和有限的分辨率,无法对悬停状态下的无人机运动进行准确的捕捉,因此会产生较大的悬停精度测量误差,从而影响悬停稳定性得评判。
借助无人机实时定位的测量方式是:首先利用机载设备或地面设备对无人机的位置进行实时定位,然后依据各时刻无人机的定位坐标与指定点坐标的偏移量,计算得出无人机的悬停精度,进而评判无人机悬停稳定性。
用于定位的无人机记载设备主要有GPS、惯性导航装置。但低成本的GPS数据刷新频率太低,其提供的位置信息在室内或当无人机高速运动的环境下将会产生严重滞后,导致无法及时获取无人机的实时坐标。同时惯性导航系统随着飞行时间越长会产生较大的系统误差,导致无法获得准确的定位坐标。因此当利用以上定位坐标计算悬停稳定性时,会产生较大的累积测量误差。
用于定位的无人机地面设备主要有全球卫星定位系统、OptiTrack运动捕捉系统,通过多个相机对无人机进行精准的跟踪定位和高难度飞行动作的捕捉。但该方法成本过于高昂,便携性较差且操作繁琐。
现有代表性技术有以下2种
(1)发明名称:基于双目视觉的无人机悬停精度测量方法(申请号:CN201510736167.9)
本发明是基于双目视觉的无人机悬停精度测量方法,方法包括:利用张正友棋盘标定法对相机进行标定,从而确定标定参数,定义标定结果参数;在进行无人机悬停精度测量时,将滑轨放置与无人机悬停点正下方,将双目相机按照设定距离平行固定于滑轨上,且双目相机能够沿滑轨方向移动,相机镜头垂直向上放置,两相机成像平面应位于同一平面,光轴互相平行;左目相机和右目相机分别采集无人机图像,传输至计算机;计算机根据左目图像和右目图像,根据标定结果参数,计算无人机的三维位置坐标;悬停结束后,根据无人机三维轨迹计算悬停精度。该发明的有益效果:实现无人机目标检测跟踪、精确匹配和三维定位。
但此装置需要通过外附计算机和加载大量辅助设备计算参数,制造成本高,操作繁琐。并且在进行悬停精度测量时,无法保证两相机光轴完全平行,存在一定的机械误差,影响悬停稳定性的评测。
(2)发明名称:一种无人机的悬停精度测试方法和系统(申请号:CN201610323590.0)
本发明公开了一种无人机的悬停精度测试方法和系统,悬停精度包括高度控制精度和水平控制精度。该方法和系统具体为首先控制无人机悬停于预定目标地点的正上方,然后利用悬挂在无人机下部的垂直于地面的垂直标尺获取无人机在预设目标地点所在水平面的垂直投影点,之后利用垂直标尺检测无人机相对于垂直投影点的高度位移量,同时利用设置于预设目标地点所在平面上的水平标尺检测垂直投影点与预设目标地点之间的水平位移量;该高度位移量用于反映所述高度控制精度,水平位移量则用于反映所述水平控制精度,从而能够利用上述技术方案测得无人机在悬停时的悬停精度。
但该系统需要在无人机底部增挂带刻度的绳索,为了保持绳索的垂直状态,在绳索上每隔一段距离设置一铅垂,并将每两个铅垂之间的绳索利用颜色等值间隔标记。铅垂自身的重量和绳索的摆动会对悬停状态下无人机的稳定性产生影响,导致较难测得无人机真实的悬停稳定性。其次测量工具组装步骤较为繁琐,在寻找投影点和测量位移量方面仍需要依靠人工测量,导致测量误差增加,最终影响悬停的稳定性。
发明内容
本发明要解决的技术问题为:利用基于定位的无人机机载设备或地面设备对无人机定点悬停稳定性进行评测时,由于受到空间环境的限制、机载设备本身的固有误差或无人机处理器承担超负荷的计算量,导致无法准确的测量出无人机定点悬停的精度,影响时效性。
本发明实现了一种利用相机对悬停状态下无人机进行悬停稳定性评测的方法。该方法通过将相机设置为手动或快门优先模式,利用慢速快门达到相片的长时间曝光,从而记录下代表无人机位置的亮点在曝光时间内的移动轨迹,形成光轨迹图像,将所述光轨迹图像作为悬停状态下无人机的运动轨迹图像。
对得到的所述光轨迹图像进行图像处理,获取包含所有光轨迹的凸多边形轮廓,然后计算出所述凸多边形的直径即凸多边形上任意两顶点之间距离的最大值,以此直径生成的圆形区域即为悬停状态下的无人机在一定时间内偏移运动的范围,从而评测无人机定点悬停的稳定性。
与现有技术相比较,该评测方法可应用于多种无人机(如四旋翼,六旋翼)的悬停稳定性,并且本发明使用的辅助测量装置较少,测量精度不易受到辅助测量装置固有误差影响。安装与操作相对简便,可用于评判不同悬停算法悬停稳定性的优劣,测量结果具有良好的可视化效果。
附图说明
图1是本发明提供的一种无人机悬停稳定性评测的代表图。
图2是本发明实施例提供的一种无人机的悬停稳定性评测方法的流程图。
图3是本发明具体实施步骤1的子流程图。
图4是本发明具体实施步骤5的子流程图。
图5-1是本发明实施例所提供的光轨迹图像示意图(差)。
图5-2是本发明实施例所提供的光轨迹图像示意图(优)。
具体实施方式
本发明的实施例如图1所示为一种无人机悬停稳定性的评测方法,该方法用于评测无人机悬停状态下的悬停稳定性,实现该方法的系统包括附加光源的无人机10,拍摄装置20和图像处理设备30。
附加光源的无人机10包含具有悬停功能的无人机110和光源装置120。具有悬停功能的无人机110作为待测对象,用于使无人机飞行并保持悬停状态;光源装置120用于提供代表悬停状态下无人机实时位置的亮点表示。
拍摄装置20包含相机210和相机固定装置220。相机210用于记录代表悬停状态下无人机实时位置的亮点的移动轨迹,获取悬停状态下无人机的光轨迹图像。相机固定装置220用于固定相机,防止拍摄过程中相机210抖动,提高成像质量。
图像处理设备30为计算机,用于对相机210获取的光轨迹图像进行图像处理和计算悬停状态下的无人机在一定时间内偏移运动的范围。
本方法的具体实施步骤如图2所示:
步骤1:测试环境、位置光源和相机位置的初始化设置。
步骤1-1:选择合适的拍摄环境。选择光线较弱的室内或者室外作为悬停精度测量的环境,减少外部光线对测试的影响,保证步骤2中的无人机光源为整个环境中最亮的光源。
步骤1-2:在具有悬停功能的无人机110底部安置光源装置120。将用来提供光源的闪光灯装置固定在无人机底部中心,作为无人机飞行状态下的实时位置表示。
步骤1-3:固定相机210并调整相机的镜头角度,使悬停状态下的无人机位于相机画面中央。使用相机固定装置220固定相机210,并将其放置在预设目标地点,防止拍摄过程中的相机抖动影响成像质量;相机连接遥控快门释放线或无线遥控器,控制快门按键;调节镜头角度,使悬停状态下的无人机110位于相机210的画面中央,设置相机210的镜头为与地面成90度角。
步骤2:调整相机210的感光度、光圈和快门速度成像参数,使相机210能够清晰地捕捉到光源装置120的光源亮点的光轨迹图像。首先将相机210设置为完全手动模式或者快门优先模式,将相机210的感光度ISO参数调至最低(本发明实施例中ISO参数初始化设置为50),减少拍摄图像中的噪点;将光圈大小设置在中间位置(本发明实施例中光圈大小初始化设置为f/8);调节相机210快门速度参数至适当位置(本发明实施例中快门速度初始化设置为25-30秒)。
步骤3:利用相机210的慢速快门产生的相片长时间曝光,从而在相片上记录下亮点移动轨迹的成像原理,拍摄悬停状态下无人机110的光轨迹图像。调整好相机210参数和相机210镜头角度后,按下快门以获取曝光时间内无人机的光轨迹图像。
步骤4:判断步骤3获得的光轨迹图像中光轨迹是否清晰、连贯。若相机210能够捕捉到一定时间内清晰的、连贯的光轨迹图像,则进行步骤5;若捕捉到的光轨迹图像出现背景过亮或者光轨迹不连贯的现象,则返回步骤2。
步骤5:将所述光轨迹图像复制或传输到图像处理设备30进行图像处理,通过计算得出悬停状态下的无人机110偏移运动的范围,从而评测无人机110悬停稳定性。
步骤5-1:得到包含所有光轨迹的凸多边形轮廓。对步骤3得到的光轨迹图像进行凸包检测并绘制凸包轮廓,从而得到包含所有光轨迹的凸多边形轮廓。
步骤5-2:计算悬停状态下无人机110偏移运动的范围,并评测无人机110悬停稳定性。得到步骤5-1中所述的光轨迹的凸多边形轮廓后,计算所述凸多边形的直径。本实施例中使用旋转卡壳算法计算出凸多边形任意两顶点之间距离的最大值,定义为凸多边形的直径。以此直径生成的圆形区域,即为悬停状态下的无人机110在一定时间内偏移运动的范围,并以此范围的大小作为评判悬停稳定性优劣的标准。如图5-1、图5-2所示,具体的无人机110悬停稳定性的评测规则如下:若所述无人机110偏移运动的范围越大,对应图5-1,则对应的无人机110悬停稳定性越差;反之所述无人机110偏移运动的范围越小,对应图5-2,则对应的无人机110悬停稳定性越好。
旋转卡壳算法的步骤如下:
1)计算凸多边形y方向上的端点,称之为ymin和ymax。
2)通过ymin和ymax构造出两条水平切线,凸多边形被一对平行线即卡壳卡住的对应点称为对踵点。由于ymin和ymax已经是一对对踵点,计算对踵点之间的距离并维护为一个当前最大值dmax。
3)同时逆时针旋转两条平行线,直到其中一条与凸多边形的一条边重合。
4)此时会得到一对新的对踵点。计算新的对踵点之间的距离并和当前最大值dmax比较,若大于当前对大值则更新dmax。
5)重复步骤3)和步骤4)的过程,直到再次产生初始对踵点对(ymin和ymax)
6)输出确定的最大直径的对踵点对坐标,并计算出凸多边形的最大直径dmax。
相机固定装置220为拍摄三脚架。
Claims (5)
1.一种无人机悬停稳定性的评测方法,其特征在于:该方法通过将相机设置为手动或快门优先模式,利用慢速快门达到相片的长时间曝光,从而记录下代表无人机位置的亮点在曝光时间内的移动轨迹,形成光轨迹图像,将所述光轨迹图像作为悬停状态下无人机的运动轨迹图像;
对得到的所述光轨迹图像进行图像处理,获取包含所有光轨迹的凸多边形轮廓,然后计算出所述凸多边形的直径即凸多边形上任意两顶点之间距离的最大值,以此直径生成的圆形区域即为悬停状态下的无人机在一定时间内偏移运动的范围,从而评测无人机定点悬停的稳定性。
2.利用权利要求1所述方法搭建的一种无人机悬停稳定性的评测系统,其特征在于:该系统包括附加光源的无人机(10),拍摄装置(20)和图像处理设备(30);
附加光源的无人机(10)包含具有悬停功能的无人机(110)和光源装置(120);具有悬停功能的无人机(110)作为待测对象,用于使无人机飞行并保持悬停状态;光源装置(120)用于提供代表悬停状态下无人机实时位置的亮点表示;
拍摄装置(20)包含相机(210)和相机固定装置(220);相机(210)用于记录代表悬停状态下无人机实时位置的亮点的移动轨迹,获取悬停状态下无人机的光轨迹图像;相机固定装置(220)用于固定相机,防止拍摄过程中相机(210)抖动,提高成像质量;
图像处理设备(30)为计算机,用于对相机(210)获取的光轨迹图像进行图像处理和计算悬停状态下的无人机在一定时间内偏移运动的范围。
3.根据权利要求2所述的一种无人机悬停稳定性的评测系统,其特征在于:相机固定装置(220)为拍摄三脚架。
4.根据权利要求1所述的一种无人机悬停稳定性的评测方法,其特征在于:本方法的具体实施步骤如下:
步骤1:测试环境、位置光源和相机位置的初始化设置;
步骤1-1:选择合适的拍摄环境;选择光线较弱的室内或者室外作为悬停精度测量的环境,减少外部光线对测试的影响,保证步骤2中的无人机光源为整个环境中最亮的光源;
步骤1-2:在具有悬停功能的无人机(110)底部安置光源装置(120);将用来提供光源的闪光灯装置固定在无人机底部中心,作为无人机飞行状态下的实时位置表示;
步骤1-3:固定相机(210)并调整相机的镜头角度,使悬停状态下的无人机位于相机画面中央;使用相机固定装置(220)固定相机(210),并将其放置在预设目标地点,防止拍摄过程中的相机抖动影响成像质量;相机连接遥控快门释放线或无线遥控器,控制快门按键;调节镜头角度,使悬停状态下的无人机(110)位于相机(210)的画面中央,设置相机(210)的镜头为与地面成90度角;
步骤2:调整相机(210)的感光度、光圈和快门速度成像参数,使相机(210)能够清晰地捕捉到光源装置(120)的光源亮点的光轨迹图像;首先将相机(210)设置为完全手动模式或者快门优先模式,将相机(210)的感光度ISO参数调至最低即ISO参数初始化设置为50,减少拍摄图像中的噪点;将光圈大小设置在中间位置即光圈大小初始化设置为f/8;调节相机(210)快门速度参数至适当位置即快门速度初始化设置为25-30秒;
步骤3:利用相机(210)的慢速快门产生的相片长时间曝光,从而在相片上记录下亮点移动轨迹的成像原理,拍摄悬停状态下无人机(110)的光轨迹图像;调整好相机(210)参数和相机(210)镜头角度后,按下快门以获取曝光时间内无人机的光轨迹图像;
步骤4:判断步骤3获得的光轨迹图像中光轨迹是否清晰、连贯;若相机(210)能够捕捉到一定时间内清晰的、连贯的光轨迹图像,则进行步骤5;若捕捉到的光轨迹图像出现背景过亮或者光轨迹不连贯的现象,则返回步骤2;
步骤5:将所述光轨迹图像复制或传输到图像处理设备(30)进行图像处理,通过计算得出悬停状态下的无人机(110)偏移运动的范围,从而评测无人机(110)悬停稳定性;
步骤5-1:得到包含所有光轨迹的凸多边形轮廓;对步骤3得到的光轨迹图像进行凸包检测并绘制凸包轮廓,从而得到包含所有光轨迹的凸多边形轮廓;
步骤5-2:计算悬停状态下无人机(110)偏移运动的范围,并评测无人机(110)悬停稳定性;得到步骤5-1中所述的光轨迹的凸多边形轮廓后,计算所述凸多边形的直径;使用旋转卡壳算法计算出凸多边形任意两顶点之间距离的最大值,定义为凸多边形的直径;以此直径生成的圆形区域,即为悬停状态下的无人机(110)在一定时间内偏移运动的范围,并以此范围的大小作为评判悬停稳定性优劣的标准;
无人机(110)悬停稳定性的评测规则如下:若所述无人机(110)偏移运动的范围越大,则对应的无人机(110)悬停稳定性越差;反之所述无人机(110)偏移运动的范围越小,则对应的无人机(110)悬停稳定性越好。
5.根据权利要求4所述的一种无人机悬停稳定性的评测方法,其特征在于:旋转卡壳算法的步骤如下:
1)计算凸多边形y方向上的端点,称之为ymin和ymax;
2)通过ymin和ymax构造出两条水平切线,凸多边形被一对平行线即卡壳卡住的对应点称为对踵点;由于ymin和ymax已经是一对对踵点,计算对踵点之间的距离并维护为一个当前最大值dmax;
3)同时逆时针旋转两条平行线,直到其中一条与凸多边形的一条边重合;
4)此时会得到一对新的对踵点;计算新的对踵点之间的距离并和当前最大值dmax比较,若大于当前对大值则更新dmax;
5)重复步骤3)和步骤4)的过程,直到再次产生初始对踵点对ymin和ymax;
6)输出确定的最大直径的对踵点对坐标,并计算出凸多边形的最大直径dmax。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811064641.8A CN109211573B (zh) | 2018-09-12 | 2018-09-12 | 一种无人机悬停稳定性的评测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811064641.8A CN109211573B (zh) | 2018-09-12 | 2018-09-12 | 一种无人机悬停稳定性的评测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109211573A CN109211573A (zh) | 2019-01-15 |
CN109211573B true CN109211573B (zh) | 2021-01-08 |
Family
ID=64984103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811064641.8A Active CN109211573B (zh) | 2018-09-12 | 2018-09-12 | 一种无人机悬停稳定性的评测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109211573B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111688949B (zh) * | 2020-06-24 | 2022-06-28 | 天津大学 | 一种无人机悬停姿态测量装置及方法 |
CN114167884A (zh) * | 2020-09-11 | 2022-03-11 | 丰翼科技(深圳)有限公司 | 无人机控制方法、装置、计算机设备及存储介质 |
CN112964399B (zh) * | 2021-04-05 | 2022-07-29 | 西北工业大学 | 电子器件金属丝/弹簧片接触压力全自动测试仪及测试方法 |
CN114877876B (zh) * | 2022-07-12 | 2022-09-23 | 南京市计量监督检测院 | 一种无人机悬停精度评估方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105424006B (zh) * | 2015-11-02 | 2017-11-24 | 国网山东省电力公司电力科学研究院 | 基于双目视觉的无人机悬停精度测量方法 |
CN106020218B (zh) * | 2016-05-16 | 2018-11-13 | 国家电网公司 | 一种无人机的悬停精度测试方法和系统 |
CN106742051B (zh) * | 2016-11-28 | 2023-07-21 | 歌尔科技有限公司 | 一种飞行器悬停功能稳定性测试方法和系统 |
CN106643664A (zh) * | 2016-12-28 | 2017-05-10 | 湖南省道通科技有限公司 | 一种对无人机进行定位的方法及装置 |
CN107490375B (zh) * | 2017-09-21 | 2018-08-21 | 重庆鲁班机器人技术研究院有限公司 | 定点悬停精度测量装置、方法及无人飞行器 |
-
2018
- 2018-09-12 CN CN201811064641.8A patent/CN109211573B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109211573A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109211573B (zh) | 一种无人机悬停稳定性的评测方法 | |
US10234278B2 (en) | Aerial device having a three-dimensional measurement device | |
US8699005B2 (en) | Indoor surveying apparatus | |
CN105424006A (zh) | 基于双目视觉的无人机悬停精度测量方法 | |
KR101308744B1 (ko) | 항공촬영 영상의 지형대비 기준점 합성형 공간영상도화 시스템 | |
JP2015145784A (ja) | 測定システム | |
CN105745514A (zh) | 用于基于照相机的位置和取向测量的系统和方法 | |
US11678647B2 (en) | Multiscopic whitetail scoring game camera systems and methods | |
EA031929B1 (ru) | Устройство и способ трехмерного измерения поверхности | |
CN111025032B (zh) | 一种基于升空平台的天线波束测量系统及方法 | |
CN106408601A (zh) | 一种基于gps的双目融合定位方法及装置 | |
US20220026208A1 (en) | Surveying system, surveying method, and surveying program | |
JP2018146524A (ja) | 測量システム | |
CN115597551B (zh) | 一种手持激光辅助双目扫描装置及方法 | |
CN112129263B (zh) | 一种分离移动式立体测距相机的测距方法 | |
JP2004163271A (ja) | 非接触画像計測装置 | |
CN106017404A (zh) | 摄像测量相机视轴与辅助激光光轴夹角的检测装置及方法 | |
CN110068306A (zh) | 一种无人机巡查测度系统及方法 | |
JP2018138923A (ja) | 測定システム | |
CN112985259B (zh) | 基于多目视觉的目标定位方法及系统 | |
JP2001317915A (ja) | 3次元計測装置 | |
CN106482743B (zh) | 一种相对位置测量设备的快速检测方法 | |
WO2020088399A1 (zh) | 信息处理装置、飞行控制方法以及飞行控制系统 | |
JP2018138922A (ja) | 測定システム | |
Growcott et al. | Development and assessment of a digital stereo photogrammetric system to measure cetaceans at sea |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |