CN114813587B - 一种花椒树冠层氮浓度无损诊断方法 - Google Patents
一种花椒树冠层氮浓度无损诊断方法 Download PDFInfo
- Publication number
- CN114813587B CN114813587B CN202210564549.8A CN202210564549A CN114813587B CN 114813587 B CN114813587 B CN 114813587B CN 202210564549 A CN202210564549 A CN 202210564549A CN 114813587 B CN114813587 B CN 114813587B
- Authority
- CN
- China
- Prior art keywords
- pepper
- tree
- canopy
- nitrogen concentration
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Cultivation Of Plants (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种花椒树冠层氮浓度无损诊断方法，包括以下步骤：S1、采集花椒树样本的树体冠层高光谱图像和地上部点云数据，得到花椒旺长期和状果期归一化植被指数，点云特征参数；S2、采集花椒树样本的冠层叶片，测定得到冠层氮浓度；S3、根据花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数进行多元线性回归拟合，得到花椒树体冠层氮浓度的定量监测模型；S4、根据所述定量监测模型计算待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。本发明方法使用光谱波段少，点云特征参数少，计算方法简便，可以快速、无损、准确地得到九叶青花椒状果期花椒树体冠层氮浓度。
Description
技术领域
本发明属于农业技术领域，具体涉及一种花椒树冠层氮浓度无损诊断方法。
背景技术
九叶青花椒周年生长发育过程中，旺长期和状果期对氮素的需求较大，在整个生育期占比分别为46.6％和33.6％，且该时期冠层氮浓度与产量、品质之间均呈极显著正相关关系，且相关性系数整体高于其他时期，青花椒旺长和状果期是氮营养诊断和推荐施氮的最重要时期。在九叶青花椒和藤椒的旺长期和壮果期合理的施用氮肥，可以有效提升当年产量1.2-1.8倍，且挥发油、麻味物质、醇溶抽提物、乙醚抽提物含量等品质显著提升了16.0％-62.1％。氮营养诊断是合理施氮的前提，目前花椒氮营养诊断大多依据叶片全氮等化学分析判断花椒氮素养分状况，具有费时费力、操作繁杂、时效性差等缺点。随着遥感技术的发展，光谱信息也越来越多的运用到作物营养诊断方面，但传统的地物光谱仪由于平台的限制，存在采集叶片光谱工作量大，无法满足农林业大面积、快速、及时的诊断要求。另一方面，机载光谱技术可以获取多种不同时间和空间尺度的丰富光谱信息，但冠层高光谱数据易受冠层厚度、叶面积指数等影响，且空间分辨率相对较低。此外由于光谱穿透性较差，难以透过冠层得到林木垂直结构特征，同时光谱传感器易受作物冠层密度、太阳辐射等不确定因素影响，导致其在实际应用中存在一定的局限性。此外，雷达数据一般只能提供三维垂直结构信息，缺少植被冠层光谱信息。因此前人提出将高光谱和雷达数据各自的优势进行信息融合能进一步提高反演精度。近年来，利用高光谱和雷达数据融合的手段拟合多种植物生理生化信息已成为现实。其中，融合高光谱和雷达数据对森林地上部生物量、物种分类、小麦叶面积指数等估算模型的精度有显著提高。但是对旺长期和状果期九叶青花椒冠层氮浓度的高光谱和雷达信息融合估算模型还未见报道。
发明内容
针对现有技术中的上述不足，本发明提供的一种花椒树冠层氮浓度无损诊断方法解决了在旺长期和状果期树体叶片氮含量不能快速测定的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种花椒树冠层氮浓度无损诊断方法，包括以下步骤：
S1、采集花椒树样本的树体冠层高光谱图像和地上部点云数据，得到花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数；
S2、根据花椒旺长期归一化植被指数、花椒状果期归一化植被指数和所述花椒时期对应的点云特征参数进行多元线性回归拟合，得到花椒树体冠层氮浓度的定量监测模型；
S3、根据所述定量监测模型计算待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
进一步地：所述步骤S1中，基于花椒树旺长期和状果期，选定不同施氮处理健康的花椒树作为花椒树样本，通过无人机载高光谱雷达在飞行高度范围下采集花椒树样本的树体冠层高光谱图像和地上部点云数据，所述飞行高度范围为80-100m。
进一步地：所述步骤S1中，计算花椒旺长期归一化植被指数和花椒状果期归一化植被指数的方法具体为：
通过相关性分析缩小树体冠层高光谱图像的敏感波段范围，根据缩小后的敏感波段范围的归一化植被指数等势图锁定最优敏感波段，得到花椒旺长期归一化植被指数和花椒状果期归一化植被指数；
其中，花椒旺长期的敏感波段范围为700-900nm，花椒旺长期的最优敏感波段为879和732；花椒状果期的敏感波段范围为500-700nm，花椒状果期的最优敏感波段为560和690。
上述进一步方案的有益效果为：冠层氮浓度值通过相关性分析缩小高光谱敏感波段范围，为获得最优敏感波段提供保障。
进一步地：所述步骤S1中，点云特征参数包括株高、冠幅和冠层体积；
得到所述点云特征参数的方法具体为：
对所述地上部点云数据中的单木点云数据进行分割，将分割后单木点云数据中z坐标的最大值作为株高；
将分割后单木点云数据中x轴上的最大值与最小值之差作为东西冠幅，y轴的最大值与最小值之差作为南北冠幅，将东西冠幅和南北冠幅的均值作为冠幅；
将分割后单木点云数据进行体积计算，得到冠层体积。
进一步地：所述步骤S2中，所述花椒时期对应的点云特征参数包括所述花椒时期对应的株高、所述花椒时期对应的冠幅和所述花椒时期对应的冠层体积；
所述花椒树体冠层氮浓度的定量监测模型用于输出的冠层氮浓度预测值，其中冠层氮浓度预测值y的表达式具体为：
y＝aNDSI+bx1+cx2+dx3+e
式中，NDSI为花椒旺长期归一化植被指数或花椒状果期归一化植被指数，x1为所述花椒时期对应的株高，x2为所述花椒时期对应的冠幅，x3为所述花椒时期对应的冠层体积，a为第一拟合参数，b为第二拟合参数，c为第三拟合参数，d为第四拟合参数，e为第五拟合参数。
进一步地：所述步骤S3具体为：
根据待测花椒树的花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数，通过定量监测模型计算得到待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
本发明的有益效果为：本发明方法使用光谱波段少，点云特征参数少，计算方法简便，可以快速、无损、准确地得到九叶青花椒状果期花椒树体冠层氮浓度，为花椒树旺长期和状果期的冠层氮素营养快速诊断和合理施用氮肥提供依据。
附图说明
图1为本发明的流程图。
图2为花椒冠层光谱与冠层氮浓度相关性图。
图3为任意两波段光谱指数与花椒冠层氮浓度相关性等势图。
图4为100m飞行高度下花椒旺长期单株高程点云俯视图、侧视图和正视图(从左到右依次)。
图5为100m飞行高度下花椒状果期单株高程点云俯视图、侧视图和正视图(从左到右依次)。
图6为花椒树体冠层氮浓度的定量监测模型建模结果图。
图7为留一交叉验证法的花椒冠层氮浓度模型验证结果图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，在本发明的一个实施例中，一种花椒树冠层氮浓度无损诊断方法，包括以下步骤：
S1、采集花椒树样本的树体冠层高光谱图像和地上部点云数据，得到花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数；
S2、根据花椒旺长期归一化植被指数、花椒状果期归一化植被指数和所述花椒时期对应的点云特征参数进行多元线性回归拟合，得到花椒树体冠层氮浓度的定量监测模型；
S3、根据所述定量监测模型计算待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
所述步骤S1中，基于花椒树旺长期和状果期，选定不同施氮处理健康的花椒树作为花椒树样本，通过无人机载高光谱雷达在飞行高度范围下采集花椒树样本的树体冠层高光谱图像和地上部点云数据，所述飞行高度范围为80-100m。
所述花椒树样本的数量范围为16～50。
在本实施例中，花椒树旺长期是抽梢后40-80天，花椒树状果期是指抽稍后220-270天。
所述步骤S1中，计算花椒旺长期归一化植被指数和花椒状果期归一化植被指数的方法具体为：
通过相关性分析缩小树体冠层高光谱图像的敏感波段范围，得到花椒冠层光谱与冠层氮浓度相关性如图2所示，根据缩小后的敏感波段范围的归一化植被指数等势图锁定最优敏感波段如图3所示，得到花椒旺长期归一化植被指数和花椒状果期归一化植被指数；
其中，花椒旺长期的敏感波段范围为700-900nm，花椒旺长期的最优敏感波段为879和732；花椒状果期的敏感波段范围为500-700nm，花椒状果期的最优敏感波段为560和690。
所述步骤S1中，点云特征参数包括株高、冠幅和冠层体积；
得到所述点云特征参数的方法具体为：
如图5和图4所示，对所述地上部点云数据中的单木点云数据进行分割，将分割后单木点云数据中z坐标的最大值作为株高；
将分割后单木点云数据中x轴上的最大值与最小值之差作为东西冠幅，y轴的最大值与最小值之差作为南北冠幅，将东西冠幅和南北冠幅的均值作为冠幅；
将分割后单木点云数据进行体积计算，得到冠层体积。
所述步骤S2中，所述花椒时期对应的点云特征参数包括所述花椒时期对应的株高、所述花椒时期对应的冠幅和所述花椒时期对应的冠层体积；
所述花椒树体冠层氮浓度的定量监测模型用于输出的冠层氮浓度预测值，其中冠层氮浓度预测值y的表达式具体为：
y＝aNDSI+bx1+cx2+dx3+e
式中，NDSI为花椒旺长期归一化植被指数或花椒状果期归一化植被指数，x1为所述花椒时期对应的株高，x2为所述花椒时期对应的冠幅，x3为所述花椒时期对应的冠层体积，a为第一拟合参数，b为第二拟合参数，c为第三拟合参数，d为第四拟合参数，e为第五拟合参数。
所述步骤S3具体为：
根据待测花椒树的花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数，通过定量监测模型计算得到待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
为了验证本发明的定量监测模型计算的冠层氮浓度预测值的稳定性，本发明采用实测值与冠层氮浓度预测值进行1:1拟合，测试冠层氮浓度预测值的精确度，根据线性拟合方程的决定系数(R2)、均方根误差(RMSE)和平均相对误差(MRE)判断模型的准确度，其中决定系数(R2)、均方根误差(RMSE)和平均相对误差(MRE)的数值越小代表模型的准确度越高。
根据花椒树样本的冠层按照东、西、南、北四个方位各采集20-50片叶片，并将所述叶片清洗晾干称鲜重后于烘箱内以105℃高温处理30min，再以65℃烘干至恒重，进而通过粉碎研磨过筛得到待测样品，将待测样品通过凯氏定氮法得到冠层氮浓度实测值。
所述粉碎研磨过筛的过程中，选用的筛子不低于50目，并且生成的待测样品设置3个重复样品，将待测样品和3个重复样品通过凯氏定氮法得到的叶片氮含量取平均值，将所述平均值作为冠层氮浓度实测值。
如图6所示，进行花椒树体冠层氮浓度的定量监测模型建模，其中建模的花椒树样本量为16，花椒树旺长期和状果期的决定系数(R2)分别为0.78和0.98，花椒树旺长期和状果期的均方根误差(RMSE)分别为1.96g·kg-1和0.86g·kg-1，花椒树旺长期和状果期的平均相对误差(MRE)分别为4.2％和2.0％。留一交叉验证结果如图7所示，留一交叉验证样的花椒树样本量为16，花椒树旺长期和状果期的决定系数(R2)为0.69和0.96，花椒树旺长期和状果期的均方根误差(RMSE)分别为2.42g·kg-1和1.20g·kg-1，花椒树旺长期和状果期的平均相对误差(MRE)分别为5.7％和3.1％。根据留一交叉验证结果表明本发明方法可适用于九叶青花椒旺长期和状果期的冠层氮浓度无损测定。
本发明方法的实施过程为：在九叶青花椒旺长期和状果期，选定不同施氮处理健康的椒树作为样本，使用无人机载高光谱激光雷达一体化成像系统采集100m飞行高度下树体冠层高光谱图像和地上部点云数据。通过ENVI软件提取树体冠层高光谱图像，并与冠层氮浓度值通过相关性分析缩小高光谱敏感波段范围，再通过Matlab软件作该敏感波段范围的NDSI决定系数等势图，最终锁定最优敏感波段得到花椒旺长期归一化植被指数NDSI(879，732)和状果期归一化植被指数NDSI(560，690)。地上部点云数据采用LiDAR360软件对点云数据进行噪声点去除(孤立点算法)—坐标转换—航带拼接—地面点滤波(渐进加密三角网滤波算法)—高程归一化—单木分割等预处理，获得用于提取特征变量的有效点云数据，并提取点云特征参数。
将花椒树样本的冠层按照东、西、南、北四个方位各采集20片左右叶片，用去离子水清洗干净，晾干称鲜重后于烘箱内以105℃高温杀青30min，65℃烘干至恒重，粉碎过筛，并使用凯氏定氮法测定叶片氮含量即为冠层氮浓度。
将花椒旺长期归一化植被指数NDSI(879，732)和状果期归一化植被指数NDSI(560，690)分别和各时期3种点云特征参数与冠层氮浓度做多元线性回归拟合，得到定量监测模型，将待测花椒树的花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数输入定量监测模型，得到待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
本发明的有益效果为：本发明方法使用光谱波段少，点云特征参数少，计算方法简便，可以快速、无损、准确地得到九叶青花椒状果期花椒树体冠层氮浓度，为花椒树旺长期和状果期的冠层氮素营养快速诊断和合理施用氮肥提供依据。
在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。
Claims (3)
1.一种花椒树冠层氮浓度无损诊断方法，其特征在于，包括以下步骤：
S1、采集花椒树样本的树体冠层高光谱图像和地上部点云数据，得到花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数；
S2、根据花椒旺长期归一化植被指数、花椒状果期归一化植被指数和所述花椒时期对应的点云特征参数进行多元线性回归拟合，得到花椒树体冠层氮浓度的定量监测模型；
S3、根据所述定量监测模型计算待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断；
所述步骤S1中，计算花椒旺长期归一化植被指数和花椒状果期归一化植被指数的方法具体为：
通过相关性分析缩小树体冠层高光谱图像的敏感波段范围，根据缩小后的敏感波段范围的归一化植被指数等势图锁定最优敏感波段，得到花椒旺长期归一化植被指数和花椒状果期归一化植被指数；
其中，花椒旺长期的敏感波段范围为700-900nm，花椒旺长期的最优敏感波段为879nm和732nm；花椒状果期的敏感波段范围为500-700nm，花椒状果期的最优敏感波段为560nm和690nm；
所述步骤S1中，点云特征参数包括株高、冠幅和冠层体积；
得到所述点云特征参数的方法具体为：
对所述地上部点云数据中的单木点云数据进行分割，将分割后单木点云数据中z坐标的最大值作为株高；
将分割后单木点云数据中x轴上的最大值与最小值之差作为东西冠幅，y轴的最大值与最小值之差作为南北冠幅，将东西冠幅和南北冠幅的均值作为冠幅；
将分割后单木点云数据进行体积计算，得到冠层体积；
所述步骤S2中，所述花椒时期对应的点云特征参数包括所述花椒时期对应的株高、所述花椒时期对应的冠幅和所述花椒时期对应的冠层体积；
所述花椒树体冠层氮浓度的定量监测模型用于输出冠层氮浓度预测值，其中冠层氮浓度预测值y的表达式具体为：
y＝aNDSI+bx1+cx2+dx3+e
式中，NDSI为花椒旺长期归一化植被指数或花椒状果期归一化植被指数，x1为所述花椒时期对应的株高，x2为所述花椒时期对应的冠幅，x3为所述花椒时期对应的冠层体积，a为第一拟合参数，b为第二拟合参数，c为第三拟合参数，d为第四拟合参数，e为第五拟合参数。
2.根据权利要求1所述的花椒树冠层氮浓度无损诊断方法，其特征在于，所述步骤S1中，基于花椒树旺长期和状果期，选定不同施氮处理健康的花椒树作为花椒树样本，通过无人机载高光谱雷达在飞行高度范围下采集花椒树样本的树体冠层高光谱图像和地上部点云数据，所述飞行高度范围为80-100m。
3.根据权利要求1所述的花椒树冠层氮浓度无损诊断方法，其特征在于，所述步骤S3具体为：
根据待测花椒树的花椒旺长期归一化植被指数、花椒状果期归一化植被指数和点云特征参数，通过定量监测模型计算得到待测花椒树的冠层氮浓度，完成花椒树冠层氮浓度无损诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210564549.8A CN114813587B (zh) | 2022-05-23 | 2022-05-23 | 一种花椒树冠层氮浓度无损诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210564549.8A CN114813587B (zh) | 2022-05-23 | 2022-05-23 | 一种花椒树冠层氮浓度无损诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114813587A CN114813587A (zh) | 2022-07-29 |
| CN114813587B true CN114813587B (zh) | 2023-04-21 |
Family
ID=82517979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210564549.8A Active CN114813587B (zh) | 2022-05-23 | 2022-05-23 | 一种花椒树冠层氮浓度无损诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114813587B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868860B (zh) * | 2014-03-25 | 2016-04-13 | 辽宁师范大学 | 一种基于高光谱植被指数监测湿地植被冠层氮浓度的方法 |
| CN112485204A (zh) * | 2020-11-06 | 2021-03-12 | 安徽农业大学 | 基于高光谱的水稻穗期氮营养监测与诊断方法及应用 |
| CN112819868B (zh) * | 2021-02-05 | 2022-03-04 | 哈尔滨工业大学 | 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法 |
-
2022
- 2022-05-23 CN CN202210564549.8A patent/CN114813587B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114813587A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921885B (zh) | 一种综合三类数据源联合反演森林地上生物量的方法 | |
| Wolanin et al. | Estimating crop primary productivity with Sentinel-2 and Landsat 8 using machine learning methods trained with radiative transfer simulations | |
| CN110376167A (zh) | 基于无人机高光谱的水稻叶片氮含量监测方法 | |
| CN109031344B (zh) | 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法 | |
| CN102788752B (zh) | 基于光谱技术的农作物内部信息无损检测装置及方法 | |
| CN109459392A (zh) | 一种基于无人机多光谱影像的水稻地上部生物量估测方法 | |
| CN108872964B (zh) | 基于无人机LiDAR数据的银杏人工林郁闭度提取方法 | |
| CN110378926B (zh) | 一种基于机载LiDAR和Sentinel-2A数据的地上植被生态水估算方法 | |
| CN109212505A (zh) | 一种基于无人机多光谱高重叠度影像的森林林分特征反演方法 | |
| CN112986158B (zh) | 基于无人机多光谱数据的甜菜氮素营养检测方法及系统 | |
| CN107607486A (zh) | 一种土壤全氮检测方法及装置 | |
| CN115495703B (zh) | 一种基于机载多光谱数据的烟草成熟度检测方法及系统 | |
| Xu et al. | A 21-year time series of global leaf chlorophyll content maps from MODIS imagery | |
| CN114202675A (zh) | 一种基于无人机多光谱遥感影像的作物生长参数测定方法及系统 | |
| CN105954207A (zh) | 一种枣树冠层叶绿素b含量的检测方法 | |
| CN116518935A (zh) | 一种水稻种植分布及种植强度识别方法、装置及设备 | |
| CN115641504A (zh) | 一种基于作物物候特征与决策树模型的田块边界自动化遥感提取方法 | |
| CN113111799B (zh) | 一种基于集合经验模态分解的耕地土壤肥力水平监测方法 | |
| CN113030903B (zh) | 一种基于无人机高光谱和激光雷达的苔草营养水平反演方法 | |
| CN112924401B (zh) | 一种植被冠层叶绿素含量半经验反演方法 | |
| CN114813587B (zh) | 一种花椒树冠层氮浓度无损诊断方法 | |
| CN116773516A (zh) | 一种基于遥感数据的土壤碳含量分析系统 | |
| Zhang et al. | Generating high-resolution total canopy SIF emission from TROPOMI data: Algorithm and application | |
| Guo et al. | Apple tree canopy leaf spatial location automated extraction based on point cloud data | |
| CN114529838A (zh) | 基于卷积神经网络的土壤含氮量反演模型构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |