CN111667017A - 一种联合收割机喂入量预测系统及其预测方法 - Google Patents

一种联合收割机喂入量预测系统及其预测方法 Download PDF

Info

Publication number
CN111667017A
CN111667017A CN202010553276.8A CN202010553276A CN111667017A CN 111667017 A CN111667017 A CN 111667017A CN 202010553276 A CN202010553276 A CN 202010553276A CN 111667017 A CN111667017 A CN 111667017A
Authority
CN
China
Prior art keywords
sensor
combine harvester
height
crop
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010553276.8A
Other languages
English (en)
Other versions
CN111667017B (zh
Inventor
汪六三
王儒敬
许桃胜
宿宁
黄子良
刘源
黄河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202010553276.8A priority Critical patent/CN111667017B/zh
Publication of CN111667017A publication Critical patent/CN111667017A/zh
Application granted granted Critical
Publication of CN111667017B publication Critical patent/CN111667017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D41/00Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12Details of combines
    • A01D41/127Control or measuring arrangements specially adapted for combines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene

Abstract

本发明涉及一种联合收割机喂入量预测系统及其预测方法,与现有技术相比解决了难以对联合收割机进行喂入量预测的缺陷。本发明的监测装置包括激光雷达传感器、三维立体视觉传感器、RTK‑GPS模块、车速传感器、割幅宽度传感器、割台高度传感器、工控处理器和显示器,所述激光雷达传感器、三维立体视觉传感器、RTK‑GPS模块、车速传感器、割幅宽度传感器、割台高度传感器的信号输出端分别与工控处理器的信号输入端相连,所述工控处理器的输出端与显示器相连。本发明能够实现作物未进入联合收割机时对喂入量的预测,能够及时调整联合收割机作业速度,使联合收割机处于额定喂入量范围作业,提高了作业效率和作业质量。

Description

一种联合收割机喂入量预测系统及其预测方法
技术领域
本发明涉及农业机械技术领域,具体来说是一种联合收割机喂入量预测系统及其预测方法。
背景技术
联合收割机是农作物自动收获的重要工具,当前联合收割机正朝着智能化、自动化、多功能化方向发展。喂入量是联合收割机的重要性能指标之一,对喂入量的实时监测一直是国内外农机关注的问题。联合收割机作业时,一方面喂入量超过额定量时会使联合收割机的作业质量降低,甚至造成工作部件堵塞;另一方面喂入量低于额定量或最佳喂入量会使联合收割机作业性能下降,降低工作效率。因此,实时、准确获取联合收割机喂入量信息具有十分重要的意义。
喂入量的常规测试通常采用人工或辅助装置接样,用接收的作物样品总质量除以接样时间得到联合收割机在一段时间内的平均喂入量,利用这种方法无法达到对喂入量的实时监测。为了实现对联合收割机的实时监测,国内外进行了大量的研究,如美国农机专家曾对过桥输送扭矩、发动机转速、割台搅龙扭矩、谷粒螺旋推进器扭矩、空气压力和谷物流量等通过传感器获取信息,进行联合收割机的喂入量试验;国内介战等人提出了通过谷物等过桥底板的挤压力测量喂入量,陈进等人通过分析过桥主动轴扭矩间接测量喂入量。但由于喂入量受到谷物密度、割茬高度、割幅宽度和作业速度等众多因素影响,测量误差大,至今喂入量的测量还处于试验研究阶段。
因此,如何研发出一种联合收割机喂入量预测系统及其预测方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以对联合收割机进行喂入量预测的缺陷,提供一种联合收割机喂入量预测系统及其预测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种联合收割机喂入量预测系统,包括安装在联合收割机上的监测装置,
所述的监测装置包括激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器、工控处理器和显示器,所述激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器的信号输出端分别与工控处理器的信号输入端相连,所述工控处理器的输出端与显示器相连。
所述激光雷达传感器用于采集联合收割机前端作物的三维图,并通过回归模型生成生物量图;三维立体视觉传感器检测联合收割机前面的作物情况;车速传感器测量联合收割机作业速度,割幅宽度传感器测量联合收割机作物时实际的割幅宽度,割台高度传感器测量割台距离地面的距离,工控处理器用于处理各类传感器的数据,构建喂入量预测模型;
三维立体视觉传感器获取图像后,通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获区域,工控处理器先通过机器学习获得的结果对回归模型进行修正,然后再利用割台高度对回归模型进行修正。
所述激光雷达传感器为三维激光雷达传感器,三维立体视觉传感器为双目立体视觉传感器。
一种联合收割机喂入量预测系统的预测方法,包括以下步骤:
原始数据的获取:联合收割机工作,激光雷达传感器、三维立体视觉传感器获取联合收割机前方的农作物信息,RTK-GPS模块、车速传感器、割幅宽度传感器和割台高度传感器获取联合收割机的数据,并均传送给工控处理器;
生物量图的生成:工控处理器利用激光雷达传感器获取的三维点云数据或利用机载、卫星载激光雷达传感器方式生成的三维点云数据,处理生成生物量图;
生物量图的修正:作物的检测分类:工控处理器利用三维立体视觉传感器获取的三维点云数据,对联合收割机前方的农作物信息进行检测分类获得作物高度;修正生物量图:利用通过立体视觉传感器处理后的三维点云数据中的作物高度和割台高度传感器获取的数据对生物量图进行修正,获得修正的生物量图;
喂入量预测值的获得:工控处理器车速传感器、割幅宽度传感器获取的数据依喂入量预测模型对喂入量Q进行预测,喂入量预测模型如下:
Q=B·W·V,
其中,B为对应收割区域修正后的生物量,W为割幅宽度传感器获取的联合收割机实际割幅宽度,V为车速传感器获取的联合收割机作业速度。
所述生物量图的生成包括以下步骤:
将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
去除地理参考点云数据中的噪声点;
提取地面点、植被点特征信息;
计算三维剖面指数;
利用三维剖面指数和生物量数据构建生物量回归模型;
以均方根误差最小作为准则自动优化回归模型,生成生物量图。
所述作物的检测分类包括以下步骤:
将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
去除地理参考点云数据中的噪声点;
提取地面点、植被点等特征信息;
通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获面积。
所述修正生物量图包括以下步骤:
利用立体视觉传感器测得的作物高度减去割台高度传感器测得的作物茬高度得到实际联合收割机收割的作物高度;
通过实际收割作物高度占收割前作物总高度的比例乘以作物生物量,得到修正后的生物量图。
有益效果
本发明的一种联合收割机喂入量预测系统及其预测方法,与现有技术相比能够实现作物未进入联合收割机时对喂入量的预测,能够及时调整联合收割机作业速度,使联合收割机处于额定喂入量范围作业,提高了作业效率和作业质量。
本发明通过联合收割机前面作物信息的实时获取或遥感、无人机得到的生物量,结合联合收割机各类传感器信息,预测联合收割机喂入量,预测精度高;通过三维立体视觉传感器获得联合收割机前方的信息,并通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获面积所得结果修正生物量,提高了生物量的测量精度。
附图说明
图1为本发明中联合收割机喂入量预测系统的电路连接框图;
图2为本发明中预测方法的方法顺序图;
图3为本发明中预测方法的逻辑框图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种联合收割机喂入量预测系统,包括安装在联合收割机上的监测装置,包括激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器和工控处理器,所述激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器的信号输出端分别与工控处理器的信号输入端相连,工控处理器的输出端还可以连接显示器。
其中,激光雷达传感器用于采集联合收割机前端作物的三维图,并通过回归模型生成生物量图;还可以利用机载、卫星载激光雷达传感器方式生成的三维点云数据,处理成生物量图。三维立体视觉传感器检测联合收割机前面的作物情况;车速传感器测量联合收割机作业速度,割幅宽度传感器测量联合收割机作物时实际的割幅宽度,割台高度传感器测量割台距离地面的距离。激光雷达传感器为三维激光雷达传感器,三维立体视觉传感器为双目立体视觉传感器。
工控处理器用于处理各类传感器的数据,构建喂入量预测模型;三维立体视觉传感器用于检测联合收割机前面的作物情况,三维立体视觉传感器获取图像后,通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获区域,工控处理器先通过机器学习获得的结果对回归模型进行修正,然后再利用割台高度对回归模型进行修正。
如图2和图3所示,一种联合收割机喂入量预测系统的预测方法,包括以下步骤:
第一步,原始数据的获取:联合收割机工作,激光雷达传感器、三维立体视觉传感器获取联合收割机前方的农作物信息,RTK-GPS模块、车速传感器、割幅宽度传感器和割台高度传感器获取联合收割机的数据,并均传送给工控处理器。在此,还可以通过遥感、无人机得到三维点云数据。
第二步,生物量图的生成:工控处理器利用激光雷达传感器获取的三维点云数据,处理生成生物量图。其具体步骤如下:
(1)将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
(2)去除地理参考点云数据中的噪声点;
(3)提取地面点、植被点特征信息;
(4)计算三维剖面指数;
(5)利用三维剖面指数和生物量数据构建生物量回归模型;
(6)以均方根误差最小作为准则自动优化回归模型,生成生物量图。
第三步,生物量图的修正:工控处理器利用三维立体视觉传感器获取的三维点云数据,对联合收割机前方的农作物信息进行检测分类获得作物高度利用通过立体视觉传感器处理后的三维点云数据中的作物高度和割台高度传感器获取的数据对生物量图进行修正,获得修正后的生物量图。
其中,作物的检测分类具体步骤如下:
(1)将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
(2)去除地理参考点云数据中的噪声点;
(3)提取地面点、植被点等特征信息;
(4)通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获面积。
修正生物量图具体步骤如下:
(1)利用立体视觉传感器测得的作物高度减去割台高度传感器测得的作物茬高度得到实际联合收割机收割的作物高度;
(2)通过实际收割作物高度占收割前作物总高度的比例乘以作物生物量,得到修正后的生物量图。
第四步,喂入量预测值的获得:工控处理器车速传感器、割幅宽度传感器获取的数据依喂入量预测模型对喂入量进行预测,喂入量预测模型如下:
Q=B·W·V,
其中,B为对应收割区域修正后的生物量,W为割幅宽度传感器获取的联合收割机实际割幅宽度,V为车速传感器获取的联合收割机作业速度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种联合收割机喂入量预测系统,包括安装在联合收割机上的监测装置,其特征在于:
所述的监测装置包括激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器、工控处理器和显示器,所述激光雷达传感器、三维立体视觉传感器、RTK-GPS模块、车速传感器、割幅宽度传感器、割台高度传感器的信号输出端分别与工控处理器的信号输入端相连,所述工控处理器的输出端与显示器相连。
2.根据权利要求1所述的一种联合收割机喂入量预测系统,其特征在于:所述激光雷达传感器用于采集联合收割机前端作物的三维图,并通过回归模型生成生物量图;三维立体视觉传感器检测联合收割机前面的作物情况;车速传感器测量联合收割机作业速度,割幅宽度传感器测量联合收割机作物时实际的割幅宽度,割台高度传感器测量割台距离地面的距离,工控处理器用于处理各类传感器的数据,构建喂入量预测模型;
三维立体视觉传感器获取图像后,通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获区域,工控处理器先通过机器学习获得的结果对回归模型进行修正,然后再利用割台高度对回归模型进行修正。
3.根据权利要求1所述的一种联合收割机喂入量预测系统,其特征在于:所述激光雷达传感器为三维激光雷达传感器,三维立体视觉传感器为双目立体视觉传感器。
4.根据权利要求1所述的一种联合收割机喂入量预测系统的预测方法,其特征在于,包括以下步骤:
41)原始数据的获取:联合收割机工作,激光雷达传感器、三维立体视觉传感器获取联合收割机前方的农作物信息,RTK-GPS模块、车速传感器、割幅宽度传感器和割台高度传感器获取联合收割机的数据,并均传送给工控处理器;
42)生物量图的生成:工控处理器利用激光雷达传感器获取的三维点云数据或利用机载、卫星载激光雷达传感器方式生成的三维点云数据,处理生成生物量图;
43)生物量图的修正:作物的检测分类:工控处理器利用三维立体视觉传感器获取的三维点云数据,对联合收割机前方的农作物信息进行检测分类获得作物高度;修正生物量图:利用通过立体视觉传感器处理后的三维点云数据中的作物高度和割台高度传感器获取的数据对生物量图进行修正,获得修正的生物量图;
44)喂入量预测值的获得:工控处理器车速传感器、割幅宽度传感器获取的数据依喂入量预测模型对喂入量Q进行预测,喂入量预测模型如下:
Q=B·W·V,
其中,B为对应收割区域修正后的生物量,W为割幅宽度传感器获取的联合收割机实际割幅宽度,V为车速传感器获取的联合收割机作业速度。
5.根据权利要求4所述的一种联合收割机喂入量预测系统的预测方法,其特征在于,所述生物量图的生成包括以下步骤:
51)将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
52)去除地理参考点云数据中的噪声点;
53)提取地面点、植被点特征信息;
54)计算三维剖面指数;
55)利用三维剖面指数和生物量数据构建生物量回归模型;
56)以均方根误差最小作为准则自动优化回归模型,生成生物量图。
6.根据权利要求4所述的一种联合收割机喂入量预测系统的预测方法,其特征在于,所述作物的检测分类包括以下步骤:
61)将获得的原始点云数据和RTK-GPS数据进行编码,并用车速对坐标数据进行修正,形成地理参考点云数据;
62)去除地理参考点云数据中的噪声点;
63)提取地面点、植被点等特征信息;
64)通过机器学习检测和分类作物高度、作物倒伏及倒伏方向、间隙、车道和收获面积。
7.根据权利要求4所述的一种联合收割机喂入量预测系统的预测方法,其特征在于,所述修正生物量图包括以下步骤:
71)利用立体视觉传感器测得的作物高度减去割台高度传感器测得的作物茬高度得到实际联合收割机收割的作物高度;
72)通过实际收割作物高度占收割前作物总高度的比例乘以作物生物量,得到修正后的生物量图。
CN202010553276.8A 2020-06-17 2020-06-17 一种联合收割机喂入量预测系统及其预测方法 Active CN111667017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010553276.8A CN111667017B (zh) 2020-06-17 2020-06-17 一种联合收割机喂入量预测系统及其预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010553276.8A CN111667017B (zh) 2020-06-17 2020-06-17 一种联合收割机喂入量预测系统及其预测方法

Publications (2)

Publication Number Publication Date
CN111667017A true CN111667017A (zh) 2020-09-15
CN111667017B CN111667017B (zh) 2023-02-28

Family

ID=72387802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010553276.8A Active CN111667017B (zh) 2020-06-17 2020-06-17 一种联合收割机喂入量预测系统及其预测方法

Country Status (1)

Country Link
CN (1) CN111667017B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631279A (zh) * 2020-12-09 2021-04-09 甘肃省机械科学研究院有限责任公司 一种青贮收获机喂入量控制系统及方法
US20220110246A1 (en) * 2020-10-09 2022-04-14 Deere & Company Predictive speed map generation and control system
CN115586538A (zh) * 2022-10-17 2023-01-10 南通大学 基于激光雷达的半喂入联合收割机穗头喂入深度控制方法
US11856891B2 (en) 2021-03-26 2024-01-02 Cnh Industrial America Llc Systems and methods for controlling an agricultural header

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050524A1 (ja) * 2012-09-26 2014-04-03 株式会社クボタ 農作管理システム及び農作物収穫機
CN106643529A (zh) * 2016-09-30 2017-05-10 中国科学院、水利部成都山地灾害与环境研究所 基于无人机影像的山区农作物生长高度快速测量的方法
CN107966709A (zh) * 2017-11-15 2018-04-27 成都天麒科技有限公司 一种基于激光雷达测绘的植保作业方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050524A1 (ja) * 2012-09-26 2014-04-03 株式会社クボタ 農作管理システム及び農作物収穫機
CN106643529A (zh) * 2016-09-30 2017-05-10 中国科学院、水利部成都山地灾害与环境研究所 基于无人机影像的山区农作物生长高度快速测量的方法
CN107966709A (zh) * 2017-11-15 2018-04-27 成都天麒科技有限公司 一种基于激光雷达测绘的植保作业方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
伟利国等: "联合收割机稻麦收获边界激光在线识别系统设计与试验", 《农业工程学报》 *
刘学等: "RTK GPS系统在智能化农业机械装备中的应用", 《农机化研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220110246A1 (en) * 2020-10-09 2022-04-14 Deere & Company Predictive speed map generation and control system
US11889787B2 (en) * 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
CN112631279A (zh) * 2020-12-09 2021-04-09 甘肃省机械科学研究院有限责任公司 一种青贮收获机喂入量控制系统及方法
CN112631279B (zh) * 2020-12-09 2023-03-14 甘肃省机械科学研究院有限责任公司 一种青贮收获机喂入量控制系统及方法
US11856891B2 (en) 2021-03-26 2024-01-02 Cnh Industrial America Llc Systems and methods for controlling an agricultural header
CN115586538A (zh) * 2022-10-17 2023-01-10 南通大学 基于激光雷达的半喂入联合收割机穗头喂入深度控制方法

Also Published As

Publication number Publication date
CN111667017B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111667017B (zh) 一种联合收割机喂入量预测系统及其预测方法
EP3547057A1 (en) Abnormality detection system, support device, and abnormality detection method
CN103454285A (zh) 基于机器视觉的传动链条质量检测系统
CN112288597A (zh) 一种基于层次聚类和直方图算法的能耗在线异常检测方法
CN110649957B (zh) 降低星载微波辐射计滑环传输误码率的方法、系统及介质
CN106508256A (zh) 一种稻麦联合收割机及其割幅检测装置和检测方法
CN110578659B (zh) 一种用于对风电机组scada数据进行处理的系统和方法
CN106406257A (zh) 一种基于案例推理的铁矿浮选精矿品位软测量方法及系统
CN116897668B (zh) 一种电驱农作物播种施肥控制方法及系统
CN116168019B (zh) 基于机器视觉技术的电网故障检测方法及系统
CN112817955A (zh) 基于回归模型的数据清洗方法
CN109598724B (zh) 布料标签检测识别方法
CN109389053B (zh) 检测目标车辆周围的待测车辆位置信息的方法及系统
CN113805252B (zh) 基于集合预报模型的登陆热带气旋过程大风预报系统
CN114009207B (zh) 一种收割面积测量方法及收割机
CN115047870A (zh) 一种玉米籽粒收获机无人驾驶系统及其运行方法
Mengoli et al. An online fruit counting application in apple orchards
CN112525336A (zh) 一种机械设备振动连续增长的自动化检测方法
CN114255394A (zh) 用于调整农业机械作业参数的方法、装置及处理器
US20210055099A1 (en) Method for ascertaining a plant height of field crops
CN116956047B (zh) 一种基于风力发电数据的风电机组性能评估系统
Reyniers et al. Comparison of two filtering methods to improve yield data accuracy
CN115291198B (zh) 一种雷达信号发射及信号处理方法
CN116560219B (zh) 基于输电杆塔风速联合分析的自适应监测控制方法及系统
CN117970361A (zh) 喂入量预测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant