CN110487730A - 作物田间表型高通量监测系统及监测方法 - Google Patents
作物田间表型高通量监测系统及监测方法 Download PDFInfo
- Publication number
- CN110487730A CN110487730A CN201910752964.4A CN201910752964A CN110487730A CN 110487730 A CN110487730 A CN 110487730A CN 201910752964 A CN201910752964 A CN 201910752964A CN 110487730 A CN110487730 A CN 110487730A
- Authority
- CN
- China
- Prior art keywords
- canopy
- measured
- field
- sensor
- phenotype
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 37
- 230000007613 environmental effect Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 9
- 241000196324 Embryophyta Species 0.000 description 88
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 8
- 230000005855 radiation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 229910052757 nitrogen Inorganic materials 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 101100271175 Oryza sativa subsp. japonica AT10 gene Proteins 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 244000037666 field crops Species 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000012214 genetic breeding Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001228 trophic effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明涉及作物田间表型监测技术领域，公开了一种作物田间表型高通量监测系统及监测方法，其中作物田间表型高通量监测系统包括无人机平台、行走机器人平台和服务器，无人机平台设置有第一通讯模块和第一冠层表型数据监测子系统，第一通讯模块与服务器无线通讯连接，第一冠层表型数据监测子系统用于从空中获取待测田间植物的冠层顶部表型数据；行走机器人平台上设置有第二通讯模块和第二冠层表型数据监测子系统，第二通讯模块与服务器无线通讯连接，第二冠层表型数据监测子系统用于从地上获取待测田间植物的冠层内部表型数据。该作物田间表型高通量监测系统高了表型高通量监测的效率和精度，具有使用简便、测量精确、监测范围广的优点。
Description
技术领域
本发明涉及作物田间表型监测设备技术领域，尤其涉及一种作物田间表型高通量监测系统及监测方法。
背景技术
植物表型被定义为植物基因型和所处环境决定的形状、结构、大小、颜色等全部可测的生物体外在表现。即表型是一个基因型与环境互作产生的全部或部分可辨识特征和性状。作物品种资源鉴定、遗传育种、栽培生理、植物保护、功能基因组学和植物生物学等方面的研究基本都涉及到对大量植株的各种特征和性状即表型的鉴别与分析,以及对复杂的植物生长环境的监测与控制。
目前植物表型获取方法主要通过：人工手眼测量以及无人机搭载光学传感器测量。但是，上述表型获取技术存在下述缺陷：人工手眼方式可以获取较为精确的表型信息，但分析规模小(涉及的样本和性状类别少)、效率低(基本上手工操作)、误差大(难以排除人为和环境因素干扰)、适用性弱(难以跨物种参考分析方法和数据)。而无人机表型平台在获取效率具有一定优势，但受本身技术限制其，无人机距离冠层一定的高度，获取表型信息的精度不高。
发明内容
本发明实施例提供一种作物田间表型高通量监测系统及监测方法，用以解决现有的作物田间表型获取方式难以兼顾精度和效率的问题，以实现精准测量较大范围的农田的植物表型数据的目的。
本发明实施例提供一种作物田间表型高通量监测系统，包括无人机平台，还包括行走机器人平台和服务器，所述无人机平台设置有第一通讯模块和电连接于所述第一通讯模块的第一冠层表型数据监测子系统，所述第一通讯模块与所述服务器无线通讯连接，所述第一冠层表型数据监测子系统用于从空中获取待测田间植物的冠层顶部表型数据；
所述行走机器人平台上设置有第二通讯模块和电连接于所述第二通讯模块的第二冠层表型数据监测子系统，所述第二通讯模块与所述服务器无线通讯连接，所述第二冠层表型数据监测子系统用于从地上获取所述待测田间植物的冠层内部表型数据。
其中，所述第一冠层表型数据监测子系统包括可见光图像传感器，所述可见光图像传感器用于获取所述待测田间植物的顶部图像的颜色与纹理信息；所述无人机平台还包括电连接于所述第一通讯模块的第一GPS定位传感器，所述第一GPS定位传感器用于获取所述待测田间植物的地理位置信息。
其中，所述无人机平台还设置有第一导航运动模块，所述第一导航运动模块电连接于所述第一通讯模块和所述第一GPS定位传感器，以根据获取的规划路径信息执行飞行作业。
其中，所述第一冠层表型数据监测子系统还包括多光谱传感器和3D激光雷达传感器，所述多光谱传感器用于获取所述待测田间植物的生理表型信息；所述3D激光雷达传感器用于获取所述待测田间植物的3D点云，进行植物形态三维重建，获取形态结构表型信息。
其中，所述第二冠层表型数据监测子系统包括半球图像采集器、环境传感器和作物节单位表型采集器，所述半球图像采集器用于获取所述待测田间植物的冠层结构参数，所述环境传感器用于获取待测农田的环境指标；所述作物节单位表型采集器包括支撑旋转机构、具有开口的传感器支架以及多个固接于所述传感器支架的图像传感器，所述图像传感器的镜头朝向所述开口；所述支撑旋转机构的基座连接于所述行走机器人平台，所述支撑旋转机构的输出转轴沿水平方向固接于所述传感器支架。
其中，所述行走机器人平台还设置有第二GPS定位传感器和电连接于所述第二GPS定位传感器的第二导航运动模块；所述第二GPS定位传感器和所述第二导航运动模块均电连接于所述第二通讯模块，以根据获取的规划路径信息执行田间移动作业。
其中，所述行走机器人平台还设置有避障雷达，所述避障雷达电连接于所述第二导航运动模块。
本发明实施例还提供一种利用上述作物田间表型高通量监测系统的监测方法，包括：
无人机平台执行飞行监测作业，采集待测田间植物的冠层顶部表型数据，行走机器人平台执行田间移动作业，采集所述待测田间植物的冠层内部表型数据；
基于所述待测田间植物的冠层顶部表型数据，服务器计算出植物的冠层三维结构，基于所述待测田间植物的冠层内部表型数据，服务器校正所述冠层三维结构的重建精度；
对所述待测田间植物的冠层顶部表型数据和所述待测田间植物的冠层内部表型数据进行数据融合，计算出植物表型参数在所述冠层中的三维分布情况。
其中，在所述无人机平台执行飞行监测作业之前，还包括：
无人机平台执行飞行探测作业，通过可见光图像传感器和第一GPS定位传感器，获取整个待测农田的图像；
对所述整个待测农田的图像上的像素点的GPS坐标进行双线性插值计算，得到每个所述像素点的地理位置；
基于每个所述像素点的地理位置以及预设的采集计划，服务器计算得到信息采集点并生成规划路径。
其中，所述无人机平台执行飞行监测作业，采集待测田间植物的冠层顶部表型数据，行走机器人平台执行田间移动作业，采集所述待测田间植物的冠层内部表型数据，进一步包括：
所述无人机平台根据获取的所述规划路径信息执行飞行监测作业，记录飞行采集时间及第一GPS位置信息，通过多光谱传感器获取所述待测田间植物的生理表型信息，通过3D激光雷达传感器获取所述待测田间植物的形态结构表型信息，通过可见光图像传感器获取所述待测田间植物的顶部图像的颜色与纹理信息；
所述行走机器人平台根据获取的所述规划路径信息执行田间移动作业，逐一运动到所述信息采集点，记录移动采集时间及第二GPS位置信息，通过半球图像采集器获取所述待测田间植物的冠层结构参数，通过图像传感器和避障雷达定位所述待测田间植物的茎秆，通过作物节单位表型采集器获取所述待测田间植物的节单位信息。
其中，无人机平台多次执行飞行监测作业，行走机器人平台多次执行田间移动作业，基于不同的飞行采集时间和移动采集时间，生成所述待测田间植物的表型动态空间构型和时间变化序列。
本发明实施例提供的作物田间表型高通量监测系统及监测方法，其中作物田间表型高通量监测系统包括无人机平台、行走机器人平台和服务器，通过无人机平台从空中高效、快速地获取待测田间植物的冠层顶部表型数据，并将数据无线传输给服务器，再通过行走机器人平台从地上获取待测田间植物的冠层内部表型数据，同样也将数据无线传输给服务器，最后服务器将两类数据进行结合计算，得到高精度的冠层三维结构以及植物表型参数在冠层中的三维分布情况。该作物田间表型高通量监测系统既具有无人机平台监测高效、快速的优势，又结合了行走机器人平台移动灵活、监测精确的特点，大大提高了对较大范围内的农田作物的表型高通量监测的效率和精度，同时可以适用于各种环境条件，节省了大量人力和建设成本，具有使用简便、测量精确、监测范围广的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种作物田间表型高通量监测系统的结构示意图；
图2是本发明实施例中的一种作物田间表型高通量监测系统的组成示意图；
图3是本发明实施例中的一种作物田间表型高通量监测方法的流程示意图；
附图标记说明：
1：无人机平台； 11：第一通讯模块；
12：可见光图像传感器； 13：3D激光雷达传感器； 14：多光谱传感器；
15：第一GPS定位传感器； 16：第一导航运动模块；
2：行走机器人平台； 21：第二通讯模块； 22：半球图像采集器；
23：环境传感器； 24：作物节单位表型采集器；
241：支撑旋转机构； 242：传感器支架； 243：图像传感器；
25：第二GPS定位传感器； 26：第二导航运动模块；
27：避障雷达； 3：服务器； 4：待测田间植物。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明实施例中的具体含义。
图1是本发明实施例中的一种作物田间表型高通量监测系统的结构示意图，图2是本发明实施例中的一种作物田间表型高通量监测系统的组成示意图，如图1～图2所示，本发明实施例提供的一种作物田间表型高通量监测系统，包括无人机平台1，还包括行走机器人平台2和服务器3，无人机平台1设置有第一通讯模块11和电连接于第一通讯模块11的第一冠层表型数据监测子系统，第一通讯模块11与服务器3无线通讯连接，第一冠层表型数据监测子系统用于从空中获取待测田间植物4的冠层顶部表型数据。
行走机器人平台2上设置有第二通讯模块21和电连接于第二通讯模块21的第二冠层表型数据监测子系统，第二通讯模块21与服务器3无线通讯连接，第二冠层表型数据监测子系统用于从地上获取待测田间植物4的冠层内部表型数据。
具体地，无人机平台1可以采用多旋翼无人机，通过第一通讯模块11可以远程遥控无人机平台1在空中飞行，包括起降、转向及飞行高度的调节。多旋翼无人机具有作业高效、悬停灵活以及地形适用性强的优势。第一冠层表型数据监测子系统搭载于无人机平台1之上，可以根据实际使用需求，选择配置可见光成像、近红外成像、红外成像、高光谱成像、激光3D成像或者其他类型的传感器中的一种或多种。
行走机器人平台2可以采用车轮式行走结构或者履带式行走结构，便于在农田间穿行。行走机器人平台2具有一个为功能性部件提供搭载空间的基体，该基体可以为中空壳体，具备一定的防雨防尘性能，还可以实现功能性组件的集中安装，有利于拆装和维修。此外，该基体也可以为框架结构或者其他能够起到支撑作用的结构，此处不做限制。该基体可以为长方体形状，也可以为球形、圆台形或者其他形状。该基体的大小可以根据田间作物的种植间距进行合理的设计，以便顺利地在田间移动。
服务器3可以采用Lenovo ST58或者ST50，第一通讯模块11和第二通讯模块21可以采用COMFAST CF-E313AC，以实现与服务器3之间的双向无线通讯连接。
本实施例提供的一种作物田间表型高通量监测系统，包括无人机平台、行走机器人平台和服务器，通过无人机平台从空中高效、快速地获取待测田间植物的冠层顶部表型数据，并将数据无线传输给服务器，再通过行走机器人平台从地上获取待测田间植物的冠层内部表型数据，同样也将数据无线传输给服务器，最后服务器将两类数据进行结合计算，得到高精度的冠层三维结构以及植物表型参数在冠层中的三维分布情况。该作物田间表型高通量监测系统既具有无人机平台监测高效、快速的优势，又结合了行走机器人平台移动灵活、监测精确的特点，大大提高了对较大范围内的农田作物的表型高通量监测的效率和精度，同时可以适用于各种环境条件，节省了大量人力和建设成本，具有使用简便、测量精确、监测范围广的优点。
进一步地，如图1～图2所示，第一冠层表型数据监测子系统包括可见光图像传感器12，可见光图像传感器12用于获取待测田间植物4的顶部图像的颜色与纹理信息。无人机平台1还包括电连接于第一通讯模块11的第一GPS定位传感器15，第一GPS定位传感器15用于获取待测田间植物4的地理位置信息。
具体地，可见光图像传感器12可以采用CCD图像传感器或者CMOS图像传感器。通过可见光图像传感器12与第一GPS定位传感器15，可以生成整个农田的正摄彩色图像，再通过对图像上每个像素点的GPS坐标进行双线性插值计算，进而可以获取每个像素点的地理位置，便于后续根据操作人员的采集计划，对信息采集点进行定位，利于快速生成合理的规划路径。
进一步地，无人机平台1还设置有第一导航运动模块16，第一导航运动模块16电连接于第一通讯模块11和第一GPS定位传感器15，以根据获取的规划路径信息执行飞行作业。
具体地，第一导航运动模块16可以采用A3PRO系列自主导航控制器，用于控制无人机平台1的起降、转向及飞行高度的调节，第一GPS定位传感器15可以实时采集无人机平台1的飞行位置，通过不断地与规划路径信息进行对比计算，及时调整无人机平台1的飞行状态，以按照规划路径执行飞行作业。
进一步地，如图1～图2所示，第一冠层表型数据监测子系统还包括多光谱传感器14和3D激光雷达传感器13，多光谱传感器14用于获取待测田间植物的生理表型信息，包括：植物的水分含量、氮素含量、叶片病斑3D激光雷达传感器13用于获取待测田间植物的3D点云，进行植物形态三维重建，获取形态结构表型信息。
进一步地，如图1-2所示，第二冠层表型数据监测子系统包括半球图像采集器22、环境传感器23和作物节单位表型采集器24，半球图像采集器22用于获取待测田间植物4的冠层结构参数，包括：植物冠层群体覆盖度、孔隙度、光合有效辐射截获量等参数。半球图像采集器22利用鱼眼镜头和CCD图像传感器获取植物冠层图像，通过对冠层下天穹半球图像分析测量冠层孔隙率，再获得植物冠层的相关指标和参数。利用鱼眼镜头成像测量植物冠层数据，只操作一次即可，简化了传统测量方法要一天定点多次测量的繁复工作，而且利用图像法测量冠层可以主动避开不符合计算该冠层结构参数的冠层空隙部分，也可以躲开不符合测量计算的障碍物。具体地，半球图像采集器22可采用Hikvsion 2CD5362F。
环境传感器23用于获取待测农田的环境指标，包括：用于检测农田的光、温、水、气、热的环境指标的传感器。具体地，环境传感器23包括空气温度传感器(型号：Gene-AT10)、空气湿度传感器(型号：Gene-AH20)、太阳辐射传感器(型号：AcuPAR)、二氧化碳浓度传感器(SRS-CO2)。
作物节单位表型采集器24包括支撑旋转机构241、具有开口的传感器支架242以及多个固接于传感器支架242的图像传感器243，图像传感器243的镜头朝向开口；支撑旋转机构241的基座连接于行走机器人平台2，支撑旋转机构241的输出转轴沿水平方向固接于传感器支架242。
具体地，传感器支架242为一弯曲的杆状结构，由轻质刚性材料制成，且杆状结构的两个端部之间间隔一定距离形成一个开口。传感器支架242可以为半圆环形，多个图像传感器243沿传感器支架242的周向均匀分布，每个图像传感器243的镜头均朝向传感器支架242的圆心。此外，传感器支架242也可以为圆弧形或者U形或者凹字形。
多个图像传感器243固接于传感器支架242，并沿着传感器支架242的弯曲方向依次排开，每个图像传感器243的镜头均朝向开口。更具体地，图像传感器243包括但不限于RGB相机、CCD相机、多光谱相机等。本实施例中采用分辨率为4000×3000像素的RGB相机，型号2CD6362F。
支撑旋转机构241包括安装于行走机器人平台2上的第一旋转组件，用于支撑和旋转传感器支架242。更具体地，第一旋转组件可以采用小型电机，第一旋转组件的基座连接于行走机器人平台2，第一旋转组件的输出转轴沿水平方向固接于传感器支架242。
当需要对待测的作物节单位进行表型监测时，启动第一旋转组件，第一旋转组件的输出转轴带动传感器支架242顺时针(或者逆时针)旋转90°，再停止第一旋转组件，使传感器支架242由竖直状态转动至水平状态；当监测完毕后，再启动第一旋转组件，第一旋转组件的输出转轴带动传感器支架242逆时针(或者顺时针)旋转90°，再停止第一旋转组件，使传感器支架242由水平状态恢复为竖直状态，再移动至下一个待测的作物附近，准备下一次监测。
支撑旋转机构241还包括升降组件(图中未示出)，升降组件的固定端连接于行走机器人平台2，升降组件的升降端连接于第一旋转组件的基座。具体地，升降组件可以采用电动伸缩杆，或者小型的剪叉式升降平台。通过设置升降组件可以实现传感器支架242的高度调节，以满足不同高度的作物节单位的监测需求。
支撑旋转机构241还包括第二旋转组件，第二旋转组件的基座连接于行走机器人平台2，第二旋转组件的输出转轴沿竖直方向固接于升降组件的固定端，即升降组件安装于第二旋转组件和第一旋转组件之间。第一旋转组件用于驱动传感器支架242沿水平转轴转动，由竖直状态变为水平状态；第二旋转组件用于驱动传感器支架242沿竖直转轴转动，可以在水平状态下旋转，实现对不同方位的待测作物的监测，使用更灵活；升降组件用于驱动传感器支架242上升或者下降，调节监测的高度。
或者第二旋转组件的基座连接于升降组件的升降端，第二旋转组件的输出转轴沿竖直方向固接于第一旋转组件的基座，即第二旋转组件安装于升降组件和第一旋转组件之间。
进一步地，如图2所示，行走机器人平台2还设置有第二GPS定位传感器25和电连接于第二GPS定位传感器25的第二导航运动模块26。第二GPS定位传感器25和第二导航运动模块26均电连接于第二通讯模块21，以根据获取的规划路径信息执行田间移动作业。
具体地，第二导航运动模块26采用可以采用MRC系列自主导航控制器，用于控制行走机器人平台2的进退、转向及移动速度，第二GPS定位传感器25可以实时采集行走机器人平台2的移动位置，通过不断地与规划路径信息进行对比计算，及时调整行走机器人平台2的行走状态，以按照规划路径执行田间移动作业。
进一步地，如图1～图2所示，行走机器人平台2还设置有避障雷达27，避障雷达27电连接于第二导航运动模块26。具体地，避障雷达27可以采用激光雷达、微波雷达或者超声波雷达。其中，激光雷达的分辨率高，能实时形成这些障碍物有效的影像。本实施例中选用的避障雷达27的型号为CE30-A，安装在行走机器人平台2的前方，用于重构该装置周围的环境信息，躲避农田中的秸秆、碎石等障碍物，还可以定位待测田间植物4的位置。
如图3所示，本发明实施例还提供一种利用上述作物田间表型高通量监测系统的监测方法，包括：
步骤S20：无人机平台1执行飞行监测作业，采集待测田间植物4的冠层顶部表型数据，行走机器人平台2执行田间移动作业，采集待测田间植物4的冠层内部表型数据。
具体地，冠层顶部表型数据包括：植物顶部图像的颜色与纹理信息、植株的水分含量、氮素含量、叶片病斑的生理表型信息、形态结构表型信息。
冠层内部表型数据包括：植物冠层群体覆盖度、孔隙度、光合有效辐射截获量的参数、植物节单位表型信息。
步骤S30：基于待测田间植物4的冠层顶部表型数据，服务器3计算出植物的冠层三维结构，基于待测田间植物4的冠层内部表型数据，服务器3校正冠层三维结构的重建精度。
具体地，首先解析无人机平台1获取的冠层顶部表型数据，计算出植物的冠层三维结构、植物的营养水平等表型信息。然后解析行走机器人平台2获取的冠层内部表型数据，包括植物的冠层参数、节单位参数，并与对应的无人机平台1获取的冠层顶部表型数据融合，校正冠层三维结构的重建精度。更具体地，首先通过无人机平台1的3D激光雷达传感器13获取冠层顶部三维点云；由于冠层植株间的遮挡，造成植株缺失点云，三维重建精度不高，通过行走机器人平台2获取冠层内部的植株形态信息：冠层空隙度、节单位的长度、叶片长度、叶片宽度等信息对冠层三维点云进行修补，增加冠层三维结构的重建精度。
步骤S40：对待测田间植物4的冠层顶部表型数据和待测田间植物4的冠层内部表型数据进行数据融合，计算出植物表型参数在冠层中的三维分布情况。
具体地，基于待测田间植物4的冠层顶部表型数据和待测田间植物4的冠层内部表型数据，计算光合有效辐射、植物氮素含量、植物水分含量在冠层中的三维分布情况。在重建精确的冠层三维结构后，虚拟冠层内各个植株上的点具有三维坐标；光合有效辐射量通过半球图像采集器22获取，第二GPS定位传感器能够记录获取该测量值时装置的在冠层中的坐标，将该坐标映射到虚拟三维重建冠层上，则光合有效辐射量的空间分布规律也映射到了虚拟冠层植株上。同理，植株氮素含量及植株分份含量由多光谱传感器14获取，获取上述指标时的坐标值被第一GPS定位传感器记录，并用于与虚拟重建冠层的坐标映射。
进一步地，在步骤S20之前，还包括：
步骤S11：无人机平台执行飞行探测作业，通过可见光图像传感器和第一GPS定位传感器，获取整个待测农田的图像。
具体地，可以获取整个待测农田的正摄彩色图像。
步骤S12：对整个待测农田的图像上的像素点的GPS坐标进行双线性插值计算，得到每个像素点的地理位置。
具体地，利用GPS定位，点阵或网格可以投射到整个待测农田的图像上，通过已知的双线性插值计算方法可以推算出图像的像素分辨率和点阵的关系。
步骤S13：基于每个像素点的地理位置以及预设的采集计划，服务器计算得到信息采集点并生成规划路径。
具体地，首先先对待测农田的正式彩色图像进行分割识别处理，识别出植株行向和各个行间的土地。然后根据要预设计划中进行信息采集点的GPS坐标位置，通过最短路径搜索算法生成运动轨迹，完成路径规划。
进一步地，步骤S20进一步包括：
步骤S21：无人机平台1根据获取的规划路径信息执行飞行监测作业，记录飞行采集时间及第一GPS位置信息，通过多光谱传感器14获取待测田间植物4的生理表型信息，通过3D激光雷达传感器13获取待测田间植物4的形态结构表型信息，通过可见光图像传感器12获取待测田间植物4的顶部图像的颜色与纹理信息。
步骤S22：行走机器人平台2根据获取的规划路径信息执行田间移动作业，逐一运动到信息采集点，记录移动采集时间及第二GPS位置信息，通过半球图像采集器22获取待测田间植物4的冠层结构参数，通过图像传感器243和避障雷达27定位待测田间植物4的茎秆，通过作物节单位表型采集器24获取待测田间植物4的节单位信息。
无人机平台1和行走机器人平台2可以同时进行作业，也可以先后进行作业。
进一步地，无人机平台1多次执行飞行监测作业，行走机器人平台2多次执行田间移动作业，基于不同的飞行采集时间和移动采集时间，生成待测田间植物的表型动态空间构型和时间变化序列。
通过以上实施例可以看出，本发明提供的作物田间表型高通量监测系统及监测方法，其中作物田间表型高通量监测系统包括无人机平台、行走机器人平台和服务器，通过无人机平台从空中高效、快速地获取待测田间植物的冠层顶部表型数据，并将数据无线传输给服务器，再通过行走机器人平台从地上获取待测田间植物的冠层内部表型数据，同样也将数据无线传输给服务器，最后服务器将两类数据进行结合计算，得到高精度的冠层三维结构以及植物表型参数在冠层中的三维分布情况，通过二者的获取表型数据的空间位置匹配和测量时间点的数据校正，增加植株表型数据的获取精度、增加数据获取过程的自动化程度。该作物田间表型高通量监测系统既具有无人机平台监测高效、快速的优势，又结合了行走机器人平台移动灵活、监测精确的特点，大大提高了对较大范围内的农田作物的表型高通量监测的效率和精度，同时可以适用于各种环境条件，节省了大量人力和建设成本，具有使用简便、测量精确、监测范围广的优点。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种作物田间表型高通量监测系统，包括无人机平台，其特征在于，还包括行走机器人平台和服务器，所述无人机平台设置有第一通讯模块和电连接于所述第一通讯模块的第一冠层表型数据监测子系统，所述第一通讯模块与所述服务器无线通讯连接，所述第一冠层表型数据监测子系统用于从空中获取待测田间植物的冠层顶部表型数据；
所述行走机器人平台上设置有第二通讯模块和电连接于所述第二通讯模块的第二冠层表型数据监测子系统，所述第二通讯模块与所述服务器无线通讯连接，所述第二冠层表型数据监测子系统用于从地上获取所述待测田间植物的冠层内部表型数据。
2.根据权利要求1所述的作物田间表型高通量监测系统，其特征在于，所述第一冠层表型数据监测子系统包括可见光图像传感器，所述可见光图像传感器用于获取所述待测田间植物的顶部图像的颜色与纹理信息；所述无人机平台还包括电连接于所述第一通讯模块的第一GPS定位传感器，所述第一GPS定位传感器用于获取所述待测田间植物的地理位置信息。
3.根据权利要求2所述的作物田间表型高通量监测系统，其特征在于，所述无人机平台还设置有第一导航运动模块，所述第一导航运动模块电连接于所述第一通讯模块和所述第一GPS定位传感器，以根据获取的规划路径信息执行飞行作业。
4.根据权利要求2所述的作物田间表型高通量监测系统，其特征在于，所述第一冠层表型数据监测子系统还包括多光谱传感器和3D激光雷达传感器，所述多光谱传感器用于获取所述待测田间植物的生理表型信息；所述3D激光雷达传感器用于获取所述待测田间植物的3D点云，进行植物形态三维重建，获取形态结构表型信息。
5.根据权利要求1所述的作物田间表型高通量监测系统，其特征在于，所述第二冠层表型数据监测子系统包括半球图像采集器、环境传感器和作物节单位表型采集器，所述半球图像采集器用于获取所述待测田间植物的冠层结构参数，所述环境传感器用于获取待测农田的环境指标；
所述作物节单位表型采集器包括支撑旋转机构、具有开口的传感器支架以及多个固接于所述传感器支架的图像传感器，所述图像传感器的镜头朝向所述开口；所述支撑旋转机构的基座连接于所述行走机器人平台，所述支撑旋转机构的输出转轴沿水平方向固接于所述传感器支架。
6.根据权利要求1所述的作物田间表型高通量监测系统，其特征在于，所述行走机器人平台还设置有第二GPS定位传感器和电连接于所述第二GPS定位传感器的第二导航运动模块；所述第二GPS定位传感器和所述第二导航运动模块均电连接于所述第二通讯模块，以根据获取的规划路径信息执行田间移动作业。
7.根据权利要求6所述的作物田间表型高通量监测系统，其特征在于，所述行走机器人平台还设置有避障雷达，所述避障雷达电连接于所述第二导航运动模块。
8.一种利用如权利要求1至7中任一项所述的作物田间表型高通量监测系统的监测方法，其特征在于，包括：
无人机平台执行飞行监测作业，采集待测田间植物的冠层顶部表型数据，行走机器人平台执行田间移动作业，采集所述待测田间植物的冠层内部表型数据；
基于所述待测田间植物的冠层顶部表型数据，服务器计算出植物的冠层三维结构，基于所述待测田间植物的冠层内部表型数据，服务器校正所述冠层三维结构的重建精度；
对所述待测田间植物的冠层顶部表型数据和所述待测田间植物的冠层内部表型数据进行数据融合，计算出植物表型参数在所述冠层中的三维分布情况。
9.根据权利要求8所述的监测方法，其特征在于，在所述无人机平台执行飞行监测作业之前，还包括：
无人机平台执行飞行探测作业，通过可见光图像传感器和第一GPS定位传感器，获取整个待测农田的图像；
对所述整个待测农田的图像上的像素点的GPS坐标进行双线性插值计算，得到每个所述像素点的地理位置；
基于每个所述像素点的地理位置以及预设的采集计划，服务器计算得到信息采集点并生成规划路径。
10.根据权利要求9所述的监测方法，其特征在于，所述无人机平台执行飞行监测作业，采集待测田间植物的冠层顶部表型数据，行走机器人平台执行田间移动作业，采集所述待测田间植物的冠层内部表型数据，进一步包括：
所述无人机平台根据获取的所述规划路径信息执行飞行监测作业，记录飞行采集时间及第一GPS位置信息，通过多光谱传感器获取所述待测田间植物的生理表型信息，通过3D激光雷达传感器获取所述待测田间植物的形态结构表型信息，通过可见光图像传感器获取所述待测田间植物的顶部图像的颜色与纹理信息；
所述行走机器人平台根据获取的所述规划路径信息执行田间移动作业，逐一运动到所述信息采集点，记录移动采集时间及第二GPS位置信息，通过半球图像采集器获取所述待测田间植物的冠层结构参数，通过图像传感器和避障雷达定位所述待测田间植物的茎秆，通过作物节单位表型采集器获取所述待测田间植物的节单位信息。
11.根据权利要求10所述的监测方法，其特征在于，无人机平台多次执行飞行监测作业，行走机器人平台多次执行田间移动作业，基于不同的飞行采集时间和移动采集时间，生成所述待测田间植物的表型动态空间构型和时间变化序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752964.4A CN110487730A (zh) | 2019-08-15 | 2019-08-15 | 作物田间表型高通量监测系统及监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910752964.4A CN110487730A (zh) | 2019-08-15 | 2019-08-15 | 作物田间表型高通量监测系统及监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110487730A true CN110487730A (zh) | 2019-11-22 |
Family
ID=68551158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910752964.4A Pending CN110487730A (zh) | 2019-08-15 | 2019-08-15 | 作物田间表型高通量监测系统及监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110487730A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112051361A (zh) * | 2020-08-20 | 2020-12-08 | 北京农业信息技术研究中心 | 一种多功能田间植物生长数据采集车 |
| CN112595367A (zh) * | 2020-12-14 | 2021-04-02 | 武汉谷丰光电科技有限公司 | 一种基于智能机器人的水稻根系性状无损测量装置 |
| CN112857222A (zh) * | 2021-01-18 | 2021-05-28 | 吉林高分遥感应用研究院有限公司 | 一种田间作物测量装置及测量方法 |
| WO2021151287A1 (zh) * | 2020-01-29 | 2021-08-05 | 南京慧瞳作物表型组学研究院有限公司 | 一种用于田间作物表型获取与分析的移动表型舱 |
| CN113721652A (zh) * | 2021-08-03 | 2021-11-30 | 承德石油高等专科学校 | 一种无人机的模块化信息采集和传输方法及设备 |
| CN114061483A (zh) * | 2021-11-08 | 2022-02-18 | 华中农业大学 | 基于人工智能的作物全表型组高通量检测系统和方法 |
| CN114402995A (zh) * | 2022-01-19 | 2022-04-29 | 北京市农林科学院智能装备技术研究中心 | 空地协同的玉米去雄方法、系统及空中无人去雄机 |
| CN114965847A (zh) * | 2022-05-23 | 2022-08-30 | 西南大学 | 一种基于机载激光雷达的花椒氮累积量的无损监测方法 |
| CN115060261A (zh) * | 2022-03-23 | 2022-09-16 | 华中农业大学 | 一种用于表型检测无人车的自主导航方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104730005A (zh) * | 2015-03-27 | 2015-06-24 | 中国农业科学院农业信息研究所 | 地空一体化农业监测系统及方法 |
| US20190011355A1 (en) * | 2015-12-28 | 2019-01-10 | Nanjing Agricultural University | Multi-rotor wing unmanned aerial vehicle platform based crop growth monitoring method and device |
| CN109883323A (zh) * | 2019-01-25 | 2019-06-14 | 北京农业信息技术研究中心 | 一种田间作物表型参数的测量装置及方法 |
| CN110046613A (zh) * | 2019-05-16 | 2019-07-23 | 北京农业信息技术研究中心 | 一种作物冠层原位生长表型监测装置及三维重建方法 |
-
2019
- 2019-08-15 CN CN201910752964.4A patent/CN110487730A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104730005A (zh) * | 2015-03-27 | 2015-06-24 | 中国农业科学院农业信息研究所 | 地空一体化农业监测系统及方法 |
| US20190011355A1 (en) * | 2015-12-28 | 2019-01-10 | Nanjing Agricultural University | Multi-rotor wing unmanned aerial vehicle platform based crop growth monitoring method and device |
| CN109883323A (zh) * | 2019-01-25 | 2019-06-14 | 北京农业信息技术研究中心 | 一种田间作物表型参数的测量装置及方法 |
| CN110046613A (zh) * | 2019-05-16 | 2019-07-23 | 北京农业信息技术研究中心 | 一种作物冠层原位生长表型监测装置及三维重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| 刘建刚等: "无人机遥感解析田间作物表型信息研究进展", 《农业工程学报》 * |
| 朱秀昌等编著: "《数字图像处理与图像通信 第3版》", 30 June 2014, 北京邮电大学出版社 * |
| 谢广明等编著: "《机器人概论》", 30 September 2013, 哈尔滨工程大学出版社 * |
| 郭庆华等: "Crop 3D--基于激光雷达技术的作物高通量三维表型测量平台", 《中国科学：生命科学》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021151287A1 (zh) * | 2020-01-29 | 2021-08-05 | 南京慧瞳作物表型组学研究院有限公司 | 一种用于田间作物表型获取与分析的移动表型舱 |
| CN112051361A (zh) * | 2020-08-20 | 2020-12-08 | 北京农业信息技术研究中心 | 一种多功能田间植物生长数据采集车 |
| CN112595367A (zh) * | 2020-12-14 | 2021-04-02 | 武汉谷丰光电科技有限公司 | 一种基于智能机器人的水稻根系性状无损测量装置 |
| CN112857222A (zh) * | 2021-01-18 | 2021-05-28 | 吉林高分遥感应用研究院有限公司 | 一种田间作物测量装置及测量方法 |
| CN113721652A (zh) * | 2021-08-03 | 2021-11-30 | 承德石油高等专科学校 | 一种无人机的模块化信息采集和传输方法及设备 |
| CN114061483A (zh) * | 2021-11-08 | 2022-02-18 | 华中农业大学 | 基于人工智能的作物全表型组高通量检测系统和方法 |
| CN114061483B (zh) * | 2021-11-08 | 2024-02-09 | 华中农业大学 | 基于人工智能的作物全表型组高通量检测系统和方法 |
| CN114402995A (zh) * | 2022-01-19 | 2022-04-29 | 北京市农林科学院智能装备技术研究中心 | 空地协同的玉米去雄方法、系统及空中无人去雄机 |
| CN115060261A (zh) * | 2022-03-23 | 2022-09-16 | 华中农业大学 | 一种用于表型检测无人车的自主导航方法及装置 |
| CN115060261B (zh) * | 2022-03-23 | 2024-05-14 | 华中农业大学 | 一种用于表型检测无人车的自主导航方法及装置 |
| CN114965847A (zh) * | 2022-05-23 | 2022-08-30 | 西南大学 | 一种基于机载激光雷达的花椒氮累积量的无损监测方法 |
| CN114965847B (zh) * | 2022-05-23 | 2023-05-12 | 西南大学 | 一种基于机载激光雷达的花椒氮累积量的无损监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110487730A (zh) | 作物田间表型高通量监测系统及监测方法 | |
| US11601587B2 (en) | System and method for monitoring plants in plant growing areas | |
| CN110046613B (zh) | 一种作物冠层原位生长表型监测装置及三维重建方法 | |
| EP3697686B1 (en) | Unmanned aerial vehicle for agricultural field assessment | |
| US10372987B2 (en) | Agricultural method and system using a high resolution sensing device for analyzing and servicing crops | |
| JP6996560B2 (ja) | 作物栽培支援装置 | |
| EP4118418A1 (en) | Systems and methods for monitoring plants in plant growing areas | |
| CN109816680A (zh) | 一种农作物株高的高通量计算方法 | |
| CN109946564B (zh) | 一种配网架空线路巡检数据采集方法及巡检系统 | |
| CN109142240A (zh) | 一种基于无人机遥感的大田作物水分胁迫监测方法 | |
| CN106708075A (zh) | 基于固定翼无人机的大范围油菜田spad值遥感系统及采集方法 | |
| CN209803822U (zh) | 一种作物冠层原位生长表型监测装置 | |
| EP3703005A1 (en) | Information processing device, information processing method, program, and information processing system | |
| CN113325872A (zh) | 植物的巡查方法及装置、系统、飞行器 | |
| CN103954314A (zh) | 一种无人机低空遥感模拟装置 | |
| Ahamed et al. | Tower remote-sensing system for monitoring energy crops; image acquisition and geometric corrections | |
| Song et al. | Estimating effective leaf area index of winter wheat using simulated observation on unmanned aerial vehicle-based point cloud data | |
| CN107436340A (zh) | 一种植物根冠一体化监测系统及方法 | |
| WO2023204243A1 (ja) | 森林管理システムおよび森林管理方法 | |
| CN111948734A (zh) | 一种作物冠层表型及微气象参数测量装置及方法 | |
| CN116117807A (zh) | 一种辣椒采摘机器人及控制方法 | |
| CN109883323B (zh) | 一种田间作物表型参数的测量装置及方法 | |
| CN105181632A (zh) | 网络型多维度植物成像ndvi测量装置 | |
| Wei et al. | Fast Multi-View 3D reconstruction of seedlings based on automatic viewpoint planning | |
| CN113822896A (zh) | 一种植物群体三维表型数据采集装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191122 |
|
| RJ01 | Rejection of invention patent application after publication |