CN116389857A - 植物表型采集平台、方法、电子设备及存储介质 - Google Patents
植物表型采集平台、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116389857A CN116389857A CN202310666195.2A CN202310666195A CN116389857A CN 116389857 A CN116389857 A CN 116389857A CN 202310666195 A CN202310666195 A CN 202310666195A CN 116389857 A CN116389857 A CN 116389857A
- Authority
- CN
- China
- Prior art keywords
- shading
- illumination
- information
- light
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005286 illumination Methods 0.000 claims abstract description 163
- 238000001228 spectrum Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000001502 supplementing effect Effects 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 abstract description 17
- 239000013589 supplement Substances 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 101
- 238000010586 diagram Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012634 optical imaging Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001931 thermography Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000021466 carotenoid Nutrition 0.000 description 1
- 150000001747 carotenoids Chemical class 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
本发明提供的植物表型采集平台、方法、电子设备及存储介质,属于图像采集技术领域,包括:处理装置根据光感知装置采集的环境光照信息,确定遮光装置的遮光范围,以控制遮光装置对搭载主体进行遮光;根据光感知装置采集的内部光照信息和采集装置的设备参数,确定补偿光照信息,以控制补光装置对采集装置采集的植物进行补光,补光装置执行光照控制指令,控制采集装置采集植物表型。本发明提供的植物表型采集平台、方法、电子设备及存储介质,通过遮挡太阳直射光,并对植物补光,进而实现为植物表型的采集提供稳定均一且无影的光照环境,避免搭载本体产生的阴影的干扰,以及日光随采集时间的变化而产生的光强和光谱的不同对植物表型采集的影响。
Description
技术领域
本发明涉及图像采集技术领域,尤其涉及一种植物表型采集平台、方法、电子设备及存储介质。
背景技术
随着技术的不断发展,轨道式植物表型平台已经被广泛应用于农业、生态学、植物学等领域中的植物研究。当前的轨道式植物表型平台采用了图像识别、激光扫描和机器学习等技术,以更好地监测植物的生长和环境变化。
移动式表型平台一般搭载可见光传感器、多光谱相机、热成像、激光雷达等表型传感器进行表型数据获取。
然而,轨道式植物表型平台和无人车植物表型平台在户外田间作业时,都可能面临自身产生的阴影干扰。
发明内容
本发明提供的植物表型采集平台、方法、电子设备及存储介质,用以解决现有技术中轨道式植物表型平台和无人车植物表型平台在户外田间作业时自身产生的阴影干扰的缺陷,实现为植物表型的采集提供稳定均一且无影的光照环境,避免搭载本体产生的阴影的干扰,以及日光随采集时间的变化而产生的光强和光谱的不同对植物表型采集的影响。
本发明提供一种植物表型采集平台,包括:设置于搭载主体,所述平台包括:光感知装置、处理装置、遮光装置、补光装置和采集装置;
所述光感知装置、所述遮光装置、所述补光装置和所述采集装置分别与所述处理装置通信连接;所述采集装置设置于所述搭载主体内;
所述光感知装置,用于采集环境光照信息,以及所述遮光装置下所述搭载主体的内部光照信息,并将所述环境光照信息和所述内部光照信息发送至所述处理装置;
所述处理装置,具体用于:
根据所述环境光照信息,确定所述遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;
根据所述内部光照信息和所述采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至所述补光装置;所述内部光照信息包括:内部光强信息和内部光谱信息;
向所述采集装置发送采集指令;
所述遮光装置,用于执行所述遮光控制指令,对所述搭载主体进行遮光;
所述补光装置,用于执行所述光照控制指令,对所述采集装置采集的植物进行补光;
所述采集装置,用于执行所述采集指令,以采集植物表型。
根据本发明提供的一种植物表型采集平台,所述处理装置,包括通信连接的微控制单元和车载电脑;
所述微控制单元,用于根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向,并将所述光照入射方向发送至所述车载电脑;
所述车载电脑,具体用于:
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量,并将所述行程量发送至所述微控制单元;
所述微控制单元,还用于根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令,以将所述遮光控制指令发送至所述遮光装置;
所述微控制单元,还用于:
根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,并将所述补偿光照信息对应的光照控制指令发送至所述补光装置。
根据本发明提供的一种植物表型采集平台,所述光感知装置,包括:第一光感知阵列和第二光感知阵列;
第一光感知阵列,用于采集环境光照信息,并将所述环境光照信息发送至所述微控制单元;
第二光感知阵列,用于采集所述搭载主体的内部光照信息,并将所述内部光照信息发送至所述微控制单元。
根据本发明提供的一种植物表型采集平台,所述遮光装置,包括:至少一个遮光帘和伸缩电机;
所述伸缩电机,用于接收所述遮光控制指令,以控制每个遮光帘的遮光位置。
根据本发明提供的一种植物表型采集平台,所述伸缩电机内置有编码器;
所述编码器用于采集所述伸缩电机的位置信息,并将所述位置信息发送至所述处理装置。
根据本发明提供的一种植物表型采集平台,所述补光装置,包括:控制装置、光强补偿阵列和光谱补偿阵列;
所述控制装置,用于根据所述光照控制指令,对所述光强补偿阵列和光谱补偿阵列进行调节。
本发明还提供一种植物表型采集方法,包括:
根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;
获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息;
根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置;
向采集装置发送采集指令。
根据本发明提供的一种植物表型采集方法,所述根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,包括:
根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向;
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量;
根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述植物表型采集方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述植物表型采集方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述植物表型采集方法。
本发明提供的植物表型采集平台、方法、电子设备及存储介质,通过遮挡太阳直射光,并对植物补光,进而实现为植物表型的采集提供稳定均一且无影的光照环境,避免搭载本体产生的阴影的干扰,以及日光随采集时间的变化而产生的光强和光谱的不同对植物表型采集的影响。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的植物表型采集平台的结构示意图之一;
图2是本发明提供的搭载主体的侧视结构示意图;
图3是本发明提供的植物表型采集平台的结构示意图之二;
图4是本发明提供的载体顶部的传感器阵列分布示意图;
图5是本发明提供的载体侧部的传感器阵列分布示意图;
图6是本发明提供的植物表型采集方法的流程示意图;
图7是本发明提供的电子设备的结构示意图。
附图标记:
100:植物表型采集平台;110:光感知装置;120:处理装置;130:遮光装置;140:补光装置;150:采集装置;200:无人车;210:搭载板;220:支撑柱;230:舵轮;240:支撑结构;241:相机支架;242:升降平台;243:升降摇杆。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
近年来,随着人工智能、物联网等技术的普及,植物表型平台在农业信息化领域成为研究热点,在户外田间表型获取任务中,移动小车式表型平台可以作为主要数据采集载体,能够基于自主驾驶的机器人和机器视觉技术,自动地巡视植物,灵活地收集和分析植物的生长数据,不受固定轨道或环境限制,可以在室内或室外进行,并通过各种传感器来监测植物的生长状况和环境因素的变化。
作物的种植地块非常广阔,需要很长的时间才能采集完成,但是在采集的过程中,光强、光谱和太阳高度角发生了明显的变化。
一方面,太阳入射角和车体本身的框架和支撑结构会产生阴影,阴影随着太阳高度角的变化,阴影的方向和阴影的面积大小一直在变化,阴影会遮挡植物的部分区域,使得这些区域的成像数据无法被准确地获取,从而导致成像分辨率降低;阴影干扰会使得植物的轮廓模糊或部分遮挡,从而影响植物的特征提取和分析,比如叶片面积和叶片形状等特征;由于阴影的出现,平台需要在多个时间点对同一个植物进行成像,这可能会造成时间延迟和数据不一致性。
另一方面,由于光强和光谱均在发生变化,光学传感器检测到的植株的表型特征误差较大,尤其是涉及到多光谱、热成像、近红外这些传感器,需要结合环境光的情况,推导出相应的模拟量的值;然而阳光随时会发生变化,会导致推导出的模拟量的值不准确。
若为了避免光环境变化对植物表型采集的影响,需要在极短的时间内去获取植物标准,限制了作业的时间;把整个区域遮挡起来形成整个的阴影,而阴影是会发生改变的,并没有解决光强和光谱发生变化对推导值产生的影响。
阴影干扰对光谱成像和热成像等设备在表型数据获取中也会产生影响,可能会导致以下问题:
(1)阴影干扰会改变光的入射角度和强度,影响到植物叶片的反射率和吸收率,从而影响光谱成像数据的准确性和精度。比如,在叶片表面产生的阴影可能会影响到叶绿素和类胡萝卜素等植物色素的测量;
(2)阴影干扰会导致植物表面温度的变化,从而影响热成像数据的准确性和精度。比如,在植物表面出现的阴影可能会影响到热辐射的传输和吸收,使得热成像数据出现噪声和偏移。
这种干扰通常由植物表型平台本身的机械结构、传感器位置和植物生长等因素产生。
针对上述问题,本发明提供一种移动式表型平台动态无影控光装置,通过车载环境光传感器感知当前户外/设施内光照方向、强度等信息,自适应电动伸缩遮阳装置,实现表型采集作业光学成像区域无阴影遮挡,避免阴影干扰。
同时,遮光后表型采集作业光学成像区域光照强度较为均一,但存在光照不足的情况,故通过搭载于移动式表型平台的光源进行光学成像区域补光操作,并通过光环境感知传感器调整亮度、角度等进行校正,反馈至多光谱相机等需要辐射标定的传感器提供较为稳定均一的光照环境,并在行车采集作业过程中实时感知动态调整遮阳动作,以解决上述阴影干扰问题带来的种种影响。
下面结合图1-图7描述本发明的实施例所提供的植物表型采集平台、方法、电子设备及存储介质。
图1是本发明提供的植物表型采集平台的结构示意图之一,如图1所示,植物表型采集平台100设置于搭载主体上,包括:光感知装置110、处理装置120、遮光装置130、补光装置140和采集装置150;
所述光感知装置110、所述遮光装置130、所述补光装置140和所述采集装置150分别与所述处理装置120通信连接;所述采集装置150设置于所述搭载主体内;
所述光感知装置110,用于采集环境光照信息,以及所述遮光装置130下所述搭载主体的内部光照信息,并将所述环境光照信息和所述内部光照信息发送至所述处理装置120;
所述处理装置120,具体用于:
根据所述环境光照信息,确定所述遮光装置130的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置130;
根据所述内部光照信息和所述采集装置150的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至所述补光装置140;所述内部光照信息包括:内部光强信息和内部光谱信息;
向所述采集装置150发送采集指令;
所述遮光装置130,用于执行所述遮光控制指令,对所述搭载主体进行遮光;
所述补光装置140,用于执行所述光照控制指令,对所述采集装置150采集的植物进行补光;
所述采集装置150,用于执行所述采集指令,以采集植物表型。
其中,搭载主体可以是无人车、机器人等具有搭载功能的可移动装备,在本发明后续实施例中均以对使用无人车搭载植物表型采集平台100进行植物表型采集为例进行说明,其不视为对本发明保护范围的限定。
采集装置可以是多光谱相机、热成像相机和光学雷达等能够采集植物表型的光学传感器,采集装置的表征采集频率与采集装置的拍摄范围,以及无人车的速度相关。
环境光照信息可以是随着时间变化所监测到的连续的环境光照强度,包括无人车顶部位置和无人车侧部四面的光照强度。
内部光强信息可以是随着时间变化所监测到的连续的无人车内部的光照强度,内部光谱信息可以是随着时间变化所监测到的连续的无人车内部的光谱数据。
图2是本发明提供的搭载主体的侧视结构示意图,如图2所示,无人车200设置有顶部的搭载板210,搭载板的4个角分别设有支撑柱220,每个支撑柱220的底部设置有舵轮230,用于带动无人车行走和转向;搭载板底部设有支撑结构240,可以用于放置采集装置150,支撑结构240可以包括相机支架241,以及控制相机支架241升降的升降平台242和升降摇杆243,以供相机采集位于无人车下方植物的植物表型。
搭载板210与支撑柱220形成的4个面分别设置有遮光装置130,用于对处于无人车200底部的植物的太阳直射光进行遮挡,进而能够避免由无人车和植物表型采集平台100对当前表型采集区域内的植物形成的阴影,同时能够留下环境散射光,节省了电能。
处理装置120能够读取采集装置150的设备参数。处理装置120中可以存储有搭载了植物表型采集平台100的无人车的三维模型,通过将光照最强部位指向光照最弱部位作为当前时刻的太阳光直射方向,进而模拟太阳高度角对三维模型的阴影的影响,并计算出刚好能遮挡住位于无人车下方植物的太阳直射光的遮光帘的位置。处理装置能够结合车体结构模型计算阴影形成范围及遮光装置所需遮光动作。
处理装置在接收到采集装置反馈的植物表型时,将该时刻采集装置采集的内部光照信息与植物表型组合存储,以供对植物表型的精确处理。
根据本发明提供的植物表型采集平台,能够实现低成本光照度传感器感知外部入射光强及方向信息,具备实用性广的优点,可用于全方向、全地形、设施内及户外。
图3是本发明提供的植物表型采集平台的结构示意图之二,如图3所示,包括:
光传感器阵列,用于采集环境光照强度,并将光照强度发送至微控制单元(Microcontroller Unit,MCU),即主控MCU,光传感器阵列包括:位于无人车顶部的顶部光传感器阵列,以及位于无人车四周的侧部光传感器阵列;
通信连接的主控MCU和行车电脑,用于接收并处理信息和发送指令;
卤素灯阵列,用于接收并执行主控MCU发送的指令,补偿无人车底部的光强;
LED灯阵列;用于接收并执行主控MCU发送的指令,补偿无人车底部的光谱;
遮光装置,用于接收并执行主控MCU发送的指令,对处于无人车底部的植物的太阳直射光进行遮挡,包括:伸缩电机、位置编码器和遮光帘;
光学成像区域光照传感器阵列,用于采集无人车底部的光强信息并发送至主控MCU;
光学成像区域光谱传感器阵列,用于采集无人车底部的光谱信息并发送至主控MCU。
植物表型采集平台在作业行进过程中,会造成光分布变化,同时,时间的推移也会造成太阳高度角变化和光照强度变化,故植物表型采集平台将实时感知外部变化,循环执行上述感知-遮光-补偿操作,实现动态平稳调整遮光并补偿,形成稳定均一的无影控光表型作业环境。
本发明提供的植物表型采集平台,通过遮挡太阳直射光,并对植物补光,进而实现为植物表型的采集提供稳定均一且无影的光照环境,避免搭载本体产生的阴影的干扰,以及日光随采集时间的变化而产生的光强和光谱的不同对植物表型采集的影响。
可选地,所述处理装置,包括通信连接的主控MCU和车载电脑;
所述主控MCU,用于根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向,并将所述光照入射方向发送至所述车载电脑;
所述车载电脑,具体用于:
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量,并将所述行程量发送至所述主控MCU;
所述主控MCU,还用于根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令,以将所述遮光控制指令发送至所述遮光装置;
所述主控MCU,还用于:
根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,并将所述补偿光照信息对应的光照控制指令发送至所述补光装置。
外形信息包括搭载主体的外观形状、尺寸等,车载电脑能够根据外观信息和太阳高度角,计算出每个遮光帘需要达到的遮光位置,并根据遮光位置和车载电脑内部存储的遮光帘的当前位置生成伸缩电机的行程量,并将行程量发送至主控MCU。
主控MCU生成行程量对应的遮光控制指令,并将遮光指令发送至伸缩电机,以控制伸缩电机控制每个遮光帘伸展或收缩到遮光位置。
主控MCU接收编码器反馈的遮光帘伸展或收缩的位置,能够通过精密磁场定向控制/矢量变频闭环控制(Field-Oriented Control,FOC)控制伸缩电机,实现对遮光帘的遮光位置的精准控制,达到动态响应及位置反馈。
主控MCU还根据内部光强信息、内部光谱信息,以及采集装置的设备参数,确定无人车内部的光照强度和光谱是否处于采集装置的正常工作的光强范围和光谱范围,若否,则根据无人车内部的光照强度和光谱与光强范围和光谱范围的差值,生成补偿光照信息,补偿光照信息包括:补偿光强信息和/或补偿光谱信息;根据补偿光照信息和补光装置中每个补光灯的补光数据和位置分布,生成光照控制指令并发送至补光装置。
利用采集装置的光强范围和光谱范围调节无人车内部的光强和光谱,能够避免由于补光装置的频繁调节导致的设备损耗,还可以有效降低主控MCU的计算量,节省计算资源。
根据本发明提供的植物表型采集平台,通过采集遮光后的无人车内的光照数据,形成反馈机制,弥补了常规补光带来的辐射校正入射光上行光数据缺失的缺点。
可选地,所述光感知装置,包括:第一光感知阵列和第二光感知阵列;
第一光感知阵列,用于采集环境光照信息,并将所述环境光照信息发送至所述主控MCU;
第二光感知阵列,用于采集所述搭载主体的内部光照信息,并将所述内部光照信息发送至所述主控MCU。
图4是本发明提供的载体顶部的传感器阵列分布示意图,图5是本发明提供的载体侧部的传感器阵列分布示意图,如图4和图5所示,第一光感知阵列可以包括均匀分布在无人车外的顶部的多个光强传感器,以及分布在无人车四周的倒三角形式的多个光强传感器,用于采集当前时刻的光强信息并发送至处理装置。所有光强传感器通过车体电池降压稳压供电,且所有光强传感器通过通讯总线与主控MCU建立数据通讯关系,通讯地址与每个光强传感器一一对应。
处理装置在接收到各光强信息后,根据无人车各个部位的光强信息,计算出此时的太阳高度角,并根据太阳高度角和无人车的外形信息,确定需要遮光的遮光范围,以确保将无人车和植物表型采集平台与太阳直射光完全隔绝。
第二光感知阵列可以包括装设于无人车内部的光强传感器和光谱传感器,用于采集遮光后植物表型采集环境的光照强度和光谱信息,并将光照强度和光谱信息发送至主控MCU;主控MCU还将光照强度和光谱信息以及时间信息发送至车载电脑中存储。车载电脑中具备控光区域光谱信息的反馈记录,可以提供辐射校正基础。
可选地,所述遮光装置,包括:至少一个遮光帘和伸缩电机;
所述伸缩电机,用于接收所述遮光控制指令,以控制每个遮光帘的遮光位置。
遮光帘具有升降功能,可以是卷帘;每个遮光帘配置有一个伸缩电机,用于控制遮光帘的升降。
其中,遮光控制指令包括对每个伸缩电机的启动指令和停止指令,以控制遮光帘升降到指定位置。
可选地,所述伸缩电机内置有编码器;
所述编码器用于采集所述伸缩电机的位置信息,并将所述位置信息发送至所述处理装置。
位置信息可以是角位移。
编码器可以行程编码器,用于测量伸缩电机的角位移,并将测量到的角位移作为位置信息反馈至处理装置,以供处理装置根据角位移确定遮光帘的位置,并在遮光帘达到遮光范围的情况下,向伸缩电机发送停止指令,以控制电机停止。
根据本发明提供的植物表型采集平台,通过对无人车内部的遮光,可无视长时间作业过程中太阳高度角变化、光强变化以及车体运动姿态的变化,在无人车的移动过程中具备实时动态调整能力,并通过编码器闭环逻辑准确控制遮阳装置。
可选地,所述补光装置,包括:控制装置、光强补偿阵列和光谱补偿阵列;
所述控制装置,用于根据所述光照控制指令,对所述光强补偿阵列和光谱补偿阵列进行调节。
其中,光强补偿阵列可以是如卤素灯的全光谱光源;光谱补偿阵列可以是如发光二极管(Light-Emitting Diode,LED)的部分光谱光源,能够对部分缺失的光谱进行补偿。
本发明提供的植物表型采集平台,借助光强补偿阵列和光谱补偿阵列提供的光源,能够在无人车内部实现接近于环境光属性的光谱和光强补偿,使得无人车内部的光照在遮光环境下实现全光谱强度。
下面对本发明提供的植物表型采集方法进行描述,下文描述的植物表型采集方法与上文描述的植物表型采集平台可相互对应参照。
图6是本发明提供的植物表型采集方法的流程示意图,如图6所示,包括但不限于以下步骤:
首先,在步骤S1中,根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置。
本发明实施例提供的植物表型采集方法,执行主体可以为电子设备或者电子设备中能够实现该植物表型采集方法的软件或功能模块或功能实体,本发明实施例中电子设备包括但不限于上述任一实施例所述的植物表型采集平台的处理装置。需要说明的是,上述执行主体并不构成对本发明的限制。
环境光照信息可以是随着时间变化所监测到的连续的环境光照强度,包括无人车顶部位置和无人车侧部四面的光照强度。
环境光照信息可以由设置于无人车顶部位置和无人车侧部四面的光强传感器阵列采集的。
处理装置根据环境光照信息,可以计算出太阳高度角和太阳光的入射方向,进而确定遮住太阳光直射的遮光范围,进而生成遮光控制指令并发送至遮光装置。
可选地,所述根据环境光照信息,确定所述遮光装置的遮光范围,以生成遮光控制指令,包括:
根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向;
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量;
根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令。
外形信息包括搭载主体的外观形状、尺寸等,处理装置能够根据外观信息和太阳高度角,计算出每个遮光帘需要达到的遮光位置,并根据遮光位置和处理装置内部存储的遮光帘的当前位置生成伸缩电机的行程量,生成行程量对应的遮光控制指令,并将遮光指令发送至伸缩电机,以控制伸缩电机控制每个遮光帘伸展或收缩到遮光位置。
根据本发明提供的植物表型采集方法,通过采集遮光后的无人车内的光照数据,形成反馈机制,弥补了常规补光带来的辐射校正入射光上行光数据缺失的缺点。
进一步地,在步骤S2中,获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息。
内部光强信息可以是随着时间变化所监测到的连续的无人车内部的光照强度,内部光谱信息可以是随着时间变化所监测到的连续的无人车内部的光谱数据。
内部光强信息可以是由设置于无人车内部的光强传感器阵列采集的;内部光谱信息可以是由设置于无人车内部的光强传感器阵列采集的。
进一步地,在步骤S3中,根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置。
处理装置还根据内部光强信息、内部光谱信息,以及采集装置的设备参数,确定无人车内部的光照强度和光谱是否处于采集装置的正常工作的光强范围和光谱范围,若否,则根据无人车内部的光照强度和光谱与光强范围和光谱范围的差值,生成补偿光照信息,补偿光照信息包括:补偿光强信息和/或补偿光谱信息;根据补偿光照信息和补光装置中每个补光灯的补光数据和位置分布,生成光照控制指令并发送至补光装置。
进一步地,在步骤S4中,向采集装置发送采集指令。
在将无人车内部的光环境调整至适合采集装置工作的光强和光谱区间后,控制采集装置对位于无人车内部植物进行表型采集。
本发明提供的植物表型采集方法,通过遮挡太阳直射光,并对植物补光,进而实现为植物表型的采集提供稳定均一且无影的光照环境,避免搭载本体产生的阴影的干扰,以及日光随采集时间的变化而产生的光强和光谱的不同对植物表型采集的影响。
图7是本发明提供的电子设备的结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行植物表型采集方法,该方法包括:根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息;根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置;向采集装置发送采集指令。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的植物表型采集方法,该方法包括:根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息;根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置;向采集装置发送采集指令。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的植物表型采集方法,该方法包括:根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息;根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置;向采集装置发送采集指令。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种植物表型采集平台,其特征在于,设置于搭载主体,所述平台包括:光感知装置、处理装置、遮光装置、补光装置和采集装置;
所述光感知装置、所述遮光装置、所述补光装置和所述采集装置分别与所述处理装置通信连接;所述采集装置设置于所述搭载主体内;
所述光感知装置,用于采集环境光照信息,以及所述遮光装置下所述搭载主体的内部光照信息,并将所述环境光照信息和所述内部光照信息发送至所述处理装置;
所述处理装置,具体用于:
根据所述环境光照信息,确定所述遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;
根据所述内部光照信息和所述采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至所述补光装置;所述内部光照信息包括:内部光强信息和内部光谱信息;
向所述采集装置发送采集指令;
所述遮光装置,用于执行所述遮光控制指令,对所述搭载主体进行遮光;
所述补光装置,用于执行所述光照控制指令,对所述采集装置采集的植物进行补光;
所述采集装置,用于执行所述采集指令,以采集植物表型。
2.根据权利要求1所述的植物表型采集平台,其特征在于,所述处理装置,包括通信连接的微控制单元和车载电脑;
所述微控制单元,用于根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向,并将所述光照入射方向发送至所述车载电脑;
所述车载电脑,具体用于:
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量,并将所述行程量发送至所述微控制单元;
所述微控制单元,还用于根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令,以将所述遮光控制指令发送至所述遮光装置;
所述微控制单元,还用于:
根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,并将所述补偿光照信息对应的光照控制指令发送至所述补光装置。
3.根据权利要求2所述的植物表型采集平台,其特征在于,所述光感知装置,包括:第一光感知阵列和第二光感知阵列;
第一光感知阵列,用于采集环境光照信息,并将所述环境光照信息发送至所述微控制单元;
第二光感知阵列,用于采集所述搭载主体的内部光照信息,并将所述内部光照信息发送至所述微控制单元。
4.根据权利要求1所述的植物表型采集平台,其特征在于,所述遮光装置,包括:至少一个遮光帘和伸缩电机;
所述伸缩电机,用于接收所述遮光控制指令,以控制每个遮光帘的遮光位置。
5.根据权利要求4所述的植物表型采集平台,其特征在于,所述伸缩电机内置有编码器;
所述编码器用于采集所述伸缩电机的位置信息,并将所述位置信息发送至所述处理装置。
6.根据权利要求1-5中任一项所述的植物表型采集平台,其特征在于,所述补光装置,包括:控制装置、光强补偿阵列和光谱补偿阵列;
所述控制装置,用于根据所述光照控制指令,对所述光强补偿阵列和光谱补偿阵列进行调节。
7.一种植物表型采集方法,应用于如上述权利要求1-6所述的植物表型采集平台,其特征在于,包括:
根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,并将所述遮光控制指令发送至所述遮光装置;
获取搭载主体的内部光照信息;所述内部光照信息包括:内部光强信息和内部光谱信息;
根据所述内部光照信息和采集装置的设备参数,确定补偿光照信息,以生成光照控制指令,并将所述光照控制指令发送至补光装置;
向采集装置发送采集指令。
8.根据权利要求7所述的植物表型采集方法,其特征在于,所述根据环境光照信息,确定遮光装置的遮光范围,以生成遮光控制指令,包括:
根据所述环境光照信息,确定外部环境的光照分布信息,以确定所述外部环境的光照入射方向;
根据所述光照入射方向和所述搭载主体的外形信息,生成遮光范围;
根据所述遮光范围,生成所述遮光装置的行程量;
根据所述行程量和所述遮光装置的状态信息,生成遮光控制指令。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求7或8所述植物表型采集方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求7或8所述植物表型采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310666195.2A CN116389857B (zh) | 2023-06-07 | 2023-06-07 | 植物表型采集平台、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310666195.2A CN116389857B (zh) | 2023-06-07 | 2023-06-07 | 植物表型采集平台、方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116389857A true CN116389857A (zh) | 2023-07-04 |
CN116389857B CN116389857B (zh) | 2023-09-12 |
Family
ID=86979180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310666195.2A Active CN116389857B (zh) | 2023-06-07 | 2023-06-07 | 植物表型采集平台、方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116389857B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1557794A1 (en) * | 2002-10-30 | 2005-07-27 | Digital Fashion Ltd. | Image processing device, image processing program, recording medium recording the program, image processing method, and shading information acquisition device |
CN104360705A (zh) * | 2014-11-21 | 2015-02-18 | 福建农林大学 | 一种温度自适应的温室光照智能控制系统和控制方法 |
CN106950965A (zh) * | 2017-04-26 | 2017-07-14 | 华中农业大学 | 一种大田作物信息采集机器人 |
CN107624449A (zh) * | 2017-08-17 | 2018-01-26 | 北京农业信息技术研究中心 | 一种植物群体微环境控制装置及方法 |
CN110375158A (zh) * | 2019-07-18 | 2019-10-25 | 南京林业大学 | 一种植物表型信息采集云台、采集装置及采集方法 |
CN110740271A (zh) * | 2019-10-22 | 2020-01-31 | 广州极飞科技有限公司 | 光强的调整方法及装置 |
CN111561870A (zh) * | 2020-05-29 | 2020-08-21 | 神华准格尔能源有限责任公司 | 获取室外植物表型数据的方法和系统 |
CN112595367A (zh) * | 2020-12-14 | 2021-04-02 | 武汉谷丰光电科技有限公司 | 一种基于智能机器人的水稻根系性状无损测量装置 |
CN114128512A (zh) * | 2021-09-24 | 2022-03-04 | 中国农业科学院都市农业研究所 | 一种基于智能切换的动植物照明装置及方法 |
US20220256776A1 (en) * | 2021-02-17 | 2022-08-18 | Sollum Technologies Inc. | Method and system for simulating and implementing horticultural lighting scenarios |
CN115829854A (zh) * | 2022-09-29 | 2023-03-21 | 北京市农林科学院信息技术研究中心 | 植物表型光谱补偿装置、方法、电子设备及存储介质 |
CN115993334A (zh) * | 2023-01-09 | 2023-04-21 | 庞树鑫 | 一种用于草地样方覆盖度数据采集的一体化系统 |
CN116071534A (zh) * | 2023-03-08 | 2023-05-05 | 未岚大陆(北京)科技有限公司 | 视觉模组及割草机器人 |
-
2023
- 2023-06-07 CN CN202310666195.2A patent/CN116389857B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1557794A1 (en) * | 2002-10-30 | 2005-07-27 | Digital Fashion Ltd. | Image processing device, image processing program, recording medium recording the program, image processing method, and shading information acquisition device |
CN104360705A (zh) * | 2014-11-21 | 2015-02-18 | 福建农林大学 | 一种温度自适应的温室光照智能控制系统和控制方法 |
CN106950965A (zh) * | 2017-04-26 | 2017-07-14 | 华中农业大学 | 一种大田作物信息采集机器人 |
CN107624449A (zh) * | 2017-08-17 | 2018-01-26 | 北京农业信息技术研究中心 | 一种植物群体微环境控制装置及方法 |
CN110375158A (zh) * | 2019-07-18 | 2019-10-25 | 南京林业大学 | 一种植物表型信息采集云台、采集装置及采集方法 |
CN110740271A (zh) * | 2019-10-22 | 2020-01-31 | 广州极飞科技有限公司 | 光强的调整方法及装置 |
CN111561870A (zh) * | 2020-05-29 | 2020-08-21 | 神华准格尔能源有限责任公司 | 获取室外植物表型数据的方法和系统 |
CN112595367A (zh) * | 2020-12-14 | 2021-04-02 | 武汉谷丰光电科技有限公司 | 一种基于智能机器人的水稻根系性状无损测量装置 |
US20220256776A1 (en) * | 2021-02-17 | 2022-08-18 | Sollum Technologies Inc. | Method and system for simulating and implementing horticultural lighting scenarios |
CN114128512A (zh) * | 2021-09-24 | 2022-03-04 | 中国农业科学院都市农业研究所 | 一种基于智能切换的动植物照明装置及方法 |
CN115829854A (zh) * | 2022-09-29 | 2023-03-21 | 北京市农林科学院信息技术研究中心 | 植物表型光谱补偿装置、方法、电子设备及存储介质 |
CN115993334A (zh) * | 2023-01-09 | 2023-04-21 | 庞树鑫 | 一种用于草地样方覆盖度数据采集的一体化系统 |
CN116071534A (zh) * | 2023-03-08 | 2023-05-05 | 未岚大陆(北京)科技有限公司 | 视觉模组及割草机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN116389857B (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11387774B2 (en) | Method for predictive control of the orientation of a solar tracker | |
US20210223347A1 (en) | Method for controlling the orientation of a solar tracker based on cartographic models | |
US11397235B2 (en) | Method for controlling the orientation of a solar module with two photoactive faces | |
CN107807125B (zh) | 基于无人机载多光谱传感器的植物信息计算系统及方法 | |
CN108603790A (zh) | 基于无人机系统的热成像系统和方法 | |
CN206832361U (zh) | 一种无人机快拍式高光谱遥感系统 | |
CN108413987B (zh) | 一种定日镜的校准方法、装置及系统 | |
CN107860366B (zh) | 一种移动式温室作物信息测量与诊断系统 | |
CN109974854B (zh) | 一种框幅式fpi高光谱图像的辐射校正方法 | |
CN106370297A (zh) | 一种高精度自动化太阳光度计 | |
CN102354227A (zh) | 太阳能发电站的定日镜校准系统及校准方法 | |
CN103699095A (zh) | 基于双目立体视觉的大棚作物生长态势监测系统及方法 | |
JP2017012007A (ja) | 太陽光発電システム | |
US20230206353A1 (en) | Upward facing light sensor for plant detection | |
CN106708075A (zh) | 基于固定翼无人机的大范围油菜田spad值遥感系统及采集方法 | |
CN116389857B (zh) | 植物表型采集平台、方法、电子设备及存储介质 | |
CN115829854A (zh) | 植物表型光谱补偿装置、方法、电子设备及存储介质 | |
CN116117807A (zh) | 一种辣椒采摘机器人及控制方法 | |
CN203163998U (zh) | 水平移动式4d汽车四轮定位测量系统 | |
CN105181632A (zh) | 网络型多维度植物成像ndvi测量装置 | |
CN206684326U (zh) | 一种全天候的可见光气象观测成像装置 | |
CN114894312A (zh) | 基于四通道全天空偏振成像的云像探测系统及其探测方法 | |
CN102200475A (zh) | 一种高精度的(极)多元成像系统相对辐射定标方法 | |
CN220180924U (zh) | 一种跨垄式检测用小车 | |
CN106840269A (zh) | 一种植物表型多源数据采集系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |