CN115598071A - 植物生长分布状态检测方法及装置 - Google Patents

植物生长分布状态检测方法及装置 Download PDF

Info

Publication number
CN115598071A
CN115598071A CN202211236715.8A CN202211236715A CN115598071A CN 115598071 A CN115598071 A CN 115598071A CN 202211236715 A CN202211236715 A CN 202211236715A CN 115598071 A CN115598071 A CN 115598071A
Authority
CN
China
Prior art keywords
image
crop
point cloud
cloud data
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211236715.8A
Other languages
English (en)
Inventor
孙红
唐伟杰
刘国辉
王楠
赵若梅
乔浪
李民赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202211236715.8A priority Critical patent/CN115598071A/zh
Publication of CN115598071A publication Critical patent/CN115598071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种植物生长分布状态检测方法及装置，方法包括：接收多光谱植物图像、环境光照强度、点云数据和天空图像；利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。本发明利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，以避免由于叶面的倾斜、弯曲、扭转对多光谱植物图像造成干扰，并根据校正后的光谱结合模型对作物营养组织分布进行检测，提高了植物生长分布状态的检测精度。

Description

植物生长分布状态检测方法及装置
技术领域
本发明涉及计算机视觉处理技术领域，尤其涉及一种植物生长分布状态检测方法及装置。
背景技术
随着智慧农业的发展，为农业生产提供了可视化管理和智能化决策，而可视化管理和智能决策需要快速精准地掌握农作物的生长状态。由于叶绿素作物进行光合作用的重要色素，在光合作用的光吸收过程中起核心作用，而作物叶片叶绿素含量的高低是判断作物光合速率、生长和营养状况的重要参数，因此获取作物的空间三维模型，以得到作物生长关键节点的表型信息，从而将其结合作物叶绿素含量分布对评价作物养分分布、营养运输和生长状态至关重要。
目前，大多采用两种方式获取作物营养分布，一种是利用PhenoSpex的FieldScan系统，通过高通量多光谱三维激光获取作物的高光谱数据、三维点云数据，并对作物高度、3D叶面积、投影叶面积、数字生物量、叶片角度、叶面积指数、等表型参数叶绿素含量和绿度灯营养指标进行分别计算；另一种是利用MicaSense-RedEdge成像多光谱设备，通过多个摄像头搭配不同带通的滤光片能够采集475nm、560nm、668nm、840nm和717nm波段的多光谱图像信息，以利用平面图像检测植物表型营养组织分布。
然而，上述第一种方式中计算的各个参数都是独立存在的，没有建立数据间的联系，容易对营养成分检测造成误差，同时整个系统需要庞大昂贵且专业的大型场地设施支持，不能很好地应用于实际农业生产当中；另一种方式的系统无法获取作物的三维空间模型，无法生成作物、太阳、测量装置三者的空间位姿信息，容易造成叶绿素含量分布差异大。
发明内容
本发明提供一种植物生长分布状态检测方法及装置，用以解决现有技术中作物营养分布检测误差较大的缺陷，通过获取作物的表型信息与营养的空间分布信息，实现及时准确地检测植物表型营养组织分布。
本发明提供一种植物生长分布状态检测方法，包括：接收多光谱植物图像、环境光照强度、点云数据和天空图像；利用所述环境光照强度、所述点云数据和所述天空图像，对所述多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；根据校正图像像元亮度值和校正反射率，并结合所述点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
根据本发明提供的一种植物生长分布状态检测方法，所述利用所述环境光照强度、所述点云数据和所述天空图像，对所述多光谱植物图像进行校正，包括：将所述点云数据与所述植物光谱图像进行匹配，并利用预先获取的第一分割掩膜对所述点云数据进行分割，得到用于表征作物部分的作物点云数据；以构成所述多光谱植物图像中作物的点为中心，结合预设区域范围，将所述多光谱植物图像中的作物部分划分为多个区域；根据所述环境光照强度、所述作物点云数据和所述天空图像，分别对各个区域中的作物部分进行较正，得到校正DN值和校正反射率。
根据本发明提供的一种植物生长分布状态检测方法，根据所述环境光照强度、所述作物点云数据和所述天空图像，分别对各个区域中的作物部分进行较正，得到校正图像像元亮度值和校正反射率，包括：针对任一区域，根据中心点和所述作物点云数据，得到所述区域内中心点的平均法向量；根据所述天空图像，得到对应所述区域的太阳照射角度和太阳方位角度；根据所述平均法向量、所述太阳照射角度和所述太阳方位角度，得到对应所述中心点的镜面反射光向量；根据所述镜面反射光向量、所述环境光照强度和所述作物点云数据，得到对应所述中心点的校正图像像元亮度值；根据对应所述中心点的校正图像像元亮度值和所述环境光照强度，对对应区域内的预设中心点进行校正，得到对应中心点的校正反射率。
根据本发明提供的一种植物生长分布状态检测方法，所述多光谱植物图像包括多个不同通道的植物光谱图像，且所述植物光谱图像对应的光谱通道像素按预设排列方式排列，在将所述多光谱植物图像中的作物部分划分为多个区域之前，还包括：根据预先指定通道，将对应植物光谱图像组合生成彩色图像；根据作物颜色特征将所述彩色图像进行图像分割，生成第二分割掩膜；根据所述第二分割掩膜，对所述预先指定通道对应的植物光谱图像进行图像分割，得到所述多光谱植物图像中的作物部分。
根据本发明提供的一种植物生长分布状态检测方法，得到用于表征作物部分的作物点云数据，包括：将所述点云数据沿用于获取所述点云数据的激光雷达光轴方向进行投影，得到点云反射率数据；对所述点云反射率数据进行归一化处理，得到数值分布于预设数值区间的点云反射率分布图；根据所述多光谱植物图像和所述环境光照强度，得到反射率分布图；将所述点云反射率分布图与所述反射率分布图进行图像匹配，并利用预先获取的第一分割掩膜对所述点云数据进行分割，并提取所述点云数据中的作物部分，得到作物点云数据。
根据本发明提供的一种植物生长分布状态检测方法，在将所述多光谱植物图像中的作物部分划分为多个区域之后，获取用于表征作物生长分布状态的植物表型数据，所述植物表型数据包括叶面平均叶倾角参数、作物叶面积指数和作物株高参数中的至少一项，则获取所述植物表型数据，包括：遍历所述多光谱图像中的作物叶面，并于预设选取规则，选择叶面边缘区域，得到作物叶片与茎秆相连部分的平均叶片法向量和相邻茎秆面的平均法向量；根据所述作物叶片与茎秆相连部分的平均叶片法向量和所述相邻茎秆面的平均法向量，得到叶面平均叶倾角参数；和/或，根据所述中心点，将对应区域划分为多个三角形区域，并获取冠层叶片对应所述作物点云数据的各所述三角形区域的面积；根据所述冠层叶片对应所述作物点云数据的各所述三角形区域的面积和预先获取的冠层最小外接矩形面积，得到作物叶面积指数；和/或，根据所述作物点云数据，得到作物株高参数。
根据本发明提供的一种植物生长分布状态检测方法，在接收多光谱植物图像、环境光照强度、点云数据和天空图像之前，包括：利用惯性测量模块，获取俯仰角、滚动角、偏航角和加速度；根据所述俯仰角、所述滚动角、所述偏航角和所述加速度，得到当前测量位姿；根据待获取的多光谱植物图像、环境光照强度、点云数据和天空图像，调整所述当前测量位姿。
本发明还提供一种植物生长分布状态检测装置，包括：包括用于获取多光谱植物图像的成像光谱传感器模块、用于获取环境光照强度的上行环境光谱传感器模块、用于获取点云数据的激光雷达模块、用于获取天空图像的鱼眼相机模块和中央处理模块，还包括存储与所述中央处理模块上运行的程序或指令，所述程序或指令被所述中央处理模块执行如上任一项所述植物生长分布状态检测方法的步骤。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述植物生长分布状态检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述植物生长分布状态检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述植物生长分布状态检测方法的步骤。
本发明提供的植物生长分布状态检测方法，利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，以避免由于叶面的倾斜、弯曲、扭转对多光谱植物图像造成干扰，并根据校正后的光谱结合模型对作物营养组织分布进行检测，提高了植物生长分布状态的检测精度，以快速准确的获取作物的表型数据和作物空间营养分布状况，进而便于后续综合分析作物的生长状况，针对不同的作物生长状况针对性的施肥浇水，减少了化肥的浪费和环境的污染。
本发明提供的植物生长分布状态检测装置，通过集成激光雷达、鱼眼相机、成像光谱传感器模块和上行环境光谱传感器模块，以将对应获取的数据进行融合，对自然生长条件下作物冠层的复杂结构产生复杂的杂乱散射以及叶面的倾斜、弯曲、扭转对反射光谱造成的干扰进行了校正，提高了作物营养分布的检测精度，通过激光雷达和IMU模块快速便捷的对田间作物三维立体结构进行重建，获取作物的表型信息；另外，结构小巧，设备轻量化，方便应用于实际农田环境条件下。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的植物生长分布状态检测方法的流程示意图；
图2是本发明提供的成像多光谱传感器光谱通道排列示意图；
图3是本发明提供的采集数据示意图；
图4是本发明提供的平均法向量示意图；
图5是本发明提供的太阳照射角度示意图；
图6是本发明提供的镜面反射光向量示意图；
图7是本发明提供的植物生长分布状态检测装置的结构示意图之一；
图8是本发明提供的植物生长分布状态检测装置的结构示意图之二；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一种植物生长分布状态检测方法的流程示意图，该方法包括：
S11，接收多光谱植物图像、环境光照强度、点云数据和天空图像；
S12，利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；
S13，根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
需要说明的是，本说明书中的S1N不代表植物生长分布状态检测方法的先后顺序，下面具体结合图2-图6描述本发明的植物生长分布状态检测方法。
步骤S11，接收多光谱植物图像、环境光照强度、点云数据和天空图像。
需要说明的是，本实施例的执行主体为中央处理模块，因此，在接收多光谱植物图像、环境光照强度、点云数据和天空图像之前，包括：利用成像光谱传感器模块获取多光谱植物图像，并将获取的多光谱植物图像发送至中央处理模块；利用上行环境光谱传感器模块获取环境光照强度，并将获取的环境光照强度发送至中央处理模块；利用获激光雷达模块取点云数据，并将获取的点云数据发送至中央处理模块；利用鱼眼相机模块获取天空图像，并将获取的天空图像发送至中央处理模块。
应当注意，多光谱植物图像包括多个预设通道的植物光谱图像，且植物光谱对应的光谱通道像素按预设排列顺序排列，预设通道可根据叶绿素敏感波段以及与激光雷达匹配要求进行设置，预设排列方式可根据预设波段和实际设计需求或先验经验设置。环境光照强度包括多个波段的环境光谱图像，环境光照强度的波段与预设通道一一对应。
在一种可能的实现方式中，预设波段包括450nm、550nm、650nm、680nm、730nm、760nm、810nm、860nm和905nm波段，对应的光谱通道像素按照3×3规律排布在成像传感器模块的CMOS上，参考图2，每个波段植物光谱图像的分辨率为680*680，帧率为90fps。
在一个可选实施例中，在接收多光谱植物图像、环境光照强度、点云数据和天空图像之前，包括：利用惯性测量(IMU)模块，获取俯仰角、滚动角、偏航角和加速度；根据所述俯仰角、所述滚动角、所述偏航角和所述加速度，得到当前测量位姿；根据待获取的多光谱植物图像、环境光照强度、点云数据和天空图像，调整所述当前测量位姿。需要说明的是，IMU模块可以内置于激光雷达中。另外，当IMU模块采用陀螺仪时，在测量之前，还需要对其进行校准，校准方式可参照现有校准方式，比如拿起设备在空间按“8”字绕行三遍，此处不作进一步地限定。
步骤S12，利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率。
在本实施例中，利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，包括：将点云数据与植物光谱图像进行匹配，并利用预先获取的第一分割掩膜对点云数据进行分割，得到用于表征作物部分的作物点云数据；以构成多光谱植物图像中作物的点为中心，结合预设区域范围，将多光谱植物图像中的作物部分划分为多个区域；根据环境光照强度、作物点云数据和天空图像，分别对各个区域中的作物部分进行较正，得到校正DN值和校正反射率。
更进一步地说，得到用于表征作物部分的作物点云数据，包括：将点云数据沿用于获取点云数据的激光雷达光轴方向进行投影，得到点云反射率数据；对点云反射率数据进行归一化处理，得到数值分布于预设数值区间的点云反射率分布图；根据多光谱植物图像和环境光照强度，得到反射率分布图；将点云反射率分布图与反射率分布图进行图像匹配，并利用预先获取的第一分割掩膜对点云数据进行分割，并提取点云数据中的作物部分，得到作物点云数据。
需要说明的是，根据多光谱植物图像和环境光照强度，得到反射率分布图，包括：以构成多光谱植物图像中作物的点为中心，结合预设区域范围，将多光谱植物图像中的作物部分划分为多个区域；分别针对每个区域，根据多光谱植物图像和环境光照强度，得到反射率；根据各个区域对应的反射率，得到反射率分布图。
反射率表示为：
Figure BDA0003883294810000091
其中，RBand(x，y)表示波段band植物光谱图像中点(x，y)的反射率，DNBand(x，y)表示对应波段环境光谱图像中点(x，y)的图像像元亮度(DN)值，Mask(x，y)表示点(x，y)的掩膜值，DNsBand表示对应波段上行环境光谱传感器数据，上行环境光谱传感器数据具体包括对应上行环境光谱传感器各个波段的数值，且上行环境光谱传感器的波段与成像光谱传感器的波段一一对应。应当注意，掩膜值可根据下文第二分割掩膜确定，此处不作重复阐述。
另外，第一分割掩膜可参照下文第二分割掩膜获取，此处不作重复阐述。
参考图3，由于叶片的弯曲和褶皱分布于叶片的不同区域，以及自然生长条件下作物冠层的复杂结构，容易造成杂乱散射，因此需要将多光谱植物图像中的作物部分划分为多个区域，以分别对各个区域进行反射光谱图像的校正，减小了干扰，提高了作物营养诊断的准确度。
在一个可选实施例中，在将多光谱植物图像中的作物部分划分为多个区域之后，包括：获取表征作物生长分布状态的作物表型数据。具体地，作物表型数据包括叶面平均叶倾角参数、作物叶面积指数和作物株高参数中的至少一种，则对应获取作物表型数据，包括：遍历多光谱图像中的作物叶面，并于预设选取规则，选择叶面边缘区域，得到作物叶片与茎秆相连部分的平均叶片法向量和相邻茎秆面的平均法向量；根据作物叶片与茎秆相连部分的平均叶片法向量和相邻茎秆面的平均法向量，得到叶面平均叶倾角参数；和/或，根据中心点，将对应区域划分为多个三角形区域，并获取冠层叶片对应作物点云数据的各三角形区域的面积；根据冠层叶片对应作物点云数据的各三角形区域的面积和预先获取的冠层最小外接矩形面积，得到作物叶面积指数；和/或，根据作物点云数据，得到作物株高参数。
更进一步地说，叶面平均叶倾角参数，表示为：
Figure BDA0003883294810000101
其中，LA表示叶面平均叶倾角参数，
Figure BDA0003883294810000102
表示作物叶片与茎秆相连部分的平均叶片法向量，
Figure BDA0003883294810000103
表示相邻茎秆面的平均法向量。需要补充的是，预设选取规则可以根据实际设计需求或先验经验设置，比如可以选取3×2像素区域。
作物叶面积指数，表示为：
Figure BDA0003883294810000104
其中，LAI表示作物叶面积指数，STi表示冠层叶片对应作物点云数据的各三角形区域的面积，SR表示冠层叶片对应作物点云数据的各三角形区域的面积和预先获取的冠层最小外接矩形面积。
此外，需要说明的是，作物株高参数可以根据激光雷达获取的点云数据直接得到，此处不作进一步地说明。
另外，根据环境光照强度、作物点云数据和天空图像，分别对各个区域中的作物部分进行较正，得到校正图像像元亮度值和校正反射率，包括：针对任一区域，根据中心点和作物点云数据，得到区域内中心点的平均法向量；根据天空图像，得到对应区域的太阳照射角度和太阳方位角度；根据平均法向量、太阳照射角度和太阳方位角度，得到对应中心点的镜面反射光向量；根据镜面反射光向量、环境光照强度和作物点云数据，得到对应中心点的校正图像像元亮度值；根据对应中心点的校正图像像元亮度值和环境光照强度，对对应区域内的预设中心点进行校正，得到对应中心点的校正反射率。具体而言，
首先，针对任一区域，根据中心点和作物点云数据，得到区域内中心点的平均法向量，包括：针对任一区域，根据中心点将区域划分为多个三角形区域；根据点云数据和中心点，得到各三角形的法向量；根据各三角形的法向量，得到中心点的平均法向量。
在一种可能的实现方式中，参考图4，假设任一区域的中心点为pn，得到三角形pnp1p2、pnp2p3、pnp3p4和pnp4p1，进而得到三角形pnp1p2的法向量nn12、三角形pnp2p3的法向量nn23、三角形pnp3p4的法向量nn34和三角形pnp4p1的法向量nn41。中心点的平均法向量，表示为：
Figure BDA0003883294810000111
此外，多光谱植物图像包括多个不同通道的光谱图像，且光谱图像对应的光谱通道像素按预设排列顺序排列，在将多光谱植物图像中的作物部分划分为多个区域之前，还包括：根据预先指定通道，将对应光谱图像组合生成RGB彩色图像；根据作物颜色特征将彩色图像进行图像分割，生成第二分割掩膜；根据第二分割掩膜，对预先指定通道对应的光谱图像进行图像分割，得到多光谱植物图像中的作物部分。需要补充的是，可以使用近红外波段对植物光谱图像与点云进行匹配和分割。通过将激光雷达反射率点云压缩到二维平面图像与光谱图像进行匹配，来建立点云与光谱图像间的数据对应关系。
另外，根据天空图像，得到对应区域的太阳照射角度和太阳方位角度。在本实施例中，参考图5，太阳照射角度，表示为：
Figure BDA0003883294810000112
Figure BDA0003883294810000113
θ′v＝tan-1(r/f)
Figure BDA0003883294810000114
其中，θv表示太阳照射角度；a、b和c1表示参数，可以根据先验经验是实验获取；θ′v表示折射光线角度，r表示OISi长度，Si表示太阳在鱼眼相机上所成的像，f表示镜头焦距，xi和yi为像点的形心坐标。
太阳方位角度，表示为：
Figure BDA0003883294810000121
其中，θh表示太阳方位角度，θhi表示像点的方位角，xi和yi为像点的形心坐标。
应当注意的是，得到各区域内的中心点的平均法向量与得到对应区域的太阳照射角度和太阳方位角度的步骤可不分先后，只需在得到对应中心点的镜面反射光向量之前执行即可。
其次，参考图6，根据平均法向量、太阳照射角度和太阳方位角度，得到对应中心点的镜面反射光向量，包括：
第一，根据太阳照射角度和太阳方位角度，得到入射向量，表示为：
Figure BDA0003883294810000122
其中，
Figure BDA0003883294810000123
表示入射向量；θh表示照射光线与坐标轴Xd的夹角，即太阳方位角度；θv表示照射光线与坐标轴Zd的夹角，即太阳照射角度。
第二，根据入射向量和平均法向量，得到镜面反射光向量，表示为：
Figure BDA0003883294810000124
其中，
Figure BDA0003883294810000125
表示镜面反射光向量，
Figure BDA0003883294810000126
表示入射向量，θh表示太阳方位角度，θv表示太阳照射角度，
Figure BDA0003883294810000127
表示平均法向量，
Figure BDA0003883294810000128
表示平均法向量
Figure BDA0003883294810000129
与Zd轴的夹角，
Figure BDA00038832948100001210
表示平均法向量
Figure BDA00038832948100001211
与Xd轴的夹角。
其次，根据镜面反射光向量、环境光照强度和作物点云数据，得到对应中心点的校正图像像元亮度值，包括：
第一，根据镜面反射光向量和Zd轴，得到镜面反射光与设备接受方向Zd的夹角ωv，表示为：
Figure BDA0003883294810000131
第二，根据镜面反射光向量和Xd轴，得到镜面反射光与设备水平方位Xd夹角ωh，表示为：
Figure BDA0003883294810000132
应当注意，第一和第二的步骤可以不分先后顺序，仅需在第三之前获取即可。
第三，根据镜面反射光与设备接受方向Zd的夹角ωv、镜面反射光与设备水平方位Xd夹角ωh、环境光照强度和作物点云数据，得到校正图像像元亮度(DN)值，表示为：
Figure BDA0003883294810000133
其中，DNcBand(x，y)表示校正图像像元亮度(DN)值；DNBand表示对应波段光谱图像点(x，y)的DN值；DNsBand表示对应波段上行环境光谱传感器数据；σ表示镜面反射校正系数，可以由先验经验或实验获取；ε[ωv，ωh，d(x，y)]表示散射校正函数；c2、d和e表示参数，可以由先验经验或实验获取；d(x，y)表示物体点(x，y)到激光雷达的距离。
需要说明的是，
Figure BDA0003883294810000134
其中，t(x，y)为测量的点(x，y)的飞行时间，点(x，y)对应的点云数据表示为PC(x，y，z)，式中c3参数可以由先验经验或实验获取。
最后，根据对应中心点的校正图像像元亮度值和环境光照强度，对对应区域内的预设中心点进行校正，得到对应中心点的校正反射率，表示为：
Figure BDA0003883294810000141
其中，RcBand(x，y)表示校正反射率，DNcBand(x，y)表示校正图像像元亮度(DN)值，Mask(x，y)表示点(x，y)的掩膜值，可以根据第二分割掩膜确定，DNsBand对应波段上行环境光谱传感器数据，PC(x，y，z，Band)表示点云数据扩增光谱纬度。
步骤S13，根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
在本实施例中，营养组织分布检测结果包括作物叶绿素含量空间分布、氮素含量空间分布和作物水分含量空间分布，其中：
叶绿素含量空间分布，表示为：
Figure BDA0003883294810000142
其中，LCC(x，y，z)叶绿素含量空间分布，KLCCBand表示对应波段的系数，RcBand(x，y)表示校正反射率，gLCC表示常量。需要说明的是，KLCCBand和gLCC可以由先验经验或者实验获取。
氮素含量空间分布，表示为：
N(x，y，z)＝KN*LCC(x，y，z)+gN
其中，N(x，y，z)表示氮素含量空间分布，KN表示对应波段的系数，LCC(x，y，z)表示叶绿素含量空间分布，gN表示常量。需要说明的是，KN和gN可以由先验经验或者实验获取。
作物水分含量空间分布，表示为：
Figure BDA0003883294810000143
其中，W(x，y，z)表示作物水分含量空间分布，KWBand表示对应波段的系数，RcBand(x，y)表示校正反射率，gW表示常量。需要说明的是，KWBand和gW可以由先验经验或者实验获取。
在一个可选实施例中，在得到表征作物生长分布状态的营养组织分布检测结果之后，还包括：利用物联网模块将得到的营养组织分布检测结果和/或植物表型数据发送至远程PC，从而便于及时了解作物的生长状况，为生成作物施肥、浇水处方图提供了数据支持。
在一个可选实施例中，在得到表征作物生长分布状态的营养组织分布检测结果之后，还包括：利用数据存储模块对营养组织分布检测结果和/或植物表型数据进行存储和转移。
在一个可选实施例中，方法还包括：利用电源模块管理电池的充电和放电，以及监测电池电量。
在一个可选实施例中，该方法还包括：利用GPS定位模块获取作物的GPS位置坐标，以便于后续实现农业精准化管理。
综上所述，本发明实施例利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，以避免由于叶面的倾斜、弯曲、扭转对多光谱植物图像造成干扰，并根据校正后的光谱结合模型对作物营养组织分布进行检测，提高了植物生长分布状态的检测精度，以快速准确的获取作物的表型数据和作物空间营养分布状况，进而便于后续综合分析作物的生长状况，针对不同的作物生长状况针对性的施肥浇水，减少了化肥的浪费和环境的污染。
图7-图8示出了一种植物生长分布状态检测装置的结构示意图，其特征在于，包括用于获取多光谱植物图像的成像光谱传感器模块1、用于获取环境光照强度的上行环境光谱传感器模块2、用于获取点云数据的激光雷达模块3、用于获取天空图像的鱼眼相机模块4和中央处理模块5，还包括存储与中央处理模块上运行的程序或指令，程序或指令被中央处理模块执行如上任一植物生长分布状态检测方法的步骤。
在一个可选实施例中，参考图7，该装置，还包括：物联网模块6，将中央处理模块5得到的营养组织分布检测结果和/或植物表型数据发送至远程PC。
在一个可选实施例中，继续参考图7，该装置，还包括：数据存储模块7，对营养组织分布检测结果和/或植物表型数据进行存储和转移。
在一个可选实施例中，继续参考图7，该装置，还包括：电源模块8，管理电池的充电和放电，以及监测电池电量。
在一个可选实施例中，继续参考图7，该装置，还包括：GPS定位模块9，获取作物位置坐标。
参考图8，在一个可选实施例中，该装置包括壳体以及设置于壳体上的成像光谱传感器模块1、上行环境光谱传感器模块2、激光雷达3、IMU模块和鱼眼相机模块4，成像光谱传感器模块1和激光雷达模块3设置于壳体的第一面，IMU模块内置于激光雷达模块2中，上行光谱传感器模块2和鱼眼相机模块4设置于壳体的第二面，第一面和第二面相对。
在一个可选实施例中，第二面还设有USB接口10、SD插卡槽11、显示屏12和操作按钮13。
综上所述，本发明实施例通过集成激光雷达、鱼眼相机、成像光谱传感器模块和上行环境光谱传感器模块，以将对应获取的数据进行融合，对自然生长条件下作物冠层的复杂结构产生复杂的杂乱散射以及叶面的倾斜、弯曲、扭转对反射光谱造成的干扰进行了校正，提高了作物营养分布的检测精度，通过激光雷达和IMU模块快速便捷的对田间作物三维立体结构进行重建，获取作物的表型信息；另外，结构小巧，设备轻量化，方便应用于实际农田环境条件下。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)91、通信接口(Communications Interface)92、存储器(memory)93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信。处理器91可以调用存储器93中的逻辑指令，以执行植物生长分布状态检测方法，该方法包括：接收多光谱植物图像、环境光照强度、点云数据和天空图像；利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
此外，上述的存储器93中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的植物生长分布状态检测方法，该方法包括：接收多光谱植物图像、环境光照强度、点云数据和天空图像；利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的植物生长分布状态检测方法，该方法包括：接收多光谱植物图像、环境光照强度、点云数据和天空图像；利用环境光照强度、点云数据和天空图像，对多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；根据校正图像像元亮度值和校正反射率，并结合点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种植物生长分布状态检测方法，其特征在于，包括：
接收多光谱植物图像、环境光照强度、点云数据和天空图像；
利用所述环境光照强度、所述点云数据和所述天空图像，对所述多光谱植物图像进行校正，得到校正图像像元亮度值和校正反射率；
根据校正图像像元亮度值和校正反射率，并结合所述点云数据和预先构建的作物营养组织检测模型，得到表征作物生长分布状态的营养组织分布检测结果。
2.根据权利要求1所述的植物生长分布状态检测方法，其特征在于，所述利用所述环境光照强度、所述点云数据和所述天空图像，对所述多光谱植物图像进行校正，包括：
将所述点云数据与所述植物光谱图像进行匹配，并利用预先获取的第一分割掩膜对所述点云数据进行分割，得到用于表征作物部分的作物点云数据；
以构成所述多光谱植物图像中作物的点为中心，结合预设区域范围，将所述多光谱植物图像中的作物部分划分为多个区域；
根据所述环境光照强度、所述作物点云数据和所述天空图像，分别对各个区域中的作物部分进行较正，得到校正DN值和校正反射率。
3.根据权利要求2所述的植物生长分布状态检测方法，其特征在于，根据所述环境光照强度、所述作物点云数据和所述天空图像，分别对各个区域中的作物部分进行较正，得到校正图像像元亮度值和校正反射率，包括：
针对任一区域，根据中心点和所述作物点云数据，得到所述区域内中心点的平均法向量；
根据所述天空图像，得到对应所述区域的太阳照射角度和太阳方位角度；
根据所述平均法向量、所述太阳照射角度和所述太阳方位角度，得到对应所述中心点的镜面反射光向量；
根据所述镜面反射光向量、所述环境光照强度和所述作物点云数据，得到对应所述中心点的校正图像像元亮度值；
根据对应所述中心点的校正图像像元亮度值和所述环境光照强度，对对应区域内的预设中心点进行校正，得到对应中心点的校正反射率。
4.根据权利要求3所述的植物生长分布状态检测方法，其特征在于，所述多光谱植物图像包括多个不同通道的植物光谱图像，且所述植物光谱图像对应的光谱通道像素按预设排列方式排列，在将所述多光谱植物图像中的作物部分划分为多个区域之前，还包括：
根据预先指定通道，将对应植物光谱图像组合生成彩色图像；
根据作物颜色特征将所述彩色图像进行图像分割，生成第二分割掩膜；
根据所述第二分割掩膜，对所述预先指定通道对应的植物光谱图像进行图像分割，得到所述多光谱植物图像中的作物部分。
5.根据权利要求2所述的植物生长分布状态检测方法，其特征在于，得到用于表征作物部分的作物点云数据，包括：
将所述点云数据沿用于获取所述点云数据的激光雷达光轴方向进行投影，得到点云反射率数据；
对所述点云反射率数据进行归一化处理，得到数值分布于预设数值区间的点云反射率分布图；
根据所述多光谱植物图像和所述环境光照强度，得到反射率分布图；
将所述点云反射率分布图与所述反射率分布图进行图像匹配，并利用预先获取的第一分割掩膜对所述点云数据进行分割，并提取所述点云数据中的作物部分，得到作物点云数据。
6.根据权利要求2所述的植物生长分布状态检测方法，其特征在于，在将所述多光谱植物图像中的作物部分划分为多个区域之后，获取用于表征作物生长分布状态的植物表型数据，所述植物表型数据包括叶面平均叶倾角参数、作物叶面积指数和作物株高参数中的至少一项，则获取所述植物表型数据，包括：
遍历所述多光谱图像中的作物叶面，并于预设选取规则，选择叶面边缘区域，得到作物叶片与茎秆相连部分的平均叶片法向量和相邻茎秆面的平均法向量；
根据所述作物叶片与茎秆相连部分的平均叶片法向量和所述相邻茎秆面的平均法向量，得到叶面平均叶倾角参数；和/或，
根据所述中心点，将对应区域划分为多个三角形区域，并获取冠层叶片对应所述作物点云数据的各所述三角形区域的面积；
根据所述冠层叶片对应所述作物点云数据的各所述三角形区域的面积和预先获取的冠层最小外接矩形面积，得到作物叶面积指数；和/或，
根据所述作物点云数据，得到作物株高参数。
7.根据权利要求1所述的植物生长分布状态检测方法，其特征在于，在接收多光谱植物图像、环境光照强度、点云数据和天空图像之前，包括：
利用惯性测量模块，获取俯仰角、滚动角、偏航角和加速度；
根据所述俯仰角、所述滚动角、所述偏航角和所述加速度，得到当前测量位姿；
根据待获取的多光谱植物图像、环境光照强度、点云数据和天空图像，调整所述当前测量位姿。
8.一种植物生长分布状态检测装置，其特征在于，包括用于获取多光谱植物图像的成像光谱传感器模块、用于获取环境光照强度的上行环境光谱传感器模块、用于获取点云数据的激光雷达模块、用于获取天空图像的鱼眼相机模块和中央处理模块，还包括存储与所述中央处理模块上运行的程序或指令，所述程序或指令被所述中央处理模块执行如权利要求1至7任一项所述植物生长分布状态检测方法的步骤。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述植物生长分布状态检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述植物生长分布状态检测方法的步骤。
CN202211236715.8A 2022-10-10 2022-10-10 植物生长分布状态检测方法及装置 Pending CN115598071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211236715.8A CN115598071A (zh) 2022-10-10 2022-10-10 植物生长分布状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211236715.8A CN115598071A (zh) 2022-10-10 2022-10-10 植物生长分布状态检测方法及装置

Publications (1)

Publication Number Publication Date
CN115598071A true CN115598071A (zh) 2023-01-13

Family

ID=84847830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211236715.8A Pending CN115598071A (zh) 2022-10-10 2022-10-10 植物生长分布状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN115598071A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540805A (zh) * 2023-06-06 2023-08-04 上海华维可控农业科技集团股份有限公司 一种基于物联网的可控农业温室温度控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540805A (zh) * 2023-06-06 2023-08-04 上海华维可控农业科技集团股份有限公司 一种基于物联网的可控农业温室温度控制系统及方法
CN116540805B (zh) * 2023-06-06 2023-10-31 上海华维可控农业科技集团股份有限公司 一种基于物联网的可控农业温室温度控制系统及方法

Similar Documents

Publication Publication Date Title
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
Aasen et al. Generating 3D hyperspectral information with lightweight UAV snapshot cameras for vegetation monitoring: From camera calibration to quality assurance
Honkavaara et al. Hyperspectral reflectance signatures and point clouds for precision agriculture by light weight UAV imaging system
CN111289441B (zh) 多光谱下的大田作物含水量确定方法、系统及设备
Kirk et al. Estimation of leaf area index in cereal crops using red–green images
CN109376600A (zh) 多光谱遥感影像综合特征云检测方法及装置
CN110987183A (zh) 多光谱成像系统及方法
US11475550B2 (en) Information processing apparatus, information processing method, program, and information processing system
CN111095339A (zh) 作物栽培支持装置
CN108898070A (zh) 一种基于无人机平台的高光谱遥感提取薇甘菊装置及方法
Yang et al. 3D reconstruction method for tree seedlings based on point cloud self-registration
CN115598071A (zh) 植物生长分布状态检测方法及装置
CN114586066A (zh) 图像处理装置、图像处理方法和图像处理程序
Tsoulias et al. An approach for monitoring temperature on fruit surface by means of thermal point cloud
Guo et al. Inversion of maize leaf area index from UAV hyperspectral and multispectral imagery
CN114926732A (zh) 一种多传感器融合的农作物深度学习识别方法及系统
Gomes et al. Comparing a single-sensor camera with a multisensor camera for monitoring coffee crop using Unmanned Aerial Vehicles
Näsi et al. Optimizing radiometric processing and feature extraction of drone based hyperspectral frame format imagery for estimation of yield quantity and quality of a grass sward
CN115187481A (zh) 一种机载推扫式高光谱影像辐射扰动校正方法
Fan et al. Depth Ranging Performance Evaluation and Improvement for RGB-D Cameras on Field-Based High-Throughput Phenotyping Robots
Pauly Towards calibrated vegetation indices from UAS-derived orthomosaics
CN115082812A (zh) 一种农业景观非农生境绿地斑块提取方法及其相关设备
Denter et al. Assessment of camera focal length influence on canopy reconstruction quality
CN113514402A (zh) 一种冬小麦叶绿素含量的预测系统及方法
Gilliot et al. Correction of in-flight luminosity variations in multispectral UAS images, using a luminosity sensor and camera pair for improved biomass estimation in precision agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination