CN111968075A - 一种基于高光谱的种植物成熟度检测系统及方法 - Google Patents

一种基于高光谱的种植物成熟度检测系统及方法 Download PDF

Info

Publication number
CN111968075A
CN111968075A CN202010705739.8A CN202010705739A CN111968075A CN 111968075 A CN111968075 A CN 111968075A CN 202010705739 A CN202010705739 A CN 202010705739A CN 111968075 A CN111968075 A CN 111968075A
Authority
CN
China
Prior art keywords
image data
hyperspectral
hyperspectral image
data
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010705739.8A
Other languages
English (en)
Other versions
CN111968075B (zh
Inventor
李奇峰
吴欢欢
马翔云
杜建宾
张石磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010705739.8A priority Critical patent/CN111968075B/zh
Publication of CN111968075A publication Critical patent/CN111968075A/zh
Application granted granted Critical
Publication of CN111968075B publication Critical patent/CN111968075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于高光谱的种植物成熟度检测系统，包括高光谱图像数据采集模块、数据预处理模块及光谱分析模块；高光谱图像数据采集模块包括设有阵列滤光片的快照式高光谱成像仪；高光谱成像仪用于采集种植物的高光谱图像数据；数据预处理模块用于对采集的种植物的高光谱图像数据进行预处理；光谱分析模块用于对预处理后的种植物的高光谱图像数据进行分析处理，其内设有卷积神经网络模型，卷积神经网络模型输入种植物的高光谱图像数据，输出种植物的成熟度数据。本发明还公开了一种基于高光谱的种植物成熟度检测方法。本发明能够对种植物成熟度进行大范围、快速实时的无损检测，可实现对农产品的自动化采摘作业。

Description

一种基于高光谱的种植物成熟度检测系统及方法
技术领域
本发明涉及一种种植物成熟度检测系统及方法，特别涉及一种基于高光谱的种植物成熟度检测系统及方法。
背景技术
目前，农产品成熟度对产品的种植、采摘、存储、销售都有着重要的影响。种植户通过判断种植物成熟度可以针对性的选择灌溉施肥，更精确的使用资源，保证了资源使用的合理性。并且根据成熟度采摘合适的农产品，避免采摘过成熟或不够成熟的果实造成损失。因此，准确识别出成熟的种植物是种植物采摘首要任务，也是成功实现自动化采摘作业的关键。
人们根据不同的研究手段，探索出许多形式种植物成熟度检测方法，主要包括人工判断法、振动频率响应法、声学特性法、核磁共振法、近红外光谱检测法等。其中人工判断法、振动频率响应法、声学特性法等方法检测精度低且无法用于大规模工业检测。核磁共振检测设备体积大、造价高，一般种植户难以承担这项费用。红外光谱检测设备的特点为适用范围广，检测速度快，检测结果准确等，但容易受到外界温度等因素的影响。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种检测范围广、精度高、成本低、用途广的基于高光谱的种植物成熟度检测系统及方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于高光谱的种植物成熟度检测系统，包括高光谱图像数据采集模块、数据预处理模块及光谱分析模块；高光谱图像数据采集模块包括设有阵列滤光片的快照式高光谱成像仪；高光谱成像仪用于采集种植物的高光谱图像数据；数据预处理模块用于对采集的种植物的高光谱图像数据进行预处理；光谱分析模块用于对预处理后的种植物的高光谱图像数据进行分析处理，其内设有卷积神经网络模型，卷积神经网络模型输入种植物的高光谱图像数据，输出种植物的成熟度数据。
进一步地，数据预处理模块包括：用于对采集的高光谱图像数据进行去马赛克处理的高光谱去马赛克处理单元，用于增强光谱图像分辨率的超分辨率强化单元，用于提高光谱图像数据信噪比的滤波去噪单元。
进一步地，高光谱图像数据采集模块包括拍摄角度互不相同的多台高光谱成像仪。
本发明还提供了一种利用上述的基于高光谱的种植物成熟度检测系统的基于高光谱的种植物成熟度检测方法，包括如下步骤：
步骤一，采用高光谱成像仪对种植物进行拍摄，采集种植物的高光谱图像数据；
步骤二，由数据预处理模块对采集的种植物的高光谱图像数据进行预处理；
步骤三，在光谱分析模块中建立卷积神经网络模型。从预处理后的多组种植物的高光谱图像数据中，选取部分高光谱图像数据进行标记，作为样本存入样本数据库，用样本数据库中的样本对卷积神经网络模型进行训练。由完成训练的卷积神经网络模型，对预处理后的种植物的高光谱图像数据进行特征提取，并输出种植物的成熟度数据。
进一步地，步骤二中，对采集的种植物的高光谱图像数据进行预处理的方法包括：对高光谱图像数据进行去马赛克处理，对高光谱图像数据进行增强光谱图像分辨率处理，对高光谱图像数据进行滤波及去噪处理。
进一步地，对高光谱图像数据进行去马赛克处理的方法包括：先对高光谱图像数据进行迭代卷积处理，然后将迭代卷积计算结果通过PCA主成分分析法分解为三个角度的主成分分解矩阵，设x为空间水平方向，y为空间垂直方向，z为光谱维方向，三个角度分别为与xy平面夹角、与xz平面夹角、与yz平面夹角；设Dxy、Dxz和Dyz分别对应为三个角度的主成分分解矩阵，设Cxy、Cxz和Cyz分别对应为三个角度的限制阈值，通过阈值函数处理使去除主成分中比例较小的部分，设T为去马赛克后最终得到的高光谱图像数据，则有：
Figure BDA0002594624830000021
进一步地，步骤三中，采用多参数空间距离算法，从新采集的高光谱图像数据中，选择与样本数据库中已有的高光谱图像数据差异性较大的部分数据，存入样本数据库；其中多参数空间距离算法如下：
Figure BDA0002594624830000022
式中，d为多参数空间距离，Δx、Δy、Δz和Δt分别对应为高光谱图像数据的长、宽、光谱和时间方向的权重参数，ax、ay、az、at对应为新采集的高光谱图像数据的长、宽、光谱和时间方向数据，bx、by、bz、bt对应为样本数据库中已有的高光谱图像数据的长、宽、光谱和时间方向数据。
进一步地，步骤三中，将样本数据库中的样本数据分割成低频数据Zl和高频数据Zh，从样本数据库中删除低频数据Zl。
进一步地，步骤三中，卷积神经网络模型的层数可调，调节范围为20层至30层，对卷积神经网络模型采用梯度裁剪训练方法进行训练。
进一步地，步骤三中，将对应同一种植物缩放尺寸不同的样本图像混合在一起，对卷积神经网络模型训练。
本发明具有的优点和积极效果是：
本发明利用快照式高光谱成像仪进行光谱数据采集，然后对采集到的高光谱数据进行光谱强化，并通过自更新样本数据库的卷积神经网络模型对种植物成熟度进行判断，提高种植物成熟度的检测准确率。本发明能够对种植物成熟度进行大范围、快速实时无损检测，节省工时，且检测精度高。可在农业生产中推广应用。本发明在不需要很高成本情况下能够准确检测出种植物的成熟程度，可实现对农产品的自动化采摘作业。
附图说明
图1是本发明的一种基于高光谱的种植物成熟度检测系统结构示意图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
请参见图1，一种基于高光谱的种植物成熟度检测系统，包括高光谱图像数据采集模块、数据预处理模块及光谱分析模块；高光谱图像数据采集模块包括设有阵列滤光片的快照式高光谱成像仪；高光谱成像仪用于采集种植物的高光谱图像数据；数据预处理模块用于对采集的种植物的高光谱图像数据进行预处理；光谱分析模块用于对预处理后的种植物的高光谱图像数据进行分析处理，其内设有卷积神经网络模型，卷积神经网络模型输入种植物预处理后的高光谱图像数据，输出种植物的成熟度数据。
阵列滤光片的快照式高光谱成像仪的主要优点是：采集速度快、准确率高、采集波段可以自由选择，成本相对较低。阵列滤光片的快照式高光谱成像仪可采用现有技术中的产品，比如IMEC生产的Mosaic Snapshot型快照式高光谱成像相机或者基于CMOSIS生产的CMV2000系列的快照式多光谱高光谱成像相机等。
优选地，数据预处理模块可包括：用于对采集的高光谱图像数据进行去马赛克处理的高光谱去马赛克处理单元，用于增强光谱图像分辨率的超分辨率强化单元，用于提高光谱图像数据信噪比的滤波去噪单元。
马赛克处理单元、超分辨率强化单元、滤波去噪单元均可采用现有技术中的图像处理方法构建。
优选地，高光谱图像数据采集模块可包括拍摄角度互不相同的多台高光谱成像仪。对于检测精度要求较高、检测环境复杂(有较多遮蔽物)的情况，可以选择进行多台仪器多角度同时交叉检测，不但可以提高检测的准确率，还可以减少环境特异性的干扰。
本发明还提供了一种利用上述的基于高光谱的种植物成熟度检测系统的基于高光谱的种植物成熟度检测方法实施例，该方法包括如下步骤：
步骤一，采用高光谱成像仪对种植物进行拍摄，采集种植物的高光谱图像数据；
步骤二，由数据预处理模块对采集的种植物的高光谱图像数据进行预处理；
步骤三，在光谱分析模块中建立卷积神经网络模型，从预处理后的种植物的高光谱图像数据中，选取部分高光谱图像数据进行标记，作为样本存入样本数据库，用样本数据库中的样本对卷积神经网络模型进行训练，由完成训练等卷积神经网络模型，对预处理后的种植物的高光谱图像数据进行特征提取，并输出种植物的成熟度数据。
优选地，步骤二中，由数据预处理模块对采集的种植物的高光谱图像数据进行预处理的方法可包括：对高光谱图像数据进行去马赛克处理，对高光谱图像数据进行增强光谱图像分辨率处理，对高光谱图像数据进行滤波及去噪处理。
可采用现有技术中方法，对高光谱图像数据进行去马赛克处理，对高光谱图像数据进行增强光谱图像分辨率处理，对高光谱图像数据进行滤波及去噪处理。
优选采用小波滤波方法对高光谱图像数据进行滤波及去噪处理。
优选地，对高光谱图像数据进行去马赛克处理的方法可包括：可先对高光谱图像数据进行迭代卷积处理，然后将迭代卷积计算结果通过PCA主成分分析法分解为三个角度的主成分分解矩阵，可设x为空间水平方向，y为空间垂直方向，z为光谱维方向，三个角度可分别为与xy平面夹角、与xz平面夹角、与yz平面夹角；可设Dxy、Dxz和Dyz分别对应为三个角度的主成分分解矩阵，可设Cxy、Cxz和Cyz分别对应为三个角度的限制阈值，可通过阈值函数处理使去除主成分中比例较小的部分，设T为去马赛克后最终得到的高光谱图像数据，则有：
Figure BDA0002594624830000051
Threshold(a,b)表示阈值函数。其中b为阈值，Threshold(a,b)≥b,即当a中主成分比例大于等于b中主成分比例时，Threshold(a,b)＝a，当a中主成分比例小于b中主成分比例时，Threshold(a,b)＝b。
进一步地，步骤三中，可采用多参数空间距离算法，从新采集的高光谱图像数据中，选择与样本数据库中已有的高光谱图像数据差异性较大的部分数据，存入样本数据库；其中多参数空间距离算法可如下：
Figure BDA0002594624830000052
式中，d为多参数空间距离，Δx为高光谱图像数据的长方向的权重参数；Δy为高光谱图像数据的宽方向的权重参数；Δz为高光谱图像数据的光谱方向的权重参数；Δt为高光谱图像数据的时间方向的权重参数；ax为新采集的高光谱图像数据的长方向数据；ay为新采集的高光谱图像数据的宽方向数据；az为新采集的高光谱图像数据的光谱方向数据；at为新采集的高光谱图像数据的时间方向数据；bx为样本数据库中已有的高光谱图像数据的长方向数据；by为样本数据库中已有的高光谱图像数据的宽方向数据；bz为样本数据库中已有的高光谱图像数据的光谱方向数据；bt为样本数据库中已有的高光谱图像数据的时间方向数据。
用d值大小评价差异性的大小，可由d值的大小进行排序，或者设置阈值，从新采集的高光谱图像数据中，选取部分d值较大的高光谱图像数据作为样本，存入样本数据库。
进一步地，步骤三中，将样本数据库中的样本数据分割成低频数据Zl和高频数据Zh，从样本数据库中删除低频数据Zl。舍弃低频数据Zl部分，降低数据量所占空间，可以大幅提高算法运算速度。
进一步地，步骤三中，卷积神经网络模型的层数可调，调节范围为20层至30层，对卷积神经网络模型采用梯度裁剪训练方法进行训练。层数较多的网络结构可使得后面的网络层拥有更大的感受野，采用调整梯度裁剪方法提高学习率，从而加快了收敛速度。
进一步地，步骤三中，将对应同一种植物缩放尺寸不同的样本图像混合在一起，对卷积神经网络模型训练。种植物距离差距较大，即近处种植物与远处种植物在高光谱图像数据中表现的大小差别很大，导致一般的处理方式无法同时兼顾，本发明将不同大小倍数的图像混合在一起训练，从而支持不同倍数的高质量化。
下面以本发明的一个优选实施例来进一步说明本发明的工作流程及工作原理。
一种基于高光谱的种植物成熟度检测系统，包括高光谱图像数据采集模块、数据预处理模块及光谱分析模块；高光谱图像数据采集模块包括设有阵列滤光片的快照式高光谱成像仪；高光谱成像仪用于采集种植物的高光谱图像数据；数据预处理模块用于对采集的种植物的高光谱图像数据进行预处理；光谱分析模块用于对预处理后的种植物的高光谱图像数据进行分析处理，其内设有卷积神经网络模型，卷积神经网络模型输入种植物预处理后的高光谱图像数据，输出种植物的成熟度数据。
种植物高光谱数据的采集可分为两个方面：其一是高光谱仪型号的选择，其二是检测模式的设定。对于种植物高光谱数据的采集，本发明采用一种阵列滤光片的快照式高光谱成像仪。阵列滤光片的快照式高光谱成像仪的主要优点是：采集速度快、准确率高、采集波段可以自由选择，成本相对较低；相对的，这类高光谱成像仪的空间分辨率较低，难以呈现的图像清晰度较差。其优点正是种植物成熟度检测方法所急需的，此外，种植物成熟度的检测是一种范围检测，不需要太多的细节信息，较差的空间分辨率不会影响判别的准确度，相比于扫描式高光谱仪数据量更小，更易于数据的上传与处理。可以说阵列滤光片的快照式高光谱成像仪是实现种植物成熟度检测的最佳选择。对于高光谱的检测模式，阵列滤光片的快照式高光谱成像仪的有效检测范围可达1千米，可以有效地实现大范围种植物成熟度的检测。对于检测精度要求较高、检测环境复杂(有较多遮蔽物)的情况，可以选择进行多台仪器多角度同时交叉检测，不但可以提高检测的准确率，还可以减少环境特异性的干扰。
数据预处理模块可包括：用于对采集的高光谱图像数据进行去马赛克处理的高光谱去马赛克处理单元，用于增强光谱图像分辨率的超分辨率强化单元，用于提高光谱图像数据信噪比的滤波去噪单元。
数据预处理模块主要有三部分组成，分别是高光谱去马赛克处理单元、滤波去噪单元和超分辨率强化单元。
首先，由于本方案使用的是阵列滤光片的快照式高光谱成像仪，所以需要对采集到的数据进行去马赛克处理，高光谱去马赛克处理具体计算方式如下：
M＝Rconv(ms,t) (1)；
M为处理结果，ms为图像均匀化掩模，t为采集到的高光谱图像数据，Rconv为迭代卷积算法。
Dxy＝PCA(Mxy) (2)；
Dxy＝PCA(Mxy) (3)；
Dyz＝PCA(Myz) (4)；
Dxy、Dxz和Dyz分别为三个角度的主成分分解矩阵，其中x是空间横线方向，y是空间纵线方向，z为光谱维方向，PCA为主成分分析算法。
Figure BDA0002594624830000071
T为去马赛克后最终得到的高光谱图像数据，其为最终去马赛克后得到的结果。Cxy、Cxz和Cyz分别为三个角度的限制阈值，threshold为阈值限制算法，通过threshold阈值限制算法将主成分中比例较小的部分去除，其中判断标准为限制阈值。此外，本发明提出的基于样本数据库的数据融合补偿算法可以同时提高高光谱数据的信噪比与分辨率，即实现高光谱信噪比提高和高光谱的超分辨率强化。输入的低质量高光谱数据和所需要的高质量高光谱数据在很大程度上是相似的，这里的质量指的是信噪比和分辨率,也就是指低质量高光谱数据携带的低频信息与高质量高光谱数据的低频信息基本相同，如果处理时包括这部分信息，处理时间长。为减少处理时间，首先将高质量的样本数据库进行预处理，将样本数据分割成低频数据Zl和高频数据Zh，舍弃低频数据Zl部分，降低数据量所占空间，可以大幅提高算法运算速度。对高频数据Zh进行深度卷积神经网络建模。本算法要求足够大的感受野，深的网络结构使得后面的网络层拥有更大的感受野，具体层数可以自由调节，调节范围为20层至30层。之后采用调整梯度裁剪方法提高学习率，从而加快了收敛速度。此外，由于本发明目标的特殊性，种植物距离差距较大，即近处种植物与远处种植物在高光谱图像数据中表现的大小差别很大，导致一般的处理方式无法同时兼顾，本发明将不同大小倍数的图像混合在一起训练，从而支持不同倍数的高质量化。由此建立的数据补偿模型定义为mvc，再将采集到的原始数据分割成低频数据Tl和高频数据Th，则样本数据库的数据预处理结果X为：
X＝Tl+mvc(Th) (6)；
光谱分析模块主要由基于自更新样本数据库的卷积神经网络完成。由不同成熟度的种植物高光谱图像中光谱维数据，可以清楚的看出其中有着一定的区别，这种区别让利用高光谱实现对种植物成熟度检测成为可能。为了应对实际复杂的情况，本发明发展了卷积神经网络方法，提出了基于自更新样本数据库的卷积神经网络，在传统通用的卷积神经网络基础上，进行样本数据库的定时更新与优化。对于卷积神经网络，大量的有标记的原始数据是必不可少的，这极大的增加了方法实现的成本与难度，本发明所述的基于自更新样本数据库的卷积神经网络，初始只需要很少的有标记的样本数据，系统每天所采集到的高光谱图像数据会自动添加进样本数据库，利用多参数空间距离对新采集的高光谱图像数据进行评判，选择出差异性较大的高光谱图像数据对样本数据库进行更新，提高系统的整体准确率，更新的频率可以自行调控。本发明自行提出的多参数空间距离计算公式如下：
Figure BDA0002594624830000081
式中，d为多参数空间距离，Δx、Δy、Δz和Δt分别对应为高光谱图像数据的长、宽、光谱和时间方向的权重参数，ax、ay、az、at对应为新采集的高光谱图像数据的长、宽、光谱和时间方向数据，bx、by、bz、bt对应为样本数据库中已有的高光谱图像数据的长、宽、光谱和时间方向数据。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (10)

1.一种基于高光谱的种植物成熟度检测系统，其特征在于，包括高光谱图像数据采集模块、数据预处理模块及光谱分析模块；高光谱图像数据采集模块包括设有阵列滤光片的快照式高光谱成像仪；高光谱成像仪用于采集种植物的高光谱图像数据；数据预处理模块用于对采集的种植物的高光谱图像数据进行预处理；光谱分析模块用于对预处理后的种植物的高光谱图像数据进行分析处理，其内设有卷积神经网络模型，卷积神经网络模型输入种植物的高光谱图像数据，输出种植物的成熟度数据。
2.根据权利要求1所述的基于高光谱的种植物成熟度检测系统，其特征在于，数据预处理模块包括：用于对采集的高光谱图像数据进行去马赛克处理的高光谱去马赛克处理单元，用于增强光谱图像分辨率的超分辨率强化单元，用于提高光谱图像数据信噪比的滤波去噪单元。
3.根据权利要求1所述的基于高光谱的种植物成熟度检测系统，其特征在于，高光谱图像数据采集模块包括拍摄角度互不相同的多台高光谱成像仪。
4.一种利用权利要求1至3任一所述的基于高光谱的种植物成熟度检测系统的基于高光谱的种植物成熟度检测方法，其特征在于，包括如下步骤：
步骤一，采用高光谱成像仪对种植物进行拍摄，采集种植物的高光谱图像数据；
步骤二，由数据预处理模块对采集的种植物的高光谱图像数据进行预处理；
步骤三，在光谱分析模块中建立卷积神经网络模型，从预处理后的种植物的高光谱图像数据中，选取部分高光谱图像数据进行标记，作为样本存入样本数据库；用样本数据库中的样本对卷积神经网络模型进行训练，由完成训练等卷积神经网络模型，对预处理后的种植物的高光谱图像数据进行特征提取，并输出种植物的成熟度数据。
5.根据权利要求4所述的基于高光谱的种植物成熟度检测方法，其特征在于，步骤二中，对采集的种植物的高光谱图像数据进行预处理的方法包括：对高光谱图像数据进行去马赛克处理，对高光谱图像数据进行增强光谱图像分辨率处理，对高光谱图像数据进行滤波及去噪处理。
6.根据权利要求5所述的基于高光谱的种植物成熟度检测方法，其特征在于，对高光谱图像数据进行去马赛克处理的方法包括：先对高光谱图像数据进行迭代卷积处理，然后将迭代卷积计算结果通过PCA主成分分析法分解为三个角度的主成分分解矩阵，设x为空间水平方向，y为空间垂直方向，z为光谱维方向，三个角度分别为与xy平面夹角、与xz平面夹角、与yz平面夹角；设Dxy、Dxz和Dyz分别对应为三个角度的主成分分解矩阵，设Cxy、Cxz和Cyz分别对应为三个角度的限制阈值，通过阈值函数处理使去除主成分中比例较小的部分，设T为去马赛克后最终得到的高光谱图像数据，则有：
Figure FDA0002594624820000021
7.根据权利要求4所述的基于高光谱的种植物成熟度检测方法，其特征在于，步骤三中，采用多参数空间距离算法，从新采集的高光谱图像数据中，选择与样本数据库中已有的高光谱图像数据差异性较大的部分数据，存入样本数据库；其中多参数空间距离算法如下：
Figure FDA0002594624820000022
式中，d为多参数空间距离，Δx、Δy、Δz和Δt分别对应为高光谱图像数据的长、宽、光谱和时间方向的权重参数，ax、ay、az、at对应为新采集的高光谱图像数据的长、宽、光谱和时间方向数据，bx、by、bz、bt对应为样本数据库中已有的高光谱图像数据的长、宽、光谱和时间方向数据。
8.根据权利要求4所述的基于高光谱的种植物成熟度检测方法，其特征在于，步骤三中，将样本数据库中的样本数据分割成低频数据Zl和高频数据Zh，从样本数据库中删除低频数据Zl。
9.根据权利要求4所述的基于高光谱的种植物成熟度检测方法，其特征在于，步骤三中，卷积神经网络模型的层数可调，调节范围为20层至30层，对卷积神经网络模型采用梯度裁剪训练方法进行训练。
10.根据权利要求4所述的基于高光谱的种植物成熟度检测方法，其特征在于，步骤三中，将对应同一种植物缩放尺寸不同的样本图像混合在一起，对卷积神经网络模型训练。
CN202010705739.8A 2020-07-21 2020-07-21 一种基于高光谱的种植物成熟度检测系统及方法 Active CN111968075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010705739.8A CN111968075B (zh) 2020-07-21 2020-07-21 一种基于高光谱的种植物成熟度检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010705739.8A CN111968075B (zh) 2020-07-21 2020-07-21 一种基于高光谱的种植物成熟度检测系统及方法

Publications (2)

Publication Number Publication Date
CN111968075A true CN111968075A (zh) 2020-11-20
CN111968075B CN111968075B (zh) 2022-11-08

Family

ID=73362799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010705739.8A Active CN111968075B (zh) 2020-07-21 2020-07-21 一种基于高光谱的种植物成熟度检测系统及方法

Country Status (1)

Country Link
CN (1) CN111968075B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103185695A (zh) * 2013-03-19 2013-07-03 华南农业大学 一种基于光谱的烤烟成熟度田间快速判断方法
CN104504087A (zh) * 2014-12-25 2015-04-08 中国科学院电子学研究所 一种基于低秩分解的精细主题挖掘方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107122708A (zh) * 2017-03-17 2017-09-01 广东工业大学 基于卷积神经网络与超限学习机的高光谱图像分类算法
CN107341779A (zh) * 2017-07-10 2017-11-10 西安电子科技大学 基于物理成像模型的彩色图像去马赛克方法
CN108846203A (zh) * 2018-06-13 2018-11-20 深圳市华慧品牌管理有限公司 水果无损检测的方法及装置
CN108956604A (zh) * 2018-05-29 2018-12-07 江苏大学 一种基于高光谱图像技术识别中华绒螯蟹品质的方法
CN110031408A (zh) * 2019-05-14 2019-07-19 贵阳学院 一种猕猴桃成熟度快速判别装置及方法
CN110211044A (zh) * 2019-05-24 2019-09-06 北京理工大学 基于去马赛克算法和主成分分析的多光谱成像方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103185695A (zh) * 2013-03-19 2013-07-03 华南农业大学 一种基于光谱的烤烟成熟度田间快速判断方法
CN104504087A (zh) * 2014-12-25 2015-04-08 中国科学院电子学研究所 一种基于低秩分解的精细主题挖掘方法
CN106778657A (zh) * 2016-12-28 2017-05-31 南京邮电大学 基于卷积神经网络的新生儿疼痛表情分类方法
CN107122708A (zh) * 2017-03-17 2017-09-01 广东工业大学 基于卷积神经网络与超限学习机的高光谱图像分类算法
CN107341779A (zh) * 2017-07-10 2017-11-10 西安电子科技大学 基于物理成像模型的彩色图像去马赛克方法
CN108956604A (zh) * 2018-05-29 2018-12-07 江苏大学 一种基于高光谱图像技术识别中华绒螯蟹品质的方法
CN108846203A (zh) * 2018-06-13 2018-11-20 深圳市华慧品牌管理有限公司 水果无损检测的方法及装置
CN110031408A (zh) * 2019-05-14 2019-07-19 贵阳学院 一种猕猴桃成熟度快速判别装置及方法
CN110211044A (zh) * 2019-05-24 2019-09-06 北京理工大学 基于去马赛克算法和主成分分析的多光谱成像方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
秦启福 等: ""基于高光谱成像技术和卷积神经网络的沙果成熟度检测"", 《当代农机》 *
胡一帆: ""基于LED照明主动式高光谱成像系统的设计与开发"", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑 》 *
薛建新 等: ""基于高光谱成像技术的沙金杏成熟度判别"", 《农业工程学报》 *

Also Published As

Publication number Publication date
CN111968075B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
Hui et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN111259898B (zh) 基于无人机航拍图像的农作物分割方法
CN109102469A (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN107133976A (zh) 一种获取三维高光谱信息的方法和装置
CN103090946B (zh) 果树单树产量测量的方法和系统
CN112200854A (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN103593858A (zh) 一种地面激光雷达扫描数据中绿色植被滤除方法
Constantino et al. Plant height measurement and tiller segmentation of rice crops using image processing
CN112613338A (zh) 基于rgb图像融合特征的小麦叶层氮含量估测方法
CN113008371B (zh) 一种深度学习解色散模糊的高光谱成像方法
CN111968075B (zh) 一种基于高光谱的种植物成熟度检测系统及方法
CN112418073B (zh) 一种基于无人机图像融合特征的小麦植株氮含量估测方法
CN111738310B (zh) 物料分类方法、装置、电子设备和存储介质
CN113112482A (zh) 一种基于注意力机制网络的pcb缺陷检测方法
CN117058522A (zh) 一种融合光谱神经网络和叶面积指数的遥感地表生态变化检测方法
KR20180096966A (ko) 형태적 연산과 연결 연산을 이용한 벼 모종 자동 개수 세는 방법
CN112215184B (zh) 一种基于三维激光扫描仪的油茶果树产量检测方法
Agehara Simple Imaging Techniques for Plant Growth Assessment: HS1353, 1/2020
Wu et al. Three-dimension reconstruction method based on silhoutte for pot rice.
Schneider et al. Towards predicting vine yield: Conceptualization of 3d grape models and derivation of reliable physical and morphological parameters
Peters et al. As good as human experts in detecting plant roots in minirhizotron images but efficient and reproducible: The Convolutional Neural Network “RootDetector”
Jin et al. Top down approach to height histogram estimation of biomass sorghum in the field
CN112907475B (zh) 一种冰晶图片的自动分割方法
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant