CN117392104A - 一种基于深度学习的计算机视觉水稻质量测定方法 - Google Patents

一种基于深度学习的计算机视觉水稻质量测定方法 Download PDF

Info

Publication number
CN117392104A
CN117392104A CN202311447276.XA CN202311447276A CN117392104A CN 117392104 A CN117392104 A CN 117392104A CN 202311447276 A CN202311447276 A CN 202311447276A CN 117392104 A CN117392104 A CN 117392104A
Authority
CN
China
Prior art keywords
rice
spike
map
image
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311447276.XA
Other languages
English (en)
Inventor
李海锋
李炫天
宋庆奎
丁子予
郑健宇
曾凡国
钟文山
陈俊致
肖佳仪
陈彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202311447276.XA priority Critical patent/CN117392104A/zh
Publication of CN117392104A publication Critical patent/CN117392104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的计算机视觉水稻质量测定方法。本发明中，基于卷积神经网络FasterR－CNN实现了盆栽水稻穗数的自动检测，基于SegNet网络框架训练模型对盆栽水稻稻穗进行分割。利用RGB和HIS等颜色空间对整株水稻图片和分割后稻穗图片进行阈值分割，经过图像处理，提取了51个整株水稻特征和33个穗部特征。根据提取的85个特征数据，建立多个盆栽水稻稻穗鲜质量和干质量预测模型，使用五倍交叉验证对模型进行评估，从而使得整个方法的准确性得到了提高，同时也降低了水稻质量检测分析的时间，提高了测试效率，减轻了相关工作人员的劳动负担。

Description

一种基于深度学习的计算机视觉水稻质量测定方法
技术领域
本发明属于水稻质量测定技术领域，具体为一种基于深度学习的计算机视觉水稻质量测定方法。
背景技术
水稻单产的持续增加一直是育种和栽培研究的重要目标，精准的产量预测可以加快育种的速度并为粮食的种植提供指导。水稻穗部的表型特征、穗数、稻穗的投影面积等与产量有着极为密切的关系，而且穗部表型特征的识别在水稻的病虫害检测、营养分析、抽穗期的检测具有重要的指导意义。因此，水稻质量测定水稻产量预测和表型研究的关键。
但是常见的测定方法多采用人工进行测定，工作效率较为低下的同时，也使得测量精度不够高。
发明内容
本发明的目的在于：为了解决上述提出的问题，提供一种基于深度学习的计算机视觉水稻质量测定方法。
本发明采用的技术方案如下：一种基于深度学习的计算机视觉水稻质量测定方法，所述基于深度学习的计算机视觉水稻质量测定方法包括以下步骤：
S1：电源供电模块为整个系统提供电能之后，整个系统开始运行，水稻图像采集模块开始通过可见光工业相机进行水稻图片的检测；
S2：图像预处理模块对水稻图像采集模块采集得到的图像进行预处理，提取绿色部分分量。使用裁剪过的植株RGB图像，利用绿色和红色分量，如果水稻图像中的像素点绿色分量大于阙值Egthreshold并且红色分量小于阙值ERthreshold则判定为绿色部分,与原图掩膜得到绿色分割效果图,Egthreshold＝0.3,ERthreshold＝0.15；
S3：进行穗部特征提取；将所有待分割的水稻盆栽图片裁剪为360像素X480像素(高X宽)的子图，输入训练好的Rice一PanicleNet模型,得到分割的二值水稻子图。将这些图片拼接得到整株的稻穗分制图，将其与原图掩膜,得到分割后的RGB稻穗图。ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图；
S4：处理器模块开始对图像预处理模块经过预处理的图下个进行优化处理，利用波段自相关分析(BICA)与主成分分析(PCA)提取特征波段，构建植被指数，并采用连续投影法与分段主成分分析相结合，进行波长的筛选。水稻图像优化模块对不同施氮水平下的水稻冠层高光谱数据进行相关分析，并以统计的方式选取出了最为敏感的高光谱反射率波段520～740nm；
S5：模型参数选择模块使用的是SegNet网络，SegNet是开源图像分割项目，在FCN网络结构上，搭建编码解码网络结构，从而实现从端到端的逐像素图像分割，图2中绿色部分为卷积层+BN层+激活层，黄色为池化层，红色为上采样层，蓝色为分类层。由于本研究只需要分割出稻穗，属于二分类问题，只有前景点和背景点两个类别，所以需要把SegNet最后1个输出层通道数改为2，得到网络结构；
S6：质量检测模型建立模块通过将向量映射到一个更高维空间的非线性映射，使数据更容易分为2类。对于非线性、小样本数据集、高维空间模式识别等问题，支持向量机具有独特性和针对性；
S7：检测模型训练模块随后进行模型训练，模型训练采用的是PyTorch框架，使用GPU训练，参数设置学习率为0.01,学习的动量因子为0.9.权重衰减weight_decay为0.0001,epoch为1000.训练后得到稻穗检测的模型；
S8：检测模型训练模块使用Photoshop对70张2452像素X2056像素(高X宽)的盆栽水稻图片进行人工标注,将背景点标注为0,稻穗像素点标注为1。第二步，数据扩增。由于盆栽图片中稻穗部分前景点的像素占比很小，因此需扩大前景点样本量以保持样本平衡，首先进行图片裁剪,有稻穗的区域,使用360像素X480像素(高X宽)和480像素X360像素(高X宽)的框在该区域上、下和左、右共4个方向采用滑动窗口的形式裁剪出子图，只有背景的区域随机框出20％并裁减；对所有稻穗区域的子图进行旋转镜像实现数据扩增，得到3960张360像素X480像素(高X宽)的子图。第三步，数据集划分。将3960张子图接照83:17的比例随机划分训练集和验证集，得到3304张训练集样本和656张验证集样本，标签图采用同样的方式处理使之与子图一一对应；
S9：稻穗质量检测模块将模型统计穗数与人工统计的实际穗数进行比较，误差越小，相关性越高，则模型的计数效果越好；
S10：数据云存储模块将步骤S9中得到的测定结果存储到云平台的内部，即可结束整个流程。
在一优选的实施方式中，所述步骤S1中，位于水稻侧面的可见光工业相机在每次旋转的间隙拍摄，每盆水稻共采集13张侧视png格式的RGB图片，图像的分辨率为2452像素×2056像素，自动采集图像并储存至工作站，检测完毕的水稻通过出检线送出。
在一优选的实施方式中，所述步骤S2中，处理过程如下：①预处理。对感兴趣区域进行裁剪。②二值化。将彩色CAE图进行阈值分割，公式为：2A－C－E≥S，S＝20为阈值，得到水稻植株的二值图，将整株分割的二值图与CAE图片进行掩膜得到整株分割图像。
在一优选的实施方式中，所述步骤S2中，提取多个水稻整株水稻特征。高(H：水稻植株形态参数，水稻植株外接矩形的高度；宽(W)：水稻植株形态参数,水稻植株外接矩形的宽度；周长/面积(PAR)：水稻植株形态参数，水稻植株的周长与水稻植株投影面积的比值；总投影面积(TPA)：水稻植株形态参数，水稻植株所占的像素点个数；面积/外接矩形的面积(TBR)：水稻植株形态参数，总投影面积(TPA)与外接矩形面积的比值；高，宽(HWR)：水稻植株形态参数外接矩形高(H)与宽(W)的比值；分形维数(FDNIC)：水稻植株形态参数,预处理裁剪后RGB图的分形维数。
在一优选的实施方式中，所述步骤S3中，将分割的二值水稻子图拼接得到整株的稻穗分值图，将其与原图掩膜,得到分割后的RGB稻穗图，ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图。
在一优选的实施方式中，所述步骤S5中，该模型采用递归方式，自顶而下进行决策。在决策树中，每一个内部节点都存在对应不同的划分区域，且划分条件由各内部相关节点的分支规则确定，通过输入属性值与划分条件的比较判断下一子节点的路径。
在一优选的实施方式中，所述步骤S6中，建模过程中，每一个样本从决策树的根节点向叶子节点移动，每个预测样本的起点为树的根节点，终点为某一叶子结点，有且仅有一个，在该节点上，其特征变量的条件分布也被确定。
在一优选的实施方式中，所述步骤S8中，由于训练样本较少，在模型训练的过程中很容易导致过拟合，所以本研究使用网络结构相似的大田稻穗分割模型PanicleNet进行网络初始化[，以提高模型的分割精度、缩短训练时间。基于caffe平台随机梯度下降法训练，学习率设置为0.001,epoch为100即所有样本训练100次，训练集的batchsize为4,验证集的batchsize为2,学习的动量因子为0.9。
在一优选的实施方式中，所述步骤S8中，为了验证模型的性能，避免产生过拟合的现象，采用K折交叉验证的方法，这里K取数值5，首先将所有的数据集随机划分为5份，每次选取其中的1份作为测试集，其余4份为训练集，以此建立5个预测模型并测试，记录每次的评估参数，取平均值并计算标准偏差。
在一优选的实施方式中，所述步骤S9中，数据云存储模块利用云计算平台与云存储技术，将数据存储架构划分为3个层次，其中分布式大数据存储层是核心，其在应用层中所包含的舰船控制系统内采集数据，利用MapReduce分布式并行模型实现数据的划分，利用安全容错存储算法将待存储的数据均匀地划分至相对应的硬件层中计算服务器节点内，由此完成数据的有效存储；同时，所设计的云计算环境下舰船控制系统大数据存储架构可有效实现大数据高效与安全存储的需求。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明中，基于卷积神经网络FasterR－CNN实现了盆栽水稻穗数的自动检测，基于SegNet网络框架训练模型对盆栽水稻稻穗进行分割。利用RGB和HIS等颜色空间对整株水稻图片和分割后稻穗图片进行阈值分割，经过图像处理，提取了51个整株水稻特征和33个穗部特征。根据提取的85个特征数据，建立多个盆栽水稻稻穗鲜质量和干质量预测模型，使用五倍交叉验证对模型进行评估，从而使得整个方法的准确性得到了提高，同时也降低了水稻质量检测分析的时间，提高了测试效率，减轻了相关工作人员的劳动负担。
附图说明
图1为本发明的流程框图；
图2为本发明中质量测定模块系统框图。
图中标记：1-电源供电模块、2-水稻图像采集模块、3-图像预处理模块、4-处理器模块、5-水稻图像优化模块、6-质量测定模块、7-数据云存储模块、8-模型参数选择模块、9-质量检测模型建立模块、10-检测模型训练模块、11-稻穗质量检测模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1-2，
实施例：
一种基于深度学习的计算机视觉水稻质量测定方法，基于深度学习的计算机视觉水稻质量测定方法包括以下步骤：
S1：电源供电模块1为整个系统提供电能之后，整个系统开始运行，水稻图像采集模块2开始通过可见光工业相机进行水稻图片的检测；
S2：图像预处理模块3对水稻图像采集模块2采集得到的图像进行预处理，提取绿色部分分量。使用裁剪过的植株RGB图像，利用绿色和红色分量，如果水稻图像中的像素点绿色分量大于阙值Egthreshold并且红色分量小于阙值ERthreshold则判定为绿色部分,与原图掩膜得到绿色分割效果图,Egthreshold＝0.3,ERthreshold＝0.15；
S3：进行穗部特征提取；将所有待分割的水稻盆栽图片裁剪为360像素X480像素(高X宽)的子图，输入训练好的Rice一PanicleNet模型,得到分割的二值水稻子图。将这些图片拼接得到整株的稻穗分制图，将其与原图掩膜,得到分割后的RGB稻穗图。ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图；
S4：处理器模块4开始对图像预处理模块3经过预处理的图下个进行优化处理，利用波段自相关分析(BICA)与主成分分析(PCA)提取特征波段，构建植被指数，并采用连续投影法与分段主成分分析相结合，进行波长的筛选。水稻图像优化模块5对不同施氮水平下的水稻冠层高光谱数据进行相关分析，并以统计的方式选取出了最为敏感的高光谱反射率波段520～740nm；
S5：模型参数选择模块8使用的是SegNet网络，SegNet是开源图像分割项目，在FCN网络结构上，搭建编码解码网络结构，从而实现从端到端的逐像素图像分割，图2中绿色部分为卷积层+BN层+激活层，黄色为池化层，红色为上采样层，蓝色为分类层。由于本研究只需要分割出稻穗，属于二分类问题，只有前景点和背景点两个类别，所以需要把SegNet最后1个输出层通道数改为2，得到网络结构；
S6：质量检测模型建立模块9通过将向量映射到一个更高维空间的非线性映射，使数据更容易分为2类。对于非线性、小样本数据集、高维空间模式识别等问题，支持向量机具有独特性和针对性；
S7：检测模型训练模块10随后进行模型训练，模型训练采用的是PyTorch框架，使用GPU训练，参数设置学习率为0.01,学习的动量因子为0.9.权重衰减weight_decay为0.0001,epoch为1000.训练后得到稻穗检测的模型；
S8：检测模型训练模块10使用Photoshop对70张2452像素X2056像素(高X宽)的盆栽水稻图片进行人工标注,将背景点标注为0,稻穗像素点标注为1。第二步，数据扩增。由于盆栽图片中稻穗部分前景点的像素占比很小，因此需扩大前景点样本量以保持样本平衡，首先进行图片裁剪,有稻穗的区域,使用360像素X480像素(高X宽)和480像素X360像素(高X宽)的框在该区域上、下和左、右共4个方向采用滑动窗口的形式裁剪出子图，只有背景的区域随机框出20％并裁减；对所有稻穗区域的子图进行旋转镜像实现数据扩增，得到3960张360像素X480像素(高X宽)的子图。第三步，数据集划分。将3960张子图接照83:17的比例随机划分训练集和验证集，得到3304张训练集样本和656张验证集样本，标签图采用同样的方式处理使之与子图一一对应；
S9：稻穗质量检测模块11将模型统计穗数与人工统计的实际穗数进行比较，误差越小，相关性越高，则模型的计数效果越好；
S10：将步骤S9中得到的测定结果存储到云平台的内部，即可结束整个。
步骤S1中，位于水稻侧面的可见光工业相机在每次旋转的间隙拍摄，每盆水稻共采集13张侧视png格式的RGB图片，图像的分辨率为2452像素×2056像素，自动采集图像并储存至工作站，检测完毕的水稻通过出检线送出。
步骤S2中，处理过程如下：①预处理。对感兴趣区域进行裁剪。②二值化。将彩色CAE图进行阈值分割，公式为：2A－C－E≥S其中，A为像素点的绿色分量，C为红色分量，E为蓝色分量，S＝20为阈值，得到水稻植株的二值图，将整株分割的二值图与CAE图片进行掩膜得到整株分割图像。
所步骤S2中，提取多个水稻整株水稻特征。高(H：水稻植株形态参数，水稻植株外接矩形的高度；宽(W)：水稻植株形态参数,水稻植株外接矩形的宽度；周长/面积(PAR)：水稻植株形态参数，水稻植株的周长与水稻植株投影面积的比值；总投影面积(TPA)：水稻植株形态参数，水稻植株所占的像素点个数；面积/外接矩形的面积(TBR)：水稻植株形态参数，总投影面积(TPA)与外接矩形面积的比值；高，宽(HWR)：水稻植株形态参数外接矩形高(H)与宽(W)的比值；分形维数(FDNIC)：水稻植株形态参数,预处理裁剪后RGB图的分形维数。
步骤S3中，将分割的二值水稻子图拼接得到整株的稻穗分值图，将其与原图掩膜,得到分割后的RGB稻穗图，ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图。
步骤S5中，该模型采用递归方式，自顶而下进行决策。在决策树中，每一个内部节点都存在对应不同的划分区域，且划分条件由各内部相关节点的分支规则确定，通过输入属性值与划分条件的比较判断下一子节点的路径。
步骤S6中，建模过程中，每一个样本从决策树的根节点向叶子节点移动，每个预测样本的起点为树的根节点，终点为某一叶子结点，有且仅有一个，在该节点上，其特征变量的条件分布也被确定
步骤S8中，由于训练样本较少，在模型训练的过程中很容易导致过拟合，所以本研究使用网络结构相似的大田稻穗分割模型PanicleNet进行网络初始化[，以提高模型的分割精度、缩短训练时间。基于caffe平台随机梯度下降法训练，学习率设置为0.001,epoch为100即所有样本训练100次，训练集的batchsize为4,验证集的batchsize为2,学习的动量因子为0.9。
步骤S8中，为了验证模型的性能，避免产生过拟合的现象，采用K折交叉验证的方法，这里K取数值5，首先将所有的数据集随机划分为5份，每次选取其中的1份作为测试集，其余4份为训练集，以此建立5个预测模型并测试，记录每次的评估参数，取平均值并计算标准偏差
步骤S9中，利用云计算平台与云存储技术，将数据存储架构划分为3个层次，其中分布式大数据存储层是核心，其在应用层中所包含的舰船控制系统内采集数据，利用MapReduce分布式并行模型实现数据的划分，利用安全容错存储算法将待存储的数据均匀地划分至相对应的硬件层中计算服务器节点内，由此完成数据的有效存储；同时，所设计的云计算环境下舰船控制系统大数据存储架构可有效实现大数据高效与安全存储的需求
本发明中，基于卷积神经网络FasterR－CNN实现了盆栽水稻穗数的自动检测，基于SegNet网络框架训练模型对盆栽水稻稻穗进行分割。利用RGB和HIS等颜色空间对整株水稻图片和分割后稻穗图片进行阈值分割，经过图像处理，提取了51个整株水稻特征和33个穗部特征。根据提取的85个特征数据，建立多个盆栽水稻稻穗鲜质量和干质量预测模型，使用五倍交叉验证对模型进行评估，从而使得整个方法的准确性得到了提高，同时也降低了水稻质量检测分析的时间，提高了测试效率，减轻了相关工作人员的劳动负担。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述基于深度学习的计算机视觉水稻质量测定方法包括以下步骤：
S1：电源供电模块(1)为整个系统提供电能之后，整个系统开始运行，水稻图像采集模块(2)开始通过可见光工业相机进行水稻图片的检测；
S2：图像预处理模块(3)对水稻图像采集模块(2)采集得到的图像进行预处理，提取绿色部分分量；使用裁剪过的植株RGB图像，利用绿色和红色分量，如果水稻图像中的像素点绿色分量大于阙值Egthreshold并且红色分量小于阙值ERthreshold则判定为绿色部分，与原图掩膜得到效果图,Egthreshold＝0.3,ERthreshold＝0.15；
S3：进行穗部特征提取；将所有待分割的水稻盆栽图片裁剪为360像素X480像素(高X宽)的子图，输入训练好的Rice一PanicleNet模型,得到分割的二值水稻子图；将这些图片拼接得到整株的稻穗分值图，将其与原图掩膜,得到分割后的RGB稻穗图；ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图；
S4：处理器模块(4)开始对图像预处理模块(3)经过预处理的图下个进行优化处理，利用波段自相关分析(BICA)与主成分分析(PCA)提取特征波段，构建植被指数，并采用连续投影法与分段主成分分析相结合，进行波长的筛选；水稻图像优化模块(5)对不同施氮水平下的水稻冠层高光谱数据进行相关分析，并以统计的方式选取出了最为敏感的高光谱反射率波段520～740nm；
S5：模型参数选择模块(8)使用的是SegNet网络，SegNet是开源图像分割项目，在FCN网络结构上，搭建编码解码网络结构，从而实现从端到端的逐像素图像分割，图2中绿色部分为卷积层+BN层+激活层，黄色为池化层，红色为上采样层，蓝色为分类层；由于本研究只需要分割出稻穗，属于二分类问题，只有前景点和背景点两个类别，所以需要把SegNet最后1个输出层通道数改为2，得到网络结构；
S6：质量检测模型建立模块(9)通过将向量映射到一个更高维空间的非线性映射，使数据更容易分为2类；对于非线性、小样本数据集、高维空间模式识别等问题，支持向量机具有独特性和针对性；
S7：检测模型训练模块(10)随后进行模型训练，模型训练采用的是PyTorch框架，使用GPU训练，参数设置学习率为0.01,学习的动量因子为0.9.权重衰减weight_decay为0.0001,epoch为1000.训练后得到稻穗检测的模型；
S8：检测模型训练模块(10)使用Photoshop对70张2452像素X2056像素(高X宽)的盆栽水稻图片进行人工标注,将背景点标注为0,稻穗像素点标注为1；第二步，数据扩增；由于盆栽图片中稻穗部分前景点的像素占比很小，因此需扩大前景点样本量以保持样本平衡，首先进行图片裁剪,有稻穗的区域,使用360像素X480像素(高X宽)和480像素X360像素(高X宽)的框在该区域上、下和左、右共4个方向采用滑动窗口的形式裁剪出子图，只有背景的区域随机框出20％并裁减；对所有稻穗区域的子图进行旋转镜像实现数据扩增，得到3960张360像素X480像素(高X宽)的子图；第三步，数据集划分；将3960张子图接照83:17的比例随机划分训练集和验证集，得到3304张训练集样本和656张验证集样本，标签图采用同样的方式处理使之与子图一一对应；
S9：稻穗质量检测模块(11)将模型统计穗数与人工统计的实际穗数进行比较，误差越小，相关性越高，则模型的计数效果越好；
S10：数据云存储模块(7)将步骤S9中得到的测定结果存储到云平台的内部，即可结束整个流程。
2.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S1中，位于水稻侧面的可见光工业相机在每次旋转的间隙拍摄，每盆水稻共采集13张侧视png格式的RGB图片，图像的分辨率为2452像素×2056像素，自动采集图像并储存至工作站，检测完毕的水稻通过出检线送出。
3.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S2中，处理过程如下：①预处理；对感兴趣区域进行裁剪；②二值化；将彩色CAE图进行阈值分割，公式为：2A－C－E≥S(其中，A为像素点的绿色分量，C为红色分量，E为蓝色分量)，S＝20为阈值，得到水稻植株的二值图，将整株分割的二值图与CAE图片进行掩膜得到整株分割图像。
4.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S2中，提取多个水稻整株水稻特征；高(H：水稻植株形态参数，水稻植株外接矩形的高度；宽(W)：水稻植株形态参数,水稻植株外接矩形的宽度；周长/面积(PAR)：水稻植株形态参数，水稻植株的周长与水稻植株投影面积的比值；总投影面积(TPA)：水稻植株形态参数，水稻植株所占的像素点个数；面积/外接矩形的面积(TBR)：水稻植株形态参数，总投影面积(TPA)与外接矩形面积的比值；高，宽(HWR)：水稻植株形态参数外接矩形高(H)与宽(W)的比值；分形维数(FDNIC)：水稻植株形态参数,预处理裁剪后RGB图的分形维数。
5.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S3中，将分割的二值水稻子图拼接得到整株的稻穗分值图，将其与原图掩膜,得到分割后的RGB稻穗图，ORGB稻穗分割效果图处理后得到H分量灰度图、稻穗外边缘图、I分量灰度图、稻穗绿色分割二值图。
6.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S5中，该模型采用递归方式，自顶而下进行决策；在决策树中，每一个内部节点都存在对应不同的划分区域，且划分条件由各内部相关节点的分支规则确定，通过输入属性值与划分条件的比较判断下一子节点的路径。
7.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S6中，建模过程中，每一个样本从决策树的根节点向叶子节点移动，每个预测样本的起点为树的根节点，终点为某一叶子结点，有且仅有一个，在该节点上，其特征变量的条件分布也被确定。
8.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S8中，由于训练样本较少，在模型训练的过程中很容易导致过拟合，所以本研究使用网络结构相似的大田稻穗分割模型PanicleNet进行网络初始化[，以提高模型的分割精度、缩短训练时间；基于caffe平台随机梯度下降法训练，学习率设置为0.001,epoch为100即所有样本训练100次，训练集的batchsize为4,验证集的batchsize为2,学习的动量因子为0.9。
9.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S8中，为了验证模型的性能，避免产生过拟合的现象，采用K折交叉验证的方法，这里K取数值5，首先将所有的数据集随机划分为5份，每次选取其中的1份作为测试集，其余4份为训练集，以此建立5个预测模型并测试，记录每次的评估参数，取平均值并计算标准偏差。
10.如权利要求1所述的一种基于深度学习的计算机视觉水稻质量测定方法，其特征在于：所述步骤S9中，数据云存储模块(7)利用云计算平台与云存储技术，将数据存储架构划分为3个层次，其中分布式大数据存储层是核心，其在应用层中所包含的舰船控制系统内采集数据，利用MapReduce分布式并行模型实现数据的划分，利用安全容错存储算法将待存储的数据均匀地划分至相对应的硬件层中计算服务器节点内，由此完成数据的有效存储；同时，所设计的云计算环境下舰船控制系统大数据存储架构可有效实现大数据高效与安全存储的需求。
CN202311447276.XA 2023-11-02 2023-11-02 一种基于深度学习的计算机视觉水稻质量测定方法 Pending CN117392104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311447276.XA CN117392104A (zh) 2023-11-02 2023-11-02 一种基于深度学习的计算机视觉水稻质量测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311447276.XA CN117392104A (zh) 2023-11-02 2023-11-02 一种基于深度学习的计算机视觉水稻质量测定方法

Publications (1)

Publication Number Publication Date
CN117392104A true CN117392104A (zh) 2024-01-12

Family

ID=89437253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311447276.XA Pending CN117392104A (zh) 2023-11-02 2023-11-02 一种基于深度学习的计算机视觉水稻质量测定方法

Country Status (1)

Country Link
CN (1) CN117392104A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611927A (zh) * 2024-01-22 2024-02-27 中储粮成都储藏研究院有限公司 一种稻谷互混率检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611927A (zh) * 2024-01-22 2024-02-27 中储粮成都储藏研究院有限公司 一种稻谷互混率检测方法及装置
CN117611927B (zh) * 2024-01-22 2024-04-16 中储粮成都储藏研究院有限公司 一种稻谷互混率检测方法及装置

Similar Documents

Publication Publication Date Title
Sun et al. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering
Pang et al. Improved crop row detection with deep neural network for early-season maize stand count in UAV imagery
Aich et al. Deepwheat: Estimating phenotypic traits from crop images with deep learning
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN110569747A (zh) 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN111105393B (zh) 一种基于深度学习的葡萄病虫害识别方法及装置
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
KR102297913B1 (ko) 하이퍼스펙트럴 반사광 및 형광 산란을 이용한 식물 생장 모니터링 시스템 및 그 방법
CN117392104A (zh) 一种基于深度学习的计算机视觉水稻质量测定方法
Costa et al. Measuring pecan nut growth utilizing machine vision and deep learning for the better understanding of the fruit growth curve
CN110736709A (zh) 一种基于深度卷积神经网络的蓝莓成熟度的无损检测方法
CN110163101A (zh) 中药材种子区别及等级快速判别方法
CN111767943A (zh) 地膜识别方法、装置、电子设备及存储介质
Hu et al. A robust deep learning approach for the quantitative characterization and clustering of peach tree crowns based on UAV images
Deulkar et al. An automated tomato quality grading using clustering based support vector machine
Shen et al. Identifying veraison process of colored wine grapes in field conditions combining deep learning and image analysis
KR102576427B1 (ko) 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法
Nagpal et al. An application of deep learning for sweet cherry phenotyping using yolo object detection
Choudhury Segmentation techniques and challenges in plant phenotyping
CN112488230A (zh) 基于机器学习的作物水分胁迫程度判定方法和装置
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
Schmidtke Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time
Hilli An overview on phenomics applications in different agriculture disciplines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination