CN111460903B - 基于深度学习的田间西兰花长势监测系统及方法 - Google Patents
基于深度学习的田间西兰花长势监测系统及方法 Download PDFInfo
- Publication number
- CN111460903B CN111460903B CN202010146782.5A CN202010146782A CN111460903B CN 111460903 B CN111460903 B CN 111460903B CN 202010146782 A CN202010146782 A CN 202010146782A CN 111460903 B CN111460903 B CN 111460903B
- Authority
- CN
- China
- Prior art keywords
- broccoli
- field
- deep learning
- degree
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 title claims abstract description 64
- 235000017647 Brassica oleracea var italica Nutrition 0.000 title claims abstract description 64
- 240000003259 Brassica oleracea var. botrytis Species 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 230000001360 synchronised effect Effects 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims abstract description 3
- 230000011218 segmentation Effects 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 229910000838 Al alloy Inorganic materials 0.000 claims description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010521 absorption reaction Methods 0.000 claims 1
- 230000035939 shock Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 244000308180 Brassica oleracea var. italica Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000010198 maturation time Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000008442 polyphenolic compounds Chemical class 0.000 description 1
- 235000013824 polyphenols Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的田间西兰花长势监测系统及方法，包括田间移动平台和图像采集系统，田间移动平台包括轮式底座、三自由度支架和自动控制装置，图像采集系统包括工业相机和工作站，三自由度支架设置在轮式底座上，工业相机数量为两台，固定安装在三自由度支架上，工业相机和工作站通信连接，自动控制装置用于实现工业相机自动、同步拍摄，并控制三自由度支架进行升降操作。本发明结合机器视觉和深度学习技术，利用自主研发的地面平台，基于改进U‑Net全卷积神经网络对标注数据进行训练学习，用Otsu算法进一步实现花球新鲜度分析，精度表现较好且具有较强鲁棒性，对未来田间西兰花的表型分析具有一定的参考价值。
Description
技术领域
本发明涉及智能化农业技术领域，尤其涉及一种基于深度学习的田间西兰花长势监测系统及方法。
背景技术
西兰花为十字科一、二年生草本植物，其蛋白质含量高并富含多种维生素和多酚类物质，具有较高的种植效益和经济价值。我国是西兰花生产与消费大国，目前种植面积和产量均居世界首位。过去对西兰花长势监测主要依靠人工，即通过农艺人员在田间对西兰花花球直径、圆度等几何参数进行定期、不定期的量测，获取其动态生长模型。但是，传统人工田间调查费时费力、主观性强，且不能实时提供数据。当前，计算机视觉技术已被广泛应用于田间复杂环境下的果实提取和分析研究中以实现作物生长的动态监控，基于颜色空间变换技术，利用西兰花花球和土壤背景之间的颜色差异对获取的西兰花花球影像进行分割处理，并统计像素数目作为西兰花长势动态监测依据。但传统颜色空间变换技术对受控环境下影像的处理精度较高，而受土壤反射率、光照强度、不同生育期、植被阴影等影响较大，会导致精度明显降低，其鲁棒性不足，且抗噪能力弱。近年以来，深度学习的兴起为复杂背景下进行果实分割提供了一个更好的技术手段，其由大数据集驱动，不需要设定具体的目标特征即可进行高维数据判别，具有强大的信息处理优势。但这些网络构造较为复杂，对原始数据需求量大，难以满足实际生产需要。
对西兰花长势进行监测中除了需要对花球部位进行准确定位和分割，还应该根据其头部黄-绿颜色占比对新鲜度进行估计。因为西兰花是一种需要进行选择性收获的作物，同一地块上的不同个体其花球新鲜水平会呈现较大的差异。如何精确对每个花球的新鲜度进行评估，是提高采收效率、保证采收质量的关键。
因此，本领域的技术人员致力于开发一种基于深度学习的田间西兰花长势监测系统及方法，结合机器视觉和深度学习技术，利用自主研发的地面平台，基于改进U-Net全卷积神经网络对标注数据进行训练学习，用Otsu算法进一步实现花球新鲜度分析，精度表现较好且具有较强鲁棒性，对未来田间西兰花的表型分析具有一定的参考价值。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何提供一种基于深度学习的田间西兰花长势监测系统及方法，精度表现较好且具有较强鲁棒性。
为实现上述目的，本发明提供了一种基于深度学习的田间西兰花长势监测系统，其特征在于，包括田间移动平台和图像采集系统，所述田间移动平台包括轮式底座、三自由度支架和自动控制装置，所述图像采集系统包括工业相机和工作站，所述三自由度支架设置在所述轮式底座上，所述工业相机数量为两台，固定安装在所述三自由度支架上，所述工业相机和工作站通信连接，所述自动控制装置用于实现所述工业相机自动、同步拍摄，并控制所述三自由度支架进行升降操作。
进一步地，所述轮式底座采用中控设计，后部设置有锂电池，前后轮处分别设置有直流伺服电机，用于控制所述轮式底座行驶和转向。
进一步地，所述三自由度支架包括水平部分、垂直部分和相机支架，所述水平部分可拆卸固定在所述轮式底座X向任意位置，所述垂直部分可拆卸垂直固定在所述水平部分Y向任意位置，所述相机支架沿Z向可移动安装在所述垂直部分，并接受所述自动控制装置控制升降操作。
进一步地，所述三自由度支架的材质为铝合金材质。
进一步地，所述相机支架为减震设计。
进一步地，所述轮式底座还包括电涡流缓速器，所述电涡流缓速器设置在所述轮式底座后轮处，用于在在行驶状态下辅助制动。
进一步地，所述自动控制装置包括可编程逻辑控制器、继电器，所述可编程逻辑控制器用来控制继电器，所述继电器输出用来触发所述工业相机快门和控制所述相机支架升降。
另一方面，本发明还提供了一种基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述方法包括以下步骤：
步骤1、将两台所述工业相机同步获取的田间西兰花影像利用SIFT算法进行拼接，得到原始数据集；
步骤2、对所述原始数据集进行标注，区分出花球和背景信息；
步骤3、对标注好的数据集进行图像切割，把切割出的子图像用双线性插值法重采样，并灰度化，得到测试数据集；
步骤4、将所述测试数据集输入改进U-Net全卷积神经网络中进行训练学习，得到西兰花球分割模型；
步骤5、将待测试数据输入训练好的所述西兰花球分割模型，得出分隔结果灰度图，并依次进行拼接后重采样；
步骤6、通过Otsu算法对步骤5中重采样后的图像中分割出的花球区域进行二次分割，得到所述花球区域上黄-绿两种颜色的占比作为新鲜度评价的标准。
进一步地，所述步骤2中对所述原始数据集进行标注具体步骤为：
步骤2.1、用红色对花球轮廓进行标注；
步骤2.2、用形态学区域填充对轮廓进行填充；
步骤2.3、标注出完整花球区域得到原始图像的参照基准。
进一步地，所述步骤4中所述改进U-Net全卷积神经网络包括下采样部分和上采样部分，所述下采样部分包括八个3×3的卷积层和四个2×2的最大值池化层，所述上采样部分包括八个3×3的卷积层，一个1×1的卷积层和四个2×2的反卷积层，所述卷积层采用线性整流函数作为激活函数，且对每个卷积层的卷积结果填充0以保证输入输出大小不变。
本发明的有益效果是：
1、研究了大田环境下西兰花花球分割的问题。通过构建多人标注下的田间花球图像的大田花球分割数据集训练并建立了西兰花花球分割模型，其在分割复杂环境下的花球上具有高精度和一定的抗干扰性且性能高于其它分割方法，能有效的应对花球-叶片粘连、冠层阴影干扰、光照条件变化等情况；
2、建立了新的大田西兰花花球新鲜度评价指标和分级方法。通过自适应阈值分割对得到的西兰花花球区域进行二次分割，统计其中黄绿区域像素数占比作为新鲜度判定依据，由于黄绿区域颜色特征差异明显，选择该方法可以获得较好的精度；针对当前西兰花品质分级领域存在的分级过细、不易操作等问题，考虑西兰花贸易实际情况，提出了一种新的西兰花新鲜度分级标准，具有较高的精度和较强的可操作性。可以为西兰花估产和优良品种培育提供有效的数据支持。
附图说明
图1是本发明的一个较佳实施例的系统结构示意图；
图2是本发明的一个较佳实施例的基于U-Net的分割网络模型；
图3是本发明的一个较佳实施例的“台绿1号”西兰花新鲜度分析结果；
图4是本发明的一个较佳实施例的“浙青452”西兰花新鲜度分析结果；
图5是本发明的一个较佳实施例的“台绿1号”西兰花新鲜度分析结果；
图6是本发明的一个较佳实施例的光照条件变化对分割结果的影响分析。
具体实施方式
以下参考说明书附图介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
本发明结合机器视觉和深度学习技术，提出了一种基于深度学习的田间西兰花长势监测系统。首先，通过自主研发的地面平台，获取了多个生育期的冠层正射影像；利用本发明中提出的基于改进U-Net全卷积神经网络对标注数据进行训练学习，从而建立西兰花球分割模型；在该模型分割基础上，用最大类间方差法(Otsu)进一步实现了花球新鲜度分析。
具体实施方法如下：
1、数据获取
1.1田间移动平台
如图1所示，田间移动平台FieldScan Pro包括轮式底座1、三自由度支架2和自动控制装置。轮式底座1采用中控设计，由后部搭载的锂电池提供电能，在前后轮处分别装有四个24V直流伺服电机，通过改变信号电压控制其行驶和转向；后轮处安装有电涡流缓速器可以在行驶状态下进行辅助制动。三自由度支架2为铝合金材料的刚性装置，可以在X、Y、Z向进行任意位置调节固定，配合具有减震功能的相机支架可以实现田间图片的连续稳定拍摄。自动控制装置以可编程逻辑控制器(PLC)为核心，共有五路信号输出：其中Y4端口与继电器共同作用可以触发工业相机快门实现自动、同步拍摄；Y0-Y3端口分别输出两路脉冲信号，控制相机支架进行升降。
1.2图像采集系统
图像采集系统由两台高速工业相机3及一台高性能移动工作站4组成(图1)。工业相机3为德国BASLER公司研发的MV-SUF1200M-T型，采用1″CMOS传感器，分辨率为1200万像素，帧率为30.5FPS，所有拍摄图片格式存储为JPEG。采集的图像信号通过USB 3.0Micro-B接口传输至工作站4。工作站4预装有pylon Camera Software Suite软件(由BASLER Inc.提供)，可以对获取的影像进行实时查看以保证质量。
1.3数据采集及数据集建立
如图1所示，对西兰花株5进行拍摄，西兰花株距约为30cm，拍摄焦距为5mm，镜头保持垂直向下，与地面距离约为0.8m，相机分辨率为1200万像素，拍摄格式为JPEG。将左右两部相机同步获取的影像利用尺度不变特征转换(scale-invariant feature transform,SIFT)算法进行拼接，得到广角照片以保证花球结构信息的完整性。实验中总共选取了三种西兰花品种进行品种间对照试验，所有品种水肥施用量均为正常水平不做梯度试验。
本实施例共采集了120张田间西兰花图像作为原始数据集，并由4人对数据集进行标注。首先，用红色(R:255,G:0,B:0)对花球轮廓进行标注，再用形态学区域填充对轮廓进行填充，以标注出完整花球区域得到原始图像的参照基准(ground truth)。由于原始图像较大，不利于网络的训练，故对图像进行切割，为了保证视场中尽可能多的看见花球和其它背景信息，以768×768像素大小为滑块，768×0.5为步长，进行切割，共切割出6500张子图像，并把切割出的子图像用双线性插值法重采样到256×256，并灰度化原彩色图像，以便网络训练。
2、西兰花花球分割模型建立
如图2所示，本实施例中所使用的训练集为4550张，验证集1950张。模型中的其他参数设置如下：learning rate＝0.001，steps_per_epoch＝1000，epochs＝30，batch size＝20，训练时间共10.06小时。本模型基于对U-Net网络进行参数微调实现，输入为256×256的灰度图像，输出为大小256×256的灰度图像；网络左边为下采样部分1，包括八个3×3的卷积层(conv)和四个2×2的最大值池化层(max pool)，右边上采样部分2包含八个3×3的卷积层(conv)，一个1×1的卷积层(conv)和四个2×2的反卷积层(up-conv)，采用线性整流函数(Rectified Linear Unit,ReLU)作为激活函数，且对每个卷积层的卷积结果填充0以保证输入输出大小不变。网络在下采样部分1经过不同程度的卷积学习西兰花花球的深层次特征，再经过上采样部分2反卷积至原图大小，复制裁剪(copy and crop)最后输出分割结果图。
3、花球新鲜度分析及分级标准
通过Otsu算法对分割出的花球区域进行二次分割，得到其上黄-绿两种颜色的占比作为新鲜度评价的标准。Otsu算法是由Nobuyuki Otsu等人提出的，是一种自适应的阈值确定的方法。它是按图像的灰度特性，寻找阈值T将图像分成背景和目标两部分。对于图像前景和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，T的计算方法如下：
T＝w0×w1×(μ1-μ0)×(μ0-μ1) (1)
目前，Li等根据西兰花花球的黄色区域面积对其新鲜度进行了分级，具体分级标准如下：
等级0——肉眼无法检测出黄色区域；
等级1——仅仅有1-3个花苞呈现黄色；
等级3——检测出黄色区域面积小于5％；
等级5——黄色区域面积≤50％；
等级7——检测出的黄色区域占比不超过75％；
等级9——花球所有部位均显示黄色。
黄度计算公式如下：
Y＝∑(Ym*Nm)/(Yh*Na) (2)
上式中，Y表示花球黄度等级，Ym表示单个花球的黄度，Nm为该等级内包含的花球总数，Yh为最高黄度等级，Na为参与分级的西兰花花球总个数。
然而在实际生产中不需要进行如此精细的分级，因为当黄色区域面积超过10％时西兰花对消费者来说已经不具有购买价值(视为不新鲜)。基于这种考虑，我们将等级4-等级9进行合并从而将新的分级标准调整为5级，即等级0-4，如表1所示。
表1西兰花新鲜度评价指标
4、算法精度评估
我们使用结构相似性指数(structural similarity,SSIM)、精度(Precision)、召回(Recall)和F-度量(F-measure)四个指标评估分割的质量。SSIM描述了分割图像和真实图像之间的相似度，值越高表示图像之间的相似性越高。Precision表示分割算法的准确性，Recall表示分割图像的完整性。F-measure用来平衡Precision和Recall这两个指标，F-measure的值越高，分割结果越好。
其中x，y是比较的两幅图像，μx是x的平均值，μy是y的平均值，
是x的方差，
是y的方差，σxy是x和y的协方差。c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数。L是像素值的动态范围。k1＝0.01，k2＝0.03。TP表示预测结果和相应的真实结果都是花球像素，FP表示被分类为西兰花花球像素的像素，但这些像素的真实结果是背景，FN表示属于真实结果但未被正确区分的像素。
5、结果
本实施例模型在PyCharm 2017(Ubuntu 18.04 64-bit)中训练完成，硬件环境为12-core Intel Core i7-7700 CPU(3.40GHz)、16GB RAM和GTX1080 GPU。
5.1西兰花花球分割结果
由于原始图像为4592×3448像素，为了更好的裁剪，首先用双线性插值法对图像重采样到4608×3840像素，以768×768为滑窗大小，768为步长对原始图像进行裁剪得到子图像，最后对子图像进行重采样到256×256大小，并灰度化为灰度图像。把子图像的灰度图像输入大田花球分割模型中，得出分割结果灰度图，并依次把结果图像拼接到4608×3840像素大小，并重采样到4592×3448像素。为了比较本实施例分割方法的优劣性，分别利用几种传统图像分割方法与本实施例方法对30张西兰花图像进行测试，结果如表2所示。对于测试的30副西兰花图片，本实施例方法的精度(Precision)约为0.9，高于基于颜色空间变换及灰度直方图的分割方法。
表2西兰花花球分割结果
其中，超绿指数(excess green,ExG)是一种基于像素双峰分布的自动阈值分割方法，通过增强花球与背景之间的对比度来实现两者的分离，其计算公式为：ExG＝2×g-r-b；超绿超红差分指数(excess green minus excess red,ExGR)将ExG和超红指数((excessred,ExR)相结合，对传统的超绿分割进行了改进，其计算公式为：ExGR＝ExG-(1.4×r-g)；植被提取颜色指数(color index of vegetation,CIVE)通过加强绿色区域来评价色彩特征，其计算公式为：CIVE＝0.441r-0.811g+0.385b+18.78745；最小误差阈值化方法(minimum error thresholding,MET)不考虑颜色特征，而是将彩色图像转化为灰度图像后根据其灰度直方图的分布进行分割。
5.2西兰花新鲜度分析结果
如图3、图4和图5所示，在同一养分水平下“台绿1号”处于等级0-2新鲜度下的个体比例最高，表明该品种成熟速率较为接近；而“台绿二号”新鲜度呈现两端分布的情况(等级0占比为26.2％，等级4占比为30％)，说明该品种成熟速率差异性较大。此外，“台绿二号”和“浙青452”花球发黄程度较“台绿一号”偏重，表明这两个品种在相同养分条件下成熟时间早，变质情况严重，对采摘后保存环境要求高。
5.3光照条件变化对分割结果的影响
为了研究该方法对光照变化的鲁棒性及最佳工作亮度，采用Photoshop CS6软件的图像亮度调节工具对影像的亮度分量进行调整。将原始图像亮度作为亮度调节的中心值，从暗到亮模拟出的5种不同亮度条件。利用本实施例方法分别作用于这些不同亮度下的影像，可以模拟出田间不同光照强度对总体识别精度的影响。
如图6所示，识别精度在L2-L4亮度区间内达到最高。这一区间对应于实际拍摄中的中等强度光照。因此，在实际操作中应尽量将背景灯光亮度控制在这一范围内，以保证实验结果的稳定。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述监测系统包括田间移动平台和图像采集系统，所述田间移动平台包括轮式底座、三自由度支架和自动控制装置，所述图像采集系统包括工业相机和工作站，所述三自由度支架设置在所述轮式底座上，所述工业相机数量为两台，固定安装在所述三自由度支架上，所述工业相机和工作站通信连接，所述自动控制装置用于实现所述工业相机自动、同步拍摄，并控制所述三自由度支架进行升降操作；
所述监测方法包括以下步骤：
步骤1、将两台所述工业相机同步获取的田间西兰花影像利用SIFT算法进行拼接，得到原始数据集；
步骤2、对所述原始数据集进行标注，区分出花球和背景信息；
步骤3、对标注好的数据集进行图像切割，把切割出的子图像用双线性插值法重采样，并灰度化，得到训练数据集；
步骤4、将所述训练数据集输入改进U-Net全卷积神经网络中进行训练学习，得到西兰花球分割模型；
步骤5、将测试数据输入训练好的所述西兰花球分割模型，得出分隔结果灰度图，并依次进行拼接后重采样；
步骤6、通过Otsu算法对步骤5中重采样后的图像中分割出的花球区域进行二次分割，得到所述花球区域上黄-绿两种颜色的占比作为新鲜度评价的标准；
所述步骤4中所述改进U-Net全卷积神经网络包括下采样部分和上采样部分，所述下采样部分包括八个3×3的卷积层和四个2×2的最大值池化层，所述上采样部分包括八个3×3的卷积层，一个1×1的卷积层和四个2×2的反卷积层，所述卷积层采用线性整流函数作为激活函数，且对每个卷积层的卷积结果填充0以保证输入输出大小不变。
2.如权利要求1所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述轮式底座采用中控设计，后部设置有锂电池，前后轮处分别设置有直流伺服电机，用于控制所述轮式底座行驶和转向。
3.如权利要求1所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述三自由度支架包括水平部分、垂直部分和相机支架，所述水平部分可拆卸固定在所述轮式底座X向任意位置，所述垂直部分可拆卸垂直固定在所述水平部分Y向任意位置，所述相机支架沿Z向可移动安装在所述垂直部分，并接受所述自动控制装置控制升降操作。
4.如权利要求1所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述三自由度支架的材质为铝合金材质。
5.如权利要求3所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述相机支架为减震设计。
6.如权利要求2所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述轮式底座还包括电涡流缓速器，所述电涡流缓速器设置在所述轮式底座后轮处，用于在行驶状态下辅助制动。
7.如权利要求1所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述自动控制装置包括可编程逻辑控制器、继电器，所述可编程逻辑控制器用来控制继电器，所述继电器输出用来触发所述工业相机快门和控制所述相机支架升降。
8.如权利要求1所述的基于深度学习的田间西兰花长势监测系统的监测方法，其特征在于，所述步骤2中对所述原始数据集进行标注具体步骤为：
步骤2.1、用红色对花球轮廓进行标注；
步骤2.2、用形态学区域填充对轮廓进行填充；
步骤2.3、标注出完整花球区域得到原始图像的参照基准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010146782.5A CN111460903B (zh) | 2020-03-05 | 2020-03-05 | 基于深度学习的田间西兰花长势监测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010146782.5A CN111460903B (zh) | 2020-03-05 | 2020-03-05 | 基于深度学习的田间西兰花长势监测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460903A CN111460903A (zh) | 2020-07-28 |
| CN111460903B true CN111460903B (zh) | 2022-07-19 |
Family
ID=71680092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010146782.5A Active CN111460903B (zh) | 2020-03-05 | 2020-03-05 | 基于深度学习的田间西兰花长势监测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460903B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112509029B (zh) * | 2020-11-30 | 2024-01-19 | 广西慧云信息技术有限公司 | 一种远程分析葡萄长势的方法 |
| CN113409298A (zh) * | 2021-07-08 | 2021-09-17 | 广西大学 | 基于Kinect V2传感器的香蕉植株长势评价系统 |
| CN113989509B (zh) * | 2021-12-27 | 2022-03-04 | 衡水学院 | 基于图像识别的农作物虫害检测方法、检测系统及设备 |
| CN115061168A (zh) * | 2022-06-27 | 2022-09-16 | 安徽农业大学 | 一种移动巡检式农作物生长监测系统及方法 |
| CN115546621B (zh) * | 2022-11-28 | 2023-02-28 | 浙江托普云农科技股份有限公司 | 一种作物长势分析方法、装置及应用 |
| CN116267196B (zh) * | 2022-12-08 | 2024-06-07 | 江苏大学 | 一种自走式西兰花根叶果联合收获分离装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243063A (zh) * | 2011-04-14 | 2011-11-16 | 华中科技大学 | 一种混凝土桥梁底面裂缝检测装置 |
| CN105894488A (zh) * | 2014-10-21 | 2016-08-24 | 南京农业大学 | 一种自适应的鸡蛋透射图像蛋黄区域分割方法 |
| CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
| WO2019182520A1 (en) * | 2018-03-22 | 2019-09-26 | Agency For Science, Technology And Research | Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments |
| CN110529186A (zh) * | 2019-09-11 | 2019-12-03 | 上海同岩土木工程科技股份有限公司 | 基于红外热成像的隧道结构渗漏水精确识别装置和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203591A1 (en) * | 2015-01-09 | 2016-07-14 | Umm Al-Qura University | System and process for monitoring the quality of food in a refrigerator |
-
2020
- 2020-03-05 CN CN202010146782.5A patent/CN111460903B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243063A (zh) * | 2011-04-14 | 2011-11-16 | 华中科技大学 | 一种混凝土桥梁底面裂缝检测装置 |
| CN105894488A (zh) * | 2014-10-21 | 2016-08-24 | 南京农业大学 | 一种自适应的鸡蛋透射图像蛋黄区域分割方法 |
| WO2019182520A1 (en) * | 2018-03-22 | 2019-09-26 | Agency For Science, Technology And Research | Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments |
| CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
| CN110529186A (zh) * | 2019-09-11 | 2019-12-03 | 上海同岩土木工程科技股份有限公司 | 基于红外热成像的隧道结构渗漏水精确识别装置和方法 |
Non-Patent Citations (2)
| Title |
|---|
| Detection of the Freshness State;Dong Yang等;《Applied Spectroscopy》;20171031;第2286-2301页 * |
| 基于计算机视觉的评估霉心病变程度测量方法;王富春 等;《农机化研究》;20150630;第37卷(第6期);第189-193页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460903A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460903B (zh) | 基于深度学习的田间西兰花长势监测系统及方法 | |
| US7248968B2 (en) | Obstacle detection using stereo vision | |
| Wang et al. | Localisation of litchi in an unstructured environment using binocular stereo vision | |
| CN109559310B (zh) | 基于显著性检测的输变电巡检图像质量评价方法及系统 | |
| CN112136505B (zh) | 一种基于视觉选择注意机制的水果采摘顺序规划方法 | |
| Si et al. | Location of apples in trees using stereoscopic vision | |
| CN111462044B (zh) | 基于深度学习模型的温室草莓检测与成熟度评价方法 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN107748886B (zh) | 一种基于深度相机的轨道式现代标准化果园信息感知系统 | |
| CN107844797A (zh) | 一种基于深度图像的哺乳母猪姿态自动识别的方法 | |
| CN114067309B (zh) | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 | |
| CN109584258B (zh) | 草地边界识别方法及应用其的智能割草装置 | |
| CN108074265A (zh) | 一种基于视觉辨识的网球定位系统、方法及装置 | |
| CN116682106A (zh) | 一种基于深度学习的柑橘木虱智能检测方法及装置 | |
| CN105844264B (zh) | 一种基于受力的油用牡丹果实图像的识别方法 | |
| Chen et al. | Detection, Counting and Maturity Assessment of Cherry Tomatoes using Multi-spectral Images and Machine Learning Techniques. | |
| CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
| Zhang et al. | Recognition of greenhouse cucumber fruit using computer vision | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN108171713A (zh) | 基于视觉的机器人快速识别与三维视觉定位方法 | |
| CN114627119B (zh) | 基于视觉神经网络的外观缺陷智能识别系统及识别方法 | |
| CN115862003A (zh) | 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法 | |
| Nejati et al. | Kiwifruit detection in challenging conditions | |
| Chen et al. | Measurement of the distance from grain divider to harvesting boundary based on dynamic regions of interest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |