CN109166127A - 一种可穿戴式植物表型感知系统 - Google Patents
一种可穿戴式植物表型感知系统 Download PDFInfo
- Publication number
- CN109166127A CN109166127A CN201810786661.XA CN201810786661A CN109166127A CN 109166127 A CN109166127 A CN 109166127A CN 201810786661 A CN201810786661 A CN 201810786661A CN 109166127 A CN109166127 A CN 109166127A
- Authority
- CN
- China
- Prior art keywords
- image
- wearable
- plant
- pixel
- sensory perceptual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001953 sensory effect Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000013461 design Methods 0.000 claims abstract description 4
- 238000003860 storage Methods 0.000 claims abstract description 4
- 241000196324 Embryophyta Species 0.000 claims description 52
- 235000013399 edible fruits Nutrition 0.000 claims description 38
- 235000007688 Lycopersicon esculentum Nutrition 0.000 claims description 29
- 240000003768 Solanum lycopersicum Species 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 20
- 238000003709 image segmentation Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 241000146226 Physalis ixocarpa Species 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 206010039509 Scab Diseases 0.000 description 2
- 235000009754 Vitis X bourquina Nutrition 0.000 description 2
- 235000012333 Vitis X labruscana Nutrition 0.000 description 2
- 240000006365 Vitis vinifera Species 0.000 description 2
- 235000014787 Vitis vinifera Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000207199 Citrus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009305 arable farming Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000004345 fruit ripening Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
本发明涉及一种可穿戴式植物表型感知系统，包括计算机，还包括可穿戴设备，所述可穿戴设备包括用于采集植物图像的图像采集装置和将植物图像传输至计算机的数据传输装置，所述计算机包括处理器和存储器，以及存储在存储器上并由所述处理器运行的程序，所述处理器在执行所述程序时实现根据植物图像得到植物表型信息。与现有技术相比，本发明结合了可穿戴设备与机器视觉技术，针对实际自然场景下的植物设计并实现了一套可穿戴式表型感知解决方案，该系统使用便携、鲁棒可靠、计算精度较高，有利于推广。
Description
技术领域
本发明涉及一种植物表型感知技术，尤其是涉及一种可穿戴式植物表型感知系统。
背景技术
植物表型是对植物个体性状特征的描述，通过这些表型参数信息我们可以了解它的生长状态，为作物栽培提供决策参考，进而提高农作物的产量和农业产业的经济效益。
关于植物表型感知的研究最早始于上世纪60年代，并且随着计算机视觉在农业领域的应用而兴起，直至今日已然成为计算机视觉、模式识别领域的一大热点。植物表型视觉检测分析方法大致可分为两大类：一是基于图像处理与物理特性识别的传统方法；二是基于卷积神经网络的深度学习的方法。
在传统方法中，Schertz and Brown.最早提出建议用光度信息定位植物的果实，通过果实与叶片在可见光或红外线照射下的反射程度不同区分果实区域(Schertz C E,Brown G K.Basic considerations in mechanizing citrus harvest[J].Transactionsof the ASAE,1968,11(3):343-0346.8)。此后的研究大多基于颜色特征，利用目标与背景的颜色差异性提取出前景区域，再结合一定优化算法提升分割精度。比如Shebiah R,etal.和Liu S,et al.分别融合颜色特征与纹理特征实现果实的检测分类(Arivazhagan S,Shebiah R N,Nidhyanandhan S S,et al.Fruit recognition using color and texturefeatures[J].Journal of Emerging Trends in Computing and Information Sciences,2010,1(2):90-94.)，后者还使用支持向量机分离出有用的特征来加速检测，对园区葡萄串的检测精度达到了87％(Liu S,Whitty M,Cossell S.Automatic grape bunch detectionin vineyards for precise yield estimation[C]//Machine Vision Applications(MVA),2015 14th IAPR International Conference on.IEEE,2015:238-241.)。此外，也有相关学者用mean shift图像分割算法提取水稻病叶图像中的病斑并基于颜色、形状、纹理、病健交界4个特征构建SVM非线性模型，实现了叶部病害的识别与15种病斑的准确分类。这些基于颜色纹理特征的方法虽然检测成熟果实的成功率较高，但针对未成熟的果实或目标与背景颜色相近时检测精度较低，而且视对象类型不同选用的颜色分析策略不同，无法推广至其他种类。
由于深度学习允许人们进行端到端的系统设计，不必考虑许多中间步骤，近年来国内外许多研究人员提出了各种基于卷积神经网络的植物表型感知方法，克服了传统方法的不足，性能上取得了巨大提升。在深度学习方法中，基于AlexNet和GoogLeNet的方法可应用于对Plant Village数据集上的14种庄稼的26种常见自然病害的检测(Mohanty S P,Hughes D P,SalathéM.Using deep learning for image-based plant diseasedetection[J].Frontiers in plant science,2016,7:1419.)。一种结合特征颜色值和反向传播神经网络的番茄成熟度分级方法(Wan P,Toudeshki A,Tan H,et al.Amethodology for fresh tomato maturity detection using computer vision[J].Computers and Electronics in Agriculture,2018,146:43-50.)被提出，该方法首先将图片经过阈值分割、去噪、轮廓提取与边界填充后，再将番茄自中心向外等面积分成1个中心圆和4个圆环共5个子区域，然后提取每个区域的平均RGB值并计算出对应的HSI颜色值，从而得到每个番茄子区域的一个六维颜色特征向量(R,G,B,H,S,I)，最后将特征向量输入一个BPNN网络训练出分类模型，对市场上番茄成熟度的分级正确率达到99％。
基于机器视觉的植物表型感知技术目前还不成熟，对专业硬件设备有较高要求、而且大部分只针对某一种属性进行测量，这些不足限制了它在实际场景下的应用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可穿戴式植物表型感知系统。
本发明的目的可以通过以下技术方案来实现：
一种可穿戴式植物表型感知系统，包括计算机，还包括可穿戴设备，所述可穿戴设备包括用于采集植物图像的图像采集装置和将植物图像传输至计算机的数据传输装置，所述计算机包括处理器和存储器，以及存储在存储器上并由所述处理器运行的程序，所述处理器在执行所述程序时实现以下步骤：
步骤S1：接收由可穿戴设备采集的植物图像；
步骤S2：利用事先对所述图像采集装置进行标定结果对植物图像进行畸变矫正；
步骤S3：基于畸变校正后的植物图像，检测该植物图像中的需感知部分；
步骤S4：基于检测结果，进行图像分割，得到需感知部分；
步骤S5：基于度量参照物计算单位像素的实际大小，并由图像分割结果进行计算得到面积、周长、短轴长轴比；
步骤S6：根据图像分割结果，统计颜色信息并基于统计结果对成熟度进行分级。
所述可穿戴设备为智能眼镜。
所述步骤S2具体为：利用事先对所述图像采集装置进行标定结果中的畸变系数对植物图像进行畸变矫正：
径向畸变的矫正为：
xcorrected＝x(1+k1r2+k2r4+k3r6)
ycorrected＝y(1+k1r2+k2r4+k3r6)
切向畸变的矫正为：
xcorrected＝x+[2p1y+p2(r2+2x2)]
ycorrected＝y+[p1(r2+2y2)+2p2x]
其中：(xcorrected，ycorrected)是矫正后的新位置，(x,y)是畸变点在成像平面的原始位置坐标，k1,k2,k3,p1,p2为畸变系数。
所述步骤S2中设计的图像采集装置的标定过程具体包括：
21)准备标定图片，用A4纸打印一张棋盘格，棋盘格大小为7x8，单位格子长度为24mm，将其贴在一个硬纸板上，用可穿戴智能眼镜从不同方向、不同角度拍摄棋盘格图片20张；
22)提取步骤21)中棋盘格图像中的亚像素角点，根据角点坐标计算得到畸变系数。
所述植物为番茄果实，所述步骤S3中为采用SSD网络结构的番茄检测模型对畸变校正后的植物图像检测番茄果实，
所述番茄检测模型的建立过程具体包括：
步骤S31：载入含有若干张绿色番茄图片的多张番茄图像样本，并将载入的番茄图像样本划分为训练集、验证集和测试集；
步骤S32：对番茄图像样本进行样本扩充，包括沿水平或垂直方向翻转图像、随机裁剪图像、改变图像尺寸大小、旋转/反射变换、增加图像噪声和改变图像色彩对比度；
步骤S33：设计网络模型：基于SSD网络结构的番茄果实检测模型是一个多层卷积神经网络模型，采用有监督学习方式进行训练，输入是一张图像样本，输出是图像中检测的番茄果实位置和置信度。
步骤S34：训练时，初始学习率设为0.001，每次迭代输入20个样本，以平均误差更新权重，在迭代10000次时学习率减半，并且此后每经过5000次迭代将学习率减半，一共进行了30000次迭代，将模型在{10000，15000，20000，25000，30000}次迭代时的权重参数自动保存。
所述番茄图像样本总量528张，其中绿色番茄图片68张；且训练集的数目为243张、验证集的数目为126张、测试集的数目为159张。
所述步骤S4中采用GrabCut算法的番茄果实图像分割，具体包括：
步骤S41：初始化，给定一个矩形框，框外代表背景，框内代表可能的前景；
步骤S42：由初始化结果分别对前景和背景建立一个高斯混合模型(GaussianMixed Model，GMM)，用k-means聚类算法求解GMM模型参数；
步骤S43：用训练好的GMM模型计算矩形框内每个像素点属于前景和背景的概率；
步骤S44：通过最小化能量函数得到一个分割结果；
步骤S45：基于当前分割结果重复步骤S42～步骤S44，多次迭代更新GMM模型参数，直至分割结果收敛。
所述步骤S4中的GrabCut分割算法支持手动标记出关键像素点属于前景或背景。
所述步骤S5中度量参照物为二维码，实际尺寸为4cm×4cm，
所述步骤中计算单位像素的实际边长具体为：用矩形框检测定位出二维码，计算二维码矩形框所占的像素数，求出单位像素的实际边长：
其中：a为单位像素的实际边长，N为像素数；
所述周长具体为：
L＝l×a
所述面积为：
S＝n×a2
其中：L为周长，l为番茄果实轮廓的像素数，S为番茄果实的真实面积，n为果实像素数；
所述短轴长轴比计算过程具体为：用最小二乘法对番茄果实轮廓进行椭圆拟合，分别求出椭圆的短轴和长轴。
所述步骤S6具体包括：
步骤S61：基于图像分割结果，根据各像素点的颜色将像素点分为红色像素点和非红色像素点；
步骤S62：计算红色像素点占比得到成熟度指标：
其中：M为成熟度指标，Pr为红色像素点个数，P为总像素点个数；
步骤S63：根据成熟度分级表，将成熟度指标转换为成熟度等级。
与现有技术相比，本发明具有以下有益效果：
1)结合了可穿戴设备与机器视觉技术，针对实际自然场景下的植物设计并实现了一套可穿戴式表型感知解决方案，使用便携，有利于推广。
2)对相机进行标定以矫正其拍摄图像的畸变，提高了表型计算精度。
3)建立了番茄检测数据集，并基于SSD神经网络结构设计了番茄检测模型，模型在复杂背景下对成熟番茄的检测准确率在95％以上，对绿色番茄的检测准确率也达到83％以上，检测模型对于光照、遮挡等复杂环境干扰的鲁棒性高。在番茄检测结果的基础上，进一步基于GrabCut算法设计了对番茄果实的分割方法。
4)运用图像处理技术对果实表型进行分析，计算其面积、周长、圆形程度、最小最大直径以及进行成熟度分级等，具有鲁棒可靠、计算精度较高、操作简单灵活等特点，能较好地在实际自然场景下使用。
5)可广泛应用于目标检测、农产品品质评估、植物分类、病虫害识别等技术领域，具有较高的实用价值。
附图说明
图1为本发明的结构示意图；
图2为本发明计算机部分的示意图；
图3为本发明程序的主要步骤流程图；
图4为实施例中的处理流程示意图；
图5为本发明实施例的番茄果实检测与分割结果；
图6为本发明实施例中番茄果实轮廓提取与椭圆拟合的结果；
图7为本发明实施例中番茄果实成熟度分级结果；
其中：1、可穿戴设备，2、计算机，21、处理器，22、存储器。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种可穿戴式植物表型感知系统，如图1和图2所示，包括计算机，还包括可穿戴设备，可穿戴设备包括用于采集植物图像的图像采集装置和将植物图像传输至计算机的数据传输装置，优选的，可穿戴设备为智能眼镜，计算机包括处理器和存储器，以及存储在存储器上并由处理器运行的程序，如图3和图4所示，处理器在执行程序时实现以下步骤：
步骤S1：接收由可穿戴设备采集的植物图像；
步骤S2：利用事先对图像采集装置进行标定结果对植物图像进行畸变矫正，具体为：利用事先对图像采集装置进行标定结果中的畸变系数对植物图像进行畸变矫正：
径向畸变的矫正为：
xcorrected＝x(1+k1r2+k2r4+k3r6)
ycorrected＝y(1+k1r2+k2r4+k3r6)
切向畸变的矫正为：
xcorrected＝x+[2p1y+p2(r2+2x2)]
ycorrected＝y+[p1(r2+2y2)+2p2x]
其中：(xcorrected，ycorrected)是矫正后的新位置，(x,y)是畸变点在成像平面的原始位置坐标，k1,k2,k3,p1,p2为畸变系数。
步骤S2中设计的图像采集装置的标定过程具体包括：
21)准备标定图片，用A4纸打印一张棋盘格，棋盘格大小为7x8，单位格子长度为24mm，将其贴在一个硬纸板上，用可穿戴智能眼镜从不同方向、不同角度拍摄棋盘格图片20张；
22)提取步骤21)中棋盘格图像中的亚像素角点，根据角点坐标计算得到畸变系数。
步骤S3：如图3所示，基于畸变校正后的植物图像，检测该植物图像中的需感知部分，植物为番茄果实，步骤S3中为采用SSD网络结构的番茄检测模型对畸变校正后的植物图像检测番茄果实，番茄检测模型的建立过程具体包括：
步骤S31：载入含有若干张绿色番茄图片的多张番茄图像样本，并将载入的番茄图像样本划分为训练集、验证集和测试集；
步骤S32：对番茄图像样本进行样本扩充，包括沿水平或垂直方向翻转图像、随机裁剪图像、改变图像尺寸大小、旋转/反射变换、增加图像噪声和改变图像色彩对比度；
步骤S33：设计网络模型：基于SSD网络结构的番茄果实检测模型是一个多层卷积神经网络模型，采用有监督学习方式进行训练，输入是一张图像样本，输出是图像中检测的番茄果实位置和置信度。整个网络模型包括两大部分：一是采用16层的卷积神经网络VGG-16作为特征提取网络；二是在后面添加了6个卷积层，根据不同尺度的卷积层进行分类和坐标回归。最后进行非极大值抑制消除冗余重复的检测结果。
步骤S34：训练时，初始学习率设为0.001，每次迭代输入20个样本，以平均误差更新权重，在迭代10000次时学习率减半，并且此后每经过5000次迭代将学习率减半，一共进行了30000次迭代，将模型在{10000，15000，20000，25000，30000}次迭代时的权重参数自动保存。
步骤S4：基于检测结果，进行图像分割，得到需感知部分，番茄图像样本总量528张，其中绿色番茄图片68张；且训练集的数目为243张、验证集的数目为126张、测试集的数目为159张。
步骤S4中采用GrabCut算法的番茄果实图像分割，具体包括：
步骤S41：初始化，给定一个矩形框，框外代表背景，框内代表可能的前景；
步骤S42：由初始化结果分别对前景和背景建立一个高斯混合模型(GaussianMixed Model，GMM)，用k-means聚类算法求解GMM模型参数；
步骤S43：用训练好的GMM模型计算矩形框内每个像素点属于前景和背景的概率；
步骤S44：通过最小化能量函数得到一个分割结果；
步骤S45：基于当前分割结果重复步骤S42～步骤S44，多次迭代更新GMM模型参数，直至分割结果收敛。
其中的GrabCut分割算法支持手动标记出关键像素点属于前景或背景。
步骤S5：如图6所示，基于度量参照物计算单位像素的实际大小，并由图像分割结果进行计算得到面积、周长、短轴长轴比，其中度量参照物为二维码，实际尺寸为4cm×4cm，
步骤中计算单位像素的实际边长具体为：用矩形框检测定位出二维码，计算二维码矩形框所占的像素数，求出单位像素的实际边长：
其中：a为单位像素的实际边长，N为像素数；
周长具体为：
L＝l×a
面积为：
S＝n×a2
其中：L为周长，l为番茄果实轮廓的像素数，S为番茄果实的真实面积，n为果实像素数；
短轴长轴比计算过程具体为：用最小二乘法对番茄果实轮廓进行椭圆拟合，分别求出椭圆的短轴和长轴。
步骤S6：根据图像分割结果，统计颜色信息并基于统计结果对成熟度进行分级，具体包括：
步骤S61：如图7所示，基于图像分割结果，根据各像素点的颜色将像素点分为红色像素点和非红色像素点；
步骤S62：计算红色像素点占比得到成熟度指标：
其中：M为成熟度指标，Pr为红色像素点个数，P为总像素点个数；
步骤S63：根据成熟度分级表，将成熟度指标转换为成熟度等级。
表1成熟度分级
Claims (10)
1.一种可穿戴式植物表型感知系统，包括计算机，其特征在于，还包括可穿戴设备，所述可穿戴设备包括用于采集植物图像的图像采集装置和将植物图像传输至计算机的数据传输装置，所述计算机包括处理器和存储器，以及存储在存储器上并由所述处理器运行的程序，所述处理器在执行所述程序时实现以下步骤：
步骤S1：接收由可穿戴设备采集的植物图像；
步骤S2：利用事先对所述图像采集装置进行标定结果对植物图像进行畸变矫正；
步骤S3：基于畸变校正后的植物图像，检测该植物图像中的需感知部分；
步骤S4：基于检测结果，进行图像分割，得到需感知部分；
步骤S5：基于度量参照物计算单位像素的实际大小，并由图像分割结果进行计算得到面积、周长、短轴长轴比；
步骤S6：根据图像分割结果，统计颜色信息并基于统计结果对成熟度进行分级。
2.根据权利要求1所述的一种可穿戴式植物表型感知系统，其特征在于，所述可穿戴设备为智能眼镜。
3.根据权利要求1所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S2具体为：利用事先对所述图像采集装置进行标定结果中的畸变系数对植物图像进行畸变矫正：
径向畸变的矫正为：
xcorrected＝x(1+k1r2+k2r4+k3r6)
ycorrected＝y(1+k1r2+k2r4+k3r6)
切向畸变的矫正为：
xcorrected＝x+[2p1y+p2(r2+2x2)]
ycorrected＝y+[p1(r2+2y2)+2p2x]
其中：(xcorrected，ycorrected)是矫正后的新位置，(x，y)是畸变点在成像平面的原始位置坐标，k1，k2，k3，p1，p2为畸变系数。
4.根据权利要求3所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S2中设计的图像采集装置的标定过程具体包括：
21)准备标定图片，用A4纸打印一张棋盘格，棋盘格大小为7x8，单位格子长度为24mm，将其贴在一个硬纸板上，用可穿戴智能眼镜从不同方向、不同角度拍摄棋盘格图片20张；
22)提取步骤21)中棋盘格图像中的亚像素角点，根据角点坐标计算得到畸变系数。
5.根据权利要求1所述的一种可穿戴式植物表型感知系统，其特征在于，所述植物为番茄果实，所述步骤S3中为采用SSD网络结构的番茄检测模型对畸变校正后的植物图像检测番茄果实，
所述番茄检测模型的建立过程具体包括：
步骤S31：载入含有若干张绿色番茄图片的多张番茄图像样本，并将载入的番茄图像样本划分为训练集、验证集和测试集；
步骤S32：对番茄图像样本进行样本扩充，包括沿水平或垂直方向翻转图像、随机裁剪图像、改变图像尺寸大小、旋转/反射变换、增加图像噪声和改变图像色彩对比度；
步骤S33：设计网络模型：基于SSD网络结构的番茄果实检测模型是一个多层卷积神经网络模型，采用有监督学习方式进行训练，输入是一张图像样本，输出是图像中检测的番茄果实位置和置信度。
步骤S34：训练时，初始学习率设为0.001，每次迭代输入20个样本，以平均误差更新权重，在迭代10000次时学习率减半，并且此后每经过5000次迭代将学习率减半，一共进行了30000次迭代，将模型在{10000，15000，20000，25000，30000}次迭代时的权重参数自动保存。
6.根据权利要求5所述的一种可穿戴式植物表型感知系统，其特征在于，所述番茄图像样本总量528张，其中绿色番茄图片68张；且训练集的数目为243张、验证集的数目为126张、测试集的数目为159张。
7.根据权利要求5所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S4中采用GrabCut算法的番茄果实图像分割，具体包括：
步骤S41：初始化，给定一个矩形框，框外代表背景，框内代表可能的前景；
步骤S42：由初始化结果分别对前景和背景建立一个高斯混合模型(Gaussian MixedModel，GMM)，用k-means聚类算法求解GMM模型参数；
步骤S43：用训练好的GMM模型计算矩形框内每个像素点属于前景和背景的概率；
步骤S44：通过最小化能量函数得到一个分割结果；
步骤S45：基于当前分割结果重复步骤S42～步骤S44，多次迭代更新GMM模型参数，直至分割结果收敛。
8.根据权利要求5所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S4中的GrabCut分割算法支持手动标记出关键像素点属于前景或背景。
9.根据权利要求5所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S5中度量参照物为二维码，实际尺寸为4cm×4cm，
所述步骤中计算单位像素的实际边长具体为：用矩形框检测定位出二维码，计算二维码矩形框所占的像素数，求出单位像素的实际边长：
其中：a为单位像素的实际边长，N为像素数；
所述周长具体为：
L＝l×a
所述面积为：
S＝n×a2
其中：L为周长，l为番茄果实轮廓的像素数，S为番茄果实的真实面积，n为果实像素数；
所述短轴长轴比计算过程具体为：用最小二乘法对番茄果实轮廓进行椭圆拟合，分别求出椭圆的短轴和长轴。
10.根据权利要求5所述的一种可穿戴式植物表型感知系统，其特征在于，所述步骤S6具体包括：
步骤S61：基于图像分割结果，根据各像素点的颜色将像素点分为红色像素点和非红色像素点；
步骤S62：计算红色像素点占比得到成熟度指标：
其中：M为成熟度指标，Pr为红色像素点个数，P为总像素点个数；
步骤S63：根据成熟度分级表，将成熟度指标转换为成熟度等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810786661.XA CN109166127B (zh) | 2018-07-17 | 2018-07-17 | 一种可穿戴式植物表型感知系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810786661.XA CN109166127B (zh) | 2018-07-17 | 2018-07-17 | 一种可穿戴式植物表型感知系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109166127A true CN109166127A (zh) | 2019-01-08 |
| CN109166127B CN109166127B (zh) | 2021-05-11 |
Family
ID=64897660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810786661.XA Active CN109166127B (zh) | 2018-07-17 | 2018-07-17 | 一种可穿戴式植物表型感知系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109166127B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110907570A (zh) * | 2019-12-26 | 2020-03-24 | 中国矿业大学(北京) | 有机质成熟度评价方法及终端设备 |
| CN112132253A (zh) * | 2019-06-24 | 2020-12-25 | 北京眼神智能科技有限公司 | 3d动作识别方法、装置、计算机可读存储介质及设备 |
| CN112634143A (zh) * | 2019-09-24 | 2021-04-09 | 北京地平线机器人技术研发有限公司 | 图像色彩校正模型训练方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574414A (zh) * | 2015-01-24 | 2015-04-29 | 无锡桑尼安科技有限公司 | 一种基于品种鉴别的西红柿成熟度检测方法 |
| CN106980370A (zh) * | 2017-03-14 | 2017-07-25 | 无锡云瞳信息科技有限公司 | 具有多交互的可穿戴智能眼镜 |
| JP2017134585A (ja) * | 2016-01-27 | 2017-08-03 | 秋田県 | 収穫適期判定支援装置及び収穫適期判定支援プログラム |
| CN107423772A (zh) * | 2017-08-08 | 2017-12-01 | 南京理工大学 | 一种新的基于ransac的双目图像特征匹配方法 |
-
2018
- 2018-07-17 CN CN201810786661.XA patent/CN109166127B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574414A (zh) * | 2015-01-24 | 2015-04-29 | 无锡桑尼安科技有限公司 | 一种基于品种鉴别的西红柿成熟度检测方法 |
| JP2017134585A (ja) * | 2016-01-27 | 2017-08-03 | 秋田県 | 収穫適期判定支援装置及び収穫適期判定支援プログラム |
| CN106980370A (zh) * | 2017-03-14 | 2017-07-25 | 无锡云瞳信息科技有限公司 | 具有多交互的可穿戴智能眼镜 |
| CN107423772A (zh) * | 2017-08-08 | 2017-12-01 | 南京理工大学 | 一种新的基于ransac的双目图像特征匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨绍兵等: "背景自适应的GrabCut图像分割算法", 《计算机系统应用》 * |
| 蔡汉明等: "基于SSD网络模型的多目标检测算法", 《机电工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132253A (zh) * | 2019-06-24 | 2020-12-25 | 北京眼神智能科技有限公司 | 3d动作识别方法、装置、计算机可读存储介质及设备 |
| CN112634143A (zh) * | 2019-09-24 | 2021-04-09 | 北京地平线机器人技术研发有限公司 | 图像色彩校正模型训练方法、装置及电子设备 |
| CN110907570A (zh) * | 2019-12-26 | 2020-03-24 | 中国矿业大学(北京) | 有机质成熟度评价方法及终端设备 |
| CN110907570B (zh) * | 2019-12-26 | 2020-09-29 | 中国矿业大学(北京) | 有机质成熟度评价方法及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109166127B (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN111369540B (zh) | 基于掩码卷积神经网络的植物叶片病害识别方法 | |
| CN109961024A (zh) | 基于深度学习的小麦田间杂草检测方法 | |
| CN109285179A (zh) | 一种基于多特征融合的运动目标跟踪方法 | |
| CN109146889A (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN105938564A (zh) | 基于主成分分析和神经网络的水稻病害识别方法及系统 | |
| CN110020635A (zh) | 基于无人机影像与卫星影像的种植区农作物精细分类方法和系统 | |
| CN104881671B (zh) | 一种基于2D‑Gabor的高分遥感影像局部特征提取方法 | |
| CN109740483A (zh) | 一种基于深层神经网络的水稻生长期检测方法 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN109166127A (zh) | 一种可穿戴式植物表型感知系统 | |
| CN108664838A (zh) | 基于改进rpn深度网络的端到端的监控场景行人检测方法 | |
| CN109886267A (zh) | 一种基于最优特征选择的低对比度图像显著性检测方法 | |
| CN109859101B (zh) | 农作物冠层热红外图像识别方法及系统 | |
| CN109460774A (zh) | 一种基于改进的卷积神经网络的鸟类识别方法 | |
| CN112257702A (zh) | 一种基于增量学习的农作物病害识别方法 | |
| CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 | |
| CN114067207A (zh) | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 | |
| CN110163157A (zh) | 一种利用新型损失函数进行多人姿态估计的方法 | |
| CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 | |
| CN109118484A (zh) | 一种基于机器视觉的获取植被覆盖度和叶面积指数的方法 | |
| Zhong et al. | Identification and depth localization of clustered pod pepper based on improved Faster R-CNN | |
| He et al. | A calculation method of phenotypic traits of soybean pods based on image processing technology | |
| CN116977960A (zh) | 一种基于实例分割的水稻秧苗行检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |