CN104573701B - 一种玉米雄穗性状的自动检测方法 - Google Patents
一种玉米雄穗性状的自动检测方法 Download PDFInfo
- Publication number
- CN104573701B CN104573701B CN201410722382.9A CN201410722382A CN104573701B CN 104573701 B CN104573701 B CN 104573701B CN 201410722382 A CN201410722382 A CN 201410722382A CN 104573701 B CN104573701 B CN 104573701B
- Authority
- CN
- China
- Prior art keywords
- mrow
- tassel
- feature
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明公开了一种玉米雄穗性状的自动检测方法，该方法首先对所采集的田间玉米下视图像进行目标性检测，生成雄穗候选框以获得雄穗潜在区域，随后通过多视角图像特征以及费舍尔向量编码方法对雄穗进行特征描述以及目标检测，从而对雄穗所属区域进行确认，同时在检测结果的基础上利用语义分割进一步完成雄穗精细形态的分割，最后建立了图像特征与长度性状、宽度性状、周长性状、直径性状、穗色性状、分枝数性状以及总穗数性状七种具有物理意义的生物量之间的映射关系。本发明方法能实时地对玉米雄穗的生长状态进行连续监测，检测结果准确率高，对玉米的生殖生长研究、玉米基因学与遗传学研究以及产量估计都具有重要的意义。
Description
技术领域
本发明属于计算机视觉和农业气象观测交叉领域，更具体地，涉及一种玉米雄穗性状的自动检测方法，即以拍摄的田间玉米下视图像序列为对象，获取玉米雄穗在图像中的性状特征的方法。
背景技术
玉米作为世界三大粮食作物之一，在我国各地都有广泛种植。对玉米的各种性状进行分析与研究，可以辅助建立其性状与产量之间的关系从而获取更大的收益，同时也可以为玉米基因学与遗传学的研究提供依据。然而长期以来，对于玉米各种性状的检测主要是通过手工检测的方式，容易受主观因素影响且效率低下；同时观测过程中难免会对玉米的生长环境造成破坏；且由于玉米种植地域广，往往只能使用抽样平均的检测方法，不具有代表性。而通过拍摄的玉米下视序列图像，辅助计算机视觉的技术，为玉米性状的检测提供了一种新的客观的、无损的、精细化的方法。玉米的雄穗是玉米育种与种子生产过程中被广泛研究的重要农艺性状，其相关性状的检测对玉米的生殖生长研究、玉米基因学与遗传学研究以及产量估计等具有重大的意义，属于农业气象观测的一个重要内容。
2011年唐文冰等在《中国农业工程学会2011年学术年会论文集》上发表的论文“基于双目立体视觉的玉米雄穗识别与定位研究”中利用图像分割技术对玉米雄穗的定位与检测展开了相关研究，但该论文的方法仅考虑了颜色特征，适用于特定光照与简单背景下的小范围检测，对自然光照与大田环境下的检测鲁棒性不好，且该方法未获取雄穗的精细化性状特征；2013年Mengni Ye等人在《Eighth International Symposium onMultispectral Image Processing and Pattern Recognition》上发表的论文“An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency”中采用了HOG-SVM的目标检测框架并加入了时空的线索对玉米雄穗进行检测，随后根据检测结果预测玉米抽穗期的到达时间，论文的不足之处在于只考虑了灰度图像的梯度特征信息，对于复杂背景的适应性不好，并且没有对雄穗进行分割，获取雄穗进行更加精细化的描述；2014年Ferhat 等人在《Expert Systems withApplications》上发表的论文“Detecting corn tassels using computer vision andsupport vector machines”中介绍了一种较鲁棒的玉米雄穗检测方法，相比上一篇论文，其考虑了更加鲁棒的形状与纹理特征，但本质上仍是基于颜色的图像分割，不适用于光照变化较大的序列图像，且没有将图像检测结果映射到具有物理含义的生物性状上；综上所述，尽管当前已有许多与玉米雄穗相关的检测技术，但由于各种方法或策略的局限性，很难在实际大田环境下进行应用，且这些方法都未建立从图像特征到实际具有物理含义的生物量的映射关系。
发明内容
本发明的目的在于提供一种玉米雄穗性状的自动检测方法，利用自然场景下玉米的下视序列图像，建立从图像特征到实际生物量的映射关系，提供一种包括玉米雄穗的长度、宽度、分枝数、周长、直径、颜色及总穗数在内的七种农艺学和形态学性状的自动测量方式。
一种玉米雄穗性状的自动检测方法，主要包括雄穗的目标性检测、目标检测、语义分割以及性状特征映射四个部分，顺序包括：
(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：
(1.1)显著性颜色空间转换：对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：
I(S,L,C)＝U·max(0,W·I(R,G,B)+b)
其中，U,W和b均由历史样本图像通过训练学习得到；
(1.2)阈值分割：以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：
(1.3)自适应滤波，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；
(1.4)欧式距离变换，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：
其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示与背景点距离最近的前景点的欧式距离；
(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i＝1,2,…,n)；
(2)目标检测步骤，对候选框所限定的区域进行确认，识别出真正属于雄穗的候选框，包括如下子步骤：
(2.1)特征提取，对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram ofOriented Gradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征；
(2.2)特征编码，使用费舍尔向量编码(Fisher Vector Encoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码，获得更强中层特征描述；
(2.3)检测，将提取的特征送入支撑向量机(Support Vector Machine)模型进行检测，区分待检测样本属于雄穗还是非雄穗，所述支撑向量机模型由历史样本图像通过训练学习得到；
(3)语义分割步骤，获取被(2)标记为雄穗的目标框中的雄穗精细形态，包括如下子步骤：
(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框提取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；
(3.2)聚类，根据(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；
(3.3)池化，对每个Regionj中的第一层特征进行池化，得到区域的中层特征表达，以使不同大小的区域得到相同维度的特征；
(3.4)语义标注，将(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti，所述SVM分类模型也由历史样本图像通过训练学习得到；
(4)性状特征映射步骤，根据(2)和(3)的识别结果计算雄穗的一系列性状特征，具体包括：
(4.1)长度性状与宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数，用来表示雄穗的长度Lengthi与宽度Widthi；
(4.2)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri；
(4.3)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri；
(4.4)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori；
(4.5)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(End Points)，用末端点数表示雄穗的分枝数NumBranchesi；
(4.6)总穗数性状，通过目标检测的结果，得到总穗数性状NumTassels。
本发明的技术效果体现在：本发明设计了一个完整的玉米雄穗检测方法，可以自动获取玉米雄穗的精细化性状特征。本发明方法可以对所采集的田间玉米下视序列图像自动进行雄穗潜在候选区域的搜索，并能根据所提取的图像特征对候选区域自动进行检测，以确认候选区域是否为雄穗，在获得类别标签后，系统能进一步对雄穗区域进行语义分割从而获得玉米雄穗的精细化形态，根据该分割结果，可以得到一系列在图像上具有物理意义的生物量，对雄穗性状进行描述。该方法利用多视角的特征表达框架表征玉米雄穗的图像特征，可用来实时地监测玉米的生长发育状况，其检测结果精度高，并且对分析雄穗与玉米育种之间的关系，遗传学与基因学的性状表达以及产量预测都具有重要的意义。
附图说明
图1是本发明玉米雄穗性状的自动检测方法的整体流程图；
图2是本发明玉米雄穗性状的自动检测方法中显著性颜色空间模型训练阶段的流程图；
图3是本发明实施例中包含玉米雄穗的图像示例图；
图4是图3转换到显著性颜色空间后的结果图；
图5是图4经过阈值分割后的结果图；
图6是图5经过自适应滤波后的结果图；
图7是图6经过欧式距离变换后的结果图；
图8是本发明实施例中边界框界定的雄穗候选区域的结果图；
图9是本发明玉米雄穗性状的自动检测方法中目标检测训练阶段的流程图；
图10是本发明实施例中对雄穗进行目标检测的结果图；
图11是本发明玉米雄穗性状的自动检测方法中语义分割训练阶段的流程图；
图12是本发明实施例中对雄穗进行语义分割的结果图；
图13是本发明实施例中长度和宽度性状的示意图；
图14是本发明实施例中周长性状的示意图；
图15是本发明实施例中直径性状的示意图；
图16是本发明实施例中穗色性状的示意图；
图17是本发明实施例中分枝数性状的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当注意，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明方法利用自然场景下玉米的下视序列图像，建立从图像特征到实际生物量的映射关系，获取包括玉米雄穗的总数、长度、宽度、分枝数、周长、直径与颜色在内的七种性状。下面结合附图来详细说明本发明的具体实施方式和实施步骤。
图1是本发明的整体流程图，共分为四个部分，第一部分通过对待检测图像进行目标性检测，利用选择性搜索策略获得雄穗潜在区域；第二部分是目标检测，即对产生的候选框进行确认，区分真实的雄穗区域；第三部分是语义分割，目的是获得被标记为雄穗的候选框中的雄穗真实区域；最后到第四部分，性状特征映射，即根据雄穗分割得到的精细化形态，获得一系列具有物理含义的性状特征。
下面结合附图说明本发明的详细步骤：
(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：
(1.1)显著性颜色空间转换：对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：
I(S,L,C)＝U·max(0,W·I(R,G,B)+b)
其中，U,W和b均由历史样本图像通过训练学习得到；
具体地，上述显著性颜色模型是根据历史图像数据训练得到的，在转换公式中，参数矩阵W和b需要通过非监督特征学习技术获得，参数矩阵U需要通过监督式度量学习获得，训练流程如图2所示，具体为：
(1.1a)非监督特征学习，首先获取若干张含有雄穗的玉米历史图像，如图3所示，然后将像素的RGB颜色特征送到自编码器样式的重构模型中进行特征学习，自编码器样式的重构模型具体为，对输入特征进行一种非线性变换以得到其稀疏的特征表达(即学习到的特征)，然后从这种稀疏表达重构出原始的输入特征，该步骤的目的是给予颜色特征一种非线性的变换，从而获得线性可分的中层特征描述，中层特征的表达式为：
特征学习的过程即通过优化目标函数来获取参数矩阵W和b的过程，首先，通过前向传播，由I(R,G,B)得到然后再由重构出使其与原始I(R,G,B)的误差达到最小，目标函数的表达式为：
其中，n表示用于学习的像素数量，I(R,G,B)表示原始像素值，表示重构模型输出的像素值，具体地，可以参照文献(Ng A.CS294a lecture notes:Sparseautoencoder[J].2010.)；
(1.1b)监督式度量学习，目的是使不相似颜色(雄穗与背景)之间的差异增大，而相似颜色(雄穗与雄穗、背景与背景)之间的差异减小，从而达到图像增强的目的，同时减弱光照带来的影响。在这一步骤中，首先需要获取一些带标签的样本(即只包含雄穗的样本与只包含背景的样本)，并将所有带标签样本送入(1.1a)步骤中已训练的重构模型中获得非线性的特征向量，然后随机抽取特征向量对构成度量学习的训练样本，如果选取的一对特征向量属于同一类，则标记为正样本，否则，为负样本，参数矩阵U的学习过程可以通过优化以下目标函数来获得，目标函数的表达式为：
其中，和表示从步骤(1.1a)中获得的一对中层特征，如一对特征属于相似的颜色，则yij＝1，否则，yij＝-1，而b为一个通过学习得到的常数。具体地，可以参考文献(Simonyan K,Parkhi O M,Vedaldi A,et al.Fisher vector faces in the wild[C].Proc.BMVC.2013,1(2):7.)。
根据上述训练得到参数矩阵U、W和b后，即可通过显著性图像的转换公式I(S,L,C)＝U·max(0,W·I(R,G,B)+b)将RGB颜色空间转换到显著性颜色空间，图4所示为显著性颜色空间对应的图像，可以看出，显著性颜色空间具有凸显感兴趣颜色的特点，到达了图像增强的目的；
(1.2)阈值分割：根据步骤(1.1)显著性颜色空间转换的结果，容易将雄穗在S通道中与背景区分开来，因此使用简单的阈值分割操作即可得到雄穗为前景的二值图像；
由于在S通道中，雄穗已经映射到了高灰度级中，对于阈值的选择可以有一个较宽的范围，T1的取值范围为[100,150]，图5所示为二值分割后的结果图；具体为：
以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：
(1.3)自适应滤波，图像经过步骤(1.2)的阈值分割处理后，会产生许多“椒盐”噪声，反映在图像上，则表示为细小的像素点，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；
在该步骤中，如果将二值图像的区域面积看作信号，那么可以设计一个高通滤波器，滤除掉噪声，截止频率的取值可以根据区间估计来自适应选择，如果假设雄穗的像素面积服从正态分布，则截止频率fL可设置为单侧置信区间的下限：
其中，表示像素面积的均值估计值，s表示像素面积的标准差估计值，n表示自由度，即连通区域的个数，tα(n-1)表示置信度为α，自由度为n-1时的学生分布的取值，通常可以取α为0.9，表示90％信任雄穗存在于滤波后的图像中，图6所示为图5滤波后的结果图；
(1.4)欧式距离变换，连接断裂的区域；
由于田间环境的不可预知性，根据观察，雄穗有很大概率会被枝叶等遮挡而导致分割的断裂，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：
其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示与背景点距离最近的前景点的欧式距离，T2的取值范围为[2,4]，图7所示为图6经过欧式距离变换之后的结果图；
(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i＝1,2,…,n)，图8所示为提取的候选框；
(2)目标检测步骤，对候选框所限定的区域进行确认，识别出真正属于雄穗的候选框，流程如图1目标检测模块所示，包括如下子步骤：
(2.1)特征提取，对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram ofOriented Gradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征；
具体地，提取颜色直方图(Color Histogram)、梯度方向直方图(Histogram ofOriented Gradients)以及局部二值模式(Local Binary Pattern)这些表示颜色、轮廓与纹理的视觉描述特征是图像处理领域公知的技术手段，例如提取颜色特征的方法可以参照Wu J,Rehg J M.CENTRIST:A visual descriptor for scene categorization[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(8):1489-1501.中类似的策略，对轮廓特征的提取可以参照Felzenszwalb P F,Girshick R B,McAllester D,et al.Object detection with discriminatively trained part-basedmodels[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(9):1627-1645.中的提取HoG的方法，而对纹理特征的提取可以参照Ojala T,Pietikainen M,Maenpaa T.Multiresolution gray-scale and rotation invarianttexture classification with local binary patterns[J].Pattern Analysis andMachine Intelligence,IEEE Transactions on,2002,24(7):971-987.中的特征提取方法；
(2.2)特征编码，使用费舍尔向量编码(Fisher Vector Encoding)方法对(2.1)提取的各种类型特征分别进行特征编码，获得更强中层特征描述；
具体地，利用Sánchez J,Perronnin F,Mensink T,et al.Image classificationwith the Fisher vector:Theory and practice[J].International journal ofcomputer vision,2013,105(3):222-245.中的费舍尔向量编码(Fisher VectorEncoding)方法对(2.1)中提取的颜色直方图特征、HOG特征以及LBP特征分别进行编码，获得描述能力更强的中层特征描述，费舍尔向量的表达式为：
其中，表示编码后的费舍尔向量，Lλ是归一化矩阵，▽λ表示梯度向量，λ表示统计量的类型(均值或方差)，uλ表示学习得到的混合高斯模型，X为步骤(2.1)中获得的颜色(轮廓、纹理)特征。
(2.3)检测，将提取的特征送入支撑向量机(Support Vector Machine)模型中进行检测，区分待检测样本属于雄穗还是非雄穗，所述支撑向量机模型由历史样本图像通过训练学习得到，训练的流程图如图9所示；
具体地，所述支撑向量机模型构成了一个组合级联分类器，首先需要准备大量经过人工标注的雄穗图像样本与背景图像样本，为分类器的训练做数据准备，然后利用步骤(2.1)中的方法分别对每一个图像样本的显著性颜色空间中的每个通道依次提取颜色直方图(Color Histogram)、梯度方向直方图(Histogram of Oriented Gradients)以及局部二值模式(Local Binary Pattern)这些表示颜色、轮廓与纹理的视觉描述特征，然后利用步骤(2.2)中的方法对利用步骤(2.1)的方法提取的图像样本的颜色直方图特征、HOG特征以及LBP特征分别进行编码，获得描述能力更强的中层特征描述；然后对利用步骤(2.2)中的方法提取的中层颜色特征训练第一个SVM分类器，对中层轮廓特征训练第二个SVM分类器，对中层纹理特征训练第三个SVM分类器，这是第一级的分类器训练，之后需要融合三个分类器的输出结果，因此可以将第一级的三个分类器输出的得分值作为特征再训练第二级SVM分类器，经过该步骤后，即可获得四个分类器的权值向量，SVM分类器的训练方法具体可参照文献(Fan R E,Chang K W,Hsieh C J,et al.LIBLINEAR:A library for large linearclassification[J].The Journal of Machine Learning Research,2008,9:1871-1874.)；
(3)语义分割步骤，获取被(2)标记为雄穗的目标框中的雄穗精细形态，流程如图1语义分割模块所示。通过该阶段可获得雄穗更加精细的形态结构，具体包括特征提取、聚类、池化与语义标注四个子步骤：
(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；
具体地，提取显著性颜色空间的三通道颜色值作为颜色特征，均匀局部二值模式作为纹理特征，以及像素点的坐标值为位置特征；
(3.2)聚类，根据(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；
具体地，使用K均值算法，根据所提特征将像素点聚为C个区域，C的取值范围为[3,6]，表示目标框中潜在的含有雄穗、绿叶以及泥土三种类型的目标，聚类还有保持目标边缘的作用；
(3.3)池化，根据步骤(3.1)提取中层的区域特征表达，对每个Regionj中的第一层特征进行池化，得到区域的中层的特征表达，不同大小的区域最后可以得到相同维度的特征；
具体地，对于颜色特征和位置特征通过平均池化，即计算对应区域的颜色均值以及质心位置分别作为区域的颜色特征和位置特征，对于纹理特征通过二阶池化，二阶池化的表达式为：
其中，Gavg表示池化后的区域特征，Rj表示第j个区域，xi表示纹理特征的第i维特征，|FRj|表示Rj区域中的特征总数。具体地，可以参照文献(Carreira J,Caseiro R,Batista J,et al.Semantic segmentation with second-order pooling[M].ComputerVision–ECCV 2012.Springer Berlin Heidelberg,2012:430-443.)，即通过以上方法形成区域的纹理特征表达；
(3.4)语义标注，将(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti；
所述SVM分类模型也由历史样本图像通过训练学习得到，具体地：
首先需要获取一些人为分割好的雄穗的图像样本以及背景图像样本，利用步骤(3.1)的方法提取颜色特征、纹理特征、以及位置特征；利用步骤(3.3)的方法对上述颜色特征、纹理特征、以及位置特征分别进行池化；再将上述经过池化后提取的区域特征送入SVM模型进行训练，获得模型参数，模型的训练的方法参考步骤(2.3)中的训练方法；
(4)性状特征映射步骤，根据(2)和(3)的识别结果计算雄穗的一系列性状特征，流程如图1中性状特征映射模块所示，需要指出的是，以下获取的具有物理意义的性状均为雄穗在图像意义上的表示，但根据相机标定与摄影定理，可以很容易的将图像上的计算结果转换到真实场景中的值，其不在本发明考虑的范畴内，性状特征映射具体包括以下七种性状的计算：
(4.1)长度性状，根据分割结果TasselSegmenti计算其外接椭圆的长轴像素数，用来表示雄穗的长度Lengthi；
(4.2)宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的短轴像素数，用来表示雄穗的宽度Widthi，图13所示为长度和宽度性状表示的示意图；
(4.3)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri，图14所示为进行了边缘提取后的结果图；
(4.4)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri，图15所示为直径性状表示的示意图；
(4.5)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori，图16所示为穗色性状表示的示意图；
(4.6)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(End Points)，用末端点数表示雄穗的分枝数NumBranchesi，图17为分枝数性状表示的示意图；
(4.7)总数性状，通过目标检测的结果，得到总穗数性状NumTassels。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种玉米雄穗性状的自动检测方法，其特征在于，所述方法包括如下步骤：
(1)目标性检测步骤，检测雄穗潜在区域，包括如下子步骤：
(1.1)显著性颜色空间转换，对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C)，显著性图像的转换公式为：
I(S,L,C)＝U·max(0,W·I(R,G,B)+b)
其中，U,W和b均由历史样本图像通过训练学习得到，U表示通过监督式度量学习获得的参数矩阵，W表示通过非监督特征学习获得的参数矩阵，b表示通过非监督特征学习获得的偏置参数；
(1.2)阈值分割，以阈值T1对S分量通道的图像进行二值化操作，获取二值图像BW：
<mrow>
<mi>B</mi>
<mi>W</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>S</mi>
<mo>&le;</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
(1.3)自适应滤波，对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响；
(1.4)欧式距离变换，对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域，形态学膨胀操作公式定义为：
<mrow>
<mi>b</mi>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
<mo>,</mo>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>d</mi>
<mo>(</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>b</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>></mo>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>,</mo>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>b</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<msup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>b</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</msqrt>
</mrow>
其中，bw(x,y)表示距离变换后的二值图像，f(x,y)表示前景区域，即像素值为255的区域，b(x,y)表示背景区域，即像素值为0的区域，d(f(x,y),b(x,y))表示背景点距离最近的前景点的欧式距离；
(1.5)连通域提取，计算连通域外接矩形框得到n个雄穗的候选区域Proposali，i＝1,2,…,n；
(2)目标检测步骤，对所述候选区域进行确认，识别出真正属于雄穗的候选框，包括如下子步骤：
(2.1)特征提取，对Proposali对应的图像候选区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram of OrientedGradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征；
(2.2)特征编码，使用费舍尔向量编码(Fisher Vector Encoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码，获得中层特征描述；
(2.3)检测，将所述步骤(2.2)获得的中层特征描述送入支撑向量机(Support VectorMachine)模型进行检测，区分待检测样本属于雄穗还是非雄穗，其中，雄穗对应的候选框称之为目标框；所述支撑向量机模型由历史样本图像通过训练学习得到；
(3)语义分割步骤，获取被所述步骤(2)标记为雄穗的目标框中的雄穗精细形态，包括如下子步骤：
(3.1)特征提取，以像素点为单位，对标记为雄穗的目标框提取颜色特征(S,L,C)，局部二值模式特征(LBP)以及位置特征(x,y)；
(3.2)聚类，根据所述步骤(3.1)提取的特征，使用K均值算法对像素进行聚类，获得C个表示雄穗可能的区域Regionj(j＝1,2,…,C)；
(3.3)池化，对每个Regionj中的第一层特征进行池化，得到区域的中层特征表达，以使不同大小的区域得到相同维度的特征；
(3.4)语义标注，将所述步骤(3.3)得到的特征向量送入到SVM分类模型中，为每个Regionj进行语义标注，最后得到雄穗的精细化分割结果TasselSegmenti，所述SVM分类模型也由历史样本图像通过训练学习得到；
(4)性状特征映射步骤，根据所述步骤(2)和所述步骤(3)的识别结果计算雄穗的一系列性状特征，具体包括：
(4.1)长度性状与宽度性状，根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数，用来表示雄穗的长度Lengthi与宽度Widthi；
(4.2)周长性状，对分割结果TasselSegmenti进行边缘提取，然后用边缘像素数表示雄穗的周长Perimeteri；
(4.3)直径性状，计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri；
(4.4)穗色性状，计算TasselSegmenti对应区域的RGB图像像素均值得到表示雄穗的穗色TasselColori；
(4.5)分枝数性状，先对TasselSegmenti进行形态学细化操作提取骨架，然后提取骨架的末端点(End Points)，用末端点数表示雄穗的分枝数NumBranchesi；
(4.6)总穗数性状，通过目标检测的结果，得到总穗数性状NumTassels。
2.如权利要求1所述的方法，其特征在于，所述步骤(1.1)中显著性图像的转换公式I(S,L,C)＝U·max(0,W·I(R,G,B)+b)中的参数U,W和b训练方法包括：
(1.1a)非监督特征学习，首先获取若干张含有雄穗的玉米历史图像，然后将像素的RGB颜色特征送到自编码器样式的重构模型中进行特征学习，
自编码器样式的重构模型具体为，对输入特征进行一种非线性变换以得到其中层的稀疏特征表达，然后从这种中层的稀疏特征表达重构出原始的输入特征，中层的稀疏特征记为其表达式为：
特征学习的过程即通过优化目标函数来获取参数矩阵W和b的过程，首先，通过前向传播，由I(R,G,B)得到然后再由重构出使其与原始I(R,G,B)的误差达到最小，目标函数的表达式为：
<mrow>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>,</mo>
<mi>G</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>I</mi>
<mo>~</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>,</mo>
<mi>G</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，n表示用于学习的像素数量，I(R,G,B)表示原始像素值，表示重构模型输出的像素值；
(1.1b)监督式度量学习，首先需要获取一些带标签的样本，即只包含雄穗的样本与只包含背景的样本，并将所有带标签样本送入所述步骤(1.1a)中已训练的重构模型中获得非线性的特征向量，然后随机抽取特征向量对构成度量学习的训练样本，如果选取的一对特征向量属于同一类，则标记为正样本，否则为负样本，参数矩阵U的学习过程通过优化以下目标函数来获得，目标函数的表达式为：
其中，和表示从步骤(1.1a)中获得的一对中层特征，而b为一个通过学习得到的常数。
3.如权利要求1或2所述的方法，其特征在于，所述步骤(1.3)中使用高通滤波器进行自适应滤波，其截止频率fL设置为单侧置信区间的下限：
<mrow>
<msub>
<mi>f</mi>
<mi>L</mi>
</msub>
<mo>=</mo>
<mover>
<mi>&mu;</mi>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mfrac>
<mi>S</mi>
<msqrt>
<mi>n</mi>
</msqrt>
</mfrac>
<msub>
<mi>t</mi>
<mi>&alpha;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示像素面积的均值估计值，s表示像素面积的标准差估计值，n表示自由度，即连通区域的个数，tα(n-1)表示置信度为α，自由度为n-1时的学生分布的取值。
4.如权利要求1或2所述的方法，其特征在于，所述步骤(2.2)中利用费舍尔向量编码方法对所述步骤(2.1)中提取的颜色特征、轮廓特征以及纹理特征分别进行编码，获得描述能力更强的中层特征描述，其中费舍尔向量的表达式为：
其中，表示编码后的费舍尔向量，Lλ是归一化矩阵，表示梯度向量，λ表示统计量的类型，uλ表示学习得到的混合高斯模型，X为步骤(2.1)中获得的颜色特征，轮廓特征以及纹理特征。
5.如权利要求1或2所述的方法，其特征在于，所述步骤(2.3)中的支撑向量机的训练过程为：
所述支撑向量机模型构成了一个组合级联分类器，首先准备经过人工标注的雄穗图像样本与背景图像样本，然后利用步骤(2.1)中的方法分别对每一个图像样本的显著性颜色空间中的每个通道依次提取颜色直方图、梯度方向直方图以及局部二值模式这些表示颜色、轮廓与纹理的视觉描述特征，然后利用步骤(2.2)中的方法对利用步骤(2.1)的方法提取的图像样本的颜色直方图特征、HOG特征以及LBP特征分别进行编码，获得描述能力更强的中层特征描述；然后对利用步骤(2.2)中的方法提取的中层颜色特征训练第一个SVM分类器，对中层轮廓特征训练第二个SVM分类器，对中层纹理特征训练第三个SVM分类器，这是第一级的分类器训练；之后需要融合三个分类器的输出结果，将第一级的三个分类器输出的得分值作为特征再训练第二级SVM分类器；最后获得四个分类器的权值向量。
6.如权利要求1或2所述的方法，其特征在于，所述步骤(3.3)中的池化具体为：
对于颜色特征和位置特征通过平均池化，即计算对应区域的颜色均值以及质心位置分别作为区域的颜色特征和位置特征；
对于纹理特征通过二阶池化，二阶池化的表达式为：
<mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
</msub>
<mo>|</mo>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
</mrow>
其中，Gavg表示池化后的区域特征，Rj表示第j个区域，xi表示纹理特征的第i维特征，|FRj|表示Rj区域中的特征总数。
7.如权利要求1或2所述的方法，其特征在于，所述步骤(3.4)中的SVM分类模型的训练方式为：
在获取了一些人为分割好的雄穗的图像样本以及背景图像样本后，利用步骤(3.1)的方法提取颜色特征、局部二值模式纹理特征以及位置特征；利用步骤(3.3)的方法对上述颜色特征、局部二值模式纹理特征以及位置特征分别进行池化；最后将经过上述池化后提取的区域特征送入SVM模型进行训练，获得模型参数。
8.如权利要求1或2所述的方法，其特征在于，所述步骤(1.2)中T1的取值范围为[100,150]。
9.如权利要求1或2所述的方法，其特征在于，所述步骤(1.4)中T2的取值范围为[2,4]。
10.如权利要求1或2所述的方法，其特征在于，所述步骤(3.2)中C的取值范围为[3,6]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410722382.9A CN104573701B (zh) | 2014-12-02 | 2014-12-02 | 一种玉米雄穗性状的自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410722382.9A CN104573701B (zh) | 2014-12-02 | 2014-12-02 | 一种玉米雄穗性状的自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104573701A CN104573701A (zh) | 2015-04-29 |
| CN104573701B true CN104573701B (zh) | 2017-12-12 |
Family
ID=53089723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410722382.9A Active CN104573701B (zh) | 2014-12-02 | 2014-12-02 | 一种玉米雄穗性状的自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104573701B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326808B (zh) * | 2015-06-23 | 2020-04-03 | 上海深邃智能科技有限公司 | 基于无人机图像的检测输电线路杆塔上鸟窝的方法 |
| CN105893789A (zh) * | 2016-04-10 | 2016-08-24 | 塔里木大学 | 一种显著性分析方法 |
| CN108073940B (zh) * | 2016-11-18 | 2021-09-17 | 北京航空航天大学 | 一种非结构化环境中的3d目标实例物体检测的方法 |
| CN108229575A (zh) * | 2018-01-19 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于检测目标的方法和装置 |
| CN109800736B (zh) * | 2019-02-01 | 2023-07-21 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101701916A (zh) * | 2009-12-01 | 2010-05-05 | 中国农业大学 | 一种玉米品种快速鉴定、鉴别方法 |
| CN102855485A (zh) * | 2012-08-07 | 2013-01-02 | 华中科技大学 | 一种小麦抽穗的自动检测方法 |
-
2014
- 2014-12-02 CN CN201410722382.9A patent/CN104573701B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101701916A (zh) * | 2009-12-01 | 2010-05-05 | 中国农业大学 | 一种玉米品种快速鉴定、鉴别方法 |
| CN102855485A (zh) * | 2012-08-07 | 2013-01-02 | 华中科技大学 | 一种小麦抽穗的自动检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Detecting corn tassels using computer vision and support vector machines;Ferhat Kurtulmus 等;《Expert Systems with Applications》;20141101;第41卷(第16期);全文 * |
| 基于双目立体视觉的玉米雄穗识别与定位研究;唐文冰 等;《中国农业工程学会2011年学术年会论文集》;20111231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104573701A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Wheat ears counting in field conditions based on multi-feature optimization and TWSVM | |
| Liu et al. | A computer vision system for early stage grape yield estimation based on shoot detection | |
| WO2021022970A1 (zh) | 一种基于多层随机森林的零部件识别方法及系统 | |
| CN110046631B (zh) | 用于自动推断时空图像的变化的系统和方法 | |
| Lu et al. | Region-based colour modelling for joint crop and maize tassel segmentation | |
| CN104573701B (zh) | 一种玉米雄穗性状的自动检测方法 | |
| CN104599275A (zh) | 基于概率图模型的非参数化的rgb-d场景理解方法 | |
| CN103400147A (zh) | 基于图像处理的目标鱼识别方法及系统 | |
| CN106709528A (zh) | 基于多目标函数深度学习的车辆重识别方法及装置 | |
| CN104820841B (zh) | 基于低阶互信息和光谱上下文波段选择的高光谱分类方法 | |
| CN103745233B (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
| CN103914705A (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
| Chen et al. | Locating crop plant centers from UAV-based RGB imagery | |
| CN109002463A (zh) | 一种基于深度度量模型的文本检测方法 | |
| CN103177266A (zh) | 储藏物害虫智能识别系统 | |
| CN104156945A (zh) | 基于多目标粒子群算法的灰度图像分割方法 | |
| Chen et al. | Plant leaf segmentation for estimating phenotypic traits | |
| CN106023159A (zh) | 设施蔬菜叶部病斑图像分割方法及系统 | |
| CN113673607A (zh) | 图像标注模型的训练及图像标注的方法及装置 | |
| CN113449806A (zh) | 基于层次结构的二阶段林业害虫识别与检测系统及方法 | |
| CN110377659A (zh) | 一种智能图表推荐系统及方法 | |
| CN109815973A (zh) | 一种适用于鱼类细粒度识别的深度学习方法 | |
| Lee et al. | Applying cellular automata to hyperspectral edge detection | |
| CN104331711B (zh) | 基于多尺度模糊测度与半监督学习的sar图像识别方法 | |
| CN109948577B (zh) | 一种布料识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210107 Address after: 430070 No.8, Ligou South Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: WUHAN INTELLIGENT EQUIPMENT INDUSTRIAL INSTITUTE Co.,Ltd. Patentee after: Cao Zhiguo Address before: 430074 Hubei Province, Wuhan city Hongshan District Luoyu Road No. 1037 Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210425 Address after: 430070 room 2213, building G2, future science and Technology City, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan angge Ruijing Technology Co.,Ltd. Address before: 430070 No.8, Ligou South Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee before: WUHAN INTELLIGENT EQUIPMENT INDUSTRIAL INSTITUTE Co.,Ltd. Patentee before: Cao Zhiguo |