发明内容
本发明的目的在于提供一种玉米雄穗性状的自动检测方法,利用自然场景下玉米的下视序列图像,建立从图像特征到实际生物量的映射关系,提供一种包括玉米雄穗的长度、宽度、分枝数、周长、直径、颜色及总穗数在内的七种农艺学和形态学性状的自动测量方式。
一种玉米雄穗性状的自动检测方法,主要包括雄穗的目标性检测、目标检测、语义分割以及性状特征映射四个部分,顺序包括:
(1)目标性检测步骤,检测雄穗潜在区域,包括如下子步骤:
(1.1)显著性颜色空间转换:对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C),显著性图像的转换公式为:
I(S,L,C)=U·max(0,W·I(R,G,B)+b)
其中,U,W和b均由历史样本图像通过训练学习得到;
(1.2)阈值分割:以阈值T1对S分量通道的图像进行二值化操作,获取二值图像BW:
(1.3)自适应滤波,对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响;
(1.4)欧式距离变换,对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域,形态学膨胀操作公式定义为:
其中,bw(x,y)表示距离变换后的二值图像,f(x,y)表示前景区域,即像素值为255的区域,b(x,y)表示背景区域,即像素值为0的区域,d(f(x,y),b(x,y))表示与背景点距离最近的前景点的欧式距离;
(1.5)连通域提取,计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i=1,2,…,n);
(2)目标检测步骤,对候选框所限定的区域进行确认,识别出真正属于雄穗的候选框,包括如下子步骤:
(2.1)特征提取,对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram of Oriented Gradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征;
(2.2)特征编码,使用费舍尔向量编码(Fisher Vector Encoding)方法对步骤(2.1)中提取的各类特征分别进行特征编码,获得更强中层特征描述;
(2.3)检测,将提取的特征送入支撑向量机(Support Vector Machine)模型进行检测,区分待检测样本属于雄穗还是非雄穗,所述支撑向量机模型由历史样本图像通过训练学习得到;
(3)语义分割步骤,获取被(2)标记为雄穗的目标框中的雄穗精细形态,包括如下子步骤:
(3.1)特征提取,以像素点为单位,对标记为雄穗的目标框提取颜色特征(S,L,C),局部二值模式特征(LBP)以及位置特征(x,y);
(3.2)聚类,根据(3.1)提取的特征,使用K均值算法对像素进行聚类,获得C个表示雄穗可能的区域Regionj(j=1,2,…,C);
(3.3)池化,对每个Regionj中的第一层特征进行池化,得到区域的中层特征表达,以使不同大小的区域得到相同维度的特征;
(3.4)语义标注,将(3.3)得到的特征向量送入到SVM分类模型中,为每个Regionj进行语义标注,最后得到雄穗的精细化分割结果TasselSegmenti,所述SVM分类模型也由历史样本图像通过训练学习得到;
(4)性状特征映射步骤,根据(2)和(3)的识别结果计算雄穗的一系列性状特征,具体包括:
(4.1)长度性状与宽度性状,根据分割结果TasselSegmenti计算其外接椭圆的长短轴像素数,用来表示雄穗的长度Lengthi与宽度Widthi;
(4.2)周长性状,对分割结果TasselSegmenti进行边缘提取,然后用边缘像素数表示雄穗的周长Perimeteri;
(4.3)直径性状,计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri;
(4.4)穗色性状,计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori;
(4.5)分枝数性状,先对TasselSegmenti进行形态学细化操作提取骨架,然后提取骨架的末端点(End Points),用末端点数表示雄穗的分枝数NumBranchesi;
(4.6)总穗数性状,通过目标检测的结果,得到总穗数性状NumTassels。
本发明的技术效果体现在:本发明设计了一个完整的玉米雄穗检测方法,可以自动获取玉米雄穗的精细化性状特征。本发明方法可以对所采集的田间玉米下视序列图像自动进行雄穗潜在候选区域的搜索,并能根据所提取的图像特征对候选区域自动进行检测,以确认候选区域是否为雄穗,在获得类别标签后,系统能进一步对雄穗区域进行语义分割从而获得玉米雄穗的精细化形态,根据该分割结果,可以得到一系列在图像上具有物理意义的生物量,对雄穗性状进行描述。该方法利用多视角的特征表达框架表征玉米雄穗的图像特征,可用来实时地监测玉米的生长发育状况,其检测结果精度高,并且对分析雄穗与玉米育种之间的关系,遗传学与基因学的性状表达以及产量预测都具有重要的意义。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚,以下结合附图及实施例,对本发明进行进一步详细说明。应当注意,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明方法利用自然场景下玉米的下视序列图像,建立从图像特征到实际生物量的映射关系,获取包括玉米雄穗的总数、长度、宽度、分枝数、周长、直径与颜色在内的七种性状。下面结合附图来详细说明本发明的具体实施方式和实施步骤。
图1是本发明的整体流程图,共分为四个部分,第一部分通过对待检测图像进行目标性检测,利用选择性搜索策略获得雄穗潜在区域;第二部分是目标检测,即对产生的候选框进行确认,区分真实的雄穗区域;第三部分是语义分割,目的是获得被标记为雄穗的候选框中的雄穗真实区域;最后到第四部分,性状特征映射,即根据雄穗分割得到的精细化形态,获得一系列具有物理含义的性状特征。
下面结合附图说明本发明的详细步骤:
(1)目标性检测步骤,检测雄穗潜在区域,包括如下子步骤:
(1.1)显著性颜色空间转换:对待测玉米图像I(R,G,B)进行显著性颜色空间转换得到I(S,L,C),显著性图像的转换公式为:
I(S,L,C)=U·max(0,W·I(R,G,B)+b)
其中,U,W和b均由历史样本图像通过训练学习得到;
具体地,上述显著性颜色模型是根据历史图像数据训练得到的,在转换公式中,参数矩阵W和b需要通过非监督特征学习技术获得,参数矩阵U需要通过监督式度量学习获得,训练流程如图2所示,具体为:
(1.1a)非监督特征学习,首先获取若干张含有雄穗的玉米历史图像,如图3所示,然后将像素的RGB颜色特征送到自编码器样式的重构模型中进行特征学习,自编码器样式的重构模型具体为,对输入特征进行一种非线性变换以得到其稀疏的特征表达(即学习到的特征),然后从这种稀疏表达重构出原始的输入特征,该步骤的目的是给予颜色特征一种非线性的变换,从而获得线性可分的中层特征描述,中层特征的表达式为:
特征学习的过程即通过优化目标函数来获取参数矩阵W和b的过程,首先,通过前向传播,由I(R,G,B)得到然后再由重构出使其与原始I(R,G,B)的误差达到最小,目标函数的表达式为:
其中,n表示用于学习的像素数量,I(R,G,B)表示原始像素值,表示重构模型输出的像素值,具体地,可以参照文献(Ng A.CS294a lecturenotes:Sparse autoencoder[J].2010.);
(1.1b)监督式度量学习,目的是使不相似颜色(雄穗与背景)之间的差异增大,而相似颜色(雄穗与雄穗、背景与背景)之间的差异减小,从而达到图像增强的目的,同时减弱光照带来的影响。在这一步骤中,首先需要获取一些带标签的样本(即只包含雄穗的样本与只包含背景的样本),并将所有带标签样本送入(1.1a)步骤中已训练的重构模型中获得非线性的特征向量,然后随机抽取特征向量对构成度量学习的训练样本,如果选取的一对特征向量属于同一类,则标记为正样本,否则,为负样本,参数矩阵U的学习过程可以通过优化以下目标函数来获得,目标函数的表达式为:
其中,和表示从步骤(1.1a)中获得的一对中层特征,如一对特征属于相似的颜色,则yij=1,否则,yij=-1,而b为一个通过学习得到的常数。具体地,可以参考文献(Simonyan K,Parkhi O M,Vedaldi A,et al.Fishervector faces in the wild[C].Proc.BMVC.2013,1(2):7.)。
根据上述训练得到参数矩阵U、W和b后,即可通过显著性图像的转换公式I(S,L,C)=U·max(0,W·I(R,G,B)+b)将RGB颜色空间转换到显著性颜色空间,图4所示为显著性颜色空间对应的图像,可以看出,显著性颜色空间具有凸显感兴趣颜色的特点,到达了图像增强的目的;
(1.2)阈值分割:根据步骤(1.1)显著性颜色空间转换的结果,容易将雄穗在S通道中与背景区分开来,因此使用简单的阈值分割操作即可得到雄穗为前景的二值图像;
由于在S通道中,雄穗已经映射到了高灰度级中,对于阈值的选择可以有一个较宽的范围,T1的取值范围为[100,150],图5所示为二值分割后的结果图;具体为:
以阈值T1对S分量通道的图像进行二值化操作,获取二值图像BW:
(1.3)自适应滤波,图像经过步骤(1.2)的阈值分割处理后,会产生许多“椒盐”噪声,反映在图像上,则表示为细小的像素点,对二值图像BW进行滤波操作以抑制阈值分割引入的噪声影响;
在该步骤中,如果将二值图像的区域面积看作信号,那么可以设计一个高通滤波器,滤除掉噪声,截止频率的取值可以根据区间估计来自适应选择,如果假设雄穗的像素面积服从正态分布,则截止频率fL可设置为单侧置信区间的下限:
其中,表示像素面积的均值估计值,s表示像素面积的标准差估计值,n表示自由度,即连通区域的个数,tα(n-1)表示置信度为α,自由度为n-1时的学生分布的取值,通常可以取α为0.9,表示90%信任雄穗存在于滤波后的图像中,图6所示为图5滤波后的结果图;
(1.4)欧式距离变换,连接断裂的区域;
由于田间环境的不可预知性,根据观察,雄穗有很大概率会被枝叶等遮挡而导致分割的断裂,对自适应滤波后的图像通过形态学膨胀操作来连接断裂的区域,形态学膨胀操作公式定义为:
其中,bw(x,y)表示距离变换后的二值图像,f(x,y)表示前景区域,即像素值为255的区域,b(x,y)表示背景区域,即像素值为0的区域,d(f(x,y),b(x,y))表示与背景点距离最近的前景点的欧式距离,T2的取值范围为[2,4],图7所示为图6经过欧式距离变换之后的结果图;
(1.5)连通域提取,计算连通域外接矩形框得到n个雄穗的候选区域Proposali(i=1,2,…,n),图8所示为提取的候选框;
(2)目标检测步骤,对候选框所限定的区域进行确认,识别出真正属于雄穗的候选框,流程如图1目标检测模块所示,包括如下子步骤:
(2.1)特征提取,对Proposali对应的图像矩形区域的每个显著性颜色通道分别提取颜色直方图(Color Histogram)表示的颜色特征、梯度方向直方图(Histogram of Oriented Gradients)表示的轮廓特征以及局部二值模式(Local Binary Pattern)表示的纹理特征;
具体地,提取颜色直方图(Color Histogram)、梯度方向直方图(Histogramof Oriented Gradients)以及局部二值模式(Local Binary Pattern)这些表示颜色、轮廓与纹理的视觉描述特征是图像处理领域公知的技术手段,例如提取颜色特征的方法可以参照Wu J,Rehg J M.CENTRIST:A visual descriptorfor scene categorization[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2011,33(8):1489-1501.中类似的策略,对轮廓特征的提取可以参照Felzenszwalb P F,Girshick R B,McAllester D,et al.Object detectionwith discriminatively trained part-based models[J].Pattern Analysis andMachine Intelligence,IEEE Transactions on,2010,32(9):1627-1645.中的提取HoG的方法,而对纹理特征的提取可以参照Ojala T,Pietikainen M,Maenpaa T.Multiresolution gray-scale and rotation invariant textureclassification with local binary patterns[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on,2002,24(7):971-987.中的特征提取方法;
(2.2)特征编码,使用费舍尔向量编码(Fisher Vector Encoding)方法对(2.1)提取的各种类型特征分别进行特征编码,获得更强中层特征描述;
具体地,利用Sánchez J,Perronnin F,Mensink T,et al.Image classificationwith the Fisher vector:Theory and practice[J].International journal of computervision,2013,105(3):222-245.中的费舍尔向量编码(Fisher Vector Encoding)方法对(2.1)中提取的颜色直方图特征、HOG特征以及LBP特征分别进行编码,获得描述能力更强的中层特征描述,费舍尔向量的表达式为:
其中,表示编码后的费舍尔向量,Lλ是归一化矩阵,▽λ表示梯度向量,λ表示统计量的类型(均值或方差),uλ表示学习得到的混合高斯模型,X为步骤(2.1)中获得的颜色(轮廓、纹理)特征。
(2.3)检测,将提取的特征送入支撑向量机(Support Vector Machine)模型中进行检测,区分待检测样本属于雄穗还是非雄穗,所述支撑向量机模型由历史样本图像通过训练学习得到,训练的流程图如图9所示;
具体地,所述支撑向量机模型构成了一个组合级联分类器,首先需要准备大量经过人工标注的雄穗图像样本与背景图像样本,为分类器的训练做数据准备,然后利用步骤(2.1)中的方法分别对每一个图像样本的显著性颜色空间中的每个通道依次提取颜色直方图(Color Histogram)、梯度方向直方图(Histogram of Oriented Gradients)以及局部二值模式(Local BinaryPattern)这些表示颜色、轮廓与纹理的视觉描述特征,然后利用步骤(2.2)中的方法对利用步骤(2.1)的方法提取的图像样本的颜色直方图特征、HOG特征以及LBP特征分别进行编码,获得描述能力更强的中层特征描述;然后对利用步骤(2.2)中的方法提取的中层颜色特征训练第一个SVM分类器,对中层轮廓特征训练第二个SVM分类器,对中层纹理特征训练第三个SVM分类器,这是第一级的分类器训练,之后需要融合三个分类器的输出结果,因此可以将第一级的三个分类器输出的得分值作为特征再训练第二级SVM分类器,经过该步骤后,即可获得四个分类器的权值向量,SVM分类器的训练方法具体可参照文献(Fan R E,Chang K W,Hsieh C J,et al.LIBLINEAR:A library for large linear classification[J].The Journal of MachineLearning Research,2008,9:1871-1874.);
(3)语义分割步骤,获取被(2)标记为雄穗的目标框中的雄穗精细形态,流程如图1语义分割模块所示。通过该阶段可获得雄穗更加精细的形态结构,具体包括特征提取、聚类、池化与语义标注四个子步骤:
(3.1)特征提取,以像素点为单位,对标记为雄穗的目标框取颜色特征(S,L,C),局部二值模式特征(LBP)以及位置特征(x,y);
具体地,提取显著性颜色空间的三通道颜色值作为颜色特征,均匀局部二值模式作为纹理特征,以及像素点的坐标值为位置特征;
(3.2)聚类,根据(3.1)提取的特征,使用K均值算法对像素进行聚类,获得C个表示雄穗可能的区域Regionj(j=1,2,…,C);
具体地,使用K均值算法,根据所提特征将像素点聚为C个区域,C的取值范围为[3,6],表示目标框中潜在的含有雄穗、绿叶以及泥土三种类型的目标,聚类还有保持目标边缘的作用;
(3.3)池化,根据步骤(3.1)提取中层的区域特征表达,对每个Regionj中的第一层特征进行池化,得到区域的中层的特征表达,不同大小的区域最后可以得到相同维度的特征;
具体地,对于颜色特征和位置特征通过平均池化,即计算对应区域的颜色均值以及质心位置分别作为区域的颜色特征和位置特征,对于纹理特征通过二阶池化,二阶池化的表达式为:
其中,Gavg表示池化后的区域特征,Rj表示第j个区域,xi表示纹理特征的第i维特征,|FRj|表示Rj区域中的特征总数。具体地,可以参照文献(Carreira J,Caseiro R,Batista J,et al.Semantic segmentation withsecond-order pooling[M].Computer Vision–ECCV 2012.Springer BerlinHeidelberg,2012:430-443.),即通过以上方法形成区域的纹理特征表达;
(3.4)语义标注,将(3.3)得到的特征向量送入到SVM分类模型中,为每个Regionj进行语义标注,最后得到雄穗的精细化分割结果TasselSegmenti;
所述SVM分类模型也由历史样本图像通过训练学习得到,具体地:
首先需要获取一些人为分割好的雄穗的图像样本以及背景图像样本,利用步骤(3.1)的方法提取颜色特征、纹理特征、以及位置特征;利用步骤(3.3)的方法对上述颜色特征、纹理特征、以及位置特征分别进行池化;再将上述经过池化后提取的区域特征送入SVM模型进行训练,获得模型参数,模型的训练的方法参考步骤(2.3)中的训练方法;
(4)性状特征映射步骤,根据(2)和(3)的识别结果计算雄穗的一系列性状特征,流程如图1中性状特征映射模块所示,需要指出的是,以下获取的具有物理意义的性状均为雄穗在图像意义上的表示,但根据相机标定与摄影定理,可以很容易的将图像上的计算结果转换到真实场景中的值,其不在本发明考虑的范畴内,性状特征映射具体包括以下七种性状的计算:
(4.1)长度性状,根据分割结果TasselSegmenti计算其外接椭圆的长轴像素数,用来表示雄穗的长度Lengthi;
(4.2)宽度性状,根据分割结果TasselSegmenti计算其外接椭圆的短轴像素数,用来表示雄穗的宽度Widthi,图13所示为长度和宽度性状表示的示意图;
(4.3)周长性状,对分割结果TasselSegmenti进行边缘提取,然后用边缘像素数表示雄穗的周长Perimeteri,图14所示为进行了边缘提取后的结果图;
(4.4)直径性状,计算与TasselSegmenti具有相同像素面积的圆的等效直径表示雄穗的直径Diameteri,图15所示为直径性状表示的示意图;
(4.5)穗色性状,计算TasselSegmenti对应区域的RGB图像像素均值得到表示穗色的TasselColori,图16所示为穗色性状表示的示意图;
(4.6)分枝数性状,先对TasselSegmenti进行形态学细化操作提取骨架,然后提取骨架的末端点(End Points),用末端点数表示雄穗的分枝数NumBranchesi,图17为分枝数性状表示的示意图;
(4.7)总数性状,通过目标检测的结果,得到总穗数性状NumTassels。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。