CN110136078A - 单株玉米图像叶片断裂半自动修复补全方法 - Google Patents
单株玉米图像叶片断裂半自动修复补全方法 Download PDFInfo
- Publication number
- CN110136078A CN110136078A CN201910356142.4A CN201910356142A CN110136078A CN 110136078 A CN110136078 A CN 110136078A CN 201910356142 A CN201910356142 A CN 201910356142A CN 110136078 A CN110136078 A CN 110136078A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- point
- pixel
- blade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000006378 damage Effects 0.000 title claims abstract description 11
- 240000008042 Zea mays Species 0.000 title claims description 38
- 241000196324 Embryophyta Species 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000007547 defect Effects 0.000 claims abstract description 9
- 238000007637 random forest analysis Methods 0.000 claims abstract description 8
- 238000009394 selective breeding Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000011084 recovery Methods 0.000 claims abstract description 4
- 230000002452 interceptive effect Effects 0.000 claims abstract description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 claims description 18
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 claims description 11
- 235000005822 corn Nutrition 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 claims description 7
- 235000009973 maize Nutrition 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 239000004069 plant analysis Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000002689 soil Substances 0.000 claims description 3
- 240000007594 Oryza sativa Species 0.000 claims 1
- 235000007164 Oryza sativa Nutrition 0.000 claims 1
- 239000010977 jade Substances 0.000 claims 1
- 235000009566 rice Nutrition 0.000 claims 1
- 241000209149 Zea Species 0.000 abstract 2
- 230000006870 function Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单株玉米图像叶片断裂半自动修复补全方法，包括以下步骤：1)获取并且处理单株玉米图像样本集，在提取样本图像特征向量的同时记录其所属的类别，用训练出的模型进行预分割。2)以步骤一得到的基于SVM的分割结果，提取未分割区域的特征，引入梯度特征、以及LBP纹理特征，从而训练随机森林分类器。3)利用2)训练好的模型对预分割后有缺损或者断裂特征的玉米单株叶片进行人工选定区域补全。本发明可以实现交互式半自动恢复，使用时用户通过画框的方法定位断裂或者需要补全的相关区域，实现对断裂或者缺损玉米单株叶片的修补。
Description
技术领域
本发明属于数字图像处理和农业自动化领域，具体涉及一种单株玉米图像叶片断裂半自动修复补全的方法。
背景技术
图像分割是图像处理与图像识别的重要研究内容之一，是实现图像理解的前提[1]。玉米叶片作为玉米植株的重要组成部分，叶片的相关特征常作为植株的重要参考特征。基于机器视觉的玉米植株叶片识别过程的第一步通常是将玉米叶片从背景图像中提取出来。该过程中噪声、光照强度变化、植物阴影和植物残渣都是影响分割质量的主要因素，图像分割质量的好坏直接影响后续图像处理的效果，甚至决定其成败[2]。
随着信息技术的发展，图像已经成为现阶段最流行、最普遍的一种获取和记录信息的媒介。许多研究者在近几年采用不同的颜色特征和阈值分割方法来提取需要研究的相关区域，其中，阈值分割方法由固定阈值升级为自适应阈值分割方法，图像的灰度信息由一维升级为二维。伴随着机器学习算法的不断成熟，出现了利用分割面代替分割线和分割点的普适性更强的图像分割算法[3]。到目前为止，对玉米叶片进行前景和背景的分割是一项重要而艰巨的任务，特别是对于背景复杂的叶子，干扰物和重叠现象严重，一些学者提出一种基于马尔科夫随机场模型的纹理图像分割方法，该方法首要解决的问题是提取某种表征纹理属性的特征值从而建立模型[4]；另外还有一种结合区域划分的多特征纹理图像的分割方法，该方法依据像素灰度的空间相关性定义多个纹理特征，再利用区域划分将图像域划分成不同子区域，从而建立纹理分割模型[5]。
由于受到背景、光照等原因的影响，以上方法依然无法解决分割叶片断裂的问题，所以越来越多的研究人员选择一种半自动的方法来分割植物叶片，这种建模系统设计为交互式，依靠用户提供有关分割的简单提示，实现对断裂叶片的自动修补[6]，。图像修复，即填充破损图像缺失的部分并使得填充结果符合视觉连通性，是计算机视觉和图像处理领域非常重要的课题，已广泛应用于电影特效(如目标移除)、图像重建(如划痕修复或者去除照片中的文字信息)、图像编码和传输(如恢复出丢失的部分)等[7]。
[参考文献]
[1]蔡云飞,郭宇俤,花侨飞等.基于Android手机的玉米幼苗叶片图像分割方法[J].福建电脑,2017,33(7):16,43
[2]邵乔林,安秋.基于邻域直方图的玉米田绿色植物图像分割方法[J].江西农业学报,2011,23(5):126-128,135.
[3]毛罕平，胡波，张艳诚等.杂草识别中颜色特征和阈值分割算法的优化[J].农业工程学报，2007，23(9)：154—158.
[4]曹家梓,宋爱国.基于马尔科夫随机场的纹理图像分割方法研究[J].仪器仪表学报,2015,36(4):776-786.
[5]赵泉华,高郡,李玉.基于区域划分的多特征纹理图像分割[J].仪器仪表学报,2015,36(11):2519-2530.
[6]Quan,L，Tan,P，Zeng,G，Image-based plant modeling[J].AcmTransactions on Graphics,2006,25(3),599-604.
[7]聂洪玉.基于断裂结构线匹配模型的大破损区域图像修复算法研究[D].西南交通大学.
发明内容
为了解决现有技术中存在的问题，本发明提供一种单株玉米图像叶片断裂半自动修复补全的方法，解决现有技术中植物图像分割叶片断裂的问题。
本发明的技术方案为：首先选取少量前景和背景样本点(前景点包括叶片的茎和叶，背景点包括花盆、秸秆、标尺等)，利用颜色特征训练SVM分类模型，实现对单株玉米叶片的预分割，之后对由于光照、噪声、特殊背景等原因而造成无法准确分割的区域进行样本点选择，采用颜色，梯度空间、Local Binary Patterns纹理特征(以下简称LBP纹理特征)及其坐标位置来描述这些样本点。利用随机森林训练2类分类器用于补全断裂叶片，可以实现交互式半自动恢复，使用时用户通过画框的方法定位断裂或者需要补全的相关区域，分类器判断区域内每个样本点的类别归属，实现对断裂或者缺损玉米单株叶片的修补。
步骤一、获取并且处理单株玉米图像样本集，在提取样本图像特征向量的同时记录其所属的类别，用训练出的模型进行预分割。步骤如下：
1-1)单株玉米样本图像获取步骤：利用成像设备定时获取单株玉米植株生长前期样本图像；
1-2)对获取的单株玉米样本图像进行处理，同时提取玉米植株叶片与背景的特征作为分类标准，其中的步骤包括：
首先，利用图像压缩的方法对获取的样本图片统一到为648*432尺度。样本图像的前景是玉米植株，背景为土壤、盆、秸秆和标尺等，从这些处理为统一尺度的样本图像集中随机选择一定数量的样本，本发明样例选用的样本数为218，然后搭建名称为Single cornanalysis platform(SCAP)的玉米植株分析平台，利用此平台选取330个背景点，305个前景点作为训练样本，为尽量减少背景点的干扰，对光照影响严重的叶片等干扰处不选取样本点。其中前景点记为F(x，y),背景点记为B(x，y)。对于一幅玉米图像的所有像素点，计算如下y1、y2和y3特征：
其中，R,G,B分别表示获取的样本图像的红色通道、绿色通道和蓝色通道像素值；将R、G、B、y1、y2和y3组成特征向量。
1-3)将前景像素点和背景像素点的标记结果作为分类标签，训练SVM分类器，分类函数的支持向量机分类模型如下：
式(2)中αi为拉格朗日乘子，b为偏置，k(x,y)是核函数。本文中用到的核函数为线性核，具体如下：
k(x，y)＝x·y (3)
1-4)利用训练模型[式(2)]对玉米样本图片进行初步分割。
步骤二、由于步骤一得到的预分割模型是通过少量样本点训练得来，而且在选取样本点的时候没有选取光照影响严重的样本点，所以造成根据颜色特征对玉米单株叶片进行分类的分割率偏低，需要加入纹理特征对这部分前景和背景做进一步分类识别。以步骤一得到的基于SVM的分割结果，提取未分割区域的特征，训练分类器。步骤如下：
2-1)随机选取一定数量的玉米单株样本，利用步骤一得到的分类器进行前景与背景的分类，并将准确分割的区域做掩码并且保存下来，作为训练丢失叶片信息区域补全算法的样本；
2-2)利用SCAP平台对以上得到的二次样本进行特征提取，其中用到了颜色特征R、G、B、y1、y2、y3和梯度特征，以及LBP纹理特征。其中y1、y2、y3如(1)式，设f(x，y)为图像在(x，y)的三个通道的像素值，图像在(x，y)点处x方向的梯度和y方向的梯度为：
为降低计算量，用绝对值来计算梯度的一般性做法，如式(6)：
M(x，y)＝|g(x)|+|g(y)| (6)
在图像中，梯度的方向为像素值变化最大的方向，其模的大小可以反映出该点像素值变化的剧烈程度，在一定程度上代表了图像的结构信息。
LBP(Local Binary Pattern，局部二值模式)的基本思想是对图像的像素和它周围像素进行对比后的结果进行求和。把这个像素作为中心，对相邻像素进行阈值比较。如果它的相邻像素值大于中心像素值，标记为1，否则标记为0，所以一个更加正式的LBP操作可以被定义为：
其中(xc，yc)是中心像素，亮度为ic；p表示以(xc，yc)为中心圈定窗口内像素点个数，在这里p取9,而ip窗内(xc，yc)以外像素的亮度。s是一个符号函数：
从2-1)处理得到的掩码样本图中共选取了样本点共2670个，其中前景点1205个，背景点1465个，每个样本点分别统计梯度特征、LBP特征、颜色特征共12维。由于玉米叶片像素点的分布有一定的规律(根据叶片的长势)，所以前景点和背景点的坐标也可以作为区分前景和背景的特征。综上，输入特征共14维分量，进行随机森林分类器训练。
步骤三、利用步骤二训练好的模型对预分割后有缺损或者断裂的玉米单株叶片进行人工选定区域补全。即在SCAP平台上对具有破损或者断裂特征的区域进行人工选定区域，并且载入步骤二训练的模型进行分类补全不完整的叶片。
与现有技术相比，本发明的有益效果是：
本发明方法，首先根据颜色特征对玉米单株叶片进行预分割提取，然后再利用梯度特征以及LBP纹理特征对由于光照、背景等影响而造成的缺损、断裂区域进行离线建模，训练随机森林分类器，再通过人工选定区域的方式来补全叶片，从而更加准确的计算形态学特征。
附图说明
图1为玉米单株图像；
图2为只通过颜色特征分割之后的图像；
图3为将分割正确部分进行掩码的图像；
图4为一个3*3的窗口求对应的纹理二进制序列以及转化维十进制的例子；
图5(a)、图5(b)、图5(c)为对应原图三个通道梯度图；
图6(a)、图6(b)、图6(c)为对应原图三个通道的LBP纹理特征图；
图7为对选定区域进行补全的图像；
图8为补全之后的完整图像；
图9为本发明方法的流程图。
具体实施方式
下面结合附图和具体实施方案对本发明技术作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。
本发明提供一种单株玉米图像叶片断裂半自动修复补全方法，首先选取少量前景和背景样本点(前景点包括叶片的茎和叶，背景点包括花盆、秸秆、标尺等)，利用颜色特征训练SVM分类模型，实现对单株玉米叶片的预分割，之后对由于光照、噪声、特殊背景等原因而造成无法准确分割的区域进行样本点选择，采用颜色，梯度空间、Local BinaryPatterns纹理特征(以下简称LBP纹理特征)及其坐标位置来描述这些样本点。利用随机森林训练2类分类器用于补全断裂叶片，可以实现交互式半自动恢复，使用时需要用户通过画框的方法定位断裂或者需要补全的相关区域，分类器判断区域内每个样本点的类别归属，实现对断裂或者缺损玉米单株叶片的修补。包括以下步骤：
步骤一、获取并且处理单株玉米图像样本集，在提取样本图像特征向量的同时记录其所属的类别，用训练出的模型进行预分割，记样本图像为I(x，y)。步骤如下：
1-1)单株玉米样本图像获取步骤：利用成像设备定时获取单株玉米植株生长前期样本图像，图1为其中一个玉米单株样本；
1-2)对获取的单株玉米样本图像I(x，y)进行处理，同时提取玉米植株叶片与背景的特征作为分类标准，其中的步骤包括：
首先，利用图像压缩的方法对获取的样本图片统一到为648*432尺度。样本图像的前景是玉米植株，背景为土壤、盆、秸秆和标尺等，从这些处理为统一尺度的样本图像集中随机选择一定数量的样本，本发明样例选用的样本数为218，然后搭建名称为Single cornanalysis platform(SCAP)的玉米植株分析平台，利用此平台选取330个背景点，305个前景点作为训练样本，为尽量减少背景点的干扰，对光照影响严重的叶片等干扰处不选取样本点。其中前景点记为F(x，y),背景点记为B(x，y)。对于一幅玉米图像的所有像素点，计算如下y1、y2和y3特征：
其中，R,G,B分别表示获取的样本图像I(x，y)的红色通道、绿色通道和蓝色通道像素值；将R、G、B、y1、y2和y3组成特征向量
1-3)将前景像素点和背景像素点的标记结果作为分类标签，训练SVM分类器，分类函数的支持向量机分类模型如下：
式(2)中αi为拉格朗日乘子，b为偏置，k(x,y)是核函数。本文中用到的核函数为线性核，具体如下：
k(x，y)＝x·y (3)
1-4)利用训练模型[式(2)]对玉米样本图片进行初步分割。图2所示为利用训练好的模型进行预分割的效果图。
步骤二、由于步骤一得到的预分割模型是通过少量样本点训练得来，而且在选取样本点的时候没有选取光照影响严重的样本点，所以造成根据颜色特征对玉米单株叶片进行分类的分割率偏低，需要加入纹理特征对这部分前景和背景做进一步分类识别。以步骤一得到的基于SVM的分割结果，提取未分割区域的特征，训练分类器。步骤如下：
2-1)随机选取一定数量的玉米单株样本，利用步骤一得到的分类器进行前景与背景的分类，并将准确分割的区域做掩码并且保存下来，作为训练丢失叶片信息区域补全算法的样本；图3为处理之后的掩码图，为了下一步取样本点方便，将分割出来的部分填充为红色；
2-2)利用SCAP平台对以上得到的二次样本进行特征提取，其中用到了颜色特征R、G、B、y1、y2、y3和梯度特征，以及LBP纹理特征。其中y1、y2、y3如(1)式，设f(x，y)为图像在(x，y)的三个通道的像素值，图像在(x，y)点处x方向的梯度和y方向的梯度为：
为降低计算量，用绝对值来计算梯度的一般性做法，如式(6)：
M(x，y)＝|g(x)|+|g(y)| (6)
在图像中，梯度的方向为像素值变化最大的方向，其模的大小可以反映出该点像素值变化的剧烈程度，在一定程度上代表了图像的结构信息。
LBP(Local Binary Pattern，局部二值模式)的基本思想是对图像的像素和它周围像素进行对比后的结果进行求和。把这个像素作为中心，对相邻像素进行阈值比较。如果它的相邻像素值大于中心像素值，标记为1，否则标记为0，图4展示了一个3*3的窗口求对应的纹理二进制序列以及转化维十进制的例子，所以一个更加正式的LBP操作可以被定义为：
其中(xc，yc)是中心像素，亮度为ic；p表示以(xc，yc)为中心圈定窗口内像素点个数，在这里p取9,而ip窗内(xc，yc)以外像素的亮度。s是一个符号函数：
图5中三幅图为原图像的三个通道的梯度图，图6中三幅图为原图像的三个通道的LBP纹理特征图。
从2-1)处理得到的掩码样本图中共选取了样本点共2670个，其中前景点1205个，背景点1465个，每个样本点分别统计梯度特征、LBP特征、颜色特征共12维。由于玉米叶片像素点的分布有一定的规律(根据叶片的长势)，所以前景点和背景点的坐标也可以作为区分前景和背景的特征。综上，输入特征共14维分量，进行随机森林分类器训练。
步骤三、利用步骤二训练好的模型对预分割后有缺损或者断裂的玉米单株叶片进行人工选定区域补全。即在Single corn analysis platform平台上对具有破损或者断裂特征的区域进行人工选定区域，并且载入步骤二训练的模型进行分类补全不完整的叶片。
图7为人工选定区域进行补全，图8为用分类器进行补全之后的分割效果图；
通过实验比对，用随机森林分类器来对所选样本点进行预测所达到的准确率可以达到97.83％，漏报率为1.31％，，误报率为0.86％，所以选用此分类器对断裂、破损处进行补全恢复。表1展示了实验过程中不同特征组合的形式以及最终的识别结果，本发明采用的是模式D。图9所示为整个方法的流程图。
表1不同特征组合的分类器以及测试结果
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。
Claims (4)
1.一种单株玉米图像叶片断裂半自动修复补全方法，其特征在于，包括以下步骤：
(1)首先选取少量前景和背景样本点，利用颜色特征训练SVM分类模型，实现对单株玉米叶片的预分割；
(2)之后对由于光照、噪声、特殊背景等原因而造成无法准确分割的区域进行样本点选择，采用颜色，梯度空间、Local Binary Patterns纹理特征及其坐标位置来描述这些样本点；利用随机森林训练2类分类器用于补全断裂叶片，可以实现交互式半自动恢复；
(3)使用时用户通过画框的方法定位断裂或者需要补全的相关区域，分类器判断区域内每个样本点的类别归属，实现对断裂或者缺损玉米单株叶片的修补。
2.根据权利要求1所述单株玉米图像叶片断裂半自动修复补全方法，其特征在于，所述步骤(1)获取并且处理单株玉米图像样本集，在提取样本图像特征向量的同时记录其所属的类别，用训练出的模型进行预分割；具体步骤如下：
2-1)单株玉米样本图像获取步骤：利用成像设备定时获取单株玉米植株生长前期样本图像；
2-2)对获取的单株玉米样本图像进行处理，并且提取玉米植株叶片与背景的特征作为分类标准，其中的步骤包括：
首先，利用图像压缩的方法对获取的样本图片统一到为648*432尺度；样本图像的前景是玉米植株，背景为土壤、盆、秸秆和标尺等，从这些处理为统一尺度的样本图像集中随机选择一定数量的样本，本发明样例选用的样本数为218，然后搭建名称为Single cornanalysis platform(SCAP)的玉米植株分析平台，利用此平台选取330个背景点，305个前景点作为训练样本，为尽量减少背景点的干扰，对光照影响严重的叶片等干扰处不选取样本点；其中前景点记为F(x，y),背景点记为B(x，y)；对于一幅玉米图像的所有像素点，计算如下y1、y2和y3特征：
其中，R,G,B分别表示获取的样本图像的红色通道、绿色通道和蓝色通道像素值；将R、G、B、y1、y2和y3组成特征向量；
2-3)将前景像素点和背景像素点的标记结果作为分类标签，训练SVM分类器，分类函数的支持向量机分类模型如下：
式(2)中ai为拉格朗日乘子，b为偏置，k(x,y)是核函数；本发明中用到的核函数为线性核，具体如下：
k(x，y)＝x·y (3)
2-4)利用训练模型[式(2)]对玉米样本图片进行初步分割。
3.根据权利要求1所述单株玉米图像叶片断裂半自动修复补全方法，其特征在于，所述步骤(2)以步骤(1)得到的基于SVM的分割结果，提取未分割区域的特征，训练分类器，具体步骤如下：
3-1)随机选取一定数量的玉米单株样本，利用步骤一得到的分类器进行前景与背景的分类，并将准确分割的区域做掩码并且保存下来，作为训练丢失叶片信息区域补全算法的样本；
3-2)利用SCAP平台对以上得到的二次样本进行特征提取，其中用到了颜色特征R、G、B、y1、y2、y3和梯度特征，以及LBP纹理特征；其中y1、y2、y3如(1)式，设f(x，y)为图像在(x，y)的三个通道的像素值，图像在(x，y)点处x方向的梯度和y方向的梯度为：
为降低计算量，用绝对值来计算梯度的一般性做法，如式(6)：
M(x，y)＝|g(x)|+|g(y)| (6)
在图像中，梯度的方向为像素值变化最大的方向，其模的大小可以反映出该点像素值变化的剧烈程度，在一定程度上代表了图像的结构信息；
LBP(Local Binary Pattern，局部二值模式)的基本思想是对图像的像素和它周围像素进行对比后的结果进行求和；把这个像素作为中心，对相邻像素进行阈值比较；如果它的相邻像素值大于中心像素值，标记为1，否则标记为0，所以一个更加正式的LBP操作可以被定义为：
其中(xc，yc)是中心像素，亮度为ic；p表示以(xc，yc)为中心圈定窗口内像素点个数，在这里p取9,而ip窗内(xc，yc)以外像素的亮度；s是一个符号函数：
从3-1)处理得到的掩码样本图中共选取了样本点共2670个，其中前景点1205个，背景点1465个，每个样本点分别统计梯度特征、LBP特征、颜色特征共12维；由于玉米叶片像素点的分布有一定的规律(根据叶片的长势)，所以前景点和背景点的坐标也可以作为区分前景和背景的特征；综上，输入特征共14维分量，进行随机森林分类器训练。
4.根据权利要求1所述单株玉米图像叶片断裂半自动修复补全方法，其特征在于，所述步骤(3)利用步骤(2)训练好的模型对预分割后有缺损或者断裂的玉米单株叶片进行人工选定区域补全，即在SCAP平台上对具有破损或者断裂特征的区域进行人工选定区域，并且载入步骤(2)训练的模型进行分类补全不完整的叶片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910356142.4A CN110136078A (zh) | 2019-04-29 | 2019-04-29 | 单株玉米图像叶片断裂半自动修复补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910356142.4A CN110136078A (zh) | 2019-04-29 | 2019-04-29 | 单株玉米图像叶片断裂半自动修复补全方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110136078A true CN110136078A (zh) | 2019-08-16 |
Family
ID=67575592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910356142.4A Pending CN110136078A (zh) | 2019-04-29 | 2019-04-29 | 单株玉米图像叶片断裂半自动修复补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136078A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063876A (zh) * | 2014-01-10 | 2014-09-24 | 北京理工大学 | 一种交互式图像分割方法 |
| CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
| CN104392240A (zh) * | 2014-10-28 | 2015-03-04 | 中国疾病预防控制中心寄生虫病预防控制所 | 一种基于多特征融合的寄生虫虫卵识别方法 |
| CN105225228A (zh) * | 2015-09-08 | 2016-01-06 | 广西大学 | 田间自然背景下甘蔗宿根图像分割方法 |
| CN106023159A (zh) * | 2016-05-10 | 2016-10-12 | 中国农业大学 | 设施蔬菜叶部病斑图像分割方法及系统 |
| CN106845497A (zh) * | 2017-01-12 | 2017-06-13 | 天津大学 | 基于多特征融合的玉米前期图像旱情识别方法 |
| CN106981068A (zh) * | 2017-04-05 | 2017-07-25 | 重庆理工大学 | 一种联合像素与超像素的交互式图像分割方法 |
| CN107392892A (zh) * | 2017-06-30 | 2017-11-24 | 天津大学 | 基于图像的玉米生育前期干旱胁迫自动识别方法 |
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN109658411A (zh) * | 2019-01-21 | 2019-04-19 | 杭州英库医疗科技有限公司 | 一种基于ct影像学特征与非小细胞肺癌患者预后情况的相关性分析方法 |
-
2019
- 2019-04-29 CN CN201910356142.4A patent/CN110136078A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063876A (zh) * | 2014-01-10 | 2014-09-24 | 北京理工大学 | 一种交互式图像分割方法 |
| CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
| CN104392240A (zh) * | 2014-10-28 | 2015-03-04 | 中国疾病预防控制中心寄生虫病预防控制所 | 一种基于多特征融合的寄生虫虫卵识别方法 |
| CN105225228A (zh) * | 2015-09-08 | 2016-01-06 | 广西大学 | 田间自然背景下甘蔗宿根图像分割方法 |
| CN106023159A (zh) * | 2016-05-10 | 2016-10-12 | 中国农业大学 | 设施蔬菜叶部病斑图像分割方法及系统 |
| CN106845497A (zh) * | 2017-01-12 | 2017-06-13 | 天津大学 | 基于多特征融合的玉米前期图像旱情识别方法 |
| CN106981068A (zh) * | 2017-04-05 | 2017-07-25 | 重庆理工大学 | 一种联合像素与超像素的交互式图像分割方法 |
| CN107392892A (zh) * | 2017-06-30 | 2017-11-24 | 天津大学 | 基于图像的玉米生育前期干旱胁迫自动识别方法 |
| CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
| CN109658411A (zh) * | 2019-01-21 | 2019-04-19 | 杭州英库医疗科技有限公司 | 一种基于ct影像学特征与非小细胞肺癌患者预后情况的相关性分析方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808028A (zh) * | 2020-09-14 | 2021-12-17 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
| CN113808028B (zh) * | 2020-09-14 | 2023-08-08 | 北京航空航天大学 | 基于归因算法的对抗样本的检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN108416353B (zh) | 基于深度全卷积神经网络的大田稻穗快速分割方法 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN111986099A (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN109584251A (zh) | 一种基于单目标区域分割的舌体图像分割方法 | |
| CN111369540A (zh) | 基于掩码卷积神经网络的植物叶片病害识别方法 | |
| CN109360206A (zh) | 基于深度学习的大田稻穗分割方法 | |
| CN110232661A (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| CN107563379B (zh) | 用于对自然场景图像中文本的定位方法 | |
| CN108364278B (zh) | 一种岩心裂缝提取方法和系统 | |
| CN105426825B (zh) | 一种基于航拍图像识别的电网地理接线图绘制方法 | |
| CN110176005B (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN106339984A (zh) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 | |
| CN109872326B (zh) | 基于深度强化网络跳跃连接的轮廓检测方法 | |
| CN110751606B (zh) | 一种基于神经网络算法的泡沫图像处理方法及系统 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN112183448B (zh) | 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法 | |
| CN108038487A (zh) | 基于图像分割与特征融合的植物叶片辨别方法 | |
| CN110276279A (zh) | 一种基于图像分割的任意形状场景文本探测方法 | |
| CN117152735A (zh) | 一种基于改进yolov5s的番茄成熟度分级方法 | |
| CN116310548A (zh) | 一种进口种子产品中的入侵植物种子检测方法 | |
| CN111563542A (zh) | 一种基于卷积神经网络的植物自动分类方法 | |
| CN109949334B (zh) | 基于深度强化网络残差连接的轮廓检测方法 | |
| CN107492082A (zh) | 一种利用边缘统计特征的mrf样本块图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |