CN108009542B - 油菜大田环境下杂草图像分割方法 - Google Patents

油菜大田环境下杂草图像分割方法 Download PDF

Info

Publication number
CN108009542B
CN108009542B CN201711056203.2A CN201711056203A CN108009542B CN 108009542 B CN108009542 B CN 108009542B CN 201711056203 A CN201711056203 A CN 201711056203A CN 108009542 B CN108009542 B CN 108009542B
Authority
CN
China
Prior art keywords
rape
weed
color
rgb image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711056203.2A
Other languages
English (en)
Other versions
CN108009542A (zh
Inventor
吴兰兰
熊利荣
徐恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN201711056203.2A priority Critical patent/CN108009542B/zh
Publication of CN108009542A publication Critical patent/CN108009542A/zh
Application granted granted Critical
Publication of CN108009542B publication Critical patent/CN108009542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明公开了一种油菜大田环境下杂草图像分割方法，在油菜田间随机采集若干个杂草/油菜RGB图像样本；建立视觉注意模型中提取颜色特征、亮度特征及方向分特征，获取各特征图，生成各特征通道显著图，进而获取总显著图，获取感兴趣区域；提取感兴趣区域的形状特征和纹理特征，进行支持向量机分类训练获取油菜区域；融合杂图像样本和所有油菜区域图像，以获取最终株间杂草区域分布信息。通过融入改进的视觉注意模型，结合区域生长算法，获取感兴趣区域，整个算法过程不需要进行灰度转换和阈值分割处理，减少处理环节以及计算量；通过提取感兴趣区域的特征参数和支持向量机分类模型判别，进一步提高分割效率，实现油菜大田背景下杂草图像分割。

Description

油菜大田环境下杂草图像分割方法
技术领域
本发明属于杂草图像分割技术领域，具体涉及一种油菜大田环境下杂草图像分割方法。
背景技术
农田杂草对农作物生长、土壤表层温湿度都会产生负面影响，导致农田减产及土壤可重复利用率降低。目前多采用的常量喷洒农药控制杂草生长带来环境污染、食品安全等问题，因此从田间图像中快速准确识别出杂草并获取其分布情况进而实施精准喷药具有重要意义。
目前国内外研制的杂草识别系统大多仅能检测出简单背景下的杂草，对复杂背景下株间杂草的识别效率较低。其检测方法大多是首先将植物区域(作物和杂草)从背景中分离，然后进行判别。这类方法对简单背景下杂草检测适用性强，对残茬覆盖、光线较暗等复杂背景下作物/杂草图像分割很大程度上影响准确识别率。
发明内容
本发明的目的是针对上述技术的不足，提供一种油菜大田环境下杂草图像分割方法，来解决现有图像处理方法对复杂背景下油菜/杂草分离情况不理想的状况。
为实现上述目的，本发明所设计的油菜大田环境下杂草图像分割方法包括如下步骤：
步骤一，在油菜田间随机采集若干个杂草/油菜RGB图像样本，杂草/油菜RGB图像样本包含苗期油菜、杂草及周边环境；
其中，若干个杂草/油菜RGB图像样本包括在晴天、阴天及雨后三种天气情况下采集的杂草/油菜RGB图像样本；
步骤二，根据视觉注意模型理论，建立视觉注意模型中，对步骤一采集的所有杂草/油菜RGB图像样本提取颜色特征、亮度特征及方向分特征，获取各特征图，生成各特征通道显著图，进而获取总显著图，总显著图结合区域生长获取感兴趣区域；具体过程如下：
a)对所有油菜/杂草RGB图像样本进行颜色指标统计分析，找出区分背景和油菜/杂草的颜色指标；
b)根据图像多尺度表示及颜色指标统计分析，获取所有杂草/油菜RGB图像样本的亮度特征、颜色特征及方向分特征；
c)对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图；
d)通过非线性归一化及各特征图层间相加，得到各特征通道显著图；
e)各特征通道显著图根据线性组合获取总显著图，总显著图结合区域生长获取感兴趣区域；
步骤三，提取步骤二中感兴趣区域的形状特征和纹理特征，进行支持向量机分类训练，获取油菜区域，具体过程为：
f)首先针对步骤二中感兴趣区域中的联通区域，提取联通区域的形状特征参数和纹理特征参数；选取步骤一中所有杂草/油菜RGB图像样本中的部分图像样本作为训练样本，并将训练样本选定为训练集用于构建支持向量机，然后将形状特征参数和纹理特征参数导入EXCEL进行特征分析，找出能区分油菜区域和杂草区域的特征参数；
g)建立支持向量机分类模型，识别出感兴趣区域中视觉注意模型注意到的区域后，保留所有油菜区域；然后选取步骤f)中剩余的杂草/油菜RGB图像样本作为测试样本，根据分类精度来验证在能区分油菜区域和杂草区域的特征参数下的支持向量机分类模型；
步骤四，融合步骤一中采集的杂草/油菜RGB图像样本和步骤三中得到的所有油菜区域图像，以获取最终株间杂草区域分布信息。
进一步地，完成所述步骤四后，对最后杂草区域分布信息进行噪声消除处理。
进一步地，所述步骤二中的a)，对所有油菜/杂草RGB图像样本进行颜色指标统计分析，找出区分背景和油菜/杂草的颜色指标具体分析过程为：根据油菜/杂草中绿色分量占主导这一特征，选取g、g-b、g-r、2g-r-b及1.4r-b五种颜色指标，其中r、g、b分别为红色分量、绿色分量和蓝色分量；然后选取油菜/杂草RGB图像样本的中心线为标准线，分别计算油菜/杂草RGB图像样本中标准线上五种颜色指标的灰度值，将所得到的灰度值绘成直方图，重复操作，对所有油菜/杂草RGB图像样本均进行颜色指标统计分析；三种天气情况下油菜/杂草RGB图像样本中土壤部分2g-r-b值在-5-30范围内波动，三种天气情况下油菜/杂草RGB图像样本中油菜/杂草部分2g-r-b值在20-150范围内波动，即2G-R-B这一颜色指标作为区分背景和油菜/杂草的标准颜色指标。
进一步地，所述步骤二中的b)，根据图像多尺度表示及颜色指标统计分析，获取所有杂草/油菜RGB图像样本的亮度特征、颜色特征及方向分特征的具体过程为：
图像多尺度表示具体为：给定一幅二维数字图像I(i,j)，i,j分别为二维数字图像像素的横、纵坐标；若金字塔层数为k，则当k＝0时，Ik(i,j)＝I0(i,j)＝I，代表金字塔结构的最底层，则金字塔结构第k层如下：
Figure GDA0003026213410000031
其中w(m,n)为降采样核函数，m,n分别为降采样核函数像素点的横、纵坐标，N为m,n的边界值；
根据上述图像多尺度表示及颜色指标统计分析，获取亮度特征、颜色特征及方向特征的表达式：
亮度特征通道：I(k)＝2×g(k)-r(k)-b(k)(2)
颜色特征通道：
Figure GDA0003026213410000032
其中R(k)＝(r(k)-(g(k)+b(k)))/2，G(k)＝(g(k)-(r(k)+b(k)))/2，B(k)＝(b(k)-(r(k)+g(k)))/2，Y(k)＝(r(k)+g(k))-2×(|r(k)-g(k)|+b(k))；
r(k)、g(k)、b(k)分别表示进行处理的所有油菜/杂草RGB图像样本的红、绿、蓝颜色分量，k∈[0,1,2....8]；
方向特征通道：使用Gabor滤波器对亮度特征在0°、45°、90°及135°方向滤波，其输出为相应方向分特征，如下：
xθn＝xcos(θn)+ysin(θn) (4)
yθn＝-xsin(θn)+ycos(θn) (5)
Figure GDA0003026213410000041
其中，h(x,y,θn,λ,α,β)为二维Gabor滤波器函数，α和β表示高斯包络分别在x和y方向上的标准差，λ和θn分别为正弦波的波长与方向，θn＝π/m(n-1)，n＝1,2,3,.....m；当θn取值为0°、45°、90°及135°时，由式(4)～(6)获取对应方向分特征通道。
进一步地，所述步骤二中的c)，对颜色特征、亮度特征以及方向分特征进行中央-周边差操作获取各特征图具体过程为：以步骤一中采集的若干个杂草/油菜RGB图像样本作为原始图像样本，设定原始图像样本为金字塔的第1级，选取金字塔中第2、3、4级为中央层c＝2,3,4，尺度差σ＝3,4，则周边层
Figure GDA0003026213410000042
Θ为中央-周边差运算符；对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图如下：
亮度特征图：MI(c,c+σ)＝|I(c)ΘI(c+σ)| (7)
颜色特征图：
Figure GDA0003026213410000043
方向特征图：Mori(c,c+σ,θ)＝|O(c,θ)ΘO(c+σ,θ)| (9)
其中，MRG(c,c+σ)、MBY(c,c+σ)分别代表红绿子通道、蓝黄子通道的颜色特征图；O(c,θ)代表尺度空间c为时，θ方向上的方向特征映射。
进一步地，所述步骤二中的d)，通过非线性归一化及各特征图层间相加得到各特征通道显著图如下：
Figure GDA0003026213410000044
Figure GDA0003026213410000051
Figure GDA0003026213410000052
其中Si、Sc、So分别代表亮度、颜色、方向的通道显著图，N(□)为非线性归一化算子，此处指局部迭代融合；⊕为跨尺度相加算子。
进一步地，所述步骤二中的e)，各特征通道显著图根据线性组合获取总显著图，总显著图结合区域生长获取感兴趣区域具体过程为：
感受野模板采用DOG(x,y)函数，显著性度量为：
Figure GDA0003026213410000053
N(M(c,c+σ))＝(M(c,c+σ)+M(c,c+σ)*DOG-C) (14)
其中，DOG(x,y)代表双高斯差分函数，
Figure GDA0003026213410000054
和
Figure GDA0003026213410000055
分别表兴奋和抑制带宽，cex和cinh分别表兴奋和抑制常数，M(c,c+σ)代表给定的特征图，N(M(c,c+σ))为显著性函数。
总显著图的计算公式：
S＝Si*Wi+Sc*Wc+So*Wo (15)
其中Wi、Wc、Wo分别是亮度通道显著图、颜色通道显著图、方向分通道显著图线性组合时对应的权值；
对总显著图进行阈值分割和区域标记，以标记区域质心为种子点进行区域生长以及区域合并，最终获得感兴趣区域。
进一步地，所述步骤三中的f)，提取的特征参数和纹理特征参数共包含十一个特征参数，分别为伸长度、矩形度、宽长比、圆形度、致密度、均值、标准差、平滑度、三阶矩、一致性和熵；并且圆形度、矩形度、标准差和一致性这四个特征参数能够区分油菜区域和杂草区域。
进一步地，所述步骤三中g)，支持向量机通过寻找最佳分类线或最佳分类面来保证训练和测试误差的最小化具体过程为：
运用径向基为核函数，将步骤f)中能区分油菜区域和杂草区域的特征参数建立特征向量数据库，运用MATLAB软件和LIBSVM工具箱，通过10-折交叉验证和网格寻优获取最优参数组C和γ，C为惩罚因子、γ为核参数，建立支持向量机分类模型，识别出感兴趣区域中的油菜区域和杂草区域；针对二分类问题，将油菜区域标记为1，杂草区域标记为2。
进一步地，所述步骤四种融合步骤一中采集的杂草/油菜RGB图像样本和步骤三中得到的所有油菜区域图像，以获取最终株间杂草区域信息的具体过程为：
将步骤三中获取的包含所有油菜区域二值化图像和步骤一中田间采集的杂草/油菜RGB图像样本进行乘法运算，消除油菜区域信息，进而获取杂草区域分布信息。
与现有技术相比，本发明具有以下优点：通过融入改进ITTI视觉注意模型结合区域生长算法，直接获取感兴趣区域，减少处理环节以及计算量，通过支持向量机分类模型判别，提高分割效率，实现油菜大田背景下杂草图像分割。本发明对光线及背景变化不敏感，有望突破传统图像分割瓶颈，为实现田间自动化杂草检测以及精准定位作业提供新思路。
附图说明
图1为本发明油菜大田环境下杂草图像分割方法流程示意图；
图2是油菜大田原始图像样本示意图；
图3是原始图像样本根据视觉注意模型分割出来的感兴趣区域示意图；
图4是结合区域生长对感兴趣区域进行标记示意图；
图5是融合原始图像样本和识别后油菜区域获取的最终杂草区域分布信息示意图；
图6为采用传统阈值分割方法获得灰度图像；
图7图6进行阈值分割获得的二值图像。
图中：1为油菜区域、2为杂草区域、3为联通区域。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
本发明中所有*代表乘以即×。
如图1所示为油菜大田环境下杂草图像分割方法，所述杂草图像分割方法包括如下步骤：
步骤一，在油菜田间随机采集若干个杂草/油菜RGB图像样本，杂草/油菜RGB图像样本包含苗期油菜、杂草及周边环境，具体过程为：
随机拍摄秋播油菜/杂草大田图像，相机安装在三脚架距离地面50cm处，镜头面和地面平行进行拍摄，如图2所示。每次拍摄时，选取晴天、阴天及雨后条件(即若干个杂草/油菜RGB图像样本包括在晴天、阴天及雨后三种天气情况下采集的杂草/油菜RGB图像样本)，图像分辨率为680像素*510像素；
步骤二，根据视觉注意模型理论，建立视觉注意模型(即ITTI模型)中，对步骤一采集的所有杂草/油菜RGB图像样本提取颜色特征、亮度特征及方向分特征，获取各特征图，生成各特征通道显著图，进而获取总显著图，总显著图结合区域生长获取感兴趣区域；具体过程如下：
a)对所有油菜/杂草RGB图像样本进行颜色指标统计分析，找出区分背景和油菜/杂草的颜色指标，具体分析过程为：根据油菜/杂草中绿色分量占主导这一特征，选取g、g-b、g-r、2g-r-b及1.4r-b五种颜色指标，其中r、g、b分别为红色分量、绿色分量和蓝色分量；然后选取油菜/杂草RGB图像样本的中心线为标准线，如图2中红色线所示，分别计算油菜/杂草RGB图像样本中标准线上五种颜色指标的灰度值，将所得到的灰度值绘成直方图，重复操作，对所有油菜/杂草RGB图像样本均进行颜色指标统计分析；发现，三种天气情况下油菜/杂草RGB图像样本中土壤部分2g-r-b值在-5-30范围内波动，三种天气情况下油菜/杂草RGB图像样本中油菜/杂草部分2g-r-b值在20-150范围内波动，且呈明显的波峰状，即2G-R-B这一颜色指标作为区分背景和油菜/杂草的标准颜色指标。
b)根据图像多尺度表示(图像多尺度表示指的是对图像进行多尺度表达，并在不同尺度下进行处理，本实施例中指的是后面提到的金字塔结构中的k级)及颜色指标统计分析，获取所有杂草/油菜RGB图像样本的亮度特征、颜色特征及方向分特征的具体过程为：
图像多尺度表示具体为：给定一幅二维数字图像I(i,j)，i,j分别为二维数字图像像素的横、纵坐标；若金字塔层数为k，则当k＝0时，Ik(i,j)＝I0(i,j)＝I，代表金字塔结构的最底层，则金字塔结构第k层如下：
Figure GDA0003026213410000081
其中w(m,n)为降采样核函数，一般为高斯核函数，m,n分别为降采样核函数像素点的横、纵坐标，N为m,n的边界值；
根据上述图像多尺度表示及颜色指标统计分析，获取亮度特征、颜色特征及方向特征的表达式：
亮度特征通道：I(k)＝2×g(k)-r(k)-b(k) (2)
颜色特征通道：
Figure GDA0003026213410000082
其中R(k)＝(r(k)-(g(k)+b(k)))/2，G(k)＝(g(k)-(r(k)+b(k)))/2，B(k)＝(b(k)-(r(k)+g(k)))/2，Y(k)＝(r(k)+g(k))-2×(|r(k)-g(k)|+b(k))；
r(k)、g(k)、b(k)分别表示进行处理的所有油菜/杂草RGB图像样本的红、绿、蓝颜色分量，k∈[0,1,2....8]；
方向特征通道：使用Gabor滤波器对亮度特征在0°、45°、90°及135°方向滤波，其输出为相应方向分特征，如下：
xθn＝xcos(θn)+ysin(θn) (4)
yθn＝-xsin(θn)+ycos(θn) (5)
Figure GDA0003026213410000083
其中，h(x,y,θn,λ,α,β)为二维Gabor滤波器函数，α和β表示高斯包络分别在x和y方向上的标准差，λ和θn分别为正弦波的波长与方向，θn＝π/m(n-1)，n＝1,2,3,.....m；当θn取值为0°、45°、90°及135°时，由式(4)～(6)获取对应方向分特征通道；
c)对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图具体过程为：以步骤一中采集的若干个杂草/油菜RGB图像样本作为原始图像样本，设定原始图像样本为金字塔的第1级，选取金字塔中第2、3、4级为中央层c＝2,3,4，尺度差σ＝3,4，则周边层
Figure GDA0003026213410000091
Θ为中央-周边差运算符；对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图如下：
亮度特征图：MI(c,c+σ)＝|I(c)ΘI(c+σ)| (7)
颜色特征图：
Figure GDA0003026213410000092
方向特征图：Mori(c,c+σ,θ)＝|O(c,θ)ΘO(c+σ,θ)| (9)
其中，MRG(c,c+σ)、MBY(c,c+σ)分别代表红绿子通道、蓝黄子通道的颜色特征图；O(c,θ)代表尺度空间c为时，θ方向上的方向特征映射；
d)通过非线性归一化及各特征图层间相加，得到各特征通道显著图如下：
Figure GDA0003026213410000093
Figure GDA0003026213410000094
Figure GDA0003026213410000095
其中Si、Sc、So分别代表亮度、颜色、方向的通道显著图，N(□)为非线性归一化算子，此处指局部迭代融合；
Figure GDA0003026213410000096
为跨尺度相加算子。以亮度通道显著图为例，
Figure GDA0003026213410000097
表示将亮度通道各级特征图通过局部迭代运算后再进行跨尺度相加；
e)各特征通道显著图根据线性组合获取总显著图，总显著图结合区域生长获取感兴趣区域具体过程为：
感受野模板采用DOG(x,y)函数，显著性度量为：
Figure GDA0003026213410000098
N(M(c,c+σ))＝(M(c,c+σ)+M(c,c+σ)*DOG-C) (14)
其中，DOG(x,y)代表双高斯差分函数，
Figure GDA0003026213410000101
和
Figure GDA0003026213410000102
分别表兴奋和抑制带宽，cex和cinh分别表兴奋和抑制常数，M(c,c+σ)代表给定的特征图，N(M(c,c+σ))为显著性函数。
总显著图的计算公式：
S＝Si*Wi+Sc*Wc+So*Wo (15)
其中Wi、Wc、Wo分别是亮度通道显著图、颜色通道显著图、方向分通道显著图线性组合时对应的权值，一般通过实验选取最佳参数；
为了实现油菜区域分割，对总显著图进行阈值分割和区域标记，以标记区域质心为种子点进行区域生长以及区域合并，最终获得感兴趣区域，如图3所示；
步骤三，提取步骤二中感兴趣区域的形状特征和纹理特征，进行支持向量机分类训练，获取油菜区域，具体过程为：
f)首先针对步骤二中感兴趣区域中的联通区域(联通区域标记为3)，如图4所示，提取联通区域的形状特征参数和纹理特征参数，本实施例中，提取的特征参数和纹理特征参数共包含十一个特征参数，分别为伸长度、矩形度、宽长比、圆形度、致密度、均值、标准差、平滑度、三阶矩、一致性和熵；选取步骤一中所有杂草/油菜RGB图像样本中的部分图像样本作为训练样本，并将训练样本选定为训练集用于构建支持向量机，然后将形状特征参数和纹理特征参数导入EXCEL进行特征分析，发现圆形度、矩形度、标准差和一致性这四个特征参数能够较好区分油菜区域和杂草区域；
g)建立支持向量机分类模型，识别出感兴趣区域中视觉注意模型注意到的区域后，保留所有油菜区域具体过程为：
运用径向基为核函数，将步骤f)中能区分油菜区域和杂草区域的四个参数建立特征向量数据库，运用MATLAB软件和LIBSVM工具箱，通过10-折交叉验证和网格寻优获取最优参数组C和γ，C为惩罚因子、γ为核参数，建立支持向量机分类模型，识别出感兴趣区域中的油菜区域和杂草区域；针对二分类问题，将油菜区域标记为1，杂草区域标记为2；识别出感兴趣区域中视觉注意模型注意到的区域后，在图像中仅保留标记为1的区域，即保留所有油菜区域；
然后选取步骤f)中剩余的杂草/油菜RGB图像样本作为测试样本，根据分类精度来验证在能区分油菜区域和杂草区域的特征参数下的支持向量机分类模型，从而保证训练和测试误差的最小化；
步骤四，融合步骤一中采集的杂草/油菜RGB图像样本和步骤三中得到的所有油菜区域图像，以获取最终株间杂草区域分布信息的具体过程为：
将步骤三中获取的包含所有油菜区域二值化图像和步骤一中田间采集的杂草/油菜RGB图像样本进行乘法运算，消除油菜区域信息，进而获取杂草区域分布信息，如图5所示；
步骤五，从步骤四中获取的杂草区域分布信息存在大量噪声，可以利用形态学运算进行处理噪声，最终剩余完整杂草区域分布信息，为后一步杂草区域分布定位提供参考和依据。
本发明针对三种不同天气情况下大田油菜/杂草图像，通过融入改进ITTI视觉注意模型，结合区域生长算法，获取感兴趣区域，整个算法过程不需要进行灰度转换和阈值分割处理，减少处理环节以及计算量；通过提取感兴趣区域的特征参数和支持向量机分类模型判别，进一步提高分割效率，实现油菜大田背景下杂草图像分割。本发明对光线及背景变化不敏感，有望突破传统图像分割瓶颈，为实现田间自动化杂草检测以及精准定位作业提供新思路；另外，本发明研究的分割对象虽然是油菜田间杂草图像，但是本发明提出的分割方法不仅限于油菜田间杂草图像，可以拓展至所有农作物图像分割与检测。
针对田间原始RGB图像样本，采用传统阈值分割方法进行图像处理，以图2为例。首先，经过2G-R-B的灰度公式将原始彩色图像转变为灰度图像，如图6所示；然后，经过自适应阈值分割，将灰度图转换为二值图像，如图7所示(阈值取值0.2667)。从图中可以看出，图像分为背景和前景两部分，其中背景为黑色，前景(作物和杂草)为白色。从图6和图7中可以看出，作物和杂草均为白色区域，无法直接分割或提取特征。而利用视觉注意模型可以直接获取单个区域特征，进而得到作物区域或者杂草区域，如图4、图5所示，为精准作业提供理论依据和技术支持。
前述对本发明的具体示例性实施方案的描述是为了说明和例证目的。这些描述并非想对本发明限定为所公开的精确形式，根据上述研究，可以进行适当改变和变化。对示例性实施例进行选择和描述目的在于解释本发明的特定原理及其实际应用，从而使本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种油菜大田环境下杂草图像分割方法，其特征在于，所述杂草图像分割方法包括如下步骤：
步骤一，在油菜田间随机采集若干个杂草/油菜RGB图像样本，杂草/油菜RGB图像样本包含苗期油菜、杂草及周边环境；
其中，若干个杂草/油菜RGB图像样本包括在晴天、阴天及雨后三种天气情况下采集的杂草/油菜RGB图像样本；
步骤二，根据视觉注意模型理论，建立视觉注意模型中，对步骤一采集的所有杂草/油菜RGB图像样本提取颜色特征、亮度特征及方向分特征，获取各特征图，生成各特征通道显著图，进而获取总显著图，总显著图结合区域生长获取感兴趣区域；具体过程如下：
a)对所有油菜/杂草RGB图像样本进行颜色指标统计分析，找出区分背景和油菜/杂草的颜色指标；
b)根据图像多尺度表示及颜色指标统计分析，获取所有杂草/油菜RGB图像样本的亮度特征、颜色特征及方向分特征；
c)对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图；
d)通过非线性归一化及各特征图层间相加，得到各特征通道显著图；
e)各特征通道显著图根据线性组合获取总显著图，总显著图结合区域生长获取感兴趣区域；
步骤三，提取步骤二中感兴趣区域的形状特征和纹理特征，进行支持向量机分类训练，获取油菜区域，具体过程为：
f)首先针对步骤二中感兴趣区域中的联通区域，提取联通区域的形状特征参数和纹理特征参数；选取步骤一中所有杂草/油菜RGB图像样本中的部分图像样本作为训练样本，并将训练样本选定为训练集用于构建支持向量机，然后将形状特征参数和纹理特征参数导入EXCEL进行特征分析，找出能区分油菜区域和杂草区域的特征参数；
g)建立支持向量机分类模型，识别出感兴趣区域中视觉注意模型注意到的区域后，保留所有油菜区域；然后选取步骤f)中剩余的杂草/油菜RGB图像样本作为测试样本，根据分类精度来验证在能区分油菜区域和杂草区域的特征参数下的支持向量机分类模型；
步骤四，融合步骤一中采集的杂草/油菜RGB图像样本和步骤三中得到的所有油菜区域图像，以获取最终株间杂草区域分布信息。
2.根据权利要求书1所述油菜大田环境下杂草图像分割方法，其特征在于，完成所述步骤四后，对最后杂草区域分布信息进行噪声消除处理。
3.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤二中的a)，对所有油菜/杂草RGB图像样本进行颜色指标统计分析，找出区分背景和油菜/杂草的颜色指标具体分析过程为：根据油菜/杂草中绿色分量占主导这一特征，选取g、g-b、g-r、2g-r-b及1.4r-b五种颜色指标，其中r、g、b分别为红色分量、绿色分量和蓝色分量；然后选取油菜/杂草RGB图像样本的中心线为标准线，分别计算油菜/杂草RGB图像样本中标准线上五种颜色指标的灰度值，将所得到的灰度值绘成直方图，重复操作，对所有油菜/杂草RGB图像样本均进行颜色指标统计分析；三种天气情况下油菜/杂草RGB图像样本中土壤部分2g-r-b值在-5-30范围内波动，三种天气情况下油菜/杂草RGB图像样本中油菜/杂草部分2g-r-b值在20-150范围内波动，即2G-R-B这一颜色指标作为区分背景和油菜/杂草的标准颜色指标。
4.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤二中的b)，根据图像多尺度表示及颜色指标统计分析，获取所有杂草/油菜RGB图像样本的亮度特征、颜色特征及方向分特征的具体过程为：
图像多尺度表示具体为：给定一幅二维数字图像I(i,j)，i,j分别为二维数字图像像素的横、纵坐标；若金字塔层数为k，则当k＝0时，Ik(i,j)＝I0(i,j)＝I，代表金字塔结构的最底层，则金字塔结构第k层如下：
Figure FDA0003026213400000031
其中w(m,n)为降采样核函数，m,n分别为降采样核函数像素点的横、纵坐标，N为m,n的边界值；
根据上述图像多尺度表示及颜色指标统计分析，获取亮度特征、颜色特征及方向特征的表达式：
亮度特征通道：I(k)＝2×g(k)-r(k)-b(k) (2)
颜色特征通道：
Figure FDA0003026213400000032
其中R(k)＝(r(k)-(g(k)+b(k)))/2，G(k)＝(g(k)-(r(k)+b(k)))/2，B(k)＝(b(k)-(r(k)+g(k)))/2，Y(k)＝(r(k)+g(k))-2×(|r(k)-g(k)|+b(k))；
r(k)、g(k)、b(k)分别表示进行处理的所有油菜/杂草RGB图像样本的红、绿、蓝颜色分量，k∈[0,1,2....8]；
方向特征通道：使用Gabor滤波器对亮度特征在0°、45°、90°及135°方向滤波，其输出为相应方向分特征，如下：
Figure FDA0003026213400000033
Figure FDA0003026213400000034
Figure FDA0003026213400000035
其中，h(x,y,θn,λ,α,β)为二维Gabor滤波器函数，α和β表示高斯包络分别在x和y方向上的标准差，λ和θn分别为正弦波的波长与方向，θn＝π/m(n-1)，n＝1,2,3,.....m；当θn取值为0°、45°、90°及135°时，由式(4)～(6)获取对应方向分特征通道。
5.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤二中的c)，对颜色特征、亮度特征以及方向分特征进行中央-周边差操作获取各特征图具体过程为：以步骤一中采集的若干个杂草/油菜RGB图像样本作为原始图像样本，设定原始图像样本为金字塔的第1级，选取金字塔中第2、3、4级为中央层c＝2,3,4，尺度差σ＝3,4，则周边层
Figure FDA0003026213400000036
Θ为中央-周边差运算符；对颜色特征、亮度特征以及方向分特征进行中央-周边差操作，获取各特征图如下：
亮度特征图：MI(c,c+σ)＝|I(c)ΘI(c+σ)|(7)
颜色特征图：
Figure FDA0003026213400000041
方向特征图：Mori(c,c+σ,θ)＝|O(c,θ)ΘO(c+σ,θ)|(9)
其中，MRG(c,c+σ)、MBY(c,c+σ)分别代表红绿子通道、蓝黄子通道的颜色特征图；O(c,θ)代表尺度空间c为时，θ方向上的方向特征映射。
6.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤二中的d)，通过非线性归一化及各特征图层间相加得到各特征通道显著图如下：
Figure FDA0003026213400000042
Figure FDA0003026213400000043
Figure FDA0003026213400000044
其中Si、Sc、So分别代表亮度、颜色、方向的通道显著图，
Figure FDA0003026213400000045
为非线性归一化算子，此处指局部迭代融合；
Figure FDA0003026213400000046
为跨尺度相加算子。
7.根据权利要求书6所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤二中的e)，各特征通道显著图根据线性组合获取总显著图，总显著图结合区域生长获取感兴趣区域具体过程为：
感受野模板采用DOG(x,y)函数，显著性度量为：
Figure FDA0003026213400000047
N(M(c,c+σ))＝(M(c,c+σ)+M(c,c+σ)*DOG-C) (14)
其中，DOG(x,y)代表双高斯差分函数，
Figure FDA0003026213400000048
和
Figure FDA0003026213400000049
分别表兴奋和抑制带宽，cex和cinh分别表兴奋和抑制常数，M(c,c+σ)代表给定的特征图，N(M(c,c+σ))为显著性函数；
总显著图的计算公式：
S＝Si*Wi+Sc*Wc+So*Wo (15)
其中Wi、Wc、Wo分别是亮度通道显著图、颜色通道显著图、方向分通道显著图线性组合时对应的权值；
对总显著图进行阈值分割和区域标记，以标记区域质心为种子点进行区域生长以及区域合并，最终获得感兴趣区域。
8.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤三中的f)，提取的特征参数和纹理特征参数共包含十一个特征参数，分别为伸长度、矩形度、宽长比、圆形度、致密度、均值、标准差、平滑度、三阶矩、一致性和熵；并且圆形度、矩形度、标准差和一致性这四个特征参数能够区分油菜区域和杂草区域。
9.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤三中g)，支持向量机通过寻找最佳分类线或最佳分类面来保证训练和测试误差的最小化具体过程为：
运用径向基为核函数，将步骤f)中能区分油菜区域和杂草区域的特征参数建立特征向量数据库，运用MATLAB软件和LIBSVM工具箱，通过10-折交叉验证和网格寻优获取最优参数组C和γ，C为惩罚因子、γ为核参数，建立支持向量机分类模型，识别出感兴趣区域中的油菜区域和杂草区域；针对二分类问题，将油菜区域标记为1，杂草区域标记为2。
10.根据权利要求书1或2所述油菜大田环境下杂草图像分割方法，其特征在于，所述步骤四种融合步骤一中采集的杂草/油菜RGB图像样本和步骤三中得到的所有油菜区域图像，以获取最终株间杂草区域信息的具体过程为：
将步骤三中获取的包含所有油菜区域二值化图像和步骤一中田间采集的杂草/油菜RGB图像样本进行乘法运算，消除油菜区域信息，进而获取杂草区域分布信息。
CN201711056203.2A 2017-11-01 2017-11-01 油菜大田环境下杂草图像分割方法 Active CN108009542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711056203.2A CN108009542B (zh) 2017-11-01 2017-11-01 油菜大田环境下杂草图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711056203.2A CN108009542B (zh) 2017-11-01 2017-11-01 油菜大田环境下杂草图像分割方法

Publications (2)

Publication Number Publication Date
CN108009542A CN108009542A (zh) 2018-05-08
CN108009542B true CN108009542B (zh) 2021-06-15

Family

ID=62052017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711056203.2A Active CN108009542B (zh) 2017-11-01 2017-11-01 油菜大田环境下杂草图像分割方法

Country Status (1)

Country Link
CN (1) CN108009542B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711156A (zh) * 2018-05-10 2018-10-26 江苏澳特丝生物科技有限公司 一种图像分割复杂性测度方法
CN108960246B (zh) * 2018-06-14 2020-06-16 国网江苏省电力有限公司电力科学研究院 一种用于图像识别的二值化处理装置及方法
CN108900198A (zh) * 2018-06-29 2018-11-27 中国石油大学(华东) 一种串行抵消列表译码参数的快速确定方法
CN109271919B (zh) * 2018-09-12 2022-11-01 海南省海洋与渔业科学院 一种基于grb和网格模式的植被覆盖度测定方法
CN109522929A (zh) * 2018-10-16 2019-03-26 南京农业大学 一种基于多源图像融合的自然环境下麦田杂草识别方法
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
CN109461159A (zh) * 2018-11-20 2019-03-12 扬州工业职业技术学院 一种田间作物杂草的图像分割方法
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
CN110807783B (zh) * 2019-10-28 2023-07-18 衢州学院 一种面向无彩色长视频的高效视场区域分割方法及装置
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
CN111476129A (zh) * 2020-03-27 2020-07-31 潍坊申海科技有限公司 一种基于深度学习的土壤杂质检测方法
CN111523457B (zh) * 2020-04-22 2023-09-12 七海行(深圳)科技有限公司 一种杂草识别方法及杂草处理设备
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
CN113366956A (zh) * 2021-06-16 2021-09-10 中国农业大学 药肥同施的控制方法及药肥同施的装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936919A (zh) * 2005-09-23 2007-03-28 中国农业机械化科学研究院 利用位置和纹理特征自动识别作物苗期田间杂草的方法
CN101980248A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN103226826A (zh) * 2013-03-20 2013-07-31 西安电子科技大学 基于局部熵视觉注意模型的遥感图像变化检测方法
CN104851113A (zh) * 2015-04-17 2015-08-19 华中农业大学 多分辨率遥感影像的城市植被自动提取方法
CN106295661A (zh) * 2016-08-15 2017-01-04 北京林业大学 叶片图像多特征融合的植物种类识别方法及装置
CN106372635A (zh) * 2016-08-24 2017-02-01 滁州学院 一种基于机器视觉的草莓外形品质判别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152893A1 (en) * 2010-02-10 2011-12-08 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936919A (zh) * 2005-09-23 2007-03-28 中国农业机械化科学研究院 利用位置和纹理特征自动识别作物苗期田间杂草的方法
CN101980248A (zh) * 2010-11-09 2011-02-23 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN103226826A (zh) * 2013-03-20 2013-07-31 西安电子科技大学 基于局部熵视觉注意模型的遥感图像变化检测方法
CN104851113A (zh) * 2015-04-17 2015-08-19 华中农业大学 多分辨率遥感影像的城市植被自动提取方法
CN106295661A (zh) * 2016-08-15 2017-01-04 北京林业大学 叶片图像多特征融合的植物种类识别方法及装置
CN106372635A (zh) * 2016-08-24 2017-02-01 滁州学院 一种基于机器视觉的草莓外形品质判别方法

Also Published As

Publication number Publication date
CN108009542A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN107563413B (zh) 无人机航拍影像农田块对象精准提取方法
CN104217196B (zh) 一种遥感影像圆形油罐自动检测方法
CN108319973A (zh) 一种树上柑橘果实检测方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
Liang et al. Low-cost weed identification system using drones
CN114067219A (zh) 一种基于语义分割与超像素分割融合的农田作物识别方法
CN106228136A (zh) 基于聚合通道特征的全景街景隐私保护方法
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
CN111008642A (zh) 基于卷积神经网络的高分辨率遥感影像分类方法及系统
Loresco et al. Segmentation of lettuce plants using super pixels and thresholding methods in smart farm hydroponics setup
Waleed et al. An automated method for detection and enumeration of olive trees through remote sensing
CN115601690B (zh) 一种基于智慧农业的食用菌环境检测方法
Li et al. Image processing for crop/weed discrimination in fields with high weed pressure
CN110598516A (zh) 基于随机森林的多方位分层采集组合稻田杂草识别方法
Li et al. A novel denoising autoencoder assisted segmentation algorithm for cotton field
Yihang et al. Automatic recognition of rape seeding emergence stage based on computer vision technology
CN114092418A (zh) 农田作物无人机影像的阴影检测方法
CN112949607A (zh) 一种基于JM Relief F湿地植被特征优选与融合方法
CN109359583B (zh) 一种遥感影像中显著性面状特定目标提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant