CN113723314A - 一种基于YOLOv3算法的甘蔗茎节识别方法 - Google Patents
一种基于YOLOv3算法的甘蔗茎节识别方法 Download PDFInfo
- Publication number
- CN113723314A CN113723314A CN202111019667.2A CN202111019667A CN113723314A CN 113723314 A CN113723314 A CN 113723314A CN 202111019667 A CN202111019667 A CN 202111019667A CN 113723314 A CN113723314 A CN 113723314A
- Authority
- CN
- China
- Prior art keywords
- image
- sugarcane
- gradient
- stem
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000000111 Saccharum officinarum Species 0.000 title claims abstract description 172
- 235000007201 Saccharum officinarum Nutrition 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 238000003708 edge detection Methods 0.000 claims description 23
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005520 cutting process Methods 0.000 description 19
- 230000006378 damage Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- YTPMCWYIRHLEGM-BQYQJAHWSA-N 1-[(e)-2-propylsulfonylethenyl]sulfonylpropane Chemical compound CCCS(=O)(=O)\C=C\S(=O)(=O)CCC YTPMCWYIRHLEGM-BQYQJAHWSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLOv3算法的甘蔗茎节识别方法,将YOLOv3算法应用于甘蔗茎节检测及识别领域,并将传统图像算法与深度学习结合,实现甘蔗茎节快速准确的识别,在速度和精度上都具有明显的优势。本发明的识别方法,对于甘蔗茎节的识别流程包括:步骤一,采集甘蔗图像并进行预处理;步骤二,采用YOLOv3网络模型对预处理后的甘蔗图像进行茎节识别;步骤三,采用改进边缘提取算法对步骤二中识别出的甘蔗茎节进行提取。本发明的识别方法,先用传统的图像处理方法对图像进行预处理,对输入图像进行纠偏并获取其中的感兴趣区域,然后作为YOLOv3网络的输入使用,能够消除图像倾斜以及复杂背景对于识别的影响,有效提高识别率。
Description
技术领域
本发明涉及一种基于YOLOv3算法的甘蔗茎节识别方法,属于图像处理技术领域。
背景技术
我国是世界甘蔗生产大国,甘蔗种植业的发展直接影响到数千万蔗农的生计,并且直接影响制糖业的发展。世界各甘蔗生产地大都在一定程度上实现了甘蔗种植的机械化,现有的种植机包括有实时切种式甘蔗种植机和预切种式的种植机。实时切种式的种植机不能实现种植过程的防伤芽,且种植过程中蔗种用量大。由于实时切种式的种植机不能防伤芽,并且有效蔗种较少,使得蔗田的蔗苗发育不整齐,导致甘蔗产量低且生产成本高。
预切种式的种植机可以适应广西等丘陵地的种植需求,但预切种式种植机需要预先将甘蔗切成含有单芽的蔗段,目前这一工作由人工切种和切种机的定长切种来实现,而人工切种和切种机定长切种都会有伤芽的现象发生。
基于机器视觉的甘蔗切种机是具有防伤芽的自动化切种机械,结合机器视觉技术、机电控制技术和机械设计方法,可以有效地解决预切种式种植机采用人工砍种和半机械砍种导致劳动强度大、伤芽率高、安全性差和效率低的问题。基于机器视觉的甘蔗切种机运用机器视觉技术识别甘蔗茎节的位置,并将茎节信息发送给控制系统,再由控制系统控制刀具切割甘蔗。其中,利用机器视觉识别茎节是防伤芽切种机的核心技术,国内外目前利用机器视觉对茎节的识别定位研究还处在起步阶段,主要研究成果有陆尚平等提出的基于机器视觉的甘蔗茎节特征提取与识别方法;张卫正等提出的基于图像处理的甘蔗茎节识别与定位方法;黄亦其等提出的基于局部均值进行甘蔗茎节识别的方法;Moshashai等提出的利用灰度图像阈值分割的方法。上述方法都对甘蔗茎节识别作了初步研究。
然而,现有的甘蔗茎节识别方法识别准确率低,在比较单纯的甘蔗图像背景下,甘蔗处于水平姿态,利用甘蔗图像的甘蔗茎节识别率普遍低于95%;甘蔗的识别的速度慢,实时性较差,不能满足实际应用。此外,现有的甘蔗茎节识别方法主要还是采用传统图像算法,利用灰度梯度对甘蔗茎节进行分类,然而,相比于传统图像算法,卷积神经网络算法在识别精度和识别速度方面都具有很明显的优势。
YOLO算法(You Only Look Once)使用深度神经网络进行对象的位置检测以及分类,主要的特点是速度够快,而且准确率也很高。YOLO于2015年首次提出并应用于目标检测领域,系统将检测视为回归问题并输出预测框和类别概率。YOLO算法检测速度很快,通用性强。但对于小物体和长宽比不寻常的物体,定位误差较大,召回率较低。为了解决这个问题,已经提出了YOLO9000,它引入了不同尺度的先验框进行预测,能适应不同数量和尺寸的输入对象。虽然YOLO9000提高了检测精度,但softmax分类器不适用于重叠目标的检测。
发明内容
为了解决目前存在的现有的甘蔗茎节识别方法的识别准确率低,且识别效率低的问题,本发明提供一种基于YOLOv3算法的甘蔗茎节识别方法,YOLOv3作为深度学习中流行的目标检测算法,是由You Only Look Once(YOLO)算法发展而来,YOLOv3算法是Redmon于2018年提出的一种物体识别定位算法,相比于其他网络,YOLOv3网络模型具有识别定位速度更快,识别率高等特点。本发明将YOLOv3算法应用于甘蔗茎节检测领域,并且将传统图像处理算法与深度学习结合,实现甘蔗茎节快速准确的识别,在速度和精度上都具有明显的优势。
根据本发明的技术方案,基于YOLOv3算法的甘蔗茎节识别方法,对于甘蔗茎节的识别流程可包括如下步骤:
步骤一:采集甘蔗图像并进行预处理;
步骤二:采用YOLOv3网络模型对预处理后的甘蔗图像进行茎节识别;
步骤三:采用改进边缘提取算法对步骤二中识别出的甘蔗茎节进行提取。
根据本发明的识别方法,具体而言:所述步骤一中,采集甘蔗图像及预处理的过程还包括如下步骤:
步骤A1:以黑色为背景采集甘蔗图像;
步骤A2:利用中值滤波器对原始图像进行平滑处理,将平滑后的图像转换到HSV色彩空间进行三通道阈值分割,对分割后的二值化图像反色处理,得到反二值化图像;并对反二值化图像进行形态学腐蚀和膨胀处理,得到形态学操作后的图像;
其中,每一步图像处理后的图像都是可视化的(包括形态学操作);在步骤A2中得到反二值化图像后,从二值化图像上来看,甘蔗背景区域出现大量椒盐噪声,故进行腐蚀操作,消除背景区域的亮点,从腐蚀后的图像上可以看出甘蔗区域内部出现许多小孔且甘蔗边缘出现断点,运用膨胀操作将边缘连接起来。腐蚀膨胀构成了整个形态学操作;
步骤A3:利用find Contours函数查找步骤A2操作后的图像中甘蔗的轮廓,其中包括甘蔗轮廓以及孔洞的轮廓,提取每个轮廓的最小外接矩形,得到最大的外接矩形就是甘蔗轮廓;甘蔗轮廓相对于水平方向的夹角θ可以通过甘蔗外接矩形相对于水平方向的倾角得到,同时还能够得到甘蔗外接矩形四个顶点的坐标;考虑到存在弯曲甘蔗,采集到的甘蔗图像倾斜会对茎节识别造成干扰,利用仿射变换进行旋转以纠正甘蔗的姿态使甘蔗图像保持水平,仿射变换的公式如下:
式中,(x0,y0)为甘蔗图像的上某一点的坐标,(x,y)是图像旋转后的该点新的坐标,θ为甘蔗外接矩形与水平方向的夹角,即旋转的角度;
仿射变换只改变图像相对于坐标系的位置,并不改变像素点之间的相对位置,仿射变换输入的是甘蔗图像和旋转角度,输出的是旋转后的图像;
步骤A4:为了减小背景干扰,需要对甘蔗感兴趣区域进行提取,提取的过程为:利用极坐标推导得到一个2×3的旋转矩阵,计算旋转后甘蔗轮廓的外接矩形左上顶点(u0,u0)以及右下顶点(u1,u1)坐标,并通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后甘蔗图像上获取甘蔗感兴趣区域图像;外接矩形的顶点坐标在旋转前后有如下关系:
式中(ux,vx)为旋转后外接矩形顶点的新坐标,(u,v)为旋转前外接矩形顶点的坐标,θ为旋转的角度,图像旋转时绕中心点(col/2,row/2)旋转,其中col和row分别是原始图像中像素点的列数和行数;
根据本发明所述的方法,将采集到的图片进行预处理后,生成训练样本,构建YOLOv3网络模型并进行训练,得到用于茎节识别的YOLOv3网络模型。
根据本发明所述的方法,所述步骤二中,采用YOLOv3网络模型对预处理后的甘蔗图像进行茎节识别的过程为:将所述步骤一中完成预处理后得到的甘蔗感兴趣区域的图像作为输入图像,调用训练好的YOLOv3网络模型对输入图像进行识别,初步确定茎节的数量和茎节所在的位置。
根据本发明所述的方法,所述步骤三中,采用改进边缘提取算法对步骤二中识别出的甘蔗茎节进行提取,还包括如下步骤:
步骤B1:分离出甘蔗图像RGB空间中R分量图,滤波后使用改进后的梯度算子计算图像的灰度梯度,得到边缘检测图像;梯度算子G的计算公式如下:
该算子包含一个3×3的矩阵,将它与图像作平面卷积,即可得到甘蔗图像水平方向的梯度值;其中,A代表甘蔗R分量图像的灰度值,G代表边缘检测后图像的梯度值。
梯度算子展开式如下:
G=f(x+1,y-1)+1.5×f(x+1,y)+f(x+1,y+1)
-f(x-1,y-1)-1.5×f(x-1,y)-f(x-1,y+1);
式中,f(x,y)表示甘蔗图像某一点(x,y)的灰度值,G为该点(x,y)的梯度值;
步骤B2:采用梯度算子得到边缘检测图像以后要进行二值化处理,针对不同的图像,采用固定的阈值会导致无法精确地找到真实边缘;因此本发明采用局部阈值确定方法,首先遍历图像计算图像灰度梯度,再利用YOLOv3网络模型识别后获取的茎节位置,构建局部检测区域,基于自适应局部阈值二值化,确定局部最佳阈值T,对边缘检测图像进行局部阈值二值化,得到局部阈值二值化图像;局部阈值二值化的公式如下:
式中,G(x,y)表示边缘检测图像上某点的梯度值,q(x,y)为局部阈值二值化后图像该点新的梯度值,T为局部最佳阈值;
步骤B3:对局部阈值二值化图像的列梯度值求和,并循环查找局部检测区域内列梯度值和最大的位置,通过一定的条件定位茎节,并将茎节在原图中标记出来。
根据本发明所述的方法,局部最佳阈值确定的过程如下:剔除预测框内所有梯度值低于图像均值的点,对剩下的所有像素点的梯度求平均值得到局部均值,将其作为二值化的最佳阈值。
本发明有益效果是:
1、本发明将传统的图像算法与深度学习相结合,先用传统的图像处理方法对图像进行预处理,对输入图像进行纠偏并获取其中的感兴趣区域,然后作为YOLOv3网络的输入使用,能够消除图像倾斜以及复杂背景对于识别的影响,有效提高识别率。
2、本发明采用新的梯度算子对甘蔗R分量图像进行边缘提取,实验结果表明,相比于Canny算子,新算子的结果较优,茎节处具有很强的边缘,茎间边缘较细,能突出茎节与茎间的细微差异。
3、本发明提出了一种局部阈值确定方法,剔除了预测框内梯度值低于图像均值的像素点,对预测框内剩下的点求梯度均值得到局部阈值,并作为边缘检测图像二值化的阈值。实验结果表明,二值化后茎间的噪声明显减少,局部阈值二值化具有良好的去噪效果。
4、本发明利用极坐标推导得到了一个旋转矩阵,利用旋转矩阵计算旋转后甘蔗轮廓的外接矩形左上顶点以及右下顶点坐标,通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后甘蔗图像上获取甘蔗感兴趣区域图像,可以消除背景对于图像识别的影响。
5、本发明的方法采用大量的甘蔗图像进行实验,实验结果可以表明,所述方法的识别准确率高,识别速度快,具有良好的实用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为采集到的甘蔗原始图像。
图2为根据本发明的方法,进行图像预处理后甘蔗的感兴趣区域图像;
图3为根据本发明的方法,YOLOv3网络模型识别结果图;
图4为根据本发明的方法,改进梯度算子边缘检测的结果;
图5为根据本发明的方法,局部阈值二值化图像;
图6为根据本发明的方法,列梯度值求和后的可视化图像;
图7为根据本发明的方法进行茎节识别的结果示意图;
图8所示为根据本发明的方法,构建的极坐标系。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一:
本实施例提供一种基于YOLOv3算法的甘蔗茎节识别方法,结合图1至图7所示,所述方法包括:
步骤一:采集甘蔗图像并进行预处理;
步骤二:采用YOLOv3网络模型对预处理后的甘蔗图像进行茎节识别;
步骤三:采用改进的边缘提取算法对步骤二中识别出的甘蔗茎节进行提取。
根据本实施例的识别方法,所述步骤一中,采集甘蔗图像并进行预处理的过程还包括如下步骤:
步骤A1:以黑色为背景采集甘蔗原始图像,原始图像如图1所示。
步骤A2:利用中值滤波器对原始图像进行平滑处理,将平滑后的图像转换到HSV色
彩空间进行三通道阈值分割,对分割后的二值化图像反色处理,得到反二值化图像;并对反二值化图像进行形态学腐蚀和膨胀处理,得到形态学操作后的图像;
其中,每一步图像处理后的图像都是可视化的(包括形态学操作);在步骤A2中得到反二值化图像后,从二值化图像上来看,甘蔗背景区域出现大量椒盐噪声,故进行腐蚀操作,消除背景区域的亮点,从腐蚀后的图像上可以看出甘蔗区域内部出现许多小孔且甘蔗边缘出现断点,运用膨胀操作将边缘连接起来。腐蚀膨胀构成了整个形态学操作;
步骤A3:利用find Contours函数查找步骤A2操作后的图像中甘蔗的轮廓,其中包括甘蔗轮廓以及孔洞的轮廓,提取每个轮廓的最小外接矩形,得到最大的外接矩形就是甘蔗轮廓;甘蔗轮廓相对于水平方向的夹角θ可以通过甘蔗外接矩形相对于水平方向的倾角得到,同时还能够得到甘蔗外接矩形四个顶点的坐标;考虑到存在弯曲甘蔗,采集到的甘蔗图像倾斜会对茎节识别造成干扰,利用仿射变换进行旋转以纠正甘蔗的姿态,仿射变换的公式如下:
式中(x0,y0)为甘蔗图像的上某一点的坐标,(x,y)是图像旋转后的该点新的坐标,θ为甘蔗外接矩形与水平方向的夹角,即旋转的角度;
仿射变换只改变图像相对于坐标系的位置,并不改变像素点之间的相对位置,仿射变换输入的是甘蔗图像和旋转角度,输出的是旋转后的图像;
步骤A4:为了减小背景干扰,需要对甘蔗感兴趣区域进行提取,提取的过程为:利用极坐标推导得到一个2×3的旋转矩阵,计算旋转后甘蔗轮廓的外接矩形左上顶点(u0,v0)以及右下顶点(u1,v1)坐标,并通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后甘蔗图像上获取甘蔗感兴趣区域图像;
其中:结合如图8所示的极坐标,在极坐标系上推导2×3的旋转矩阵,推导的过程如下:
图中,(u,v)为旋转前外接矩形顶点的坐标,(ux,vx)为旋转后外接矩形顶点新的坐标,θ为旋转的角度,顶点绕着图像坐标中心(col/2,row/2)进行旋转,其中col和row分别是原始图像中像素点的列数和行数。α为旋转前外接矩形顶点相对水平轴的夹角,R为旋转前后顶点与图像坐标中心点的距离。
旋转前外接矩形顶点的坐标可表示为:
旋转后外接矩形顶点的坐标可以表示为:
将上式展开可得:
代入第一式可得:
即有:
根据本实施例,步骤A4中,为了减小背景干扰,利用上述旋转矩阵计算旋转后甘蔗轮廓的外接矩形左上顶点(u0,v0)以及右下顶点(u1,v1)坐标,通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后甘蔗图像上获取甘蔗感兴趣区域图像,甘蔗的感兴趣区域图像如图2所示。
根据本实施例,将采集到的图片进行预处理后,生成训练样本,构建YOLOv3网络模型并进行训练,得到用于茎节识别的YOLOv3网络模型。
根据本实施例,所述步骤二中,将所述步骤一中完成预处理后得到的甘蔗感兴趣区域的图像作为输入图像,采用训练好的YOLOv3网络模型对输入图像进行识别,初步确定茎节的数量和茎节所在的位置。YOLOv3网络模型识别结果如图3所示。
根据本实施例,所述步骤三中,采用改进边缘提取算法对步骤二中识别出的甘蔗茎节进行提取,还包括如下步骤:
步骤B1:分离出甘蔗图像RGB空间中R分量图,滤波后使用改进后的梯度算子计算图像的灰度梯度,得到边缘检测图像,改进梯度算子边缘检测结果如图4所示;梯度算子的计算公式如下:
G=f(x+1,y-1)+1.5×f(x+1,y)+f(x+1,y+1)
-f(x-1,y-1)-1.5×f(x-1,y)-f(x-1,y+1);
式中,f(x,y)表示甘蔗图像(x,y)点的灰度值,G表示点(x,y)的梯度值,A为R分量图的灰度值;
步骤B2:采用梯度算子得到边缘检测图像以后要进行二值化处理,采用局部阈值确定方法,首先遍历图像计算图像灰度梯度,再利用YOLOv3网络模型识别后获取的茎节位置,在边缘检测图像上构建局部检测区域,确定局部最佳阈值T,并基于自适应局部阈值二值化,对边缘检测图像进行局部阈值二值化,得到局部阈值二值化图像,局部阈值二值化图像如图5所示;局部阈值二值化满足以下公式:
式中,G(x,y)表示边缘检测图像上某点的梯度值,q(x,y)为局部阈值二值化后图像该点的梯度值。
步骤B3:对局部阈值二值化图像的列梯度值求和,列梯度值求和的可视化图像如图6所示,循环查找局部检测区域内列梯度值和最大的位置,通过一定的条件定位茎节,并将茎节在原图中由预测框标识出来,茎节识别的结果如图7所示。
根据本实施例,所述方法采用传统的图像处理方法对甘蔗图像进行预处理,并对输入图像进行纠偏并获取其中的感兴趣区域,然后作为YOLOv3网络模型的输入使用,能够消除图像倾斜以及复杂背景对于茎节识别的影响,提高茎节识别率。
根据本实施例,所述方法采用改进后的梯度算子对甘蔗R分量图像进行边缘提取,提取到的茎节处具有很强的边缘,茎间边缘较细,能突出茎节与茎间的细微差异。
所述方法进行局部最佳阈值确定的过程如下:剔除预测框内所有梯度值低于图像均值的点,对剩下的所有像素点的梯度求平均值得到局部均值,将其作为二值化的最佳阈值。
根据本实施例,所述局部最佳阈值确定方法剔除了标识茎节位置的预测框内梯度值低于图像均值的像素点,并对预测框内剩下的点求梯度均值得到局部阈值,并作为边缘检测图像二值化的阈值,具有去噪效果。
根据本实施例,图像采集是在大恒实验平台上,采用MER133-54GC-P的面阵相机和M0814-MP2工业镜头采集以黑色为背景的彩色图像。相机镜头至甘蔗的高度为330mm,图像尺寸为1280×960。在已配置opencv3.2的VS2015软件上编写图像处理程序。
根据步骤一,在对甘蔗图像纠偏时,通过获取甘蔗外接矩形相对于水平轴的倾角,可得到甘蔗相对于水平轴的夹角θ,利用仿射变换将输入图像旋转θ角,仿射变换只改变图像相对于坐标系的位置,并不改变像素点之间的相对位置。
根据步骤二,通过对采集到的750张图片进行预处理后进行XML标记,生成训练样本,并分成训练集400张、验证集50张和测试集300张,构建YOLOv3网络模型并进行训练,最终得到YOLOv3茎节识别模型。模型识别的结果中,茎节位置会由预测框标识出来,每个框有一个置信度,置信度可以用以判定是否该框内是否有茎节,预测框的左上角点的坐标以及预测框的长宽用以初步确定茎节的位置。
根据步骤三,改进后新的梯度算子包含一个3×3的矩阵,将它和图像做平面卷积,图像上每一个点的像素值由像素中心点水平方向上相邻的灰度值加权得到。
根据步骤B2,梯度算子边缘检测以后要进行二值化处理,针对不同的图像,采用固定的阈值就会导致无法精确地找到真实边缘。因此本实施例采用局部最佳阈值确定方法,首先遍历图像计算图像梯度均值,再利用YOLOv3模型识别后获取的预测框的位置,预测框内大概率有茎节,其中茎节部分梯度值较大,茎间的梯度值普遍较低。受到蜡粉和碎叶的干扰部分梯度值会发生突变,为了消除这些噪声,阈值要尽量大一些。因此本实施例中,剔除预测框内所有梯度值低于图像均值的点,对剩下的所有像素点的梯度求平均值得到局部均值,将其作为二值化的最佳阈值。
根据步骤B3,对局部阈值二值化图像的列梯度值求和,并循环查找局部检测区域内列梯度值和最大的位置,通过一定的条件定位茎节,并将茎节在局部阈值二值化图像中由预测框标记出来。
在一个实施例中,茎节的定位流程如下:
①将预测框的位置作为茎节检测区域,如果检测区域的中心距离小于50个像素值,将
两个预测框合并作为一个新的茎节检测区域。其中50为实验分析得到的数据,YOLOv3输出的重复预测框最大中心距<50个像素。
②对检测区域内的列梯度值求和,并将最大值位置作为疑似茎节位置。
③疑似茎节位置的列梯度值和若大于等于200,将其判定为茎节,并在原图像上标记出来,若小于200,则判定为非茎节。
步骤①中,将中心距很小的检测区域合并,主要是针对YOLOv3模型重复识别的情况。步骤③中对列梯度值和进行阈值判断,主要是针对YOLOv3模型错误地将非茎节位置预测成茎节的情况,通过对样本图像茎节位置处列梯度值统计图分析,茎节位置的列梯度值和最小值为200,所以将200作为判断茎节的阈值。
进一步,在一个实施例中,采用采集的300张甘蔗图像,对本发明的茎节识别方法进行测试,结果如表1所示。其中,所有图像中共包含茎节615个,识别茎节目标617个,其中615个目标为TP,2个目标为FP,0个目标为FN。识别准确率为99.68%,召回率为100%,平均准确率为99.84%,实验的平均识别率为0.415s。
表1本发明的茎节识别方法的识别结果
本实施例将传统的图像算法与深度学习相结合,先用传统的图像处理方法对图像进行预处理,对输入图像进行纠偏并获取其中的感兴趣区域,然后作为YOLOv3网络的输入使用,能够消除图像倾斜以及复杂背景对于识别的影响,有效提高识别率。
本实施例采用新的梯度算子对甘蔗R分量图像进行边缘提取,实验结果表明,相比于Canny算子,新算子的结果较优,茎节处具有很强的边缘,茎间边缘较细,能突出茎节与茎间的细微差异。
本实施例提出了一种局部阈值确定方法,剔除了预测框内梯度值低于图像均值的像素点,对预测框内剩下的点求梯度均值得到局部阈值,并作为边缘检测图像二值化的阈值。实验结果表明,二值化后茎间的噪声明显减少,局部阈值二值化具有良好的去噪效果。
本实施例利用极坐标推导得到了一个旋转矩阵,利用旋转矩阵计算旋转后甘蔗轮廓的外接矩形左上顶点以及右下顶点坐标,通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后甘蔗图像上获取甘蔗感兴趣区域图像,可以消除背景对于图像识别的影响。
本实施例的方法采用大量的甘蔗图像进行实验,实验结果可以表明,所述方法的识别准确率高,识别速度快,具有良好的实用性。
本发明实施例中的部分步骤,可以利用软件实现,相应的软件程序可以存储在可读取的存储介质中,如光盘或硬盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于YOLOv3算法的甘蔗茎节识别方法,其特征在于,所述方法包括如下步骤:
步骤一:采集甘蔗图像并进行预处理;
步骤二:采用YOLOv3网络模型对预处理后的甘蔗图像进行茎节识别;
步骤三:采用改进的边缘提取算法对步骤二中识别出的甘蔗茎节进行提取。
2.根据权利要求1所述的方法,其特征在于,所述步骤一中,采集甘蔗图像并进行预处理的过程还包括如下步骤:
步骤A1:以黑色为背景采集甘蔗原始图像;
步骤A2:利用中值滤波器对原始图像进行平滑处理,将平滑后的图像转换到HSV色彩空间进行三通道阈值分割,对分割后的二值化图像反色处理,得到反二值化图像;并对反二值化图像进行形态学腐蚀和膨胀处理,得到形态学操作后的图像;
步骤A3:利用find Contours函数查找步骤A2操作后的图像中甘蔗的轮廓,其中包括甘蔗轮廓以及孔洞的轮廓,提取每个轮廓的最小外接矩形,得到最大的外接矩形就是甘蔗轮廓;甘蔗轮廓相对于水平方向的夹角θ可以通过甘蔗外接矩形相对于水平方向的倾角得到,同时还能够得到甘蔗外接矩形四个顶点的坐标;考虑到存在弯曲甘蔗,采集到的甘蔗图像倾斜会对茎节识别造成干扰,利用仿射变换对图像进行旋转并纠正甘蔗的姿态以使得甘蔗保持水平,仿射变换的公式如下:
式中,(x0,y0)为甘蔗图像的上某一点的坐标,(x,y)是甘蔗图像旋转后的该点新的坐标,θ为甘蔗外接矩形与水平方向的夹角;
仿射变换只改变图像相对于坐标系的位置,并不改变像素点之间的相对位置,仿射变换输入的是甘蔗图像和旋转角度,输出的是旋转后的图像;
步骤A4:为了减小背景干扰,需要对甘蔗感兴趣区域进行提取,提取的过程为:利用极坐标推导得到一个2×3的旋转矩阵,利用旋转矩阵计算旋转后甘蔗轮廓外接矩形左上顶点(u0,v0)以及右下顶点(u1,v1)坐标,通过两点重新绘制甘蔗轮廓的外接矩形,利用外接矩形在纠偏后的甘蔗图像上获取感兴趣区域图像;外接矩形的顶点坐标旋转前后有如下关系:
式中,(u,v)为旋转前外接矩形顶点的坐标,(ux,vx)为旋转后外接矩形顶点的新坐标,θ为旋转的角度,外接矩形绕着图像坐标中心(col/2,row/2)进行旋转,其中col和row分别是甘蔗图像中像素点的列数和行数。
3.根据权利要求1所述的方法,其特征在于,将采集到的图片进行预处理后,生成训练样本,构建YOLOv3网络模型并进行训练,得到用于茎节识别的YOLOv3网络模型。
4.根据权利要求1所述的方法,其特征在于,所述步骤二中,将所述步骤一中完成预处理后得到的甘蔗感兴趣区域的图像作为输入图像,采用训练好的YOLOv3网络模型对输入图像进行识别,初步确定茎节的数量和茎节所在的位置。
5.根据权利要求1所述的方法,其特征在于,步骤三中,采用改进边缘提取算法对步骤二中识别出的甘蔗茎节进行提取,还包括如下步骤:
步骤B1:分离出甘蔗图像RGB空间中R分量图,滤波后使用改进后的梯度算子计算图像的灰度梯度,得到边缘检测图像;梯度算子的计算公式如下:
该算子包含一个3×3的矩阵,将其与图像作平面卷积,即可得到甘蔗图像水平方向的梯度值;A代表甘蔗图像R分量图像的灰度值,G代表边缘检测后图像的梯度值;
梯度算子的展开式如下:
G=f(x+1,y-1)+1.5×f(x+1,y)+f(x+1,y+1)-f(x-1,y-1)-1.5×f(x-1,y)-f(x-1,y+1);
式中,f(x,y)表示甘蔗图像某一点(x,y)的灰度值,G为点(x,y)的梯度值;
步骤B2:采用梯度算子得到边缘检测图像以后要进行二值化处理,采用局部阈值确定方法,首先遍历图像计算图像灰度梯度,再利用YOLOv3网络模型识别后获取的茎节位置,在边缘检测图像上构建局部检测区域,确定局部最佳阈值T,并基于自适应局部阈值二值化,对边缘检测图像进行局部阈值二值化,得到局部阈值二值化图像;局部阈值二值化的公式如下:
式中,G(x,y)表示边缘检测图像上某点的梯度值,q(x,y)表示局部阈值二值化后该点的梯度值;
步骤B3:对局部阈值二值化图像的列梯度值求和,并循环查找局部检测区域内列梯度值和最大的位置,通过一定的条件定位茎节,并将茎节在局部阈值二值化图像中由预测框标识出来。
6.根据权利要求4所述的方法,其特征在于,所述方法采用传统的图像处理方法对甘蔗图像进行预处理,并对输入图像进行纠偏并获取其中的感兴趣区域,然后作为YOLOv3网络模型的输入使用,能够消除图像倾斜以及复杂背景对于茎节识别的影响,提高茎节识别率。
7.根据权利要求5所述的方法,其特征在于,所述方法采用改进后的梯度算子对甘蔗R分量图像进行灰度梯度计算,以实现边缘提取,提取到的茎节处具有很强的边缘,茎间边缘较细,能突出茎节与茎间的细微差异。
8.根据权利要求5所述的方法,其特征在于,所述方法进行局部最佳阈值确定的过程如下:剔除预测框内所有梯度值低于图像均值的点,对剩下的所有像素点的梯度求平均值得到局部均值,将其作为二值化的最佳阈值。
9.权利要求8所述的方法,其特征在于,所述局部最佳阈值确定方法剔除了标识茎节位置的预测框内梯度值低于图像均值的像素点,并对预测框内剩下的点求梯度均值得到局部阈值,并作为边缘检测图像二值化的阈值,具有去噪效果。
10.根据权利要求1-7所述的方法,其特征在于,所述方法将YOLOv3算法应用于甘蔗茎节识别领域,并且将传统图像算法与深度学习结合,实现甘蔗茎节快速准确的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111019667.2A CN113723314A (zh) | 2021-09-01 | 2021-09-01 | 一种基于YOLOv3算法的甘蔗茎节识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111019667.2A CN113723314A (zh) | 2021-09-01 | 2021-09-01 | 一种基于YOLOv3算法的甘蔗茎节识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113723314A true CN113723314A (zh) | 2021-11-30 |
Family
ID=78680422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111019667.2A Pending CN113723314A (zh) | 2021-09-01 | 2021-09-01 | 一种基于YOLOv3算法的甘蔗茎节识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723314A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114532224A (zh) * | 2022-02-25 | 2022-05-27 | 华北电力大学(保定) | 一种蝴蝶兰种苗切割方法和装置 |
CN116843668A (zh) * | 2023-07-19 | 2023-10-03 | 江南大学 | 一种基于深度学习的苹果表皮缺陷检测方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960100A (zh) * | 2018-06-22 | 2018-12-07 | 广西大学 | 一种基于图像处理的甘蔗蔗节的识别方法 |
CN110400350A (zh) * | 2019-07-19 | 2019-11-01 | 江南大学 | 一种基于计算机视觉的甘蔗茎节识别方法 |
-
2021
- 2021-09-01 CN CN202111019667.2A patent/CN113723314A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960100A (zh) * | 2018-06-22 | 2018-12-07 | 广西大学 | 一种基于图像处理的甘蔗蔗节的识别方法 |
CN110400350A (zh) * | 2019-07-19 | 2019-11-01 | 江南大学 | 一种基于计算机视觉的甘蔗茎节识别方法 |
Non-Patent Citations (4)
Title |
---|
DEQIANG ZHOU: ""Research on Algorithm of Sugarcane Nodes Identification Based on Machine Vision"", ,2019 NICOGRAPH INTERNATIONAL, 6 January 2020 (2020-01-06), pages 111 - 116 * |
吴房胜等: ""改进Sobel算子在电机转速传感器检测装置中的应用"", 新乡学院学报, 25 March 2021 (2021-03-25), pages 60 - 63 * |
呼啸蓝天: ""基于边缘检测的边界框重构算法提高YOLOv3边界框精度"", pages 1 - 6, Retrieved from the Internet <URL:https://blog.csdn.net/m0_37166734/article/details/109683110> * |
许雪梅著: "《微弱信号检测及无损探测技术研究》", 31 July 2021, 长沙:湖南科学技术出版社, pages: 438 - 444 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114532224A (zh) * | 2022-02-25 | 2022-05-27 | 华北电力大学(保定) | 一种蝴蝶兰种苗切割方法和装置 |
CN114532224B (zh) * | 2022-02-25 | 2023-01-31 | 华北电力大学(保定) | 一种蝴蝶兰种苗切割方法和装置 |
CN116843668A (zh) * | 2023-07-19 | 2023-10-03 | 江南大学 | 一种基于深度学习的苹果表皮缺陷检测方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018107939A1 (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
CN110443128B (zh) | 一种基于surf特征点精确匹配的指静脉识别方法 | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN106327507B (zh) | 一种基于背景和前景信息的彩色图像显著性检测方法 | |
CN110120042B (zh) | 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法 | |
CN106157323B (zh) | 一种动态分块阈值和块搜索结合的绝缘子分割提取方法 | |
CN102426649A (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
CN111340824A (zh) | 一种基于数据挖掘的图像特征分割方法 | |
CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 | |
CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN108921813A (zh) | 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法 | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN115731257A (zh) | 基于图像的叶片形态信息提取方法 | |
CN114431005A (zh) | 智能化农业果实采摘识别与定位方法、系统及装置 | |
CN111768455A (zh) | 一种基于图像的木材区域和主色提取方法 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
CN117765287A (zh) | 一种结合lwr和密度聚类的图像目标提取方法 | |
CN112184619A (zh) | 一种基于深度学习的金属部件表面缺陷检测方法 | |
CN114926635B (zh) | 与深度学习方法相结合的多焦图像中目标分割方法 | |
Huang et al. | Mango surface defect detection based on HALCON | |
CN113421301B (zh) | 一种田间作物中心区域定位方法及系统 | |
CN112541471B (zh) | 一种基于多特征融合的遮挡目标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |