CN113837037A - 一种植物种类识别方法、系统、电子设备及存储介质 - Google Patents
一种植物种类识别方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113837037A CN113837037A CN202111056314.XA CN202111056314A CN113837037A CN 113837037 A CN113837037 A CN 113837037A CN 202111056314 A CN202111056314 A CN 202111056314A CN 113837037 A CN113837037 A CN 113837037A
- Authority
- CN
- China
- Prior art keywords
- contour
- blade
- profile
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000196324 Embryophyta Species 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000007547 defect Effects 0.000 claims abstract description 57
- 230000009466 transformation Effects 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 25
- 238000012706 support-vector machine Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 241000215338 unidentified plant Species 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种植物种类识别方法,所述物种类识别方法包括提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;从所述叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作,能够提高识别植物类别的准确率。本申请还公开了一种植物种类识别系统、一种电子设备及一种存储介质,具有以上有益效果。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种植物种类识别方法、系统、电子设备及存储介质。
背景技术
随着国家对生态文明建设的重视逐步提高,物种多样性的保护工作也获得越来越多的关注,植物多样性的保护工作对于地球生态环境的稳定具有重要的意义。植物物种的识别是保护植物多样性的基石,目前植物种类的识别主要依靠人为鉴别,据统计地球上约有55万种植物,这对于人工鉴别植物物种和统计工作带来了极大的挑战,不仅耗时长、效率低下,而且植物品种繁多,有时候即使植物学家也很难准确地进行鉴别。
本领域通常使用计算机视觉和人工智能方法来鉴别植物物种,叶片轮廓特征在一定程度上都可以描述局部边缘点信息,但是受叶片角度旋转、尺度以及叶片局部区域边缘形状改变等因素,边缘点形状描述子的特征不变性变差,为叶片轮廓特征数据引入噪声,导致植物叶片识别效果较差。
因此,如何提高识别植物类别的准确率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种植物种类识别方法、系统、一种电子设备及一种存储介质,能够提高识别植物类别的准确率。
为解决上述技术问题,本申请提供一种植物种类识别方法,该植物种类识别方法包括:
提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;
从叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;
利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
可选的,对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像,包括:
将所述植物叶片图像的颜色模型转换为YIQ颜色模型,并对所述植物叶片图像的Q通道图像执行大津阈值法分割操作,得到二值化植物叶片图像;
通过形态学闭运算对所述二值化植物叶片图像进行处理得到第一备选图像,对所述第一备选图像进行距离变换和二值化处理得到第二备选图像;
对所述第二备选图像执行轮廓检测操作,得到叶片边缘点;
利用最小二乘法的直线拟合算法对所述叶片边缘点进行处理得到目标直线;其中,所述目标直线为与所有所述叶片边缘点距离最近的直线;
根据所述目标直线的斜率确定轮廓旋转角度,并根据所述轮廓旋转角度对所述叶片边缘轮廓进行旋转变换得到所述叶片轮廓图像。
可选的,若所述轮廓特征包括凸缺陷特征,则从叶片轮廓图像中提取轮廓特征,包括:
生成所述叶片轮廓图像中的叶片边缘轮廓的凸包,根据所述凸包的边与所述叶片边缘轮廓之间围成的区域确定凸缺陷;
将所述凸缺陷的最远点到所述凸包的边的距离设置为目标距离;其中,所述凸缺陷的最远点为距离所述凸包的边距离最大的叶片轮廓点;
将所有所述目标距离的特征值作为所述叶片轮廓图像的所述凸缺陷特征;其中,所有所述目标距离的特征值包括最大值、平均值和方差中的任一项或任几项的组合。
可选的,若所述轮廓特征包括轮廓形状对称性特征,则从叶片轮廓图像中提取轮廓特征,包括:
将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;
确定所述叶片边缘轮廓的轮廓质心,将所述近端点与所述轮廓质心之间的距离设置为第一距离,将所述远端点与所述轮廓质心之间的距离设置为第二距离;
判断所述第一距离是否小于所述第二距离;
若是,则将所述第一距离与所述第二距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征;
若否,则将所述第二距离与所述第一距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征。
可选的,若所述轮廓特征包括轮廓形状向量特征,则从叶片轮廓图像中提取轮廓特征,包括:
将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;
将所述近端点和远端点之间的连线设置为基准线;
根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征。
可选的,根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征,包括:
在所述基准线上选取多个间隔相等的点作为参考点,并在所述叶片边缘轮廓上选取每一参考点对应的参考叶片轮廓点;其中,所述参考叶片轮廓点和对应的参考点的连线垂直于所述基准线;
记录每一参考点与对应的参考叶片轮廓点之间的距离,得到距离统计数据集合;
将所述距离统计数据集合中每一元素的值除以所述基准线的长度,得到所述叶片轮廓图像的轮廓形状向量特征。
可选的,所述轮廓特征还包括宽长比特征、矩形度特征、圆度特征、圆形特征、紧固性特征和凸性特征中的任一项或任几项的组合。
本申请还提供了一种植物种类识别系统,该系统包括:
预处理模块,用于提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;
特征提取模块,用于从叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;
特征学习模块,用于利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述植物种类识别方法执行的步骤。
本申请还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现上述植物种类识别方法执行的步骤。
本申请提供了一种植物种类识别方法,包括:提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;从叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
本申请从植物叶片图像中提取叶片边缘轮廓,根据叶片边缘轮廓对所述植物叶片图像进行旋转变换得到叶片轮廓图像,以使所有叶片轮廓图像中叶片边缘轮廓的轮廓倾斜角度相同,进而保证叶片边缘轮廓的特征不变性。本申请还从叶片轮廓图像中提取轮廓特征,该轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合,上述轮廓特征能够对局部轮廓边缘点的特征进行增强,使得利用轮廓特征训练植物叶片分类模型能够充分学习植物叶片的特征,以便利用训练后的植物叶片分类模型执行植物种类识别操作,能够提高识别植物类别的准确率。本申请同时还提供了一种植物种类识别系统、一种电子设备和一种存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种植物种类识别方法的流程图;
图2为本申请实施例所提供的一种轮廓角度度量示意图;
图3为本申请实施例所提供的第一种轮廓旋转变换方法的示意图;
图4为本申请实施例所提供的第二种轮廓旋转变换方法的示意图;
图5为本申请实施例所提供的一种轮廓形状对称性的示意图;
图6为本申请实施例所提供的一种轮廓形状向量的示意图;
图7为本申请实施例所提供的一种基于叶片轮廓特征的树叶识别方法的流程图;
图8为本申请实施例所提供的一种叶片边缘轮廓点检测流程图;
图9为本申请实施例所提供的一种轮廓旋转角度计算流程图;
图10为本申请实施例所提供的一种轮廓形状特征向量特征的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种植物种类识别方法的流程图。
具体步骤可以包括:
S101:提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;
其中,在本步骤之前可以存在获取多个植物叶片图像和每一植物叶片图像对应的植物种类的操作,以便通过有监督的机器学习训练植物叶片分类模型。在得到植物叶片图像的基础上可以从植物叶片图像中提取叶片边缘轮廓,由于各个植物叶片图像中各个叶片的倾斜角度不同,本申请据所述叶片边缘轮廓对所述植物叶片图像进行旋转变换,得到叶片轮廓图像。上述所有所述叶片轮廓图像的轮廓倾斜角度相同,上述轮廓倾斜角度为叶片的生长方向与水平线的夹角。
S102:从叶片轮廓图像中提取轮廓特征;
在得到目标制图叶片图像的基础上,本实施例可以通过对叶片轮廓图像执行特征提取操作,得到轮廓特征。上述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合。进一步的,上述轮廓特征还可以包括宽长比特征、矩形度特征、圆度特征、圆形特征、紧固性特征和凸性特征中的任一项或任几项的组合。
S103:利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
其中,在得到叶片轮廓图像的轮廓特征后,本实施例可以根据叶片轮廓图像的轮廓特征和叶片种类对植物叶片分类模型进行训练,上述植物叶片分类模型具体可以为SVM(support vector machines,支持向量机)模型。在训练植物叶片分类模型之后,若接收到未知的植物叶片,可以将业务叶片输入训练后的植物叶片分类模型,根据训练后的植物叶片分类模型的输出结果确定该植物叶片对应的植物种类。
本实施例从植物叶片图像中提取叶片边缘轮廓,根据叶片边缘轮廓对所述植物叶片图像进行旋转变换得到叶片轮廓图像,以使所有叶片轮廓图像中叶片边缘轮廓的轮廓倾斜角度相同,进而保证叶片边缘轮廓的特征不变性。本实施例还从叶片轮廓图像中提取轮廓特征,该轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合,上述轮廓特征能够对局部轮廓边缘点的特征进行增强,使得利用轮廓特征训练植物叶片分类模型能够充分学习植物叶片的特征,以便利用训练后的植物叶片分类模型执行植物种类识别操作,能够提高识别植物类别的准确率。
作为对于图1对应实施例的进一步介绍,图1对应的实施例可以通过轮廓检测算法对植物叶片图像进行轮廓检测得到叶片边缘轮廓。具体的,轮廓检测的目的是检测出叶片边缘上的轮廓点,轮廓检测算法的输入是植物叶片图像的二值图像,因而在轮廓检测之前先对图像进行分割预处理,将背景和叶片区域以叶片边缘为界限分割开。考虑到白色背景区域和叶片区域的颜色差异,对RGB颜色模型中B(蓝色)通道图像采用OSTU(大津阈值法)阈值分割方法将叶片和背景分割开,获得包含叶片区域和背景区域的二值图像,将其输入到轮廓检测算法获取一系列轮廓点。受叶片局部区域光照不均匀、纹理脉络或植物病变等因素影响,轮廓检测算法可能输出包括叶片边缘和叶片内部区域的多组轮廓,选择周长或面积最大的一组轮廓为叶片边缘轮廓,定义叶片轮廓点集合C={P1,P2,P3,…,Pi,…,PN},轮廓点Pi=(xi,yi),i=1,2,3,…,N。
作为对于图1对应实施例的进一步介绍,可以通过以下方式得到叶片轮廓图像:先计算轮廓旋转角度,再根据轮廓旋转角度进行轮廓旋转变换得到叶片轮廓图像。
本实施例至少可以通过以下两种方式计算轮廓旋转角度:
方式1、使用minAreaRect函数计算轮廓旋转角度。
请参见图2,图2为本申请实施例所提供的一种轮廓角度度量示意图,通过叶片轮廓中两个距离最远的点的连线所指的方向与X轴的夹角来计算轮廓的旋转角度,如图2所示,计算机视觉库OpenCV中的minAreaRect函数采用该方法计算旋转外接矩形和轮廓角度。叶片边缘点Q1、Q2连线与水平方向的夹角θ为轮廓旋转角度。
但是,由于叶片边缘点Q1、Q2的位置敏感易改变,导致轮廓旋转角度的不变性变差,本实施例还可以使用方式2来确定不变性较优的轮廓旋转角度。
方式2、通过对叶片图像进行一系列预处理获取更多叶片边缘点,然后再对边缘点进行直线拟合得到直线的倾斜角度,从而获取叶片轮廓的旋转角度,具体过程如下:
将所述植物叶片图像的颜色模型转换为YIQ颜色模型,并对所述植物叶片图像的Q通道图像执行大津阈值法分割操作,得到二值化植物叶片图像;通过形态学闭运算对所述二值化植物叶片图像进行处理得到第一备选图像,对所述第一备选图像进行距离变换和二值化处理得到第二备选图像;对所述第二备选图像执行轮廓检测操作,得到叶片边缘点;利用最小二乘法的直线拟合算法对所述叶片边缘点进行处理得到目标直线;其中,所述目标直线为与所有所述叶片边缘点距离最近的直线;根据所述目标直线的斜率确定轮廓旋转角度,并根据所述轮廓旋转角度对所述叶片边缘轮廓进行旋转变换得到所述叶片轮廓图像。具体的,可以将目标直线与水平线的夹角作为轮廓旋转角度。
在上述实施例中,为了分割出完整的叶片区域,减弱光照等因素对叶片区域内亮度不均匀的影响,将RGB颜色模型变换到YIQ颜色模型,对Q通道图像采用OSTU阈值分割方法,可以获取较完整叶片区域的二值图像。采用形态学闭运算方法处理二值图像,形态学闭运算是对图像先膨胀、后腐蚀的运算,可以消除前景区域中的小黑点,因而闭运算可以进一步去除叶片区域内的由于光照等因素导致的错误分割像素点。对上一步的图像进行距离变换和二值化,一方面可以进一步消除叶片区域的小黑点,另一方面是为了缩小叶片区域,减弱叶片边缘的锯齿点的影响。对上一步所得二值图像进行轮廓检测得到若干个叶片边缘点,采用基于最小二乘法的直线拟合算法对轮廓点处理得到一条直线,它是所有轮廓点到直线距离最小的直线,直线的方向表示叶片轮廓的旋转角度。
在确定轮廓旋转角度的基础上,本实施例可以通过仿射变换的方式进行轮廓旋转变换得到叶片轮廓图像。具体的,轮廓点旋转变换的过程是对轮廓点做仿射变换,仿射变换是从二维坐标到二维坐标之间的线性变换,本发明中的轮廓点的仿射变换只包含旋转变换。假设二维坐标点P(x,y)以(x0,y0)为旋转中心顺时针旋转θ弧度得到坐标点P'(x',y'),对应的仿射变换矩阵为:
从坐标点P(x,y)到P'(x',y')的变换为:
坐标点(x,y)围绕中心点(x0,y0)顺时针旋转θ弧度后的坐标为:
请参见图3和图4,图3为本申请实施例所提供的第一种轮廓旋转变换方法的示意图,图4为本申请实施例所提供的第二种轮廓旋转变换方法的示意图。如图3、4所示为叶片轮廓旋转变换过程,左侧图均为原始叶片轮廓,右侧图均为变换后的原始叶片轮廓。图3中的轮廓角度为θ弧度(θ>0),为了获取右图的叶片轮廓,将原始叶片轮廓点以轮廓质心center为旋转中心,逆时针旋转θ弧度,即顺时针旋转(-θ)弧度。而图4中的轮廓角度为θ弧度(θ<0),为了获取右图的叶片轮廓,原始叶片轮廓点需以轮廓质心center为旋转中心,顺时针旋转(-θ)弧度。因此,叶片轮廓点(x,y)旋转变换的计算公式为:
作为对于图1对应实施例的进一步介绍,可以通过以下方式进行轮廓特征提取,植物叶片图像经过轮廓检测、轮廓旋转等预处理后,叶片轮廓的倾斜角度基本相同,使叶片轮廓点具有一定的旋转不变特性,因而轮廓特征描述符的旋转不变性得到改善。下面进行轮廓特征提取计算,主要包括轮廓的几何形态特征、凹凸属性、形状对称属性以及局部轮廓点的形状特征。上述几何形态特征包括宽长比特征、矩形度特征、圆度特征和圆形特征,凹凸属性特征包括紧固性特征、凸性特征和凸缺陷属性特征。
(1)宽长比特征的计算过程包括:确定叶片轮廓的最小外接矩形的长l和宽w,矩形宽长比aspectratio为w/l。其中,aspectratio越接近于0,轮廓形状越“瘦长”,aspectratio越接近于1,轮廓形状越“粗短”。
(2)矩形度特征的计算过程包括:
矩形度描述形状和矩形的相似程度,叶片轮廓的面积为Acont,其对应的最小外接矩形的面积为Arect,那么矩形度为rectangularity为Acont/Arect。其中,rectangularity越接近于1,轮廓的形状越接近于矩形。
(3)圆度特征的计算过程包括:圆度描述形状接近圆形的程度,叶片轮廓的面积为Acont,最小外接圆的半径为R,圆度roundess为Acont/(pi*R2)。其中,roundess越接近于1,轮廓形状越接近于圆形。pi为圆周率π。
(4)圆形特征的计算过程包括:叶片轮廓的面积为Acont,叶片轮廓周长为Pcont,圆形特征circularity为4*pi*Acont/(Pcont)2。圆形特征描述形状的圆形程度,当circularity接近于1,表示轮廓是一个完美的圆形,当circularity趋近于0,表示轮廓形状是一个接近于直线的多边形或者矩形。
(5)紧固性特征为轮廓面积和凸包面积的比值,凸包是包围轮廓的凸多边形,凸包的面积为Aconvex,那么紧固性特征solidity为Acont/Aconvex。
(6)凸性特征为轮廓周长和凸包周长的比值,凸包周长为Pconvex,那么凸性特征为convexity=Pcont/Pconvex。
(7)凸缺陷(convexity defects)表示凸包边和轮廓之间的区域,为了描述凸缺陷的属性,计算最远点到凸包边的距离的特征,基于最大值、平均值和方差三个属性来描述距离分布特征。第i个凸缺陷的最远点到凸包边的距离为di,考虑到图像尺度因素,利用最小外接矩形的宽w来对di进行规范化,即di/w,凸缺陷的最远点到凸包边的距离向量定义为其中m是凸缺陷的数目,那么凸缺陷特征为:
cdmax=max(cd)
cdmean=mean(cdnorm)
cddev=variance(cdnorm)
以上公式中,cdmax为最大值,cdmean为平均值,cddev为方差,cdnorm是将cd规范化到[0,1],即cdmax和cdmean越大则轮廓的凸缺陷越大,cddev越小则轮廓的凸缺陷分布越平均。
具体的,若所述轮廓特征包括凸缺陷特征,则从叶片轮廓图像中提取轮廓特征的过程包括:生成所述叶片轮廓图像中的叶片边缘轮廓的凸包,根据所述凸包的边与所述叶片边缘轮廓之间围成的区域确定凸缺陷;将所述凸缺陷的最远点到所述凸包的边的距离设置为目标距离;其中,所述凸缺陷的最远点为距离所述凸包的边距离最大的叶片轮廓点;将所有所述目标距离的特征值作为所述叶片轮廓图像的所述凸缺陷特征;其中,所有所述目标距离的特征值包括最大值、平均值和方差中的任一项或任几项的组合。
(8)轮廓形状对称性特征的计算过程包括:
请参见图5,图5为本申请实施例所提供的一种轮廓形状对称性的示意图,经过轮廓旋转变换后,最小的X坐标和最大的X坐标对应的轮廓点P1,P2记为近端点、远端点,center为轮廓的质心,d1和d2分别为X方向上近端点和远端点到质心的距离,Q1和Q2为过轮廓的质心且垂直于X坐标轴的直线与叶片轮廓的交点。P1和Q1之间的轮廓记为CP1,Q1,P2和Q1之间的轮廓记为CP2,Q1,P1和Q2之间的轮廓记为CP1,Q2,P2和Q2之间的轮廓记为CP2,Q2。
轮廓形状在X方向上的对称性取决于轮廓CP1,Q1和轮廓CP2,Q1之间对称性或轮廓CP1,Q2和轮廓CP2,Q2之间对称性,而左右两侧轮廓的对称性又影响质心的位置,为了简化运算,通过X方向上的近端点P1、远端点P2到质心的距离d1和d2的比值来描述对称性。轮廓形状对称性特征symmetry计算过程如下:
symmetry=min(d1,d2)/max(d1,d2)。
具体的,若所述轮廓特征包括轮廓形状对称性特征,则从叶片轮廓图像中提取轮廓特征,包括:将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;确定所述叶片边缘轮廓的轮廓质心,将所述近端点与所述轮廓质心之间的距离设置为第一距离,将所述远端点与所述轮廓质心之间的距离设置为第二距离;判断所述第一距离是否小于所述第二距离;若是,则将所述第一距离与所述第二距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征;若否,则将所述第二距离与所述第一距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征。
(9)轮廓形状向量特征的计算过程包括:
请参见图6,图6为本申请实施例所提供的一种轮廓形状向量的示意图。如图6所示,经过轮廓旋转变换后,最小的X坐标和最大的X坐标对应的轮廓点,记为P1和P2,P1和P2的距离记为dp12,P1和P2的连线作为对称轴,记为L12,对线段L12等间隔划分得到若干个等间隔点,记为S1,S2,…,Sk,k表示划分数目,过间隔点Si且与对称轴垂直的直线与轮廓曲线的2个交点,记为Ci,1,Ci,2,轮廓点Ci,1,Ci,2的距离记为di,如果用di描述各个轮廓点的分布,对应的轮廓形状向量特征Cshape为:
Cshape=(d1,d2,...,dk)。
具体的,若所述轮廓特征包括轮廓形状向量特征,则从叶片轮廓图像中提取轮廓特征的过程包括:将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;将所述近端点和远端点之间的连线设置为基准线;根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征。
进一步的,根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征的过程包括:在所述基准线上选取多个间隔相等的点作为参考点,并在所述叶片边缘轮廓上选取每一参考点对应的参考叶片轮廓点;其中,所述参考叶片轮廓点和对应的参考点的连线垂直于所述基准线;记录每一参考点与对应的参考叶片轮廓点之间的距离,得到距离统计数据集合;将所述距离统计数据集合中每一元素的值除以所述基准线的长度,得到所述叶片轮廓图像的轮廓形状向量特征。
在得到上述轮廓特征后,可以将轮廓特征输入到支持向量机(SVM)模型中进行训练,得到SVM分类器模型,输入叶片图片的特征数据即可得到植物的类别。
上述实施例提出一种图像预处理方法计算叶片轮廓的旋转角度,然后基于该角度对所有轮廓点进行旋转变换,保证叶片轮廓的倾斜方向一致。本实施例的特征提取方法,除了采用轮廓几何形态特征来描述轮廓的全局属性之外,还提出了描述叶片轮廓的凸缺陷的特征描述子、描述叶片形状对称特性的特征描述子以及描述局部轮廓点形状分布的轮廓形状向量描述子。本实施例采用SVM模型对叶片轮廓特征进行模型学习,并基于该模型对叶片进行分类识别。通过结合计算机视觉图像算法和机器学习模型,提出一种基于叶片轮廓特征的树叶识别方法,可以提高植物类分类准确率。
植物物种主要是从外观形态和气味来识别,外观形态包含更多特性,相对于气味更加直观,因而大多数植物鉴别方法都是基于植物的视觉特征,根据植物器官不同,特征又分为花、叶、茎、根、芽、甚至根茎内部纹理,可以说植物鉴别方法具有复杂性和多样性的特点。其中,基于叶片进行物种鉴别是一种常用且简单的方法,一般不需考虑植物的生长周期且简单易操作,因而近年来对于基于叶片进行植物分类识别的研究层出不穷,主要采用传统计算机视觉算法和深度学习算法。基于计算机视觉算法进行特征提取,对于小样本来说,具有简单、高效的特点,而且结合人工的视觉使其具有一定的可解释性,因而具有更广泛的应用。
目前,常用的计算机视觉特征提取方法是基于叶片的轮廓形状、纹理和颜色三个方面,其中,叶片颜色多为绿色,区分度较低,叶片纹理较为精细,易受生长环境影响发生改变,因而,叶片的轮廓形状是区分性较大且不变性较好的特征。因此,叶片的轮廓特征对于高效且准确地进行植物识别具有相当重要的意义。
下面通过在实际应用中的基于叶片轮廓特征的树叶识别方法说明上述实施例描述的流程。本实施例致力于以下内容对叶片轮廓特征进行改进:改进叶片轮廓检测的预处理方法以改善特征的旋转不变性,增加对叶片边缘的凸缺陷属性的特征描述子,增加叶片形状对称特性的描述子,增加轮廓形状向量的描述子。本发明提出的基于叶片轮廓特征的树叶识别方法,既可以描述叶片轮廓形状的全局信息,又能描述局部边缘点的形状信息。本实施提出一种图像预处理方法来改进叶片轮廓点检测,通过轮廓旋转角度计算和轮廓点旋转变换来提高轮廓点的旋转不变性;本实施例提出了描述叶片局部轮廓点属性的特征方法,包括凸缺陷分布、形状对称性和局部轮廓点的形状分布特征。
本实施例提出一种图像预处理方法计算叶片轮廓的旋转角度,通过对轮廓点进行旋转变换获得相同方向倾斜的叶片轮廓,可以提高叶片轮廓的旋转不变性。除了提取轮廓的几何形态特征之外,本实施例还提出了描述叶片轮廓的凸缺陷的特征描述子,描述叶片形状对称特性的特征描述子以及轮廓形状向量的描述子,进而对局部轮廓边缘点的特征进行增强。本实施例采用支持向量机(SVM)模型对以上叶片轮廓特征进行模型训练,基于该模型对叶片进行分类识别,本发明结合计算机视觉图像算法和机器学习模型,提出一种基于叶片轮廓特征的树叶识别方法,可以提高植物种类识别准确率。
下面详细阐述本发明所提出的基于叶片轮廓特征的树叶识别方法的基本原理。
分类识别应用通常包括三部分:图像预处理、特征提取、特征学习,其中,分类应用中的图像预处理过程也称为特征检测。本发明中算法流程包括五步:①轮廓点检测,②计算轮廓旋转角度,③轮廓旋转变换,④轮廓特征提取,⑤支持向量机(SVM)分类。其中,①②③步相当于图像预处理,获得相同倾斜方向的叶片边缘轮廓点。④⑤步是特征提取和特征学习,轮廓特征提取过程中计算的特征描述符包括:宽长比、矩形度、圆度、圆形、紧固性,凸性、凸缺陷、轮廓形状对称性、轮廓形状向量。特征学习模型采用SVM模型,将上一步提取的特征数据输入到SVM模型中进行训练得到SVM模型参数,将树叶图片的特征向量输入到该模型中即可得到植物类别。
请参见图7,图7为本申请实施例所提供的一种基于叶片轮廓特征的树叶识别方法的流程图,本实施例可以包括以下步骤:
步骤1:叶片样本图像输入。
本步骤中使用的样本图片格式是RGB彩色图片,来源于Flavia公共植物数据集,该数据集包含了32个植物类别,总共1908张图片,叶片背景是白色,图片大小为1600×1200。
步骤2:叶片边缘轮廓点检测。
通过对样本图片进行分割预处理和轮廓检测算法获取叶片轮廓点。
步骤3:计算叶片轮廓的旋转角度。
通过对样本图片进行分割、形态学闭运算、距离变换、二值化、轮廓点检测、直线拟合,获取叶片轮廓的旋转角度。
步骤4:轮廓点旋转变换。
根据步骤3中的角度计算仿射变换矩阵,对步骤2中的轮廓点进行仿射变换,更新轮廓点的坐标。
步骤5:轮廓特征提取。
根据轮廓点的坐标计算宽长比、矩形度、圆度、紧固性等9组轮廓形态特征。
步骤6:SVM模型训练和分类。
将上述所有样本图片经过步骤1~5所得的特征数据以及对应的类别标签数据输入到SVM模型中,经过优化求解得到最优SVM分类器,然后输入到SVM分类器中一组特征数据,输出植物的类别。
下面按照轮廓检测、轮廓角度计算、轮廓旋转变换、轮廓特征提取、SVM训练分类的顺序依次阐述每一步骤的具体实施过程和结果。
叶片轮廓检测过程如下:
请参见图8,图8为本申请实施例所提供的一种叶片边缘轮廓点检测流程图,如图8所示可以先提取RGB彩色图片的B通道图像,然后采用基于大津阈值法的阈值分割方法处理B通道图像,得到叶片和背景分割的二值图像,最后将二值图像进行轮廓检测得到叶片边缘轮廓点。
轮廓角度计算过程如下:
请参见图9,图9为本申请实施例所提供的一种轮廓旋转角度计算流程图,如图9所示先对RGB彩色图像进行YIQ颜色模型转换并提取Q通道图像;然后采用基于大津法的阈值分割对Q通道图像处理,得到叶片区域和背景分割的二值图像;对二值图像进行形态学闭运算以去除叶片区域内的噪声点;然后,对二值图像进行距离变换以获取叶片骨架;对叶片骨架图像进行二值化,获得缩小区域的叶片二值图像;采用轮廓检测获取叶片边缘轮廓点;最后对叶片边缘点进行基最小二乘直线拟合得到直线方程,将其转换成X轴夹角θ(即直线角度)。
轮廓旋转变换过程如下:
将上文中所得轮廓点(x,y)以轮廓质心为旋转中心,顺时针旋转(-θ)弧度,坐标旋转变换公式为:
轮廓特征提取过程如下:
提取的轮廓特征包括:轮廓几何形态特征、凹凸特征、形状对称性、轮廓形状向量。
轮廓几何形态特征包括:宽长比、矩形度、圆度、圆形。
宽长比和矩形度特征根据轮廓的最小外接矩形来计算,计算轮廓的最小外接矩形的长和宽分别为l和w,面积为Arect,叶片轮廓的面积为Acont,那么矩形宽长比aspectratio为w/l,矩形度rectangularity为Acont/Arect。
圆度、圆形特征根据轮廓的最下拟合圆来计算,计算轮廓的最小外接圆的半径R,叶片轮廓的周长为Pcont,那么圆度特征roundess为Acont/(pi*R2),圆形特征为circularity为4*pi*Acont/(Pcont)2。
轮廓的凹凸特征包括紧固性、凸性、凸缺陷,根据轮廓的凸包来计算凹凸特征,叶片轮廓凸包的面积为Aconvex,凸包周长为Pconvex,那么紧固性特征solidity为Acont/Aconvex。凸性为convexity=Pcont/Pconvex。
凸缺陷特征,通过凸缺陷的最远点到凸包边的距离分布来描述凸缺陷特征。第i个凸缺陷的最远点到凸包边的距离为di,考虑到图像尺度因素,利用最小外接矩形的宽w来对di进行规范化,那么所有凸缺陷的最远点到凸包边的距离组成向量m是凸缺陷的数目,基于最大值、平均值、方差三个参数来描述凸缺陷的最远点到凸包边的距离分布,具体如下:
cdmax=max(cd)
cdmean=mean(cdnorm)
cddev=variance(cdnorm)
形状对称性特征,寻找所有轮廓点中最小X坐标和最大X坐标对应的轮廓点P1和P2,然后计算P1和P2到轮廓质心的X方向距离d1和d2,然后计算二者比值来描述X方向上的轮廓形状对称性。轮廓形状对称性的计算公式为:symmetry=min(d1,d2)/max(d1,d2)。
轮廓形状向量描述叶片局部轮廓点的分布。经过轮廓旋转变换后,最小的X坐标和最大的X坐标对应的轮廓点,记为P1和P2,P1和P2的距离记为dp12,P1和P2的连线作为对称轴,记为L12,对线段L12等间隔划分得到若干个等间隔点,记为S1,S2,…,Sk,k表示划分数目,过间隔点Si且与对称轴垂直的直线与轮廓曲线的2个交点,记为Ci,1,Ci,2,轮廓点Ci,1,Ci,2的距离记为di,如果用di描述各个轮廓点的分布,轮廓形状向量特征为:Cshape=(d1,d2,...,dk)。
请参见图10,图10为本申请实施例所提供的一种轮廓形状特征向量特征的示意图,本实施例中划分数目k=12,轮廓形状向量包含11个特征数据,如图10所示,轮廓形状特征向量特征的结果,(a)为上文中确定的直线与轮廓曲线的交点Ci,1,Ci,2,(b)为轮廓形状特征向量的折线图,(b)中横坐标表示从L12上选取的点的ID,(b)中纵坐标表示轮廓点Ci,1,Ci,2的距离di。
本实施例采用支持向量机(SVM)模型进行特征学习,基于scikit learn机器学习库的SVM模型函数,主要包括3步:样本集划分、模型参数配置、模型训练测试。
划分样本集的过程为:采用随机法将每个类别的树叶样本划分成两部分,训练和测试数据集的比例配置为90%与10%,85%与15%,80%与20%。配置SVM参数时可以选择线性SVM模型,并采用网格法对SVM模型参数C进行寻优。将训练和测试样本的特征数据输入到SVM模型训练和测试,计算分类准确率。
如表1所示为测试20次的结果,其中,特征组合①包含的特征:宽长比、矩形度、圆度、圆形、紧固性、凸性,特征组合②包含的特征:特征组合①、凸缺陷、形状对称性、轮廓形状向量。本发明提出的描述叶片轮廓的凸缺陷的特征描述子、描述叶片形状对称特性的特征描述子以及描述局部轮廓点形状分布的轮廓形状向量描述子,可以提高叶片识别准确率。
表1分类识别测试对比表
训练和测试数据比例 | 特征组合① | 特征组合② |
90%vs 10% | 77.0% | 91.1% |
85%vs 15% | 76.1% | 91.3% |
80%vs 20% | 76.7% | 90.5% |
本实施例改进了叶片轮廓点检测方法,提出了一种图像预处理方法计算叶片轮廓的旋转角度,并通过轮廓点旋转变换来提高轮廓点检测的旋转不变性;然后,改进了叶片局部轮廓点的特征描述方法,增加了描述叶片轮廓的凸缺陷、描述叶片形状对称特性和描述局部轮廓点形状分布的特征描述子。本实施例所提供的基于叶片轮廓特征的树叶识别方案,提出了一种图像预处理方法计算叶片轮廓的旋转角度,然后对轮廓点进行旋转变换,以提高轮廓点检测的旋转不变性;本实施例还提出了描述叶片轮廓的凸缺陷的特征描述子、描述叶片形状对称特性的特征描述子以及描述局部轮廓点形状分布的轮廓形状向量描述子,强化了局部区域的叶片边缘轮廓点的属性描述。本实施例中的基于叶片轮廓特征的树叶识别方案,一方面可以解决由于叶片角度旋转导致的轮廓特征旋转不变性变差问题,另一方面在传统的全局几何形态特征的基础上增强了对叶片局部轮廓点的特征描述,可以提高特征的差异性。
本申请实施例所提供的一种植物种类识别系统,该系统可以包括:
预处理模块,用于提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;
特征提取模块,用于从叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;
特征学习模块,用于利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
本实施例从植物叶片图像中提取叶片边缘轮廓,根据叶片边缘轮廓对所述植物叶片图像进行旋转变换得到叶片轮廓图像,以使所有叶片轮廓图像中叶片边缘轮廓的轮廓倾斜角度相同,进而保证叶片边缘轮廓的特征不变性。本实施例还从叶片轮廓图像中提取轮廓特征,该轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合,上述轮廓特征能够对局部轮廓边缘点的特征进行增强,使得利用轮廓特征训练植物叶片分类模型能够充分学习植物叶片的特征,以便利用训练后的植物叶片分类模型执行植物种类识别操作,能够提高识别植物类别的准确率。
进一步的,预处理模块,用于将所述植物叶片图像的颜色模型转换为YIQ颜色模型,并对所述植物叶片图像的Q通道图像执行大津阈值法分割操作,得到二值化植物叶片图像;通过形态学闭运算对所述二值化植物叶片图像进行处理得到第一备选图像,对所述第一备选图像进行距离变换和二值化处理得到第二备选图像;还用于对所述第二备选图像执行轮廓检测操作,得到叶片边缘点;还用于利用最小二乘法的直线拟合算法对所述叶片边缘点进行处理得到目标直线;其中,所述目标直线为与所有所述叶片边缘点距离最近的直线;还用于根据所述目标直线的斜率确定轮廓旋转角度,并根据所述轮廓旋转角度对所述叶片边缘轮廓进行旋转变换得到所述叶片轮廓图像。
进一步的,特征提取模块包括:
凸缺陷特征提取单元,用于生成所述叶片轮廓图像中的叶片边缘轮廓的凸包,根据所述凸包的边与所述叶片边缘轮廓之间围成的区域确定凸缺陷;还用于将所述凸缺陷的最远点到所述凸包的边的距离设置为目标距离;其中,所述凸缺陷的最远点为距离所述凸包的边距离最大的叶片轮廓点;还用于将所有所述目标距离的特征值作为所述叶片轮廓图像的所述凸缺陷特征;其中,所有所述目标距离的特征值包括最大值、平均值和方差中的任一项或任几项的组合。
进一步的,特征提取模块包括:
轮廓形状对称性特征提取单元,用于将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;还用于确定所述叶片边缘轮廓的轮廓质心,将所述近端点与所述轮廓质心之间的距离设置为第一距离,将所述远端点与所述轮廓质心之间的距离设置为第二距离;还用于判断所述第一距离是否小于所述第二距离;若是,则将所述第一距离与所述第二距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征;若否,则将所述第二距离与所述第一距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征。
进一步的,特征提取模块包括:
轮廓形状向量特征提取单元,用于将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;用于将所述近端点和远端点之间的连线设置为基准线;用于根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征。
进一步的,轮廓形状向量特征提取单元根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征的过程包括:在所述基准线上选取多个间隔相等的点作为参考点,并在所述叶片边缘轮廓上选取每一参考点对应的参考叶片轮廓点;其中,所述参考叶片轮廓点和对应的参考点的连线垂直于所述基准线;记录每一参考点与对应的参考叶片轮廓点之间的距离,得到距离统计数据集合;将所述距离统计数据集合中每一元素的值除以所述基准线的长度,得到所述叶片轮廓图像的轮廓形状向量特征。
进一步的,所述轮廓特征还包括宽长比特征、矩形度特征、圆度特征、圆形特征、紧固性特征和凸性特征中的任一项或任几项的组合。
由于系统部分的实施例与方法部分的实施例相互对应,因此系统部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种植物种类识别方法,其特征在于,包括:
提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;
从所述叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;
利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
2.根据权利要求1所述植物种类识别方法,其特征在于,对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像,包括:
将所述植物叶片图像的颜色模型转换为YIQ颜色模型,并对所述植物叶片图像的Q通道图像执行大津阈值法分割操作,得到二值化植物叶片图像;
通过形态学闭运算对所述二值化植物叶片图像进行处理得到第一备选图像,对所述第一备选图像进行距离变换和二值化处理得到第二备选图像;
对所述第二备选图像执行轮廓检测操作,得到叶片边缘点;
利用最小二乘法的直线拟合算法对所述叶片边缘点进行处理得到目标直线;其中,所述目标直线为与所有所述叶片边缘点距离最近的直线;
根据所述目标直线的斜率确定轮廓旋转角度,并根据所述轮廓旋转角度对所述叶片边缘轮廓进行旋转变换得到所述叶片轮廓图像。
3.根据权利要求1所述植物种类识别方法,其特征在于,若所述轮廓特征包括凸缺陷特征,则从所述叶片轮廓图像中提取轮廓特征,包括:
生成所述叶片轮廓图像中的叶片边缘轮廓的凸包,根据所述凸包的边与所述叶片边缘轮廓之间围成的区域确定凸缺陷;
将所述凸缺陷的最远点到所述凸包的边的距离设置为目标距离;其中,所述凸缺陷的最远点为距离所述凸包的边距离最大的叶片轮廓点;
将所有所述目标距离的特征值作为所述叶片轮廓图像的所述凸缺陷特征;其中,所有所述目标距离的特征值包括最大值、平均值和方差中的任一项或任几项的组合。
4.根据权利要求1所述植物种类识别方法,其特征在于,若所述轮廓特征包括轮廓形状对称性特征,则从所述叶片轮廓图像中提取轮廓特征,包括:
将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;
确定所述叶片边缘轮廓的轮廓质心,将所述近端点与所述轮廓质心之间的距离设置为第一距离,将所述远端点与所述轮廓质心之间的距离设置为第二距离;
判断所述第一距离是否小于所述第二距离;
若是,则将所述第一距离与所述第二距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征;
若否,则将所述第二距离与所述第一距离的比值作为所述叶片轮廓图像的轮廓形状对称性特征。
5.根据权利要求1所述植物种类识别方法,其特征在于,若所述轮廓特征包括轮廓形状向量特征,则从所述叶片轮廓图像中提取轮廓特征,包括:
将所述叶片边缘轮廓在长度方向上的距离最远的两个叶片轮廓点设置为近端点和远端点;
将所述近端点和远端点之间的连线设置为基准线;
根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征。
6.根据权利要求5所述植物种类识别方法,其特征在于,根据所述叶片边缘轮廓上多个叶片轮廓点与所述基准线之间的距离确定所述叶片轮廓图像的轮廓形状向量特征,包括:
在所述基准线上选取多个间隔相等的点作为参考点,并在所述叶片边缘轮廓上选取每一参考点对应的参考叶片轮廓点;其中,所述参考叶片轮廓点和对应的参考点的连线垂直于所述基准线;
记录每一参考点与对应的参考叶片轮廓点之间的距离,得到距离统计数据集合;
将所述距离统计数据集合中每一元素的值除以所述基准线的长度,得到所述叶片轮廓图像的轮廓形状向量特征。
7.根据权利要求1至6任一项所述植物种类识别方法,其特征在于,所述轮廓特征还包括宽长比特征、矩形度特征、圆度特征、圆形特征、紧固性特征和凸性特征中的任一项或任几项的组合。
8.一种植物种类识别系统,其特征在于,包括:
预处理模块,用于提取植物叶片图像的叶片边缘轮廓,并对所述叶片边缘轮廓进行旋转变换得到叶片轮廓图像;其中,所有所述叶片轮廓图像的轮廓倾斜角度相同;
特征提取模块,用于从所述叶片轮廓图像中提取轮廓特征;其中,所述轮廓特征包括凸缺陷特征、轮廓形状对称性特征和轮廓形状向量特征中的任一项或任几项的组合;
特征学习模块,用于利用所述轮廓特征训练植物叶片分类模型,以便利用训练后的植物叶片分类模型执行植物种类识别操作。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述植物种类识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至7任一项所述植物种类识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056314.XA CN113837037A (zh) | 2021-09-09 | 2021-09-09 | 一种植物种类识别方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056314.XA CN113837037A (zh) | 2021-09-09 | 2021-09-09 | 一种植物种类识别方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113837037A true CN113837037A (zh) | 2021-12-24 |
Family
ID=78958699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111056314.XA Pending CN113837037A (zh) | 2021-09-09 | 2021-09-09 | 一种植物种类识别方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113837037A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998614A (zh) * | 2022-08-08 | 2022-09-02 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
CN115962735A (zh) * | 2022-12-26 | 2023-04-14 | 中国林业科学研究院林业研究所 | 一种基于几何测量确定梓属叶片形状的方法 |
CN116912548A (zh) * | 2023-07-19 | 2023-10-20 | 北京图知天下科技有限责任公司 | 一种基于风机动态巡检的叶片图像的处理方法 |
CN117372790A (zh) * | 2023-12-08 | 2024-01-09 | 浙江托普云农科技股份有限公司 | 植物叶片形状分类的方法、系统及装置 |
-
2021
- 2021-09-09 CN CN202111056314.XA patent/CN113837037A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998614A (zh) * | 2022-08-08 | 2022-09-02 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
CN114998614B (zh) * | 2022-08-08 | 2023-01-24 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
CN115962735A (zh) * | 2022-12-26 | 2023-04-14 | 中国林业科学研究院林业研究所 | 一种基于几何测量确定梓属叶片形状的方法 |
CN115962735B (zh) * | 2022-12-26 | 2024-01-05 | 中国林业科学研究院林业研究所 | 一种基于几何测量确定梓属叶片形状的方法 |
CN116912548A (zh) * | 2023-07-19 | 2023-10-20 | 北京图知天下科技有限责任公司 | 一种基于风机动态巡检的叶片图像的处理方法 |
CN117372790A (zh) * | 2023-12-08 | 2024-01-09 | 浙江托普云农科技股份有限公司 | 植物叶片形状分类的方法、系统及装置 |
CN117372790B (zh) * | 2023-12-08 | 2024-03-08 | 浙江托普云农科技股份有限公司 | 植物叶片形状分类的方法、系统及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522908B (zh) | 基于区域标签融合的图像显著性检测方法 | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
CN113837037A (zh) | 一种植物种类识别方法、系统、电子设备及存储介质 | |
EP2701098B1 (en) | Region refocusing for data-driven object localization | |
Khan et al. | An efficient contour based fine-grained algorithm for multi category object detection | |
CN104751187A (zh) | 抄表图像自动识别方法 | |
CN105447512A (zh) | 一种精粗结合的光学表面缺陷的检测方法及装置 | |
Palaniswamy et al. | Automatic identification of landmarks in digital images | |
CN113392856B (zh) | 图像伪造检测装置和方法 | |
Chen et al. | Extracting contour lines from common-conditioned topographic maps | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
Efraty et al. | Facial component-landmark detection | |
Cerutti et al. | Curvature-scale-based contour understanding for leaf margin shape recognition and species identification | |
CN109993213A (zh) | 一种用于服装部件图的自动识别方法 | |
CN109871825B (zh) | 一种基于改进的局部二维模式的人像识别方法 | |
Chen et al. | Image segmentation based on mathematical morphological operator | |
Bodnár et al. | A novel method for barcode localization in image domain | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
Akbar et al. | Tumor localization in tissue microarrays using rotation invariant superpixel pyramids | |
CN111199228B (zh) | 一种车牌定位的方法及装置 | |
CN116704270A (zh) | 一种基于图像处理的智能设备定位标记方法 | |
CN110825896A (zh) | 一种商标检索系统及检索方法 | |
Lin et al. | In defense of iterated conditional mode for hyperspectral image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |