CN117237384B - 一种智慧农业种植作物的视觉检测方法及系统 - Google Patents
一种智慧农业种植作物的视觉检测方法及系统 Download PDFInfo
- Publication number
- CN117237384B CN117237384B CN202311524487.9A CN202311524487A CN117237384B CN 117237384 B CN117237384 B CN 117237384B CN 202311524487 A CN202311524487 A CN 202311524487A CN 117237384 B CN117237384 B CN 117237384B
- Authority
- CN
- China
- Prior art keywords
- edge
- calculating
- pixel point
- index
- crop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000005070 sampling Methods 0.000 claims description 19
- 238000011179 visual inspection Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 239000002689 soil Substances 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 239000002245 particle Substances 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000007605 air drying Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本说明书实施例公开了一种智慧农业种植作物的视觉检测方法及系统,涉及图像处理技术领域,所述方法包括:获取智慧农业种植作物的俯视视角的HSV图像;基于超像素分割算法将所述HSV图像分割为多个连通域;针对每一所述连通域,基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数;基于最大类间方差算法计算出所述农作物特征指数的响应阈值;将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果。通过该技术方案,可以避免现有的超像素分割容易产生过度分割的现象,优化对复杂农作物场景的分割效果。
Description
技术领域
本发明涉及图像数据处理领域,特别涉及一种智慧农业种植作物的视觉检测方法及系统。
背景技术
智慧农业种植中各个生产要素之间紧密相关,极大提高了农业生产的效率。但是,智慧农业发展上也会伴随许多技术问题。智慧农业是信息与技术相结合的产物,如何获得有效的信息成为重点。
为了获得种植作物的生长情况,需要获得种植作物的区域图像。比如,用超像素分割算法对图像进行分割。但是,现有的超像素分割容易产生过度分割的现象,以及聚类迭代后没有明确地加强连通域的连通性。因此,较复杂的农作物场景图像得到的分割效果不好。
基于此,有必要研究一种智慧农业种植作物的视觉检测方法及系统。
发明内容
本说明书实施例的一个方面提供一种智慧农业种植作物的视觉检测方法,所述方法包括:
获取智慧农业种植作物的俯视视角的HSV图像;
基于超像素分割算法将所述HSV图像分割为多个连通域;
针对每一所述连通域,基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率;
基于最大类间方差算法计算出所述农作物特征指数的响应阈值;
将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果。
可选地,所述获取智慧农业种植作物的俯视视角的HSV图像包括:
获取智慧农业种植作物的俯视视角的RGB图像;
基于双边滤波去除所述RGB图像的噪声;
将去除所述噪声的所述RGB图像转化为HSV图像。
可选地,所述基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,包括:
获取所述连通域中每个像素点的饱和度;
计算所述连通域中每个像素点的粗糙度;
计算所述每个像素点的粗糙度的粗糙度均值;
计算所述每个像素点的饱和度之和与目标幂运算值的乘积,得到农作物特征指数,所述目标幂运算值为以自然常数为底数,且以所述粗糙度均值的相反数为指数得到的幂运算值。
可选地,所述获取智慧农业种植作物的俯视视角的HSV图像之后,所述方法还包括:
基于Canny算子获取所述HSV图像的边缘像素点;
计算每一所述边缘像素点的边缘色度递变规律指数,所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率;
所述计算所述连通域中每个像素点的粗糙度,包括:
基于如下公式计算所述连通域中每个像素点的粗糙度:
;
其中,表示归一化函数,/>表示像素点x周围区域像素点的数目,/>表示像素点x的区域中第/>个像素点的亮度出现的概率,/>表示像素点x的边缘色度递变规律指数,P表示边缘像素点的集合。
可选地,所述计算每一所述边缘像素点的边缘色度递变规律指数,包括:
计算每一所述边缘像素点的边缘横向变化指数;
计算每一所述边缘像素点的边缘纵向变化指数;
计算每一所述边缘像素点的累计梯度差异度;
针对每一所述边缘像素点,计算所述边缘横向变化指数乘以所述边缘纵向变化指数之积,与所述累计梯度差异度的加权平均数,作为所述边缘像素点的边缘色度递变规律指数。
可选地,所述计算每一所述边缘像素点的边缘横向变化指数,包括:
基于Sobel算子获取所述HSV图像的色度梯度;
基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
对每一所述边缘矩阵进行横向采样,得到横向色度梯度序列;
基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数。
可选地,所述基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数,包括:
基于如下公式计算每一所述边缘像素点的边缘横向变化指数:
;
其中,表示所述横向色度梯度序列中的色度梯度均方差,/>表示所述横向色度梯度序列中的色度梯度均值,/>表示所述横向色度梯度序列的元素数目减1,/>和/>分别表示所述横向色度梯度序列中的第/>个元素和第j+1个元素的梯度幅值。
可选地,所述计算每一所述边缘像素点的边缘纵向变化指数,包括:
基于Sobel算子获取所述HSV图像的色度梯度;
基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
对每一所述边缘矩阵进行纵向采样,得到纵向色度梯度序列;
基于每一所述纵向色度梯度序列分别计算每一所述边缘像素点的边缘纵向变化指数。
可选地,所述计算每一所述边缘像素点的累计梯度差异度,包括:
基于相邻灰度差分矩阵原理,获取每一所述边缘像素点的5×5窗口的相邻梯度差分矩阵;
基于所述相邻梯度差分矩阵的第三列计算所述边缘像素点的累计梯度差异度。
本说明书实施例的另一个方面还提供一种智慧农业种植作物的视觉检测系统,所述系统包括:
获取模块,用于获取智慧农业种植作物的俯视视角的HSV图像;
分割模块,用于基于超像素分割算法将所述HSV图像分割为多个连通域;
指数计算模块,用于针对每一所述连通域,计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率;
阈值计算模块,用于基于最大类间方差算法计算出所述农作物特征指数的响应阈值;
连接模块,用于将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果。
本说明书实施例所提供的智慧农业种植作物的视觉检测方法和系统可能带来的有益效果至少包括:(1)考虑了地面与种植作物的区别,地面有土块颗粒存在,所以不同部位的粗糙度不同,即种植作物上粗糙度较小。同时结合种植作物本身的饱和度属性,计算农作物特征指数,用于增强连通域的连通性,进而将种植作物区域图像分割出来,避免了超像素分割的过度分割现象,对于较复杂的农作物场景图像能得到更好的分割效果。(2)根据边缘横向变化指数、边缘纵向变化指数和累计梯度差异度计算边缘色度递变规律指数,并根据边缘色度递变规律指数计算边缘像素点的粗糙度,以准确地反映边缘像素点的表面粗糙程度,提高了后续图像分割的准确度。
附加的特征将在下面的描述中部分地阐述。对于本领域技术人员来说,通过查阅以下内容和附图将变得显而易见,或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
本说明书将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的智慧农业种植作物的视觉检测方法的示例性流程图;
图2是根据本说明书的一些实施例所示的智慧农业种植作物的视觉检测系统的示例性模块图;
图3是获取到的智慧农业种植作物的俯视视角的原图;
图4是超像素分割后的效果图;
图5是图像分割后的效果图。
具体实施方式
参照图1,在本实施例中,智慧农业种植作物的视觉检测方法可以包括:
S310,获取智慧农业种植作物的俯视视角的HSV图像。
S320,基于超像素分割算法将所述HSV图像分割为多个连通域。
S330,针对每一所述连通域,基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率。
S340,基于最大类间方差算法计算出所述农作物特征指数的响应阈值。
S350,将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果。
在步骤S310中,HSV图像是指在HSV颜色空间下的图像,由色相(Hue)、饱和度(Saturation)和明度(Value)三个参数组成。俯视视角即从正上方向下看的视角。在一些实施例中,可以通过输入设备将俯视视角的HSV图像输入计算设备以获取HSV图像。
可选地,在步骤S310中,获取智慧农业种植作物的俯视视角的HSV图像包括:
S311,获取智慧农业种植作物的俯视视角的RGB图像;
S312,基于双边滤波去除所述RGB图像的噪声;
S313,将去除所述噪声的所述RGB图像转化为HSV图像。
在步骤S311中,可以利用CCD相机采集智慧农业场景下的种植作物图像,拍摄方式采用俯视拍摄,得到RGB颜色空间的图像即RGB图像。RGB颜色空间是一种由红、绿、蓝三种基本颜色组成的颜色模型。在一些实施例中,可以利用输入设备将RGB图像输入计算设备以获取RGB图像。
步骤S311执行后,可以进入执行步骤S312,对获取的种植作物的RGB图像进行预处理,消除噪声和部分外界干扰造成的影响,增强后续分析的准确性。为了在保留边界信息的同时去除噪声,本发明选用双边滤波对RGB图像进行处理,在其它实施方式中,可以采取其他去噪方法。
步骤S312执行完成后,可以进入执行步骤S313,将去噪后的种植作物的RGB图像转化为HSV颜色空间的种植作物图像即HSV图像。
在步骤S320中,超像素分割算法是一种图像分割方法,它将图像分割成多个小区域即连通域,每个小区域都有相似的颜色、亮度和纹理等特征。这些小区域大多保留了进一步进行图像分割的有效信息,且一般不会破坏图像中物体的边界信息,用少量的超像素代替大量像素表达图像特征。
具体来讲,可以根据获得得到HSV空间上的种植作物的HSV图像,对图像进行初步分割。设图像的大小为,将整幅图像均匀划分成K个矩形网格区域(K一般取500),每个网格中心像素点为该网格的聚类中心点,相邻两个聚类中心点的距离为/>。根据每个聚类中心,需要对以聚类中心点为中心的2S×2S范围内的所有像素点与聚类中心点的相似度进行计算,S通常指的是超像素的尺寸。
关于相似度的度量方式,传统的超像素分割算法度量距离是基于聚类中心点与被计算像素点之间的欧氏距离与颜色距离。但是,种植作物的叶子容易发生枯黄,导致被计算像素点与聚类中心点之间的颜色距离过大,从而相似度较小,进而根据超像素分割的结果对连通域的连通性进行增强往往会产生较大的干扰,即分割效果较差,容易产生过分割现象,分割过程中容易将叶子泛黄的区域分割除去。因此,传统的超像素分割算法的连通域连接的度量方式需要进行改进。
在步骤S330中,为了将智慧农业种植作物图像中的种植作物分割出来,由于作物表面颜色比较一致,而地面有土块颗粒存在,所以不同部位的粗糙度不同。同时结合种植作物本身的饱和度属性,计算连通域的农作物特征指数,以用于后续增强连通域的连通性,便于将种植作物区域图像分割出来。
由于农作物存在两个较大的特征,其一农作物上的色度较为均匀,且具有饱和度较大的特征,其二考虑了地面与种植作物的区别,地面有土块颗粒存在,所以不同部位的粗糙度不同,地面的粗糙度较大,种植作物上粗糙度相对较小;与之作比较地面,同样存在两个较大的特征,其一地面由于存在土块不具备较为鲜艳的颜色特征,因此饱和度较小,其二地面由于存在土块,其地面区域图像反映出的粗糙度较大。由于地面和种植作物之间的差别主要是两个方面,饱和度和粗糙度,因此,就可以根据地面和种植作物之间的饱和度和粗糙度的差异情况进行属于农作物区域的可能性的判断,由此设定农作物特征指数这一参量,用于反映连通域属于农作物区域的可能性,而且农作物特征指数与饱和度成正比关系,与粗糙度均值成反比关系。连通域的农作物特征指数反映了连通域属于农作物区域的可能性,农作物特征指数越大,对应的连通域在HSV图像中对应区域属于种植作物的概率越大。
可选地,在步骤S330中,基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,包括:
S331,获取所述连通域中每个像素点的饱和度;
S332,计算所述连通域中每个像素点的粗糙度;
S333,计算所述每个像素点的粗糙度的粗糙度均值;
S334,计算所述每个像素点的饱和度之和与目标幂运算值的乘积,得到农作物特征指数,所述目标幂运算值为以自然常数为底数,且以所述粗糙度均值的相反数为指数得到的幂运算值。
在步骤S331中,由于饱和度为HSV图像本身的一个属性参数,因此可以直接从HSV图像中读取每个像素点的饱和度。
可选地,步骤S310即获取智慧农业种植作物的俯视视角的HSV图像之后,具体可以在执行步骤S330之前,所述智慧农业种植作物的视觉检测方法还包括:
S31a,基于Canny算子获取所述HSV图像的边缘像素点。
S31b,计算每一所述边缘像素点的边缘色度递变规律指数,所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率。
在步骤S31a中,举例来讲,可以在获取HSV图像后,针对种植作物图像的边缘情况,利用Canny算子获取图像的边缘,即这些边缘既包含农作物与地面形成的边缘,还包含农作物叶子枯黄形成的边缘,提取获取的边缘像素点,可以记P为边缘像素点的集合。Canny算子是一种边缘检测算子,是一种综合在抗噪声干扰和精确定位之间寻求最佳折中方案的边缘检测方法。
步骤S31a执行完成后,可以进入执行步骤S31b。在步骤S31b中,获取边缘像素点后,可以提取HSV图像于HSV空间上的色度维度数据,利用Sobel算子获取图像的色度梯度幅值,然后基于图像的色度梯度,设置5×5的边缘滑动窗口,计算每一个边缘像素点的边缘色度递变规律指数。
可选地,在步骤S31b中,计算每一所述边缘像素点的边缘色度递变规律指数,包括:
S31b1,计算每一所述边缘像素点的边缘横向变化指数;
S31b2,计算每一所述边缘像素点的边缘纵向变化指数;
S31b3,计算每一所述边缘像素点的累计梯度差异度;
S31b4,针对每一所述边缘像素点,计算所述边缘横向变化指数乘以所述边缘纵向变化指数之积,与所述累计梯度差异度的加权平均数,作为所述边缘像素点的边缘色度递变规律指数。
在步骤S31b1中,边缘横向变化指数越大,说明对应的边缘像素点越有可能是实际边缘即种植作物与土地边缘的像素点。由于图像边缘的不规范性,通过横向采样与纵向采样的方式,获取边缘像素点的不同方向的变化情况,横向采样和纵向采样分别参见步骤S31b1和S31b2。可选地,在步骤S31b1中,计算每一所述边缘像素点的边缘横向变化指数,包括:
S31b11,基于Sobel算子获取所述HSV图像的色度梯度;
S31b12,基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
S31b13,对每一所述边缘矩阵进行横向采样,得到横向色度梯度序列;
S31b14,基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数。
在步骤S31b11中,可以提取HSV空间上的色度维度数据,利用Sobel算子获取图像的色度梯度幅值作为HSV图像的色度梯度。Sobel算子也叫做索贝尔算子,主要用作边缘检测。在技术上,它是一离散性差分算子,用来运算图像亮度函数的梯度之近似值。在一些实施例中,可以选择检测水平边缘的Sobel算子。
步骤S31b11执行完成后,可以进入执行步骤S31b12,在一些实施例中,可以基于图像的色度梯度,设置5×5的边缘滑动窗口。举例来讲,边缘像素点a的滑动窗口中,像素点a形成的5×5的边缘矩阵aa,即:
;
边缘矩阵中每一个像素点的数值表示像素点的色度梯度。进而在步骤S31b13中,根据获取的边缘矩阵,对矩阵进行横向采样,采样方式可以是随机的,如本发明采取S型采样方式,实施者可以采用其他的横向采样方式。根据采取S型采样方式,获取边缘矩阵的横向色度梯度序列,即:
;
农作物与地面的边缘为实际边缘,农作物中枯黄的边缘为虚假边缘,由于叶子枯黄区域一般有渐变的过程,而农作物与地面的边缘则是骤变。因此,实际边缘的色度梯度较大,则会导致实际边缘的局部色度梯度变化较大,而横向色度梯度序列反映了每一个边缘像素点的局部横向梯度变化规律。
步骤S31b13执行完成后,可以进入执行步骤S31b14,在步骤S31b14中,基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数,可以包括:
基于如下公式计算每一所述边缘像素点的边缘横向变化指数:
;
其中,表示所述横向色度梯度序列中的色度梯度均方差,/>表示所述横向色度梯度序列中的色度梯度均值,/>表示所述横向色度梯度序列的元素数目减1,/>和/>分别表示所述横向色度梯度序列中的第/>个元素和第j+1个元素的梯度幅值。
变异系数越大,说明横向采样序列中的梯度变化越大,则边缘横向变化指数/>越大。横向相邻两个像素点的梯度幅值差异越大,即/>越大,说明此边缘像素点的窗口横向梯度间断性越大,则边缘横向变化指数/>越大,即此边缘像素点越有可能是实际边缘的像素点。
步骤S31b1执行完成后,可以进入执行步骤S31b2,在步骤S31b2中,计算每一所述边缘像素点的边缘纵向变化指数,可以包括:
S31b21,基于Sobel算子获取所述HSV图像的色度梯度;
S31b22,基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
S31b23,对每一所述边缘矩阵进行纵向采样,得到纵向色度梯度序列;
S31b24,基于每一所述纵向色度梯度序列分别计算每一所述边缘像素点的边缘纵向变化指数。
步骤S31b21至步骤S31b24可以分别参见步骤S31b11至步骤S31b14。不同之处在于,步骤S31b21中,Sobel算子可以是检测垂直边缘的算子。在步骤S31b23中,对窗口进行相同方式的纵向采样,并得到纵向色度梯度序列,并在步骤S31b24中计算边缘纵向变化指数。具体计算方式可以参见前述步骤,仅需将相关的系数替换为纵向采样相关的系数即可,具体如下:
根据获取的边缘矩阵,对矩阵进行纵向采样,同样采取S型采样方式得到边缘矩阵的纵向色度梯度序列,即:
;
纵向色度梯度序列反映了每一个边缘像素点的局部纵向梯度变化规律。
基于每一纵向色度梯度序列分别计算每一边缘像素点的边缘纵向变化指数,包括:
基于如下公式计算每一边缘像素点的边缘纵向变化指数:
;
其中,表示纵向色度梯度序列中的色度梯度均方差,/>表示纵向色度梯度序列中的色度梯度均值,/>表示纵向色度梯度序列的元素数目减1,/>和/>分别表示纵向色度梯度序列中的第/>个元素和第j+1个元素的梯度幅值。
变异系数越大,说明纵向采样序列中的梯度变化越大,则边缘纵向变化指数越大。纵向相邻两个像素点的梯度幅值差异越大,即/>越大,说明此边缘像素点的窗口纵向梯度间断性越大,则边缘纵向变化指数/>越大,即此边缘像素点越有可能是实际边缘的像素点。
至此,得到每一边缘像素点的边缘横向变化指数及边缘纵向变化指数。
横向与纵向的变化指数反映窗口整体的变化,可以反映边缘像素点局部的变化,但是重要的还是中心像素点与邻域的差异,差异越大,边缘像素点的边缘色度递变规律指数越大,进而执行步骤S31b3,在步骤S31b3中,计算每一所述边缘像素点的累计梯度差异度,可以包括:
S31b31,基于相邻灰度差分矩阵原理,获取每一所述边缘像素点的5×5窗口的相邻梯度差分矩阵;
S31b32,基于所述相邻梯度差分矩阵的第三列计算所述边缘像素点的累计梯度差异度。
在步骤S31b31中,利用相邻灰度差分矩阵原理,获取边缘像素点的5×5窗口的相邻梯度差分矩阵。相邻梯度差分矩阵的第三列表示矩阵中每种梯度在窗口的所有位置与其8-邻域范围内平均梯度差异之和,因此可以在步骤S31b32中,通过相邻梯度差分矩阵的第三列可以得到中心边缘像素点的累计梯度差异度。具体地:将相邻梯度差分矩阵的第三列中所有元素的累加和作为边缘像素点的累计梯度差异度。
利用相邻灰度差分矩阵原理,获取边缘像素点的5×5窗口的相邻梯度差分矩阵。举个例子,获取边缘像素点a的5×5窗口的相邻梯度差分矩阵F(a):
;
相邻梯度差分矩阵的第三列表示矩阵中每种梯度在窗口的所有位置与其8-邻域范围内平均梯度差异之和,相邻灰度差分矩阵原理为公知技术,具体过程不做赘述。进一步地,将相邻梯度差分矩阵的第三列中所有元素的累加和作为边缘像素点a的累计梯度差异度。
步骤S31b3执行完成后,可以进入执行步骤S31b4,具体可以结合窗口的整体变化,基于如下公式计算每个边缘像素点的边缘色度递变规律指数,即:
;
式子中,表示边缘像素点x区域窗口的边缘横向变化指数,/>表示边缘像素点x区域窗口的边缘纵向变化指数,/>表示边缘像素点x的累计梯度差异度。/>和/>表示不同的权重,在一些实施例中,/>为0.4,/>为0.6。
边缘色度递变规律指数用于区分实际边缘像素点和虚假边缘像素点。边缘横向变化指数越大,边缘纵向变化指数/>越大,说明窗口内的采样序列中的梯度变化越大,则边缘色度递变规律指数/>越大,越有可能是实际边缘的像素点。累计梯度差异度/>越大,说明窗口内与中心边缘梯度变化的差异越大,则边缘色度递变规律指数/>越大,越有可能是实际边缘的像素点。
计算出边缘色度递变规律指数之后,可以进入执行步骤S331,步骤S331执行完成后可以进入执行步骤S332,一般场景下,地面由于空气干燥以及其他因素会形成土块,导致拍摄到的背景地面凹凸不平,而种植作物上没有凹凸不平的特点。凹凸不平的现象会导致不同部位的地面亮度不同,进而导致地面较为粗糙,因此可以考虑结合像素点的粗糙度对图像边缘进行判断。在步骤S332中,计算所述连通域中每个像素点的粗糙度,可以包括:
基于如下公式计算所述连通域中每个像素点的粗糙度:
;
其中,表示归一化函数,/>表示像素点x周围区域像素点的数目,/>表示像素点x的区域中第/>个像素点的亮度出现的概率,/>表示像素点x的边缘色度递变规律指数,P表示边缘像素点的集合。
对种植作物图像中每个像素点计算粗糙度,对不属于边缘的像素点来说,局部区域的信息熵越小,说明内部的亮度变化越小,则粗糙度越小,即越有可能是种植作物上的像素点。对于属于边缘的像素点来说,局部区域的信息熵越小,由于农作物枯黄的边缘渐变性的存在,相比于实际边缘,则粗糙度/>就越小,即越有可能为虚假边缘的像素点。边缘色度递变规律指数/>越小,相比于实际边缘来说,则粗糙度/>越小,即越有可能为虚假边缘的像素点。
对于利用传统的超像素分割算法对种植作物进行分割的结果,由于超像素分割算法中没有强制连接相同特征的连通域,并且连通域会将种植作物上的正常叶子和枯黄叶子分割开。为了解决增强连通域的连通性问题,结合不同连通域的粗糙度,由于地面的区域上的粗糙度较大,而种植作物上面正常区域以及枯黄区域的粗糙度较小。并且,属于实际边缘像素点的粗糙度较大,虚假边缘像素点的粗糙度较大。
步骤S332计算完成后,可以进入执行步骤S333,计算粗糙度均值,完成后进入执行步骤S334,在步骤S334中,根据超像素分割算法得到的每个连通域,结合HSV空间中每个像素点的饱和度,以连通域Q为例,计算每个连通域的农作物特征指数,即:
;
式子中,表示连通域Q中像素点的数目,/>表示连通域Q中第/>个像素点的饱和度,/>表示连通域Q中像素点的粗糙度均值。
连通域中的累计饱和度越大,由于种植作物上的色度较为均匀,具有饱和度较大的特征,越具有种植作物的特征,则农作物特征指数/>越大,即连通域越有可能在种植作物区域。连通域中的粗糙度均值/>越小,越具有农作物区域的特征,则农作物特征指数,即连通域越有可能在种植作物区域。
计算出农作物特征指数之后,可以进入执行步骤S340,在一些实施例中,基于计算每个连通域的农作物特征指数,按照从小到大的顺序排列,可以得到一组农作物特征指数序列U,即:
;
农作物特征指数序列U中,最小农作物特征指数为,最大农作物特征指数为/>,t表示超像素分割得到连通域的个数。
每个农作物特征指数表示一个连通域,由于种植作物区域的农作物特征指数较大,而地面区域的农作物特征指数较小。两者会形成对比,根据农作物特征指数序列中的农作物特征指数,利用最大类间方差算法Otsu计算得到响应阈值。最大类间方差算法Otsu为本领域公知技术,具体在此不做多余赘述。
在步骤S350中,将高于响应阈值R的农作物特征指数视为较大的农作物特征指数,将较大的农作物特征指数连通域连接起来,即将种植作物区域的不同部位连接起来,进而将种植作物从HSV图像上分割出来,得到种植作物的分割图像,并作为视觉检测的结果,进而可以根据种植作物的生长状况对植物作物进行评价。由于种植作物上的农作物特征指数较大,通过阈值将农作物特征指数较大的连通域筛选出来,形成一个连通域,可以提高分割的准确性。
本实施例还提供一种智慧农业种植作物的视觉检测系统200,如图2所示,包括获取模块210、分割模块220、指数计算模块230、阈值计算模块240、连接模块250。
获取模块210,可以用于获取智慧农业种植作物的俯视视角的HSV图像;
分割模块220,可以用于基于超像素分割算法将所述HSV图像分割为多个连通域;
指数计算模块230,可以用于针对每一所述连通域,计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率;
阈值计算模块240,可以用于基于最大类间方差算法计算出所述农作物特征指数的响应阈值;
连接模块250,可以用于将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果。
关于上述各个模块的更多细节可以参照本说明书的其他位置(例如图1部分及其相关描述),此处不再赘述。
图3-图5是本实施例提供的一种智慧农业种植作物的视觉检测方法在执行过程中对应的技术效果图,其中图3是获取到的智慧农业种植作物的俯视视角的原图,图4是超像素分割后的效果图,图5是图像分割后最终呈现出来的效果图。
综上所述,本说明书实施例可能带来的有益效果包括但不限于:(1)考虑了地面与种植作物的区别,地面有土块颗粒存在,所以不同部位的粗糙度不同,即种植作物上粗糙度较小。同时结合种植作物本身的饱和度属性,计算农作物特征指数,用于增强连通域的连通性,进而将种植作物区域图像分割出来,避免了超像素分割的过度分割现象,对于较复杂的农作物场景图像能得到更好的分割效果;(2)根据边缘横向变化指数、边缘纵向变化指数和累计梯度差异度计算边缘色度递变规律指数,并根据边缘色度递变规律指数计算边缘像素点的粗糙度,以准确地反映边缘像素点的表面粗糙程度,提高了后续图像分割的准确度。
Claims (8)
1.一种智慧农业种植作物的视觉检测方法,其特征在于,所述方法包括:
获取智慧农业种植作物的俯视视角的HSV图像;
基于超像素分割算法将所述HSV图像分割为多个连通域;
针对每一所述连通域,基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率;
基于最大类间方差算法计算出所述农作物特征指数的响应阈值;
将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果;
所述基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,包括:
获取所述连通域中每个像素点的饱和度;
计算所述连通域中每个像素点的粗糙度;
计算所述每个像素点的粗糙度的粗糙度均值;
计算所述每个像素点的饱和度之和与目标幂运算值的乘积,得到农作物特征指数,所述目标幂运算值为以自然常数为底数,且以所述粗糙度均值的相反数为指数得到的幂运算值;
所述获取智慧农业种植作物的俯视视角的HSV图像之后,所述方法还包括:
基于Canny算子获取所述HSV图像的边缘像素点;
计算每一所述边缘像素点的边缘色度递变规律指数,所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率;
所述计算所述连通域中每个像素点的粗糙度,包括:
基于如下公式计算所述连通域中每个像素点的粗糙度:
其中,表示归一化函数,/>表示像素点x周围区域像素点的数目,/>表示像素点x的区域中第/>个像素点的亮度出现的概率,/>表示像素点x的边缘色度递变规律指数,P表示边缘像素点的集合。
2.根据权利要求1所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述获取智慧农业种植作物的俯视视角的HSV图像包括:
获取智慧农业种植作物的俯视视角的RGB图像;
基于双边滤波去除所述RGB图像的噪声;
将去除所述噪声的所述RGB图像转化为HSV图像。
3.根据权利要求1所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述计算每一所述边缘像素点的边缘色度递变规律指数,包括:
计算每一所述边缘像素点的边缘横向变化指数;
计算每一所述边缘像素点的边缘纵向变化指数;
计算每一所述边缘像素点的累计梯度差异度;
针对每一所述边缘像素点,计算所述边缘横向变化指数乘以所述边缘纵向变化指数之积,与所述累计梯度差异度的加权平均数,作为所述边缘像素点的边缘色度递变规律指数。
4.根据权利要求3所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述计算每一所述边缘像素点的边缘横向变化指数,包括:
基于Sobel算子获取所述HSV图像的色度梯度;
基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
对每一所述边缘矩阵进行横向采样,得到横向色度梯度序列;
基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数。
5.根据权利要求4所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述基于每一所述横向色度梯度序列分别计算每一所述边缘像素点的边缘横向变化指数,包括:
基于如下公式计算每一所述边缘像素点的边缘横向变化指数:
其中,表示所述横向色度梯度序列中的色度梯度均方差,/>表示所述横向色度梯度序列中的色度梯度均值,/>表示所述横向色度梯度序列的元素数目减1,/>和/>分别表示所述横向色度梯度序列中的第/>个元素和第j+1个元素的梯度幅值。
6.根据权利要求3所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述计算每一所述边缘像素点的边缘纵向变化指数,包括:
基于Sobel算子获取所述HSV图像的色度梯度;
基于所述色度梯度设置5×5的边缘滑动窗口,并计算每一所述边缘像素点的边缘矩阵,所述边缘矩阵中每一数值表示对应像素点的色度梯度;
对每一所述边缘矩阵进行纵向采样,得到纵向色度梯度序列;
基于每一所述纵向色度梯度序列分别计算每一所述边缘像素点的边缘纵向变化指数。
7.根据权利要求3所述的一种智慧农业种植作物的视觉检测方法,其特征在于,所述计算每一所述边缘像素点的累计梯度差异度,包括:
基于相邻灰度差分矩阵原理,获取每一所述边缘像素点的5×5窗口的相邻梯度差分矩阵;
基于所述相邻梯度差分矩阵的第三列计算所述边缘像素点的累计梯度差异度。
8.一种智慧农业种植作物的视觉检测系统,其特征在于,所述系统包括:
获取模块,用于获取智慧农业种植作物的俯视视角的HSV图像;
分割模块,用于基于超像素分割算法将所述HSV图像分割为多个连通域;
指数计算模块,用于针对每一所述连通域,计算所述连通域的农作物特征指数,所述农作物特征指数用于表征所述连通域位于所述HSV图像中所述种植作物所在区域的概率;
阈值计算模块,用于基于最大类间方差算法计算出所述农作物特征指数的响应阈值;
连接模块,用于将大于所述响应阈值的所述农作物特征指数对应的所述连通域连接,得到从所述HSV图像分割出的所述种植作物的分割图像,以作为所述种植作物的视觉检测结果;
基于所述连通域中像素点的饱和度和粗糙度计算所述连通域的农作物特征指数,包括:
获取所述连通域中每个像素点的饱和度;
计算所述连通域中每个像素点的粗糙度;
计算所述每个像素点的粗糙度的粗糙度均值;
计算所述每个像素点的饱和度之和与目标幂运算值的乘积,得到农作物特征指数,所述目标幂运算值为以自然常数为底数,且以所述粗糙度均值的相反数为指数得到的幂运算值;
所述获取智慧农业种植作物的俯视视角的HSV图像之后,还包括:
基于Canny算子获取所述HSV图像的边缘像素点;
计算每一所述边缘像素点的边缘色度递变规律指数,所述边缘色度递变规律指数用于表征所述边缘像素点为所述HSV图像中实际边缘的概率;
所述计算所述连通域中每个像素点的粗糙度,包括:
基于如下公式计算所述连通域中每个像素点的粗糙度:
其中,表示归一化函数,/>表示像素点x周围区域像素点的数目,/>表示像素点x的区域中第/>个像素点的亮度出现的概率,/>表示像素点x的边缘色度递变规律指数,P表示边缘像素点的集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311524487.9A CN117237384B (zh) | 2023-11-16 | 2023-11-16 | 一种智慧农业种植作物的视觉检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311524487.9A CN117237384B (zh) | 2023-11-16 | 2023-11-16 | 一种智慧农业种植作物的视觉检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237384A CN117237384A (zh) | 2023-12-15 |
CN117237384B true CN117237384B (zh) | 2024-02-02 |
Family
ID=89084826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311524487.9A Active CN117237384B (zh) | 2023-11-16 | 2023-11-16 | 一种智慧农业种植作物的视觉检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237384B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014036813A1 (zh) * | 2012-09-10 | 2014-03-13 | 华为技术有限公司 | 图像特征的提取方法及装置 |
CN104598908A (zh) * | 2014-09-26 | 2015-05-06 | 浙江理工大学 | 一种农作物叶部病害识别方法 |
WO2016127883A1 (zh) * | 2015-02-12 | 2016-08-18 | 阿里巴巴集团控股有限公司 | 一种图像区域检测方法及装置 |
CN108830844A (zh) * | 2018-06-11 | 2018-11-16 | 北华航天工业学院 | 一种基于多时相高分辨率遥感影像的设施蔬菜提取方法 |
CN112435290A (zh) * | 2020-09-29 | 2021-03-02 | 南京林业大学 | 基于饱和度分割的叶面积图像测量方法 |
CN114067207A (zh) * | 2021-11-16 | 2022-02-18 | 福州大学 | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 |
CN114092418A (zh) * | 2021-11-08 | 2022-02-25 | 中北大学 | 农田作物无人机影像的阴影检测方法 |
CN114913411A (zh) * | 2022-04-15 | 2022-08-16 | 南京大学 | 一种地物光谱指数驱动的遥感图像无监督语义分割方法 |
CN115294158A (zh) * | 2022-09-26 | 2022-11-04 | 江苏万森绿建装配式建筑有限公司 | 一种基于机器视觉的热连轧带钢图像分割方法 |
CN115908371A (zh) * | 2022-12-14 | 2023-04-04 | 南京信息工程大学 | 基于优化分割的植物叶片病虫害程度检测方法 |
CN116188465A (zh) * | 2023-04-26 | 2023-05-30 | 济宁市保田农机技术推广专业合作社 | 基于图像处理技术的作物生长状态检测方法 |
CN116993966A (zh) * | 2023-09-27 | 2023-11-03 | 诺伯特智能装备(山东)有限公司 | 一种铸件打磨视觉智能定位方法及系统 |
-
2023
- 2023-11-16 CN CN202311524487.9A patent/CN117237384B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014036813A1 (zh) * | 2012-09-10 | 2014-03-13 | 华为技术有限公司 | 图像特征的提取方法及装置 |
CN104598908A (zh) * | 2014-09-26 | 2015-05-06 | 浙江理工大学 | 一种农作物叶部病害识别方法 |
WO2016127883A1 (zh) * | 2015-02-12 | 2016-08-18 | 阿里巴巴集团控股有限公司 | 一种图像区域检测方法及装置 |
CN108830844A (zh) * | 2018-06-11 | 2018-11-16 | 北华航天工业学院 | 一种基于多时相高分辨率遥感影像的设施蔬菜提取方法 |
CN112435290A (zh) * | 2020-09-29 | 2021-03-02 | 南京林业大学 | 基于饱和度分割的叶面积图像测量方法 |
CN114092418A (zh) * | 2021-11-08 | 2022-02-25 | 中北大学 | 农田作物无人机影像的阴影检测方法 |
CN114067207A (zh) * | 2021-11-16 | 2022-02-18 | 福州大学 | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 |
CN114913411A (zh) * | 2022-04-15 | 2022-08-16 | 南京大学 | 一种地物光谱指数驱动的遥感图像无监督语义分割方法 |
CN115294158A (zh) * | 2022-09-26 | 2022-11-04 | 江苏万森绿建装配式建筑有限公司 | 一种基于机器视觉的热连轧带钢图像分割方法 |
CN115908371A (zh) * | 2022-12-14 | 2023-04-04 | 南京信息工程大学 | 基于优化分割的植物叶片病虫害程度检测方法 |
CN116188465A (zh) * | 2023-04-26 | 2023-05-30 | 济宁市保田农机技术推广专业合作社 | 基于图像处理技术的作物生长状态检测方法 |
CN116993966A (zh) * | 2023-09-27 | 2023-11-03 | 诺伯特智能装备(山东)有限公司 | 一种铸件打磨视觉智能定位方法及系统 |
Non-Patent Citations (3)
Title |
---|
Estimating the aquatic-plant area on a pond surface using a hue-saturation-component combination and an improved Otsu method;Yuxing Fan;Computers and Electronics in Agriculture;第188卷;全文 * |
农作物图像分割算法综述;郑小南;杨凡;李富忠;;现代计算机(第19期);全文 * |
基于HSV空间再生稻植株与土壤背景图像分割;郭翰林;林建;张翔;;农机化研究(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117237384A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753577B (zh) | 自动采摘机器人中的苹果识别与定位方法 | |
Lü et al. | Leaf area measurement based on image processing | |
CN109255757B (zh) | 一种机器视觉自然放置葡萄串果梗区域分割方法 | |
Lati et al. | Robust methods for measurement of leaf-cover area and biomass from image data | |
CN108596103A (zh) | 基于最佳光谱指数选择的高分辨率卫星遥感影像建筑物提取方法 | |
CN109447945A (zh) | 基于机器视觉和图形处理的小麦基本苗快速计数方法 | |
US11574464B2 (en) | Practical method for landslide detection in large space | |
CN111259925B (zh) | 基于k均值聚类和宽度突变算法的田间麦穗计数方法 | |
CN102663397B (zh) | 一种小麦出苗的自动检测方法 | |
Samanta et al. | Scab diseases detection of potato using image processing | |
CN109871900A (zh) | 一种基于图像处理的复杂背景下苹果的识别定位方法 | |
CN113298777A (zh) | 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统 | |
CN112053371A (zh) | 一种遥感图像中的水体提取方法和装置 | |
He et al. | A calculation method of phenotypic traits of soybean pods based on image processing technology | |
CN111612797B (zh) | 一种水稻图像信息处理系统 | |
CN117237384B (zh) | 一种智慧农业种植作物的视觉检测方法及系统 | |
Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
CN114581660A (zh) | 植物叶片分割识别方法及系统 | |
CN111046726B (zh) | 一种基于ai智能视觉的水下海参识别及定位方法 | |
CN114049390A (zh) | 一种基于机器视觉的小麦麦苗种植密度测量装置及方法 | |
CN112949607A (zh) | 一种基于JM Relief F湿地植被特征优选与融合方法 | |
CN109359583B (zh) | 一种遥感影像中显著性面状特定目标提取方法 | |
CN109345539B (zh) | 基于图像抽象的自适应Mean-Shift立木图像分割方法 | |
CN112001910A (zh) | 一种自动识别植株穗数的方法、装置、电子设备和存储介质 | |
CN113421301B (zh) | 一种田间作物中心区域定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |