CN108319973B - 一种树上柑橘果实检测方法 - Google Patents
一种树上柑橘果实检测方法 Download PDFInfo
- Publication number
- CN108319973B CN108319973B CN201810055933.9A CN201810055933A CN108319973B CN 108319973 B CN108319973 B CN 108319973B CN 201810055933 A CN201810055933 A CN 201810055933A CN 108319973 B CN108319973 B CN 108319973B
- Authority
- CN
- China
- Prior art keywords
- image
- citrus
- fruit
- local
- arg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000020971 citrus fruits Nutrition 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 46
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 42
- 238000005286 illumination Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 241000207199 Citrus Species 0.000 claims abstract description 24
- 238000012706 support-vector machine Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000295 complement effect Effects 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 23
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002420 orchard Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种树上柑橘果实检测方法，包括如下步骤：结合局部和全局信息熵分析图像的光照分布特性，使用局部分块同态滤波算法处理图像光照不均匀现象；使用自适应增强RG色差法提高前景目标与背景的对比度，采用阈值分割和数学形态学方法实现RG色差图的二值化处理；针对所得二值图像中的多果粘连或相互遮挡问题，使用标记控制分水岭变换实现粘连区域分割，并采用凸壳理论解决因遮挡导致的区域欠分割问题，获得独立候选柑橘果实区域；提取候选柑橘果实区域的直方图式描述特征，通过直方图交叉核支持向量机识别柑橘，完成果实定位。本发明通过上述技术方案提高了树上柑橘果实检测的准确性与可靠性。
Description
技术领域
本发明涉及农业智能化、精准农业、机器视觉、模式识别领域，具体为一种树上柑橘果实检测方法。
背景技术
随着果园管理成本的递增和熟练劳动力的递减，传统柑橘果实劳动密集型采摘作业的可持续发展性已呈现不断降低的趋势(Gongal A,Amatya S,Karkee M,et al.Sensorsand systems for fruit detection and localization.Computers and Electronics inAgriculture,2015,116:8-19)。柑橘采摘机器人是一种改变传统方式的自动化作业装备，它面临的一个主要问题是树上柑橘果实的快速可靠检测。
果实检测系统中常用的传感技术有视觉(可见光)成像、红外成像、多光谱/高光谱技术以及双目/多目成像或多传感器融合技术等。高光谱成像技术或多传感技术的融合有利于获取更多果实区域信息，但需要考虑高维冗余信息的处理或多目图像的配准问题、且设备综合成本较高，故本发明聚焦于单目视觉成像系统。一般来说，树上柑橘果实检测方法由图像预处理、果实区域分割和果实识别与定位三个主要环节组成。
Xu等(Xu LM,L JD.Recognition method for apple fruit based on SUSAN andPCNN.Multimedia Tools&Applications,DOI:10.1007/s11042-017-4629-6)通过全局同态滤波解决图像的光照不均匀问题，该方法进行图像预处理前并没有判断输入图像的光照情况，虽然能有效处理光照均匀性较差的输入图像，但处理光照均匀的图像时容易出现“过度曝光”现象，影响后续果实区域分割的完整性。Wang等(Wang CL,Tang YC,Zou XJ,et al.Arobust fruit image segmentation algorithm against varying illumination forvision system of fruit harvesting robot.Optik-International Journal for Lightand Electron Optics,2017,131:626-631)采用小波变换和Retinex算法增强果实表面的光照度，并通过k-均值聚簇法分割果实区域。但基于聚簇的分割方法对聚类数k具有较高的敏感性，当颜色差异较大的场景参与物数量发生变化时，参数k需要重新调整以避免果实区域的过分割或欠分割问题。Zhao等(Zhao CY,Lee WS,He DJ.Immature green citrusdetection based on colour feature and sum of absolute transformed difference(SATD)using colour images in the citrus grove.Computers and Electronics inAgriculture,2016,124:243-253)提出融合RB色差图和基于绝对值求和函数块匹配算法的柑橘果实区域分割方法，并利用最优灰度共生矩阵识别果实区域。Lu等(Lu J,SangN.Detecting citrus fruits and occlusion recovery under natural illuminationconditions.Computers and Electronics in Agriculture,2015,110:121-130)结合RB色差图和归一化的RGB模型分割成熟柑橘果实区域，通过Canny算子提取果实区域的轮廓线，并利用椭圆拟合法融合分散的果实轮廓线以检测遮挡果实。但上述RB色差图会导致分割结果中存在过多的背景像素，影响成熟柑橘果实区域的准确提取。Kurtulmus等(KurtulmusF,Lee WS,Vardar A.Green citrus detection using‘eigenfruit’,color and circularGabor texture features under natural outdoor conditions.Computers andElectronics in Agriculture,2011,78(2):140-149)采用多尺度滑窗法扫描整幅输入图像，结合色彩信息和圆形Gabor滤波算法，提出eigenfruit特征识别柑橘区域。Sengupta等(Sengupta S,Lee WS.Identification and determination of the number of immaturegreen citrus fruit in a canopy under different ambient lightconditions.Biosystems Engineering,2014,117:51-61)结合Canny算子和Hough变换提取果实区域，通过边缘形状、纹理特征和尺度不变特征变换(Scale Invariant FeatureTransform,SIFT)检测果实。然而，上述多尺度滑窗法、Canny算子、Hough变换和SIFT算法的计算复杂度均较高，会影响果实检测的实时性。
综上所述，尽管目前基于单目视觉成像系统的果实检测方法已经取得一定的成效，但是在光照条件不断变化的自然场景中，针对多果粘连、场景参与物遮挡问题的柑橘果实快速可靠检测方法仍有待进一步的改进。
发明内容
本发明的目的在于提供一种树上柑橘果实检测方法，旨在改善面向机器视觉技术的柑橘检测系统的自适应性、准确性和实时性。本发明通过如下技术方案实现。
树上柑橘果实检测方法，其包括如下步骤：
(1)融合输入图像亮度分量V的全局和局部信息熵分析图像的光照分布特性，根据图像局部光照均匀性指标对V执行分块局部同态滤波(Block-based Local HomomorphicFiltering,BLHF)，形成光照分布均匀的亮度分量V'，并结合原色调与色饱和度信息合成处理后的RGB图像I'RGB；
(2)通过自适应增强RG色差法(Adaptive Enhanced Red and Green ChromaticMap,AERGCM)从I'RGB中提取红绿色差图IARG；阈值化IARG得到二值图像I'ARG，通过数学形态学方法处理I'ARG，提取前景图像T；
(3)采用标记控制分水岭变换(Markers Controlled Watershed Transform,MCWT)和凸壳理论(Convex Hull Theory,CHT)提取独立候选柑橘果实区域(SeparatedRegions of Interest,SROIs)；
(4)提取所有独立候选柑橘果实区域SROIs的直方图式描述特征，利用基于直方图交叉核(Histogram Intersection Kernel,HIK)的支持向量机(Support Vector Machine,SVM)识别树上柑橘，完成果实定位。
进一步的，步骤(1)所述输入图像亮度分量V通过将输入RGB图像变换到HSV颜色空间中，提取其亮度成分获得。
进一步的，步骤(1)所述分析图像的光照分布特性通过以下方法获得：将V等分成m×n个子块Bij(i＝1,2,…,m；j＝1,2,…,n)，计算V的全局信息熵E0和每个子块Bij的局部信息熵Eij；若Eij与E0的比值低于阈值a(0<a≤1)且E0大于阈值b(0<b≤8)，表明输入RGB图像的子块Bij存在局部光照不均匀现象。
进一步的，步骤(1)所述分块局部同态滤波(Block-based Local HomomorphicFiltering,BLHF)为如下处理：对局部光照不均匀的V的子块，进行频率域同态滤波处理；对局部光照均匀的V的子块Bij，不进行频率域同态滤波处理；处理后的V的所有子块图像B′ij(i＝1,2,…,m；j＝1,2,…,n)合并成亮度分量V'，并结合原色调H和色饱和度S分量形成新RGB图像I'RGB。
进一步的，步骤(2)所述自适应增强RG色差法(Adaptive Enhanced Red andGreen Chromatic Map,AERGCM)为如下处理：提取I'RGB的R与G分量，利用红绿分量强度的比值衡量红绿颜色灰度差异并将该比值作为系数加权到红色分量中，通过加权后红色分量与绿色分量的差值提高R分量的影响并减弱G分量的影响，获得高对比度RG色差图IARG。
进一步的，步骤(2)所述前景图像T通过以下方法获得：通过阈值化处理获得IARG的二值图像I'ARG，前景目标像素为白色、背景像素为黑色；采用形态学腐蚀运算滤除I'ARG中的噪声像素，采用形态学膨胀运算补充前景目标的局部弱连接像素，采用孔洞填充处理所有前景目标内部的背景像素。
进一步的，步骤(3)所述通过标记控制分水岭变换(Markers ControlledWatershed Transform,MCWT)和凸壳理论(Convex Hull Theory,CHT)提取独立候选柑橘果实区域SROIs(Separated Regions of Interest,SROIs)为如下处理：基于前景图像T和连通邻域标记准则，通过标记控制分水岭变换MCWT进一步分割多果粘连或相互遮挡的柑橘果实区域，利用凸壳理论CHT处理因背景遮挡导致的柑橘果实区域的欠分割。
进一步的，步骤(4)所述直方图式描述特征通过图像全局和/或局部纹理和/或边缘形状描述符的统计分布获得；步骤(4)所述支持向量机(Support Vector Machine,SVM)通过离线和/或在线收集包含柑橘和不包含柑橘的图片样本构成训练样本集，提取训练样本集的直方图式描述特征，采用基于直方图交叉核(Histogram Intersection Kernel,HIK)的SVM训练所得。
进一步的，步骤(4)所述识别树上柑橘，完成果实定位通过以下方法获得：从测试图像中分割出独立候选柑橘果实区域SROIs，提取SROIs的直方图式描述特征，采用离线训练所得的支持向量机SVM分类器进行判断，通过判别为柑橘的SROIs的区域质心及其外边界周长完成果实定位。
本发明的有益效果是：(1)基于局部和全局信息熵的分块局部同态滤波可以改善输入图像的光照不均匀现象，并且有利于避免对光照均匀图像的“过度曝光”处理效果；(2)自适应增强RG色差图能最大化接近成熟和/或成熟柑橘果实与背景之间的颜色差异，获得高对比度的前景/背景色差图，有利于提高基于色差图的阈值化处理效果；(3)结合标记控制分水岭变换与凸壳理论的二次前景目标分割，有利于分离粘连果实区域，避免果实的漏识别问题，并能缓解阈值化处理环节产生的过分割现象；(4)基于图像全局和/或局部直方图式描述特征的HIKSVM有利于进一步过滤干扰背景，提高果实区域检测结果的可靠性。
附图说明
图1为实施方式中树上柑橘果实检测流程的实施例图。
图2为实施方式中图像的一种分块划分方式实施例图。
图3a为实施方式中一副光照不均匀图像的实施例图。
图3b为实施方式中图3a所示图像经分块局部同态滤波算法处理后的效果实施例图。
图3c为实施方式中一副光照均匀图像的实施例图。
图3d为实施方式中图3c所用图像经分块局部同态滤波算法处理后的效果实施例图。
图4a为实施方式中图3b所示图像的RG色差法处理效果实施例图。
图4b为实施方式中图3b所示图像的自适应增强RG色差法处理效果实施例图。
图4c为实施方式中图3d所示图像的RG色差法处理效果实施例图。
图4d为实施方式中图3d所示图像的自适应增强RG色差法处理效果实施例图。
图5a为实施方式中图4b所示图像的阈值化与形态学处理效果实施例图。
图5b为实施方式中图4d所示图像的阈值化与形态学处理效果实施例图。
图6a为实施方式中图3b和图5a所示图像的乘积经标记控制分水岭变换处理后的效果实施例图。
图6b为实施方式中图6a所示图像经过凸壳理论处理后的效果实施例图。
图6c为实施方式中图3d和图5b所示图像的乘积经标记控制分水岭变换处理后的效果实施例图。
图6d为实施方式中图6c所示图像经过凸壳理论处理后的效果实施例图。
图7a为实施方式中图3a所示图像的柑橘检测结果实施例图。
图7b为实施方式中图3c所示图像的柑橘检测结果实施例图。
具体实施方式
以下结合附图给出详细的实施例操作过程。附图所示实施例以本发明技术方案为前提，附图所述的实施例属于但不限于本发明保护范围。本发明方法的整体流程如图1所示。1、分块局部同态滤波
在消除输入RGB图像IRGB的光照不均匀现象时，为了不改变原始图像的色彩信息，本发明将IRGB由RGB颜色空间变换到HSV颜色空间，提取对应HSV图像IHSV的亮度分量V，仅对V执行光照补偿，而保持色调分量H和色饱和度分量S不变。设V的分辨率为M×N，根据公式(1)计算V的全局信息熵E0。
其中，L为V的灰度级数，nk为V中灰度级为rk的像素数。特别地，若图像V中的灰度级ri缺失，则规定
p(ri)log[p(ri)]＝0,i∈{0,1,...,L-1} (3)
进一步，将V等分成m×n个图像子块，图2显示了一种分块划分方式。设子块Bij(i＝1,2,…,m；j＝1,2,…,n)的尺寸为r×c，根据公式(4)可计算Bij的局部信息熵Eij。
其中，Lij为Bij的有效灰度级数，nl为第rl个有效灰度级包含的像素数。
若Eij与E0的比值低于阈值a(0<a≤1)且E0大于阈值b(0<b≤8)，表明IRGB的子块Bij存在局部光照不均匀现象。其中，参数a和b由与果实检测任务相关的图像数据确定。如，本实施例中，参数a和b是在柑橘图像的训练集上通过5重交叉验证得到的。
进一步，对评估结果为局部光照不均匀的V的子块Bij，采用局部同态滤波进行处理；对评估结果为局部光照均匀的V的子块Bij，则不进行局部同态滤波处理。本实施例中，通过由公式(6)决定的频率域高斯滤波器实现同态滤波处理。
其中，u和v是傅里叶变换后V的空间域变量所对应的频率域变量，δH和δL为控制高斯滤波幅度的参数，λ为控制高斯滤波器形态的参数，D0为截止频率，P和Q是Bij经过周期延拓后的图像尺寸，且满足
P≥2r-1 (8)
Q≥2c-1 (9)
本实施例中取P＝2r和Q＝2c，V的所有子块均经过上述处理后，将所有处理后的子块图像B′ij按分块划分的顺序合并成新亮度分量V'，该分量与IHSV中的H和S分量重新组成新HSV图像I'HSV，并将其转换成对应的新RGB图像I'RGB。
图3给出了分块局部同态滤波前后的处理效果对比图。图3a为一副光照不均匀的图像，其分块局部同态滤波BLHF处理效果如图3b所示，可看出滤波后原图像的阴暗区域显示出了更多的细节信息，局部光照情况得到了显著的改善；图3c为一副光照均匀的图像，其BLHF处理效果如图3d所示，可以看出BLHF处理前后的图像差别极小，这是因为图3c并不存在光照不均匀现象，无需进行同态滤波处理，所以本发明的分块局部同态滤波法在改善图像光照分布的同时，还有利于避免“过度曝光”现象的发生。
2、复杂场景中基于色彩信息的前景分割
一般来说，从柑橘园中采集的树上柑橘图像，包含柑橘果实、树干、树枝、叶片、天空、土壤、杂草和草地等众多参与物，场景复杂度较高。通常不同参与物之间会呈现出不同的颜色外观，所以RGB空间中不同颜色分量携带的色彩信息有利于区分不同的场景参与物。接近成熟或成熟柑橘果实的外观呈现出橙黄色表观特征，与其它场景参与物之间存在一定差异，红绿(RG)色差法有利于提取场景中的柑橘果实。然而，传统的RG色差法会受到场景中红绿颜色强度存在一定差距的其它背景参与物的干扰，所得RG色差图会出现前景(柑橘)与背景(其它场景参与物)之间对比度不够高的现象，当前景与背景区域相互粘连时，容易导致后续阈值化处理中前景目标的过分割问题。为此，提出一种自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)，通过I'RGB中红色分量R与绿色分量G的比值ρ来衡量每个像素点的红绿颜色分布差异，将其作为增强R分量的权重系数，以增强红绿颜色存在显著强度差异的前景区域像素，并抑制红绿颜色强度差异较小或不太显著的背景区域像素，从而提高RG色差图的前景与背景对比度。由公式(8)可获得一副自适应增强RG色差图IARG。
IARG＝ρ×R-G (10)
为避免I'RGB中因部分像素点绿色信息G缺失而导致RG比值ρ溢出的问题，本发明作如下规定
其中，b是一个衡量RGB图像位图信息的常数，如某RGB图像的最大灰度级为255，那么b＝8。
图4给出了RG色差法和自适应增强RG色差法AERGCM处理前后的效果对比图。图4a为图3b所示图像的RG色差法处理效果，图4b为图3b所示图像的AERGCM色差法处理效果；图4c为图3d所示图像的RG色差法处理效果，图4d为图3d所示图像的AERGCM色差法处理效果。从实施例中可以看出自适应增强RG色差图中前景与背景的对比度明显高于RG色差图。
进一步，采用阈值化算法处理IARG得到二值图像I'ARG，并采用数学形态学膨胀、腐蚀和孔洞填充运算处理I'ARG，获得前景图像T。图5a为图4b所示图像的阈值化与数学形态学处理效果图；图5b为图4d所示图像的阈值化与数学形态学处理效果图。
3、多果粘连和/或遮挡果实区域的提取
为了解决图像中可能存在的多果粘连或相互遮挡问题，本发明通过标记控制分水岭变换(Marker Controlled Watershed Transform,MCWT)分离出粘连和/或相互遮挡的果实区域，处理过程如下：根据前景图像T和8-连通邻域标记准则从V'中提取潜在的柑橘果实图像IROIs(即所有前景目标组成的图像)；采用微分算子计算IROIs的梯度图像GROIs；基于形态学开运算的重构方法处理IROIs，获得前景重构图像I'ROIs，从中提取前景目标标记；基于形态学闭运算和腐蚀运算的重构方法处理I'ROIs，获得背景重构图像I″ROIs，从中提取背景目标标记；基于上述标记控制的I'ROIs和I'ROIs修改GROIs，使得GROIs在前景和背景目标标记处达到局部极小，从而得到处理后的梯度图像G'ROIs，最后对G'ROIs执行分水岭变换。图6a和图6c为标记控制分水岭变换MCWT处理后的分割效果图。图6a是对图3b和图5a所示图像的乘积结果经MCWT处理后的效果图；图6c是对图3d和图5b所示图像的乘积结果经MCWT处理后的效果图。
引入标记控制的思想有利于解决传统分水岭变换的过分割问题，这种过分割主要是由多果粘连或相互遮挡现象较为严重时引起的。此外，柑橘果实还可能被叶片、树枝和/或树干等场景参与物遮挡，所得的分割结果会存在由这些背景目标引起的欠分割现象，如图6a和图6c所示，MCWT对部分柑橘果实内部区域的分割并不完整，这会影响后续对果实区域定位的准确度。针对该问题，本发明基于凸壳理论(Convex Hull Theory,CHT)提取已分割目标的连续光滑外轮廓曲线，并填充该轮廓曲线内部的所有像素，以缓解因背景目标遮挡导致柑橘果实区域的欠分割现象，由此获得若干独立候选柑橘果实区域SROIs(Separated Regions of Interest,SROIs)。图6b为图6a所示图像经凸壳理论处理后的效果图；图6d为图6c所示图像经凸壳理论处理后的效果图。
4、柑橘果实区域识别
场景中可能存在部分与柑橘果实色彩特征相近的背景区域，为了进一步滤除这些区域，采用直方图式描述子提取独立候选柑橘果实区域SROIs的特征。直方图交叉核(Histogram Intersection Kernel,HIK)有利于描述两个直方图式特征向量之间的相似度，两个D维特征向量F1和F2之间的HIK映射关系K(F1,F2)可表示为
其中，F1(i)表示特征向量F1中第i个维度上的属性值，F2(i)表示特征向量F2中第i个维度上的属性值。
本发明采用基于HIK的支持向量机(Support Vector Machine,SVM)识别柑橘果实区域，与其它类型的核映射函数相比，HIK可最大化直方图式特征向量的识别性能。识别环节包含两个部分，分别为柑橘分类器的离线训练和树上柑橘的在线识别。
(1)柑橘分类器的离线训练
从图像序列中提取若干包含柑橘果实的图像区域组成正训练样本集，从不包含柑橘果实的场景图像序列中随机提取若干背景图像区域组成负训练样本集。本实施例中通过局部二值模式(Local Binary Pattern,LBP)描述正负训练样本集的局部纹理特征，采用基于HIK的SVM算法离线训练柑橘分类器。
(2)树上柑橘的在线识别
对输入的待测试RGB图像，依次通过上述步骤1～3处理后，可以从图像中提取独立候选柑橘果实区域SROIs，本实施例中提取这些SROIs的局部二值LBP特征，将其输入离线训练得到的柑橘分类器中进行识别。
若某SROIs被柑橘分类器识别为正类，则提取该区域所有像素坐标的平均值作为区域质心，根据该区域外边界的周长L估算区域半径r＝L/(2×π)，从而完成对柑橘果实的定位；若某SROIs被柑橘分类器识别为负类，则直接将其滤除。此外，本实施例中的测试图像均在指定距离范围内成像所得，大部分树上柑橘果实区域的面积也落在某个指定范围中，所以在最终检测结果中过滤了面积较小和较大的SROIs。图7a为图3a所示图像的树上柑橘检测效果图；图7b为图3c所示图像的树上柑橘检测效果图。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于这些内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。
Claims (6)
1.一种树上柑橘果实检测方法，其特征在于包括如下步骤：
(1)融合输入图像亮度分量V的全局和局部信息熵分析图像的光照分布特性，根据图像局部光照均匀性指标对V执行分块局部同态滤波(Block-based Local HomomorphicFiltering,BLHF)，形成光照分布均匀的亮度分量V'，并结合原色调与色饱和度信息合成处理后的RGB图像I'RGB；
所述分析图像的光照分布特性通过以下方法获得：将V等分成m×n个子块，计算V的全局信息熵E0和每个子块Bij(i＝1,2,…,m；j＝1,2,…,n)的局部信息熵Eij；若Eij与E0的比值低于阈值a(0<a≤1)且E0大于阈值b(0<b≤8)，表明输入RGB图像的子块Bij存在局部光照不均匀现象；其中，参数a和b由与果实检测任务相关的图像数据确定；
所述分块局部同态滤波(Block-based Local Homomorphic Filtering,BLHF)为如下处理：对局部光照不均匀的V的子块Bij，进行频率域同态滤波处理；对局部光照均匀的V的子块Bij，不进行频率域同态滤波处理；处理后的V的所有子块图像Bi'j(i＝1,2,…,m；j＝1,2,…,n)合并成亮度分量V'，并结合原色调H和色饱和度S分量形成新RGB图像I'RGB；
(2)通过自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)从I'RGB中提取红绿色差图IARG；阈值化IARG得到二值图像I'ARG，通过数学形态学方法处理I'ARG，提取前景图像T；
所述自适应增强RG色差法(Adaptive Enhanced Red and Green Chromatic Map,AERGCM)为如下处理：提取I'RGB的R与G分量，利用红绿分量强度的比值衡量红绿颜色灰度差异并将该比值作为系数加权到红色分量中，通过加权后红色分量与绿色分量的差值提高R分量的影响并减弱G分量的影响，获得高对比度RG色差图IARG；
(3)采用标记控制分水岭变换(Markers Controlled Watershed Transform,MCWT)和凸壳理论(Convex Hull Theory,CHT)提取独立候选柑橘果实区域(SeparatedRegionsofInterest,SROIs)；
(4)提取所有独立候选柑橘果实区域SROIs的直方图式描述特征，利用基于直方图交叉核(Histogram Intersection Kernel,HIK)的支持向量机(Support Vector Machine,SVM)识别树上柑橘，完成果实定位。
2.根据权利要求1所述树上柑橘果实检测方法，其特征在于：步骤(1)所述输入图像亮度分量V通过将输入RGB图像变换到HSV颜色空间中，提取其亮度成分获得。
3.根据权利要求1所述树上柑橘果实检测方法，其特征在于：步骤(2)所述前景图像T通过以下方法获得：通过阈值化处理获得IARG的二值图像I'ARG，前景目标像素为白色、背景像素为黑色；采用形态学腐蚀运算滤除I'ARG中的噪声像素，采用形态学膨胀运算补充前景目标的局部弱连接像素，采用孔洞填充处理所有前景目标内部的背景像素。
4.根据权利要求1所述树上柑橘果实检测方法，其特征在于：步骤(3)所述通过标记控制分水岭变换(Markers Controlled Watershed Transform,MCWT)和凸壳理论(ConvexHull Theory,CHT)提取独立候选柑橘果实区域SROIs(SeparatedRegionsofInterest,SROIs)为如下处理：基于前景图像T和连通邻域标记准则，通过标记控制分水岭变换MCWT进一步分割多果粘连或相互遮挡的柑橘果实区域，利用凸壳理论CHT处理因背景遮挡导致的柑橘果实区域的欠分割。
5.根据权利要求1所述树上柑橘果实检测方法，其特征在于：步骤(4)所述直方图式描述特征通过图像全局和/或局部纹理和/或边缘形状描述符的统计分布获得；步骤(4)所述支持向量机(Support Vector Machine,SVM)通过离线和/或在线收集包含柑橘和不包含柑橘的图片样本构成训练样本集，提取训练样本集的直方图式描述特征，采用基于直方图交叉核(Histogram Intersection Kernel,HIK)的SVM训练所得。
6.根据权利要求5所述树上柑橘果实检测方法，其特征在于：步骤(4)所述识别树上柑橘，完成果实定位通过以下方法获得：从测试图像中分割出独立候选柑橘果实区域SROIs，提取SROIs的直方图式描述特征，采用离线训练所得的支持向量机SVM分类器进行判断，通过判别为柑橘的SROIs的区域质心及其外边界周长完成果实定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810055933.9A CN108319973B (zh) | 2018-01-18 | 2018-01-18 | 一种树上柑橘果实检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810055933.9A CN108319973B (zh) | 2018-01-18 | 2018-01-18 | 一种树上柑橘果实检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108319973A CN108319973A (zh) | 2018-07-24 |
| CN108319973B true CN108319973B (zh) | 2022-01-28 |
Family
ID=62887728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810055933.9A Active CN108319973B (zh) | 2018-01-18 | 2018-01-18 | 一种树上柑橘果实检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108319973B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472767B (zh) * | 2018-09-07 | 2022-02-08 | 浙江大丰实业股份有限公司 | 舞台灯具缺失状态分析系统 |
| CN109359531B (zh) * | 2018-09-12 | 2021-12-14 | 仲恺农业工程学院 | 一种面向自然场景的果实采收区域自动定位方法 |
| CN109522899B (zh) * | 2018-10-16 | 2021-10-15 | 航天新气象科技有限公司 | 咖啡成熟果实的检测方法、装置及电子设备 |
| CN109220225A (zh) * | 2018-10-22 | 2019-01-18 | 湖北理工学院 | 一种全自动水果采摘装置 |
| CN109658360B (zh) * | 2018-12-25 | 2021-06-22 | 北京旷视科技有限公司 | 图像处理的方法、装置、电子设备和计算机存储介质 |
| CN111369491B (zh) * | 2018-12-25 | 2023-06-30 | 宁波舜宇光电信息有限公司 | 图像污点检测方法、装置、系统及存储介质 |
| CN110751615B (zh) * | 2019-08-29 | 2021-06-08 | 浙江工业大学 | 基于环境感知的立体树木图像融合方法 |
| CN110852186B (zh) * | 2019-10-22 | 2023-05-23 | 华南农业大学 | 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统 |
| CN110853097A (zh) * | 2019-11-08 | 2020-02-28 | 磐柔(厦门)科技有限公司 | 一种应用于饼干表面图案打印设备的饼干识别定位方法 |
| CN111325767B (zh) * | 2020-02-17 | 2023-06-02 | 杭州电子科技大学 | 基于真实场景的柑橘果树图像集合的合成方法 |
| CN113361315B (zh) * | 2021-02-23 | 2021-12-07 | 仲恺农业工程学院 | 基于背景饱和度压缩与差异阈值分割融合的香蕉串识别方法 |
| CN113191347B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于圆形完整度修正的柑橘识别方法 |
| CN113192129B (zh) * | 2021-05-25 | 2022-03-25 | 广东技术师范大学 | 一种基于深度卷积神经网络模型的粘连柑橘的定位方法 |
| CN113533581B (zh) * | 2021-08-11 | 2022-08-02 | 贵州中烟工业有限责任公司 | 基于信息熵分析物质质量的方法及计算机可读存储介质 |
| CN114240866B (zh) * | 2021-12-09 | 2022-07-08 | 广东省农业科学院环境园艺研究所 | 基于二维图像与三维生长信息的组培苗分级方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419710A (zh) * | 2008-12-12 | 2009-04-29 | 中国科学院遥感应用研究所 | 一种灰度图像的分割方法 |
| CN106067173A (zh) * | 2016-05-30 | 2016-11-02 | 湖南生物机电职业技术学院 | 柑橘果实糖度的复杂性测度无损检测方法 |
-
2018
- 2018-01-18 CN CN201810055933.9A patent/CN108319973B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419710A (zh) * | 2008-12-12 | 2009-04-29 | 中国科学院遥感应用研究所 | 一种灰度图像的分割方法 |
| CN106067173A (zh) * | 2016-05-30 | 2016-11-02 | 湖南生物机电职业技术学院 | 柑橘果实糖度的复杂性测度无损检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| A novel landmine detection process using Karhunen Loeve Transform and;Aseel O Ajlouni et al.;《International Journal of Signal and Imaging Systems Engineering》;20100831;第1-10页 * |
| Immature green citrus detection based on colour feature and sum;Chuanyuan Zhao;《Computers and Electronics in Agriculture》;20160426;第243-253页 * |
| 基于凸壳理论的遮挡苹果目标识别与定位方法;宋怀波;《农业工程学报》;20121130;第28卷(第22期);第174-180页 * |
| 基于改进标记控制分水岭方法的树冠轮廓提取;党文静等;《宿州学院学报》;20171231;第32卷(第12期);第101-104页 * |
| 多特征融合和交叉核SVM的测量检测方法;胡庆新;《合 肥 工 业 大 学 学 报 （自 然 科 学 版 ）》;20160131;第39卷(第1期);第84-89页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108319973A (zh) | 2018-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108319973B (zh) | 一种树上柑橘果实检测方法 | |
| CN107578035B (zh) | 基于超像素-多色彩空间的人体轮廓提取方法 | |
| CN107610114B (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
| Zhao et al. | Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove | |
| CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
| CN105023008B (zh) | 基于视觉显著性及多特征的行人再识别方法 | |
| CN102496016B (zh) | 一种基于时空协同框架的红外目标检测方法 | |
| CN104794502A (zh) | 一种基于图像处理和模式识别技术的稻瘟病孢子显微图像识别方法 | |
| CN104103082A (zh) | 一种基于区域描述和先验知识的图像显著性检测方法 | |
| CN108563979B (zh) | 一种基于航拍农田图像判别水稻稻瘟病病情的方法 | |
| Masood et al. | Plants disease segmentation using image processing | |
| CN110728302A (zh) | 一种基于HSV和Lab颜色空间的色纺织物组织识别的方法 | |
| CN109978848A (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| Feng et al. | A separating method of adjacent apples based on machine vision and chain code information | |
| Tiwari et al. | A survey on shadow detection and removal in images and video sequences | |
| Wu et al. | Strong shadow removal via patch-based shadow edge detection | |
| CN111259756A (zh) | 基于局部高频次特征和混合度量学习的行人重识别方法 | |
| CN108921857A (zh) | 一种面向监视场景的视频图像焦点区域分割方法 | |
| Changhui et al. | Overlapped fruit recognition for citrus harvesting robot in natural scenes | |
| Abdusalomov et al. | An improvement for the foreground recognition method using shadow removal technique for indoor environments | |
| CN107103301B (zh) | 视频目标时空最大稳定性判别性颜色区域匹配方法和系统 | |
| Hu et al. | Fast face detection based on skin color segmentation using single chrominance Cr | |
| CN114581658A (zh) | 一种基于计算机视觉的目标检测方法及装置 | |
| Wang et al. | An efficient method of shadow elimination based on image region information in HSV color space | |
| PL | A study on various image processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |