CN109255757A - 一种机器视觉自然放置葡萄串果梗区域分割方法 - Google Patents
一种机器视觉自然放置葡萄串果梗区域分割方法 Download PDFInfo
- Publication number
- CN109255757A CN109255757A CN201810376317.3A CN201810376317A CN109255757A CN 109255757 A CN109255757 A CN 109255757A CN 201810376317 A CN201810376317 A CN 201810376317A CN 109255757 A CN109255757 A CN 109255757A
- Authority
- CN
- China
- Prior art keywords
- grape
- edge
- pixel
- carpopodium
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 198
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 198
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 198
- 230000011218 segmentation Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 63
- 240000006365 Vitis vinifera Species 0.000 title 1
- 241000219095 Vitis Species 0.000 claims abstract description 197
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 58
- 238000009826 distribution Methods 0.000 claims abstract description 56
- 238000013461 design Methods 0.000 claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims abstract description 26
- 230000000877 morphologic effect Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 240000000560 Citrus x paradisi Species 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 239000012535 impurity Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 240000000249 Morus alba Species 0.000 claims 1
- 235000008708 Morus alba Nutrition 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 abstract description 2
- 230000005855 radiation Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 9
- 230000001788 irregular Effects 0.000 description 6
- 235000011430 Malus pumila Nutrition 0.000 description 5
- 235000015103 Malus silvestris Nutrition 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 244000099147 Ananas comosus Species 0.000 description 2
- 235000007119 Ananas comosus Nutrition 0.000 description 2
- 241000220225 Malus Species 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000220324 Pyrus Species 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000021017 pears Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001164374 Calyx Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 1
- 240000001008 Dimocarpus longan Species 0.000 description 1
- 235000000235 Euphoria longan Nutrition 0.000 description 1
- 208000006877 Insect Bites and Stings Diseases 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机器视觉自然放置葡萄串果梗区域分割方法，首先采用多自由度支架构建双目视觉系统，并设计漫反射光源对射的照射方式，获取葡萄串图像。接着，在HSI模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用LOG核函数对葡萄串图像进行边缘锐化。接着，从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点，并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作。最终，实现机器视觉对自然放置葡萄串果梗区域的高精度、高效率分割。
Description
技术领域
本发明涉及基于机器视觉的图像分割领域，尤其涉及基于机器视觉和图像处理、针对自然放置葡萄串的果梗区域分割方法，用于机器人实现自动分拣。
背景技术
近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求，基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义。在基于机器人的水果自动分拣过程中，抓取点的准确定位是机器人实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取点定位问题。在基于机器视觉的抓取点定位过程中，果梗区域的分割是其中重要的一部分，也是难点所在。果梗区域分割的速度与准确度直接影响整个抓取点定位的精度和效率。与苹果、梨、菠萝等独立水果相比，形如葡萄、桂圆、荔枝等串类水果由于其形态多样、果粒较多且易损、图像边缘复杂等原因，其果梗区域的分割仍是难点。
文献《基于高光谱成像的苹果虫伤缺陷与果梗/花萼识别方法》(田有文,程怡等.农业工程学报，2015，31(04)：325-331)提出了利用高光谱成像技术，基于感兴趣区域的光谱曲线和纹理特征的阈值分割方法，可实现对苹果的果梗区域进行提取分割。虽然针对苹果的果梗识别效果较好，但是由于高光谱成像技术的需要，其成本较高，且时间较长。同时区别于类似苹果、梨、菠萝等独立水果，串类水果的果梗形态各异，且分布不规律，文中方法并不适用。
文献《基于机器视觉的自然环境中成熟荔枝识别》(熊俊涛，邹湘军等.农业机械学报，2011，42(09)：162-166)提出了一种结合一维随机信号直方图分析法与模糊C均值聚类法的果梗识别方法，通过分析水果彩色图像的颜色和灰度特征，并结合形态学和阈值分割，实现果梗和果实的分割计算。虽然在不同光照条件下均能实现果梗的有效分割，但其检测对象要求背景简单，且方法的运算较复杂，耗时较长，不太适用于实时的果梗区域分割计算。同时对于不同形态的串类水果，其检测精度有所差异，适应性不能满足要求。
现有的区域分割方法有阈值分割法、轮廓分割法、模糊C均值聚类法、贝叶斯判别分析法、形态学法等，其中形态学法由于简单高效，得到广泛使用。但现有的形态学方法均采用固定卷积核对图像进行处理。而葡萄串具有果梗和果粒分布无规律、葡萄串形态多样等特征，采用现有的形态学方法，易出现过检和漏检的情况。因此本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，根据自然放置葡萄串的边缘分布图，计算葡萄边缘距离分割点并设计形态学卷积核，能够实现机器视觉对葡萄串果梗区域的准确快速分割。
发明内容
针对自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。接着，为提高图像边缘对比度并降低噪声影响，在HSI模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用LOG核函数对葡萄串图像进行边缘锐化。接着，针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。同时针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，提高计算速度。最终，实现机器视觉对自然放置葡萄串果梗区域的高精度、高效率分割。
本发明采用的技术方案是采用如下步骤：
(1)基于双目视觉的葡萄串图像采集：本发明根据机器人的串类水果分拣平台设计构建图像采集系统。通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置。同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射，以提高图像质量。
(2)HSI模型下的葡萄串图像边缘锐化：针对传感器成像导致RGB分量易含有噪声的问题，采用以视觉角度定义的HSI颜色模型，并采用通过RGB分量求均值的方式计算的HSI模型的亮度图像I进行处理。之后针对图像质量不佳，具有噪声以及对比度不好的问题，采用中值滤波和Laplacian of Gaussian(LOG)核函数相结合的方式对图像进行处理，抑制叠加在图像上的高斯噪声，并采用Laplace算子锐化图像边缘，得到噪声有明显降低，葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的图像。
(3)采用最小邻域迭代计算葡萄串边缘距离分布：针对根据灰度直方图分割获取的含有葡萄果粒、果梗等多个分散边缘区域的葡萄串边缘二值图像，为提高分割精度，从葡萄串边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析法逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄串边缘距离，统计所有葡萄串边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。
(4)葡萄串图像果梗区域分割：针对自然放置葡萄果梗果粒分布不一致导致的基于传统具有固定卷积核的形态学方法的果梗分割精度较低的问题，提出可自适应选取卷积核尺寸的果梗分割方法。根据葡萄串边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核。根据获取的自适应形态学卷积核实现葡萄串图像果梗区域的分割。
本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，通过采用上述技术方案后，其具有以下有益效果：
1、针对获取的自然放置葡萄串图像噪声较多，对葡萄串前景区域的边缘检测影响较大的问题，本发明在图像边缘锐化部分，采用以视觉角度定义的HSI颜色模型，通过RGB分量求均值的方式计算HSI模型的亮度图像I，在转换的同时实现均值滤波，降低了由于传感器成像所导致的RGB分量的噪声影响。同时，在锐化之前，先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。并采用(LOG)核函数对图像进行处理，抑制叠加在图像上的高斯噪声。
2、针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现自然放置葡萄串果梗区域的准确快速分割。
3、针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，对其中占主要时间的非连通域标记的现有行程分析方法进行改进。当与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升。
附图说明
以下结合附图和具体实施方式对本发明作进一步详细说明。
图1为获取自然放置葡萄串图像的机器视觉硬件平台。
图2为自然放置葡萄串原始图像。
图3为本发明机器视觉的基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法流程图。
图4为HSI模型的亮度图像I。
图5为直接对图像进行锐化处理的结果图。
图6为采用本发明方法对葡萄串图像进行边缘锐化的结果图。
图7为葡萄串边缘二值图像。
图8为边缘距离计算流程图。
图9为第i像素的边缘距离计算示例图。
图10为葡萄边缘区域分布图。其中：图10a为滤波前的葡萄边缘区域分布图，图10b为滤波后的葡萄边缘区域分布图。
图11为自适应卷积核的形态学close运算后的葡萄串图像。
图12为采用本发明方法分割得到的葡萄串果梗区域。
图13为葡萄串类别代表图。图13a为S类；图13b为C类；
图14为不同尺寸卷积核的形态学处理结果图。其中：图14a为卷积核偏大时处理结果图，图14b为卷积核偏小时处理结果图，图14c为卷积核合适时处理结果图。
具体实施方式
下面结合附图进一步说明书本发明具体实施方式。
针对自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。根据机器人的串类水果分拣平台设计构建图像采集系统。通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置；同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射。
接着，为提高图像边缘对比度并降低噪声影响，在HSI模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用LOG核函数对葡萄串图像进行边缘锐化。针对传感器成像导致RGB分量易含有噪声的问题，采用以视觉角度定义的HSI颜色模型，并采用通过RGB分量求均值的方式计算的HSI模型的亮度图像I进行处理。之后针对图像质量不佳，具有噪声以及对比度不好的问题，采用中值滤波和Laplacian of Gaussian(LOG)核函数相结合的方式对图像进行处理，抑制叠加在图像上的高斯噪声，并采用Laplace算子锐化图像边缘，得到噪声有明显降低，葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的图像。
针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。
葡萄串图像果梗区域分割：针对自然放置葡萄果梗果粒分布不一致导致的基于传统具有固定卷积核的形态学方法的果梗分割精度较低的问题，提出可自适应选取卷积核尺寸的果梗分割方法。根据葡萄串边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核。根据获取的自适应形态学卷积核实现葡萄串图像果梗区域的分割。
具体实施方式以本课题组研发的机器人串类水果分拣平台为基础、白罗莎葡萄为检测对象进行描述。参见图1，本发明基于机器人分拣系统构建自然放置葡萄串图像获取的视觉硬件平台。
其具体步骤如下：
1.参见图1和图3：基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件。根据分拣机器人平台的空间可抓取范围设定视觉检测视场FOVl*FOVw和特征分辨率Δwl*Δww。基于式(1)求得相机的传感器像素尺寸Pl*Pw，并基于Pl*Pw选择满足要求的CMOS相机。根据分拣机器人平台的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。
其中FOVi为视场的长或宽，Δwi为长或宽方向上的特征分辨率，WD为物距，MD为像距，f为焦距，CSi为传感器靶面尺寸的长或宽，单位均为mm；Pi为传感器像素尺寸的长或宽，单位为像素。
根据分拣机器人平台的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm2，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的CMOS相机，焦距为12mm的Basler镜头。同时基于自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。
参见图2：分拣机器人系统采集的自然放置葡萄串的彩色图像，葡萄串分为果粒和果梗两部分，其中果梗部分包括了主果梗、次果梗、果蒂等。根据葡萄的生长特性，其主果梗具有较好的韧性，对主果梗进行抓取，可以使葡萄串受到的损伤最小，实现稳定有效的葡萄串自动抓取。
2.参见图3，采用以视觉角度定义的HSI颜色模型，如式(4)所示，通过RGB分量求均值的方式计算HSI模型的亮度图像I，在转换的同时实现均值滤波。参见图4，I分量的前景葡萄与背景有较好的对比度，降低了由于传感器成像所导致的RGB分量的噪声影响。
参见图5，若直接对图像进行锐化处理，容易在锐化边缘的同时加强噪声。因此在锐化之前，首先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。之后将如式(5)所示的高斯滤波器与Laplace算子结合，采用式(6)所示的Laplacian of Gaussian(LOG)核函数对图像进行处理，抑制叠加在图像上的高斯噪声，并采用Laplace算子锐化图像边缘，得到噪声有明显降低，同时葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的葡萄串图像，参见图6。
其中：x和y为像素坐标，σ为方差，Gσ(x,y)为高斯函数。
3.参见图3，采用最小邻域迭代计算边缘距离分布：首先为实现果梗区域的分割，需要先提取整个图像的边缘部分，因此根据灰度直方图对图像进行全局阈值分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。之后，为实现算法的自适应性，需要设计计算分割果梗区域所需的卷积核。为提高分割精度，从葡萄边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄边缘距离，统计所有边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。
具体步骤如下:
(1)全局阈值分割：首先对预处理后的葡萄串图像进行阈值分割。提取图像灰度直方图，并选择灰度直方图波峰右侧峰值70％处对应的灰度值作为图像全局分割的阈值，对图像进行全局分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像，参见图7。
(2)参见图8，葡萄串图像边缘距离分布的计算：基于葡萄边缘的分布特征，通过对每个像素点的循环迭代，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，为葡萄边缘距离分割点的求取奠定基础。所述的具体步骤如下:
1)设图像大小为m*n，对图像的每一个像素按照从左往右、从上往下的方式依次进行判断，若像素值为非零值，则对此像素进行标记，得到k个标记像素点；
2)以每一个像素i为中心，尺寸为j*j的邻域Mij中，进行非连通域检测。其中j＝3,4,5,……max，max取m和n中较大者。对j从小到大进行取值迭代，直到检测到邻域Mij中与像素i所在区域不连通的其他区域存在或者j取到最大值max为止。
由于葡萄串边缘二值图像的边缘多样、孔洞和分支较多，而现有的行程分析方法采用等价序列，需要扫描图像两次，因此耗时较大。考虑到本发明仅需要检测邻域Mij中与像素i不连通的其他区域，并且标记上相异的标记即可。因此，本发明对现有的行程分析方法进行改进，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升，所述的具体步骤如下:
a)逐行扫描邻域Mij，把每一行中连续的非零像素组成一个run，并记下它的起点、终点以及它所在的行号；
b)对第一行的每一个run进行标号，标号为从0开始的自然数，依次增加；
c)对于除了第一行外的所有其他行的run，对每一个run与上一行的run进行8邻域连通检测。若此行的run与上一行的所有run均无8邻域连通，则赋予此run一个新的标号；若此行的run与上一行的某一个run有8邻域连通，则将上一行相连通的run的标号赋予此run；若此行的run与上一行的多个run有8邻域连通，则将上一行相连通的run的最小标号作为上一行所有相连通的run以及此run的标号；
d)对每一行的run进行处理，得到具有非连续标号但标号均相异的多个非连通域。
3)如果j取值迭代到max，均未检测到邻域Mij中与像素i不连通的其他区域的存在，则关于此像素i的边缘距离为0。如果在j取值范围内，以j取值最小，即最小邻域Mij下，检测到邻域Mij中与像素i不连通的其他区域的存在，则求取像素i到其他非连通域的欧几里得距离，取最小值作为关于此像素i的边缘距离，所述的具体步骤如下:
a)设邻域Mij所检测到的非连通域标号最大为b，像素i所在的区域标号为Ci；
b)参见图9，依据非连通域标号依次求取像素i到其他非连通域的距离，其距离求取方法采用边界逐点计算法。对像素i的每一个非连通域，沿着区域边界Edge逐点根据公式(7)计算与像素i之间的距离Dre。
其中，Dre为标号r的区域边缘e与像素i之间的距离，单位为像素；r为邻域Mij中的非连通域标号，取值从0到b；e为区域边缘的标号，取值为0,1,2,……E-1，E为边缘像素的个数；(xi,yi)为像素i的图像坐标，(xe,ye)为边缘像素的图像坐标，单位均为像素。
c)取像素i到区域r的边缘点e距离最小值作为像素点i到区域r的最小距离Dr，如式(8)(9)所示，取距离像素i最近区域的距离Di作为像素i的边缘距离。
Dr＝min(Dre) (8)
Di＝min(Dr) (9)
4)将葡萄边缘图像中所有像素的边缘距离Di进行统计，求取边缘区域分布直方图。
4.参见图3，葡萄串图像果梗区域分割：考虑到果粒边缘之间距离较远，边缘分布较为稀疏；果梗边缘之间距离较近，边缘分布较为密集，根据葡萄边缘距离的分布可求取果粒与果梗区域的边缘距离分割点。参见图10，对分布直方图滤波后，选择波峰下降沿78％峰值处的边缘距离值作为果梗边缘和果粒边缘的分割点X。将边缘距离分布的分割点X作为形态学的卷积核设计的参考。首先对葡萄边缘二值图像进行close运算，所使用的卷积核尺寸为X，可将分布较为密集的果梗和果蒂区域闭合，保留其他区域的孔洞，参见图11。之后以分割点X的1/2作为open的卷积核，对图像进行处理，去除大孔洞的细边缘，保留填充后的果梗区域，并根据区域面积筛选去除杂点后得到葡萄串果梗区域，参见图12。
至此，自然放置葡萄串的果梗区域分割已完成。
实施例
本发明着重提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，以解决自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题。
具体实施例以本课题组研发的机器人串类水果分拣平台为基础、白罗莎葡萄为检测对象进行描述。其具体实施方式如下：
1.基于机器视觉的图像获取：基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件。根据分拣机器人平台的空间可抓取范围设定视觉检测视场FOVl*FOVw和特征分辨率Δwl*Δww。基于式(1)求得相机的传感器像素尺寸Pl*Pw，并基于Pl*Pw选择满足要求的CMOS相机。根据分拣机器人平台的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。
其中FOVi为视场的长或宽，Δwi为长或宽方向上的特征分辨率，WD为物距，MD为像距，f为焦距，CSi为传感器靶面尺寸的长或宽，单位均为mm；Pi为传感器像素尺寸的长或宽，单位为像素。
根据分拣机器人平台的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm2，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的CMOS相机，焦距为12mm的Basler镜头。同时基于自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。
2.HSI模型下的葡萄串图像边缘锐化：采用以视觉角度定义的HSI颜色模型，如式(4)所示，通过RGB分量求均值的方式计算HSI模型的亮度图像I，在转换的同时实现均值滤波。I分量的前景葡萄与背景有较好的对比度，降低了由于传感器成像所导致的RGB分量的噪声影响。
若直接对图像进行锐化处理，容易在锐化边缘的同时加强噪声。因此在锐化之前，首先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。之后将如式(5)所示的高斯滤波器与Laplace算子结合，采用式(6)所示的Laplacian ofGaussian(LOG)核函数对图像进行处理，抑制叠加在图像上的高斯噪声，并采用Laplace算子锐化图像边缘，得到噪声有明显降低，同时葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的葡萄串图像。
其中：x和y为像素坐标，σ为方差，Gσ(x,y)为高斯函数。
3.采用最小邻域迭代计算边缘距离分布：首先为实现果梗区域的分割，需要先提取整个图像的边缘部分，因此根据灰度直方图对图像进行全局阈值分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。之后，为实现算法的自适应性，需要设计计算分割果梗区域所需的卷积核。为提高分割精度，从葡萄边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄边缘距离，统计所有边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。
具体步骤如下:
(1)全局阈值分割：首先对预处理后的葡萄串图像进行阈值分割。提取图像灰度直方图，并选择灰度直方图波峰右侧峰值70％处对应的灰度值作为图像全局分割的阈值，对图像进行全局分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。
(2)葡萄串图像边缘距离分布的计算：基于葡萄边缘的分布特征，通过对每个像素点的循环迭代，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，为葡萄边缘距离分割点的求取奠定基础。所述的具体步骤如下:
1)设图像大小为m*n，对图像的每一个像素按照从左往右、从上往下的方式依次进行判断，若像素值为非零值，则对此像素进行标记，得到k个标记像素点；
2)以每一个像素i为中心，尺寸为j*j的邻域Mij中，进行非连通域检测。其中j＝3,4,5,……max，max取m和n中较大者。对j从小到大进行取值迭代，直到检测到邻域Mij中与像素i所在区域不连通的其他区域存在或者j取到最大值max为止。
由于葡萄串边缘二值图像的边缘多样、孔洞和分支较多，而现有的行程分析方法采用等价序列，需要扫描图像两次，因此耗时较大。考虑到本发明仅需要检测邻域Mij中与像素i不连通的其他区域，并且标记上相异的标记即可。因此，本发明对现有的行程分析方法进行改进，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升，所述的具体步骤如下:
a)逐行扫描邻域Mij，把每一行中连续的非零像素组成一个run，并记下它的起点、终点以及它所在的行号；
b)对第一行的每一个run进行标号，标号为从0开始的自然数，依次增加；
c)对于除了第一行外的所有其他行的run，对每一个run与上一行的run进行8邻域连通检测。若此行的run与上一行的所有run均无8邻域连通，则赋予此run一个新的标号；若此行的run与上一行的某一个run有8邻域连通，则将上一行相连通的run的标号赋予此run；若此行的run与上一行的多个run有8邻域连通，则将上一行相连通的run的最小标号作为上一行所有相连通的run以及此run的标号；
d)对每一行的run进行处理，得到具有非连续标号但标号均相异的多个非连通域。
3)如果j取值迭代到max，均未检测到邻域Mij中与像素i不连通的其他区域的存在，则关于此像素i的边缘距离为0。如果在j取值范围内，以j取值最小，即最小邻域Mij下，检测到邻域Mij中与像素i不连通的其他区域的存在，则求取像素i到其他非连通域的欧几里得距离，取最小值作为关于此像素i的边缘距离，所述的具体步骤如下:
a)设邻域Mij所检测到的非连通域标号最大为b，像素i所在的区域标号为Ci；
b)依据非连通域标号依次求取像素i到其他非连通域的距离，其距离求取方法采用边界逐点计算法。对像素i的每一个非连通域，沿着区域边界Edge逐点根据公式(7)计算与像素i之间的距离Dre。
其中，Dre为标号r的区域边缘e与像素i之间的距离，单位为像素；r为邻域Mij中的非连通域标号，取值从0到b；e为区域边缘的标号，取值为0,1,2,……E-1，E为边缘像素的个数；(xi,yi)为像素i的图像坐标，(xe,ye)为边缘像素的图像坐标，单位均为像素。
c)取像素i到区域r的边缘点e距离最小值作为像素点i到区域r的最小距离Dr，如式(8)(9)所示，取距离像素i最近区域的距离Di作为像素i的边缘距离。
Dr＝min(Dre) (8)
Di＝min(Dr) (9)
4)将葡萄边缘图像中所有像素的边缘距离Di进行统计，求取边缘区域分布直方图。
4.葡萄串图像果梗区域分割：考虑到果粒边缘之间距离较远，边缘分布较为稀疏；果梗边缘之间距离较近，边缘分布较为密集，根据葡萄边缘距离的分布可求取果粒与果梗区域的边缘距离分割点。对分布直方图滤波后，选择波峰下降沿78％峰值处的边缘距离值作为果梗边缘和果粒边缘的分割点X。将边缘距离分布的分割点X作为形态学的卷积核设计的参考。首先对葡萄边缘二值图像进行close运算，所使用的卷积核尺寸为X，可将分布较为密集的果梗和果蒂区域闭合，保留其他区域的孔洞。之后以分割点X的1/2作为open的卷积核，对图像进行处理，去除大孔洞的细边缘，保留填充后的果梗区域，并根据区域面积筛选去除杂点后得到葡萄串果梗区域。
本实施例基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件，通过平台采集白罗莎葡萄的不同形态下的200幅可见光彩色图像，如图13所示，其中葡萄串图像中的果粒空隙较大的80幅左右，分为S(Sparse)类；果粒空隙较小的图像120幅左右，分为C(Close)类。对200幅不同的葡萄串图像进行果梗分割实验，分别采用较小的固定卷积核、较大的固定卷积核以及本发明的自适应卷积核方法进行实验。较小的固定卷积核来源于120幅C类图像的边缘距离均值，较大的固定卷积核来源于80幅S类图像的边缘距离均值。如图14所示，对于葡萄串图像，不合适的卷积核尺寸会对果梗区域的提取精度造成影响，当卷积核偏大时，易将果梗以外的其他区域进行误提取；当卷积核偏小时，易产生噪点，并难以实现果梗区域的准确提取。本发明所提出的自适应选取卷积核尺寸的葡萄果梗分割方法，解决了上述问题，针对S类和C类的葡萄串图像均能实现较好的检测，提高了葡萄串图像的果梗区域提取的精度和效率。
综上，本发明的一种机器视觉自然放置葡萄串果梗区域分割方法，以解决自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，可运用于对精度和速度要求较高的机器人串类水果自动分拣。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。接着，为提高图像边缘对比度并降低噪声影响，在HSI模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用LOG核函数对葡萄串图像进行边缘锐化。接着，针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。同时针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，提高计算速度。最终，实现机器视觉对自然放置葡萄串果梗区域的高精度、高效率分割。
应理解上述实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
Claims (8)
1.一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，包括如下步骤：
步骤1，基于双目视觉的葡萄串图像采集：根据分拣机器人的串类水果分拣平台设计构建图像采集系统，通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置；同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射；
步骤2，采用以视觉角度定义的HSI颜色模型，并采用通过RGB分量求均值的方式计算的HSI模型的亮度图像I进行处理，采用中值滤波和LOG核函数相结合的方式对图像进行处理，抑制叠加在图像上的高斯噪声，并采用Laplace算子锐化图像边缘；
步骤3，采用最小邻域迭代计算葡萄串边缘距离分布：首先提取整个图像的边缘部分，根据灰度直方图对图像进行全局阈值分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像；之后，设计计算分割果梗区域所需的卷积核，从葡萄边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析方法逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄边缘距离，统计所有边缘距离，计算边缘距离分布；同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域；
步骤4，葡萄串图像果梗区域分割：提出可自适应选取卷积核尺寸的果梗分割方法，根据葡萄串边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点，并采用边缘距离分割点设计自适应的形态学open和close的卷积核，根据获取的自适应形态学卷积核实现葡萄串图像果梗区域的分割。
2.根据权利要求1所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述步骤1中，根据分拣机器人平台的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm2，并设计特征分辨率为0.2mm，物距范围为800～900mm，选择CMOS相机像素尺寸为2592*1944、实际尺寸为1/2.5”，焦距为12mm的Basler镜头。
3.根据权利要求1所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述步骤1中，葡萄串的表面特征，其葡萄颜色分为红色、紫色、暗紫色、绿色等多种，选择白色漫反射平板光源。
4.根据权利要求1所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述的步骤3采用最小邻域迭代计算葡萄串边缘距离分布具体步骤如下：
步骤3.1，全局阈值分割：首先对预处理后的葡萄串图像进行阈值分割，提取图像灰度直方图，并选择灰度直方图波峰右侧峰值70％处对应的灰度值作为图像全局分割的阈值，对图像进行全局分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像；
步骤3.2，葡萄串图像边缘距离分布的计算：基于葡萄边缘的分布特征，通过对每个像素点的循环迭代，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，为葡萄边缘距离分割点的求取奠定基础。
5.根据权利要求4所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述步骤3.2的具体过程如下:
A、设图像大小为m*n，对图像的每一个像素按照从左往右、从上往下的方式依次进行判断，若像素值为非零值，则对此像素进行标记，得到k个标记像素点；
B、以每一个像素i为中心，尺寸为j*j的邻域Mij中，进行非连通域检测，其中j＝3,4,5,……max，max取m和n中较大者，对j从小到大进行取值迭代，直到检测到邻域Mij中与像素i所在区域不连通的其他区域存在或者j取到最大值max为止；
C、如果j取值迭代到max，均未检测到邻域Mij中与像素i不连通的其他区域的存在，则关于此像素i的边缘距离为0，如果在j取值范围内，以j取值最小，即最小邻域Mij下，检测到邻域Mij中与像素i不连通的其他区域的存在，则求取像素i到其他非连通域的欧几里得距离，取最小值作为关于此像素i的边缘距离；
D、将葡萄边缘图像中所有像素的边缘距离Di进行统计，求取边缘区域分布直方图。
6.根据权利要求5所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述步骤C的具体过程为：
设邻域Mij所检测到的非连通域标号最大为b，像素i所在的区域标号为Ci；
依据非连通域标号依次求取像素i到其他非连通域的距离，其距离求取方法采用边界逐点计算法，对像素i的每一个非连通域，沿着区域边界Edge逐点根据公式(7)计算与像素i之间的距离Dre：
其中，Dre为标号r的区域边缘e与像素i之间的距离，单位为像素；r为邻域Mij中的非连通域标号，取值从0到b；e为区域边缘的标号，取值为0,1,2,……E-1，E为边缘像素的个数；(xi,yi)为像素i的图像坐标，(xe,ye)为边缘像素的图像坐标，单位均为像素；
取像素i到区域r的边缘点e距离最小值作为像素点i到区域r的最小距离Dr，取距离像素i最近区域的距离Di作为像素i的边缘距离：
Dr＝min(Dre)
Di＝min(Dr)。
7.根据权利要求1所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述改进的行程分析方法在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，具体过程为：
逐行扫描邻域Mij，把每一行中连续的非零像素组成一个run，并记下它的起点、终点以及它所在的行号；
对第一行的每一个run进行标号，标号为从0开始的自然数，依次增加；
对于除了第一行外的所有其他行的run，对每一个run与上一行的run进行8邻域连通检测。若此行的run与上一行的所有run均无8邻域连通，则赋予此run一个新的标号；若此行的run与上一行的某一个run有8邻域连通，则将上一行相连通的run的标号赋予此run；若此行的run与上一行的多个run有8邻域连通，则将上一行相连通的run的最小标号作为上一行所有相连通的run以及此run的标号；
对每一行的run进行处理，得到具有非连续标号但标号均相异的多个非连通域。
8.根据权利要求1所述的一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，其特征在于，所述步骤(4)中，对分布直方图滤波后，选择波峰下降沿78％峰值处的边缘距离值作为果梗边缘和果粒边缘的分割点X，将边缘距离分布的分割点X作为形态学的卷积核设计的参考，首先对葡萄边缘二值图像进行close运算，所使用的卷积核尺寸为X，可将分布较为密集的果梗和果蒂区域闭合，保留其他区域的孔洞，之后以分割点X的1/2作为open的卷积核，对图像进行处理，去除大孔洞的细边缘，保留填充后的果梗区域，并根据区域面积筛选去除杂点后得到葡萄串果梗区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810376317.3A CN109255757B (zh) | 2018-04-25 | 2018-04-25 | 一种机器视觉自然放置葡萄串果梗区域分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810376317.3A CN109255757B (zh) | 2018-04-25 | 2018-04-25 | 一种机器视觉自然放置葡萄串果梗区域分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109255757A true CN109255757A (zh) | 2019-01-22 |
| CN109255757B CN109255757B (zh) | 2022-01-11 |
Family
ID=65051959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810376317.3A Active CN109255757B (zh) | 2018-04-25 | 2018-04-25 | 一种机器视觉自然放置葡萄串果梗区域分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255757B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934818A (zh) * | 2019-03-21 | 2019-06-25 | 大连大学 | 一种果实外部轮廓畸形检测方法 |
| CN109949308A (zh) * | 2019-03-05 | 2019-06-28 | 北京空间飞行器总体设计部 | 一种抗星光干扰的空间相对导航目标快速提取方法 |
| CN111666883A (zh) * | 2020-06-08 | 2020-09-15 | 佛山科学技术学院 | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 |
| CN111709427A (zh) * | 2020-05-26 | 2020-09-25 | 淮阴工学院 | 一种基于稀疏卷积核的果实分割方法 |
| CN112304292A (zh) * | 2019-07-25 | 2021-02-02 | 富泰华工业（深圳）有限公司 | 基于单色光的物体检测方法及检测系统 |
| CN112991352A (zh) * | 2021-03-04 | 2021-06-18 | 扬州微地图地理信息科技有限公司 | 一种基于信息追溯的高分辨率遥感图像分割系统 |
| CN114581510A (zh) * | 2022-02-28 | 2022-06-03 | 扬州宝祥节能科技有限公司 | 基于模式识别的卷帘窗阻力点定位方法及人工智能系统 |
| CN114693658A (zh) * | 2022-04-01 | 2022-07-01 | 西南交通大学 | 一种基于深度学习与图像处理结合的葡萄果梗识别方法 |
| CN115301576A (zh) * | 2022-08-04 | 2022-11-08 | 河南职业技术学院 | 基于视觉识别的果蔬分拣机器人智能控制方法 |
| CN115375685A (zh) * | 2022-10-25 | 2022-11-22 | 临沂天元混凝土工程有限公司 | 用于混凝土原料中的砂石粒径异常检测方法 |
| JP7479007B2 (ja) | 2020-05-29 | 2024-05-08 | 国立大学法人山梨大学 | 画像からぶどう粒を検出する情報処理装置、プログラム、システム、及び方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599174A (zh) * | 2009-08-13 | 2009-12-09 | 哈尔滨工业大学 | 基于边缘和统计特征的水平集医学超声图像区域轮廓提取方法 |
| CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
| CN106204587A (zh) * | 2016-05-27 | 2016-12-07 | 孔德兴 | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 |
| CN107369159A (zh) * | 2017-06-29 | 2017-11-21 | 大连理工大学 | 基于多因素二维灰度直方图的阈值分割方法 |
| CN107679470A (zh) * | 2017-09-22 | 2018-02-09 | 天津大学 | 一种基于hdr技术的交通标志牌检测和识别方法 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
-
2018
- 2018-04-25 CN CN201810376317.3A patent/CN109255757B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599174A (zh) * | 2009-08-13 | 2009-12-09 | 哈尔滨工业大学 | 基于边缘和统计特征的水平集医学超声图像区域轮廓提取方法 |
| CN105868774A (zh) * | 2016-03-24 | 2016-08-17 | 西安电子科技大学 | 基于选择性搜索和卷积神经网络的车标识别方法 |
| CN106204587A (zh) * | 2016-05-27 | 2016-12-07 | 孔德兴 | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 |
| CN107369159A (zh) * | 2017-06-29 | 2017-11-21 | 大连理工大学 | 基于多因素二维灰度直方图的阈值分割方法 |
| CN107679470A (zh) * | 2017-09-22 | 2018-02-09 | 天津大学 | 一种基于hdr技术的交通标志牌检测和识别方法 |
| CN108491892A (zh) * | 2018-04-05 | 2018-09-04 | 聊城大学 | 基于机器视觉的水果分拣系统 |
Non-Patent Citations (4)
| Title |
|---|
| 周晓宁: "一种基于灰度直方图的阈值分割算法的研究", 《数字技术与应用》 * |
| 李敏: "基于组合式形态学算子的多尺度边缘检测", 《计算机工程与应用》 * |
| 罗冰: "基于最小栅栏距离的图像超像素分割方法", 《西华大学学报》 * |
| 马本学: "不同自然场景下葡萄果实识别方法研究", 《现代食品科技》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949308A (zh) * | 2019-03-05 | 2019-06-28 | 北京空间飞行器总体设计部 | 一种抗星光干扰的空间相对导航目标快速提取方法 |
| CN109934818A (zh) * | 2019-03-21 | 2019-06-25 | 大连大学 | 一种果实外部轮廓畸形检测方法 |
| CN109934818B (zh) * | 2019-03-21 | 2022-10-25 | 大连大学 | 一种果实外部轮廓畸形检测方法 |
| CN112304292A (zh) * | 2019-07-25 | 2021-02-02 | 富泰华工业（深圳）有限公司 | 基于单色光的物体检测方法及检测系统 |
| CN112304292B (zh) * | 2019-07-25 | 2023-07-28 | 富泰华工业（深圳）有限公司 | 基于单色光的物体检测方法及检测系统 |
| CN111709427A (zh) * | 2020-05-26 | 2020-09-25 | 淮阴工学院 | 一种基于稀疏卷积核的果实分割方法 |
| JP7479007B2 (ja) | 2020-05-29 | 2024-05-08 | 国立大学法人山梨大学 | 画像からぶどう粒を検出する情報処理装置、プログラム、システム、及び方法 |
| CN111666883B (zh) * | 2020-06-08 | 2023-04-07 | 佛山科学技术学院 | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 |
| CN111666883A (zh) * | 2020-06-08 | 2020-09-15 | 佛山科学技术学院 | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 |
| CN112991352A (zh) * | 2021-03-04 | 2021-06-18 | 扬州微地图地理信息科技有限公司 | 一种基于信息追溯的高分辨率遥感图像分割系统 |
| CN114581510A (zh) * | 2022-02-28 | 2022-06-03 | 扬州宝祥节能科技有限公司 | 基于模式识别的卷帘窗阻力点定位方法及人工智能系统 |
| CN114693658A (zh) * | 2022-04-01 | 2022-07-01 | 西南交通大学 | 一种基于深度学习与图像处理结合的葡萄果梗识别方法 |
| CN115301576A (zh) * | 2022-08-04 | 2022-11-08 | 河南职业技术学院 | 基于视觉识别的果蔬分拣机器人智能控制方法 |
| CN115375685A (zh) * | 2022-10-25 | 2022-11-22 | 临沂天元混凝土工程有限公司 | 用于混凝土原料中的砂石粒径异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255757B (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255757A (zh) | 一种机器视觉自然放置葡萄串果梗区域分割方法 | |
| Sahu et al. | Defect identification and maturity detection of mango fruits using image analysis | |
| Pouliot et al. | Automated tree crown detection and delineation in high-resolution digital camera imagery of coniferous forest regeneration | |
| CN108765402B (zh) | 无纺布缺陷检测与分类方法 | |
| Safren et al. | Detection of green apples in hyperspectral images of apple-tree foliage using machine vision | |
| CN111753577B (zh) | 自动采摘机器人中的苹果识别与定位方法 | |
| Patel et al. | Automatic segmentation and yield measurement of fruit using shape analysis | |
| CN106934386A (zh) | 一种基于自启发式策略的自然场景文字检测方法及系统 | |
| CN108416814B (zh) | 一种菠萝头部的快速定位与识别方法及系统 | |
| CN107330478A (zh) | 一种圣女果分类方法、系统及圣女果在线分拣系统 | |
| CN107610122A (zh) | 一种基于Micro‑CT的单籽粒谷物内部虫害检测方法 | |
| Shin et al. | Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm | |
| Alfatni et al. | Recent methods and techniques of external grading systems for agricultural crops quality inspection-review | |
| CN110929787B (zh) | 一种基于图像的苹果客观定级系统 | |
| CN102788806B (zh) | 基于类球形亮度变换的水果表面缺陷检测方法 | |
| CN112816487B (zh) | 一种基于机器视觉的皮蛋内部品质无损检测方法 | |
| Janardhana et al. | Computer aided inspection system for food products using machine vision—a review | |
| Aleixos et al. | Assessment of citrus fruit quality using a real-time machine vision system | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| Bini et al. | Intelligent agrobots for crop yield estimation using computer vision | |
| Lu et al. | Detecting defects on citrus surface based on circularity threshold segmentation | |
| Du et al. | Research on Potato Appearance Quality Detection Based on Computer Vision | |
| Lee et al. | Sensors I: color imaging and basics of image processing | |
| Phothisonothai et al. | Automated determination of watermelon ripeness based on image color segmentation and rind texture analysis | |
| Li et al. | Apple quality identification and classification by computer vision based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |