CN110223349A - 一种采摘点定位方法 - Google Patents
一种采摘点定位方法 Download PDFInfo
- Publication number
- CN110223349A CN110223349A CN201910366059.5A CN201910366059A CN110223349A CN 110223349 A CN110223349 A CN 110223349A CN 201910366059 A CN201910366059 A CN 201910366059A CN 110223349 A CN110223349 A CN 110223349A
- Authority
- CN
- China
- Prior art keywords
- picking
- fruit
- model
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 51
- 238000012360 testing method Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000011056 performance test Methods 0.000 claims description 3
- 241001629511 Litchi Species 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000010008 shearing Methods 0.000 abstract description 5
- 230000035800 maturation Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 21
- 244000183278 Nephelium litchi Species 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 235000013311 vegetables Nutrition 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008717 functional decline Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 235000019082 Osmanthus Nutrition 0.000 description 1
- 241000333181 Osmanthus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种采摘点定位方法，包括以下步骤：获取训练好的YOLOv3目标检测模型，采集并检测果实生长区域图像，获取检测视野中的果实数量和位置，该目标检测模型融合密集连接与残差思想的特征提取网络；判断视野中果实数量，并根据数量判断图像为远景图和近景图；对近景图采用语义分割模型进行枝条分割，获得枝条分割图像；对远景图则再进行目标检测；判断枝条分割图像中的果实数量是否为1，若为1则使用单果实采摘策略，若不为1则采用多果实采摘策略；获取最终采摘定位点。本发明可实现对成熟串果进行无损伤采摘，通过算法精确寻找定位其剪切点位置，实现果实剪切式采摘，保证了果实的完整与采摘的效率。
Description
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于卷积神经网络与密度聚类的野外荔枝采摘点定位方法。
背景技术
采摘机器人作为未来蔬果收获工具，能有效解决劳动力不足和劳动成本巨大等问题，通过机械化采摘，能实现全天候采摘、气候干扰下采摘、高效多部同时采摘等人力较难完成的任务，对提高劳动效率，减少劳动成本，加快农业发展具有极其重要的意义。自动化蔬果采摘机器人，通过机械自动化手段来解决蔬果采摘过程中的费时、费力、费钱的问题。其中蔬果果实采摘点的选取和定位，作为蔬果采摘机器人的重要组成部分，在整个机械化环节中占据其重要地位。
目前荔枝等串果的采摘大多是采用传统的机器学习算法，进行单目标的采摘。这类装置的缺点是检测精度较低，寻找剪切式采摘点较为困难，且采摘效率不高。因此，需要提供一种检测较为精准，针对串果采摘的较为高效的装置及方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种采摘点定位方法，此方法可实现对成熟串果进行无损伤采摘，通过算法精确寻找定位其剪切点位置，实现果实剪切式采摘，保证了果实的完整与采摘的效率。
本发明的目的通过以下的技术方案实现：一种采摘点定位方法，包括以下步骤：
获取训练好的YOLOv3目标检测模型，采集并检测果实生长区域图像，获取检测视野中的果实数量和位置，该模型的特征提取网络采用密集卷积块与残差等结构，实验表明其对荔枝果实具有更强的特征提取能力；
判断视野中果实数量，并根据数量判断图像为远景图和近景图；
对近景图采用语义分割模型进行枝条分割(即针对图像中的所有像素进行分类，用于区分枝条与背景，也称为语义分割)，获得枝条分割图像；对远景图则再进行目标检测；
判断枝条分割图像中的果实数量是否为1，若为1则使用单果实采摘策略，若不为1则采用多果实采摘策略；
获取最终采摘定位点。
优选的，所述YOLOv3目标检测模型由以下步骤训练得出：
对采集的图像进行数据标注，对果实使用LabelImg标注；
对标注的图像进行分类，按7:3的比例分出训练集与测试集，训练集用来训练神经网络检测模型，测试集用来评估训练出的模型鲁棒性的强弱；
使用训练集数据运用YOLOv3目标检测算法进行神经网络权重训练，并对训练结果使用测试集进行模型评估，调整训练参数，训练获得YOLOv3目标检测模型。该模型为融合密集连接与残差思想的特征提取网络OurNet，解决了果实重叠遮挡情况下的识别率较低、定位较难的问题。
更进一步的，对采集到的图像进行压缩处理，减少不必要的存储空间。
优选的，所述语义分割模型由以下步骤训练得出：
对采集的图像样本进行数据标注，采用Labelme标注，标注所需检测枝条；
对标注图像进行分类，按7:3的比例分出训练集与测试集，训练集用来训练神经网络分割模型，测试集用来评估训练出的模型鲁棒性的强弱；
使用训练集，运用DeepLabV3+进行语义分割算法模型训练，对模型进行调参处理，在损失函数中加入正则化项增强模型鲁棒性，运用测试集对模型进行评估，获得枝条语义分割模型。运用DeepLabV3+框架，Xception_65特征提取网络，对果实枝条实现语义分割，通过编码解码结构大大缩小了运算参数，使用深层语义与浅层语义同权重进行融合，对细节描述有了较大程度的提高。
更进一步的，对所述采集的样本图像进行压缩，以减少存储空间。
优选的，所述单果实采摘策略为：
获取到荔枝果实在图像上的坐标；
通过图像语义分割获取到枝条处的像素区域；
对目标检测框上方90像素进行区域平移，直至与目标枝条相交处像素值数量大于20，即定义为单目标采摘点。
优选的，所述多果实采摘策略为：
通过OPTICS聚类与语义分割，选取最外围目标的坐标点为标定聚类的包含框，向上平移搜索图像语义分割的像素，最终获取到采摘点。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明选择采用融合密集连接与残差思想的深度学习模型进行目标检测，目标检测精度更高。
2、本发明结合精度较高的语义分割网络，对枝条语义进行分割，获取到较为精准到枝条的采摘点定位，在缩小运算参数的同时对细节描述有了较大程度的提高。
3、本发明结合聚类算法，分别在远景与近景，多果实与单果实方面分别选取不同策略，提出了较为完整的定位流程，应用范围广。
附图说明
图1是本发明实施例采摘点定位方法。
图2是本发明实施例采摘点定位装置工作情况示意图。
图3本发明实施例YOLOv3_OurNet结构图。
图4为本发明实施例YOLOv3目标检测模型训练至理想模型时的损失函数下降曲线图。
图5为本发明实施例DeepLabV3+模型编码解码检测框架及检测流程示意图。
图6为本发明实施例Xception65特征提取网络结构图。
图7为本发明实施例DeepLabV3+模型训练至理想模型时的损失曲线图。
其中：1—野外荔枝图像；2—计算机；3—工业相机。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供的实施例，但本发明的实施方式不限于此。
实施例1
如图1所示，一种基于采摘点定位方法，包括四个方面：1.野外荔枝图像采集及数据处理；2.YOLO目标检测算法的模型训练；3.DeepLab语义分割模型训练；4.OPTICS聚类及相关采摘流程。
1、野外荔枝图像采集及数据处理
本实验的荔枝图像1分别用工业相机3拍摄，荔枝品种包括桂味、妃子笑、淮枝、糯米糍，天气情况包括雨天、阴天及晴天，拍摄时间为8:00至17:00，各采样数据有较大的差异，便于加强检测网络的鲁棒性及测试难度。
由于实验数据过于庞大，会给网络及数据拷贝带来不必要的空间及时间成本，所以在原始数据的基础上，对图片降低分辨率，转换格式压缩，数据总量为4748张，使用LabelImg对荔枝果实进行标注，使用Labelme对荔枝枝条进行标注。
处理后的数据集按照PASCALVOC数据集格式整理，按照训练集：测试集＝7：3的分割原则，保证数据的随机性，各个集合互斥，保证了后期测试的可靠性。数据分布及压缩状况图如表1所示。
表1
2.YOLOv3目标检测模型训练
野外环境下，由于光照及背景条件复杂且荔枝果实本身重叠遮挡的情况，为荔枝的野外准确检测带来了巨大挑战。针对荔枝采摘机器人在野外作业中果实识别率较低定位较难等问题，提出一种基于YOLOv3模型改进的目标检测算法，用于对荔枝果实的检测。借鉴残差网络和密集连接卷积思想，提出一个融合密集连接与残差思想的特征提取网络OurNet，对野外环境下荔枝的识别具有更强的鲁棒性。
所述YOLOv3目标检测模型训练具体步骤为：
使用训练集数据运用YOLOv3目标检测算法进行神经网络权重训练，并对训练结果使用测试集进行模型评估，调整训练参数，获得较为理想的目标检测模型；
本实验采用DarkNet深度学习框架，硬件设备为CPU采用Inter Core i7-6700@3.40GHz x 8，内存为16GB，GPU选用GeForce GTX TITAN X显存12G，NVIDIA驱动版本为390.87，CUDA版本选用9.0.176，CUDNN 7.0.5神经网络加速库，操作系统为LinuxUbuntu18.04LTS，由于DarkNet深度学习框架为C编写，故本实验的g++与gcc的版本均选用7.3.0，使用500G机械硬盘存储。
本实验采用分批次异步随机梯度下降优化处理，使用均方差代价函数，每次送入网络64张图片，分8个批次以减少显存过载导致的模型训练失败；每次传入的图片大小为416x416、3通道的RGB彩色图；动量因子设为0.9；衰减系数设为0.0005；饱和度和曝光度均调整为1.5倍，更容易突出目标物体与背景的特征反差；学习率初始设为0.001；训练最大批次为25000次停止训练，训练策略为在19000批次和23000批次时学习率分别下降0.1，以获得更小损失；选用默认的anchors进行预测，抖动系数设为0.3，用以增大模型的鲁棒性。实验各类网络性能对比如表2所示：
表2
实验表明：经改进后的算法，获得比经典YOLOv3算法Tiny特征提取网络及DarkNet53特征提取网络更好的效果，荔枝果实的mAP为97.07％，高于YOLOv3_Tiny的94.48％的mAP,且高于经典YOLOv3的95.18％的mAP。时间效率上可达到FPS为58，同比高于经典YOLOv3的29FPS。
当训练集的损失趋于平缓，且测试集的检测精度不再上升，则表明已经达到训练要求。其损失函数下降曲线如图4所示。
该模型采用融合密集连接与残差思想的特征提取网OurNet，解决了果实重叠遮挡情况下的识别率较低、定位较难的问题。OurNet网络结构图如图3所示。
3.DeepLab语义分割模型训练
针对采摘点定位困难的问题，提出采用深度学习图像语义分割算法对荔枝生长枝条进行分割，运用DeepLabV3+框架，Xception_65特征提取网络对荔枝枝条实现语义分割，通过编码解码结构大大缩小了运算参数，使用深层语义与浅层语义同权重进行融合，对细节描述有了较大程度的提高，提出多孔洞卷积池化；
所述DeepLab语义分割模型由以下步骤训练得出：
使用训练集，运用DeepLabV3+进行语义分割算法模型训练，对模型进行调参处理，在损失函数中加入正则化项增强模型鲁棒性，运用测试集对模型进行评估，获得较为理想的枝条分割模型。
本实验选用TensorFlow深度学习框架，硬件设备为CPU采用Inter Core i7-6700@3.40GHz x 8，内存为16GB，GPU选用GeForce GTX TITAN X显存12G，NVIDIA驱动版本为390.87，CUDA版本选用9.0.176，CUDNN 7.0.5神经网络加速库，操作系统为LinuxUbuntu18.04LTS，python版本选用python3.6，TensorFlow版本为1.8.0，选用500GB机械硬盘。
根据实验机器的硬件配置，采用TensorFlow学习框架，先将数据转化为TensorFlow独有的二进制tfrecord格式，方便数据读取，整理好的训练集大小为96MB，测试集大小为30MB，使用DeepLabV3+语义分割网络，随机梯度下降法进行参数学习，每批次传入网络的样本数量为8张，分别选用了Xception_65、Xception_41、Xception_71等特征提取模型，编码结构使用孔洞为6、12、18的多尺度孔洞金字塔池化，样本裁剪大小为321x321，权重衰退系数为0.00004，训练迭代次数为50000次，控制变量参数基本相同的情况下，进行对比实验。实验表明DeepLabV3+使用Xception_65特征提取网络获得的效果最佳，达到MIoU为0.765。同类型模型实验评估如表3所示：
表3
DeepLabV3+模型编码解码检测框架如图5所示。
Xception65特征提取网络结构采用了深度可分离卷积来降低模型参数，其结构如图6所示。
DeepLabV3+模型采用负类交叉熵代价函数，当训练集的损失趋于平缓时，表明训练训练达到要求，其损失曲线如图7所示。
实验表明，训练后的语义分割模型在不增加参数的情况下减少了由于池化带来的精度损耗，分割获得MIoU为0.765，远大于其他网络及同架构下其他特征提取网络的分割精度，在同架构下与深度残差网络特征提取网络的模型以及小型网络模型进行对比实验，通过多组对比实验及展示实验，获得较为理想的分割效果。
4.OPTICS聚类及相关采摘流程
采摘流程为：获取训练好的YOLOv3目标检测模型，采集并检测果实生长区域图像，获取检测视野中的果实数量和位置；
判断视野中果实数量，并根据数量判断图像为远景图和近景图；
对近景图采用语义分割模型进行枝条分割，获得枝条分割图像；对远景图则再进行目标检测；
判断枝条分割图像中的果实数量是否为1，若为1则使用单果实采摘策略，若不为1则采用多果实采摘策略；
获取最终采摘定位点。
运用基于密度对初始化参数不敏感的OPTICS聚类算法，结合目标检测网络进行聚类实验，针对远景图果实数量较多采摘机械手距离不够及枝条不明显的情况，采用聚类分区域，拉近距离再检测的方法获得近景图；针对已存在中近景图，分单果与团簇多果两类情况分别进行讨论，并提出相应的采摘点定位算法。
梳理总结了采摘思路流程，并对聚类算法针对现有数据样本进行了抽样实验。实验采用含有目标果实2到20个的样本图像100张，经聚类获取到最大外接矩形平移进行寻找采摘点。实验表明，在选取的100张样本中能准确寻找到正确采摘位置的有73张，实验效果较为理想，表4罗列统计部分数据。
表4
对于单张图像中存在20个果实以上的远景图，由于目标较远，荔枝果梗不易通过视觉方式发现，同时机械手长度有限，影响实际采摘。实验选择通过聚类寻找各个簇，针对单一簇，进行位移，拉近距离再进行分割实验。
实验选定存在20到40个果实的样本图像进行聚类，原因是在此区间内拍摄的图像基本拍摄距离相同，便于选取聚类折线图的可达距离阈值。选取样本100张，先经人工标注各个果实团簇的分类，标定完成后设定可达距离阈值为94，对聚类算法获取到的折线图进行划分，最后统计聚类结果。以图像中参与聚类的单个点为单位，采用实际类别与算法预测类别进行对比，若相同则计为准确，反之则视为错误。统计测试集中所有聚类点的对比结果，经统计采用OPTICS聚类算法对100张实验样本中所有果实点的聚类结果可达到93.3％的准确率，表5.5为聚类精度统计相关部分信息。远景聚类准确度统计表如表5所示。
表5
| 图像编号 | 果实数 | 实际类别数 | 聚类数 | 准确聚类个数 |
| 01 | 24 | 3 | 3 | 24 |
| 02 | 33 | 5 | 5 | 33 |
| 03 | 32 | 4 | 4 | 30 |
| 04 | 36 | 6 | 5 | 35 |
| 05 | 34 | 4 | 4 | 34 |
| 06 | 26 | 5 | 5 | 26 |
| 07 | 37 | 7 | 6 | 32 |
| 08 | 31 | 3 | 3 | 30 |
| 09 | 26 | 4 | 4 | 26 |
| 10 | 39 | 6 | 6 | 39 |
| 11 | 28 | 4 | 5 | 25 |
| 12 | 20 | 3 | 3 | 20 |
| 13 | 31 | 4 | 4 | 30 |
| 14 | 22 | 3 | 3 | 22 |
| 15 | 29 | 4 | 3 | 25 |
通过上述步骤获取采摘定位点后，将采摘点位置信息传输给剪切式机械手，进行采摘。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种采摘点定位方法，其特征在于，包括以下步骤：
获取训练好的YOLOv3目标检测模型，采集并检测果实生长区域图像，获取检测视野中的果实数量和位置，该模型的特征提取网络采用密集卷积块与残差等结构；
判断视野中果实数量，并根据数量判断图像为远景图和近景图；
对近景图采用语义分割模型进行枝条分割，获得枝条分割图像；对远景图则再进行目标检测；
判断枝条分割图像中的果实数量是否为1，若为1则使用单果实采摘策略，若不为1则采用多果实采摘策略；
获取最终采摘定位点。
2.根据权利要求1所述的采摘点定位方法，其特征在于，所述YOLOv3目标检测模型由以下步骤训练得出：
对采集的图像进行数据标注，对果实使用LabelImg标注；
对标注的图像进行分类，按7:3的比例分出训练集与测试集，训练集用来训练神经网络检测模型，测试集用来评估训练出的模型鲁棒性的强弱；
使用训练集数据运用YOLOv3目标检测算法进行神经网络权重训练，并对训练结果使用测试集进行模型评估，调整训练参数，获得目标检测模型。
3.根据权利要求2所述的采摘点定位方法，其特征在于，对采集到的图像进行压缩处理。
4.根据权利要求1所述的采摘点定位方法，其特征在于，所述语义分割模型由以下步骤训练得出：
对采集的图像样本进行数据标注，采用Labelme标注，标注所需检测枝条；
对标注图像进行分类，按7:3的比例分出训练集与测试集，训练集用来训练神经网络分割模型，测试集用来评估训练出的模型鲁棒性的强弱；
使用训练集，运用DeepLabV3+进行语义分割算法模型训练，对模型进行调参处理，在损失函数中加入正则化项增强模型鲁棒性，运用测试集对模型进行评估，获得较为枝条语义分割模型。
5.根据权利要求4所述的采摘点定位方法，其特征在于，对所述采集的样本图像进行压缩。
6.根据权利要求1所述的采摘点定位方法，其特征在于，所述单果实采摘策略为：
获取到荔枝果实在图像上的坐标；
通过图像语义分割获取到枝条处的像素区域；
对目标检测框上方90像素进行区域平移，直至与目标枝条相交处像素值数量大于20，即定义为单目标采摘点。
7.根据权利要求1所述的采摘点定位方法，其特征在于，所述多果实采摘策略为：
通过OPTICS聚类与语义分割，选取最外围目标的坐标点为标定聚类的包含框，向上平移搜索图像语义分割的像素，最终获取到采摘点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910366059.5A CN110223349A (zh) | 2019-05-05 | 2019-05-05 | 一种采摘点定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910366059.5A CN110223349A (zh) | 2019-05-05 | 2019-05-05 | 一种采摘点定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110223349A true CN110223349A (zh) | 2019-09-10 |
Family
ID=67820263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910366059.5A Pending CN110223349A (zh) | 2019-05-05 | 2019-05-05 | 一种采摘点定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223349A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110692352A (zh) * | 2019-09-19 | 2020-01-17 | 北京农业智能装备技术研究中心 | 一种智能农业机器人及其控制方法 |
| CN110826520A (zh) * | 2019-11-14 | 2020-02-21 | 燕山大学 | 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法 |
| CN111127438A (zh) * | 2019-12-25 | 2020-05-08 | 昆明理工大学 | 基于改进yolo算法的肺部ct图像中结节检测方法 |
| CN111275020A (zh) * | 2020-03-12 | 2020-06-12 | 青梧桐有限责任公司 | 一种房间状态识别方法 |
| CN112149727A (zh) * | 2020-09-22 | 2020-12-29 | 佛山科学技术学院 | 一种基于Mask R-CNN的青椒图像检测方法 |
| CN113076788A (zh) * | 2020-01-06 | 2021-07-06 | 四川大学 | 一种基于改进的yolov3-tiny网络的交通标识检测方法 |
| CN114266975A (zh) * | 2021-12-23 | 2022-04-01 | 华南农业大学 | 无人机遥感图像的荔枝果实检测与计数方法 |
| CN114387520A (zh) * | 2022-01-14 | 2022-04-22 | 华南农业大学 | 一种用于机器人采摘的密集李子精准检测方法及其系统 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN116935070A (zh) * | 2023-09-19 | 2023-10-24 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
| CN117765085A (zh) * | 2024-02-22 | 2024-03-26 | 华南农业大学 | 一种茶芽叶采摘远近交替定位方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104697996A (zh) * | 2013-12-06 | 2015-06-10 | 刘扬 | 自然环境中荔枝成熟果实自动识别与采摘系统 |
| CN106327467A (zh) * | 2015-06-25 | 2017-01-11 | 吴海峰 | 一种苹果采摘机器人目标果实快速跟踪识别方法 |
| CN109409365A (zh) * | 2018-10-25 | 2019-03-01 | 江苏德劭信息科技有限公司 | 一种基于深度目标检测的待采摘水果识别和定位方法 |
| CN109543502A (zh) * | 2018-09-27 | 2019-03-29 | 天津大学 | 一种基于深度多尺度神经网络的语义分割方法 |
| CN109711325A (zh) * | 2018-12-25 | 2019-05-03 | 华南农业大学 | 一种芒果采摘点识别方法 |
-
2019
- 2019-05-05 CN CN201910366059.5A patent/CN110223349A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104697996A (zh) * | 2013-12-06 | 2015-06-10 | 刘扬 | 自然环境中荔枝成熟果实自动识别与采摘系统 |
| CN106327467A (zh) * | 2015-06-25 | 2017-01-11 | 吴海峰 | 一种苹果采摘机器人目标果实快速跟踪识别方法 |
| CN109543502A (zh) * | 2018-09-27 | 2019-03-29 | 天津大学 | 一种基于深度多尺度神经网络的语义分割方法 |
| CN109409365A (zh) * | 2018-10-25 | 2019-03-01 | 江苏德劭信息科技有限公司 | 一种基于深度目标检测的待采摘水果识别和定位方法 |
| CN109711325A (zh) * | 2018-12-25 | 2019-05-03 | 华南农业大学 | 一种芒果采摘点识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| NASSER BEHROOZI-KHAZAEI 等: "A robust algorithm based on color features for grape cluster segmentation", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
| 毕松 等: "基于深度卷积神经网络的柑橘目标识别方法", 《农业机械学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110692352B (zh) * | 2019-09-19 | 2021-12-07 | 北京农业智能装备技术研究中心 | 一种智能农业机器人及其控制方法 |
| CN110692352A (zh) * | 2019-09-19 | 2020-01-17 | 北京农业智能装备技术研究中心 | 一种智能农业机器人及其控制方法 |
| CN110826520A (zh) * | 2019-11-14 | 2020-02-21 | 燕山大学 | 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法 |
| CN111127438A (zh) * | 2019-12-25 | 2020-05-08 | 昆明理工大学 | 基于改进yolo算法的肺部ct图像中结节检测方法 |
| CN113076788A (zh) * | 2020-01-06 | 2021-07-06 | 四川大学 | 一种基于改进的yolov3-tiny网络的交通标识检测方法 |
| CN111275020A (zh) * | 2020-03-12 | 2020-06-12 | 青梧桐有限责任公司 | 一种房间状态识别方法 |
| CN112149727A (zh) * | 2020-09-22 | 2020-12-29 | 佛山科学技术学院 | 一种基于Mask R-CNN的青椒图像检测方法 |
| CN114266975B (zh) * | 2021-12-23 | 2024-04-16 | 华南农业大学 | 无人机遥感图像的荔枝果实检测与计数方法 |
| CN114266975A (zh) * | 2021-12-23 | 2022-04-01 | 华南农业大学 | 无人机遥感图像的荔枝果实检测与计数方法 |
| CN114387520A (zh) * | 2022-01-14 | 2022-04-22 | 华南农业大学 | 一种用于机器人采摘的密集李子精准检测方法及其系统 |
| CN114387520B (zh) * | 2022-01-14 | 2024-05-14 | 华南农业大学 | 一种用于机器人采摘的密集李子精准检测方法及其系统 |
| CN114494441B (zh) * | 2022-04-01 | 2022-06-17 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN116935070A (zh) * | 2023-09-19 | 2023-10-24 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
| CN116935070B (zh) * | 2023-09-19 | 2023-12-26 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
| CN117765085A (zh) * | 2024-02-22 | 2024-03-26 | 华南农业大学 | 一种茶芽叶采摘远近交替定位方法 |
| CN117765085B (zh) * | 2024-02-22 | 2024-06-07 | 华南农业大学 | 一种茶芽叶采摘远近交替定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223349A (zh) | 一种采摘点定位方法 | |
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN114387520B (zh) | 一种用于机器人采摘的密集李子精准检测方法及其系统 | |
| CN107316289A (zh) | 基于深度学习和超像素分割的大田稻穗分割方法 | |
| CN113012150A (zh) | 一种特征融合的高密度稻田无人机图像稻穗计数方法 | |
| CN111723764A (zh) | 改进Faster RCNN水培蔬菜幼苗状态检测方法 | |
| CN113191334B (zh) | 一种基于改进CenterNet的植物冠层密集叶片计数方法 | |
| CN114708231A (zh) | 一种基于轻量化YOLO v5的甘蔗蚜虫目标检测方法 | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN114627502A (zh) | 一种基于改进YOLOv5的目标识别检测方法 | |
| CN113744226A (zh) | 一种农业害虫智能识别与定位方法及系统 | |
| CN109086657B (zh) | 一种基于机器学习的耳朵检测方法、系统及模型 | |
| CN115249240A (zh) | 一种面向单株大豆密集豆荚的自动计数检测方法 | |
| Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
| Shuai et al. | An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds | |
| CN117152735A (zh) | 一种基于改进yolov5s的番茄成熟度分级方法 | |
| CN114240866B (zh) | 基于二维图像与三维生长信息的组培苗分级方法及装置 | |
| Fernando et al. | Ai based greenhouse farming support system with robotic monitoring | |
| Li et al. | Partition harvesting of a column-comb litchi harvester based on 3D clustering | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN116883309A (zh) | 一种大豆表型获取方法 | |
| CN116524344A (zh) | 一种基于rgb-d信息融合的番茄串采摘点检测方法 | |
| CN114700941A (zh) | 一种基于双目视觉的草莓采摘方法、机器人系统 | |
| Qiongyan et al. | Study on spike detection of cereal plants | |
| CN111860038A (zh) | 一种农作物前端识别装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |