CN112270268A - 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 - Google Patents
一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 Download PDFInfo
- Publication number
- CN112270268A CN112270268A CN202011181883.2A CN202011181883A CN112270268A CN 112270268 A CN112270268 A CN 112270268A CN 202011181883 A CN202011181883 A CN 202011181883A CN 112270268 A CN112270268 A CN 112270268A
- Authority
- CN
- China
- Prior art keywords
- fruit
- target detection
- image
- detection method
- picking robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 claims description 19
- 240000003768 Solanum lycopersicum Species 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 18
- 238000000034 method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012271 agricultural production Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法，属于智能农业生产技术领域。该方法采用Mask R‑CNN作为目标检测框架，将ResNet‑101作为骨干网络，并与FPN架构相结合进行目标特征提取，其次将骨干网输出的特征图发送到RPN用以生成RoI，然后映射从RPN中输出的RoI以提取共享特征图中的相应目标特征，最后分别输出到FC层和FCN中进行目标检测、边框回归和实例分割。本发明解决了传统数字图像处理技术在非结构化环境中因光照条件变化、枝叶遮挡、果实聚类重叠等造成检测精度较低的问题，还克服了一般的目标检测神经网络结构复杂、梯度消失慢、计算训练量大以及模型收敛慢等缺点。
Description
技术领域
本发明属于智能农业生产技术领域，涉及果蔬采摘机器人的目标识别检测方法，具体涉及一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法。
背景技术
自果蔬采摘机器人问世以来，在目标检测识别上涌现出许多新的方法。传统数字图像处理技术，如基于颜色、纹理、形状等特征提取识别，其缺点是依赖目标果实的外在颜色、纹理和形状等特征，但果实的外在特征会随着果实不同生长阶段发生改变，且易受光照条件或因枝叶遮挡、果实重叠无法获取完整的外在特征的影响。
随着电子技术和科学技术的发展，计算机图像处理和机器学习趋于成熟，在目标检测识别上采用机器学习图像分割技术与分类器，如基于K-means聚类算法、基于贝叶斯分类器算法、基于支持向量机SVM算法等，其缺点是需要来自训练图像的先验概率信息，无法识别训练集未出现过的变量特征，且先验概率信息会因光照条件导致目标图像颜色变化而改变。此外，对于算法参数调节和核函数的参数过于敏感，当使用新的数据集时，必须重新确定这些函数及其参数。
随着人工智能的大火，又将基于深度学习的神经网络算法用于目标检测，如SSD网络模型、YOLO网络模型、R-CNN网络模型、Fast R-CNN网络模型、Faster R-CNN网络模型等。该算法虽然能解决采摘机器人在非结构化环境下的目标检测识别的问题，但是只能使用边界框粗略计算目标果实的位置，他们无法准确地提取轮廓和形状信息。众所周知，可以通过机械臂末端执行器抓取拉扯像苹果、梨、柑橘等硬皮类水果完成采摘，相反对于串状易损伤水果果实的采摘只能通过在采摘点剪切来防止水果表皮的损伤。因此，对于果实采摘点的定位，获取果实的高精度图像和果实轮廓以及形状识别是必要的，这意味着上述网络模型不能满足串状易损伤水果检测的要求。
发明内容
有鉴于此，本发明的目的在于提供一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法，解决传统目标检测易受光照条件影响、几何特征随生长周期改变、枝叶对果实遮挡以及果实成簇生长等问题，还克服了一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点。
为达到上述目的，本发明提供如下技术方案：
一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法，具体包括以下步骤：
S1：采集自然环境下的果实图像，并进行尺寸缩放，标注训练图像和测试图像；
S2：采用Mask R-CNN作为目标检测的主体算法，将ResNet-101作为骨干网络，并结合特征金字塔网络(Feature Pyramid Networks,FPN)架构对经过标注和尺寸缩放处理后的图像进行目标特征提取；
S3：将步骤S2提取出的特征图进行卷积操作，并输入到区域建议网络(RegionProposal Network,RPN)中；
S4：将步骤S3输入到RPN中的特征图进行卷积操作，并通过softmax分类器和bounding box边框回归生成感兴趣区域(Region of Interest,RoI)；
S5：映射从步骤S4输出的RoI,用以提取共享特征图中的相应目标特征，同时采用双线性插值来获取图像四个固定点坐标的像素值；
S6：将步骤S5提取的目标特征分别输出到Mask R-CNN目标检测框架末端的全连接(Fully Convolutional,FC)层和全卷积网络(Fully Convolutional Networks,FCN)；
S7：在步骤S6的FC层中采用softmax分类器和bounding box进行目标检测分类和边框回归，在FCN中生成果实的掩模图像；
S8：根据生成的掩模图像，通过确定果实轴线以识别目标番茄的几何形状；
S9：根据步骤S8确定的几何形状，计算得到图像中果实采摘点的坐标值，实现对果实的定位。
进一步，步骤S2中，骨干网ResNet-101提取目标特征分为五个阶段，将每个阶段提取的特征与FPN进行特征融合；底层特征层通过1×1的卷积得到与上一层特征层相同的通道数，上层的特征层通过上采样得到与下一层特征层一样的长和宽，再进行相加得到了一个融合好的新的特征层。
进一步，步骤S3中，采用一个3×3的卷积对提取出的特征图进行卷积操作，优化输入区域建议网络中的特征图信息。
进一步，步骤S4中，采用两个1×1的卷积对输入RPN网络中的特征图进行卷积操作，使用具有不同面积比例和长宽比的九个建议框在特征图上滑动，并通过softmax分类器和bounding box边框回归以生成RoI。
进一步，步骤S5中，通过映射从RPN网络中输出的RoI用以提取共享特征图中的相应目标特征，通过RoIAlign调整每个RoI的尺寸以满足后续FC层的输入要求，并采用双线性插值来获取图像四个固定点坐标的像素值从而使得特征图和原图对齐，将偏差降到最低。
进一步，步骤S8中，果实轴线是由图像区域Z和区域Y最小相似度相对应的线决定的，其中图像区域Z和Y的相似度S的计算公式为：
其中，(x_Z,y_Z)和(x_Y,y_Y)分别表示图像区域Z和图像区域Y中点(x,y)的像素值，其中相似度S的值越小，代表图像区域Z和图像区域Y相似度越高。
进一步，步骤S9中，果实轴线向上方向的延长线与果实外形轮廓之间的交点标记为轮廓的顶点。
进一步，所述果实包括垂直向下生长的串型果实。
本发明的有益效果在于：
1)本发明能够解决自然光照条件变化、果实聚类重叠、枝叶遮挡的检测识别难题以及针对番茄不同生长类型的目标检测，特别是对处于非结构化环境下的番茄检测识别，使采摘机器人对目标识别具有较好的鲁棒性和通用性。
2)本发明采用Mask R-CNN网络，不仅可以准确地识别果实(如番茄)成熟类别并利用边框标记出对象区域，而且还能从像素级别的背景中提取对象区域，获取果实轮廓的高精度图像。
3)本发明对Mask R-CNN网络生成的掩模图像进行形状和边缘特征分析，实现果实采摘点的可视位置。
4)本发明将RGB彩色相机获取到的彩色图像缩放为480*480，极大减少模型训练和测试的计算量和运行时间。
5)本发明采用残差网络(ResNet)作为骨干网络提取图像特征，由于残差结构不会增加模型参数，可以降低梯度消失和训练的难度，提高模型的收敛性能。
6)本发明采用特征金字塔网络(FPN)扩展骨干网络，在小目标检测方面效果比较明显，解决果实部分遮挡或果实目标体积小被忽略等问题，能够对不同生长状态的果实进行精确检测。
7)本发明应用RoIAlign调整每个RoI的尺寸，通过双线性插值提取特征图上每个RoI的对应特征，取代Faster R-CNN中RoI pooling的舍入运算，提高特征提取的精度。
8)本发明通过确定果实轴线以识别目标果实的几何形状，然后计算轴线划分的区域Z和Y的相似度来确定果实采摘点的坐标位置实现定位。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明在非结构化环境下基于深度学习的番茄采摘机器人目标检测方法的流程示意图；
图2是本发明基于Mask R-CNN目标检测框架对图像进行目标检测、边框回归和实例分割的过程实现图；
图3是本发明Mask R-CNN目标检测框架对图像进行目标检测分类、边框回归和实例分割的网络结构流程图；
图4是本发明Mask R-CNN目标检测框架骨干网ResNet-101的网络结构图；
图5是本发明Mask R-CNN目标检测框架骨干网FPN融合底层到高层的特征图的流程图；
图6是本发明Mask R-CNN目标检测框架骨干网ResNet-101和FPN提取特征融合的意义解释。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图6，本发明优选了一种非结构化环境下基于深度学习的番茄采摘机器人目标检测方法的流程图，包括如下具体步骤：
(1)采集自然环境下的番茄图像，并进行尺寸缩放，标注训练图像和测试图像；
(2)采用Mask R-CNN作为目标检测的主体算法，在ResNet-101骨干网络的基础上结合特征金字塔网络(FPN)架构对经过标注和尺寸缩放处理后的图像进行目标特征提取。骨干网ResNet-101提取目标特征分为五个阶段(如图4所示)。将每个阶段提取的特征与FPN进行特征融合(如图5所示)。左边的底层特征层通过1×1的卷积得到与上一层特征层相同的通道数，上层的特征层通过上采样得到与下一层特征层一样的长和宽，再进行相加得到了一个融合好的新的特征层(如图6所示)。
(3)通过一个3×3的卷积对步骤(2)提取出的特征图卷积操作并输入到区域建议网络(RPN)中；
(4)采用两个1×1的卷积对步骤(3)输入到RPN中的特征图进行卷积操作，使用具有不同面积比例和长宽比的九个建议框在特征图上滑动，并通过softmax分类器和bounding box边框回归生成感兴趣区域(RoI)；
(5)通过映射从RPN网络中输出的RoI用以提取共享特征图中的相应目标特征，通过RoIAlign调整每个RoI的尺寸以满足后续全连接层(FC)的输入要求，并采用双线性插值来获取图像四个固定点坐标的像素值从而使得特征图和原图对齐，将偏差降到最低。
(6)将步骤(5)提取的目标特征分别输出到Mask R-CNN目标检测框架末端的全连接层(FC)和全卷积网络(FCN)，在全连接层中采用softmax分类器和bounding box进行目标检测分类和边框回归，在全卷积网络中生成番茄的掩模图像。整个基于Mask R-CNN的番茄检测器可以同时实现目标检测，实例分割和果实定位，训练器的图像输入批处理大小为32，学习率为0.01，每1000次训练迭代后进行调整，调整因子为0.95；
(7)根据步骤(6)使用Mask R-CNN生成成熟番茄的掩模图像后，通过确定番茄轴线以识别目标水果的几何形状：即计算由轴线划分的区域Z和Y的相似度来确定番茄采摘点的位置，其中：
图像区域Z和Y的相似度S的计算公式为：
上述计算公式中，(x_Z,y_Z)和(x_Y,y_Y)分别表示图像区域Z和图像区域Y中点(x,y)的像素值，其中相似度S的值越小，代表图像区域Z和图像区域Y相似度越高。
(8)根据步骤(7)计算图像中番茄采摘点的坐标值，实现对番茄定位。番茄果实大多垂直向下生长，将番茄轴线向上方向的延长线与番茄外形轮廓之间的交点标记为轮廓的顶点，因此采摘点的位置距离沿番茄果实轴的轮廓顶点向上15mm。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法，其特征在于，该方法具体包括以下步骤：
S1：采集自然环境下的果实图像，并进行尺寸缩放，标注训练图像和测试图像；
S2：采用Mask R-CNN作为目标检测的主体算法，将ResNet-101作为骨干网络，并结合特征金字塔网络(Feature Pyramid Networks,FPN)架构对经过标注和尺寸缩放处理后的图像进行目标特征提取；
S3：将步骤S2提取出的特征图进行卷积操作，并输入到区域建议网络(RegionProposal Network,RPN)中；
S4：将步骤S3输入到RPN中的特征图进行卷积操作，并通过softmax分类器和boundingbox边框回归生成感兴趣区域(Region of Interest,RoI)；
S5：映射从步骤S4输出的RoI,用以提取共享特征图中的相应目标特征，同时采用双线性插值来获取图像四个固定点坐标的像素值；
S6：将步骤S5提取的目标特征分别输出到Mask R-CNN目标检测框架末端的全连接(Fully Convolutional,FC)层和全卷积网络(Fully Convolutional Networks,FCN)；
S7：在步骤S6的FC层中采用softmax分类器和bounding box进行目标检测分类和边框回归，在FCN中生成果实的掩模图像；
S8：根据生成的掩模图像，通过确定果实轴线以识别目标番茄的几何形状；
S9：根据步骤S8确定的几何形状，计算得到图像中果实采摘点的坐标值，实现对果实的定位。
2.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S2中，骨干网ResNet-101提取目标特征分为五个阶段，将每个阶段提取的特征与FPN进行特征融合；底层特征层通过1×1的卷积得到与上一层特征层相同的通道数，上层的特征层通过上采样得到与下一层特征层一样的长和宽，再进行相加得到了一个融合好的新的特征层。
3.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S3中，采用一个3×3的卷积对提取出的特征图进行卷积操作。
4.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S4中，采用两个1×1的卷积对输入RPN网络中的特征图进行卷积操作，使用具有不同面积比例和长宽比的九个建议框在特征图上滑动，并通过softmax分类器和bounding box边框回归以生成RoI。
5.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S5中，通过映射从RPN网络中输出的RoI用以提取共享特征图中的相应目标特征，通过RoIAlign调整每个RoI的尺寸以满足后续FC层的输入要求，并采用双线性插值来获取图像四个固定点坐标的像素值。
6.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S8中，果实轴线是由图像区域Z和区域Y最小相似度相对应的线决定的，其中图像区域Z和Y的相似度S的计算公式为：
其中，(x_Z,y_Z)和(x_Y,y_Y)分别表示图像区域Z和图像区域Y中点(x,y)的像素值。
7.根据权利要求1所述的果实采摘机器人目标检测方法，其特征在于，步骤S9中，果实轴线向上方向的延长线与果实外形轮廓之间的交点标记为轮廓的顶点。
8.根据权利要求1～7中任意一项所述的果实采摘机器人目标检测方法，其特征在于，所述果实包括垂直向下生长的串型果实。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011181883.2A CN112270268A (zh) | 2020-10-29 | 2020-10-29 | 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011181883.2A CN112270268A (zh) | 2020-10-29 | 2020-10-29 | 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112270268A true CN112270268A (zh) | 2021-01-26 |
Family
ID=74345338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011181883.2A Pending CN112270268A (zh) | 2020-10-29 | 2020-10-29 | 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270268A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076819A (zh) * | 2021-03-17 | 2021-07-06 | 山东师范大学 | 同色系背景下的果实识别方法、装置及果实采摘机器人 |
| CN113343749A (zh) * | 2021-04-13 | 2021-09-03 | 山东师范大学 | 基于D2Det模型的果实识别方法及系统 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114532224A (zh) * | 2022-02-25 | 2022-05-27 | 华北电力大学（保定） | 一种蝴蝶兰种苗切割方法和装置 |
| GB2606816A (en) * | 2021-02-16 | 2022-11-23 | Nvidia Corp | Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision |
| CN115631402A (zh) * | 2022-12-22 | 2023-01-20 | 联通(四川)产业互联网有限公司 | 一种适用于智慧养殖的ai算法服务平台构建方法 |
| CN116824581A (zh) * | 2023-06-08 | 2023-09-29 | 中国科学院空间应用工程与技术中心 | 空间水稻叶尖检测与生长轨迹生成方法、系统和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN110188657A (zh) * | 2019-05-27 | 2019-08-30 | 中国农业科学院农业资源与农业区划研究所 | 基于卷曲叶片检测的玉米干旱识别方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
| CN111340784A (zh) * | 2020-02-25 | 2020-06-26 | 安徽大学 | 一种基于Mask R-CNN图像篡改检测方法 |
-
2020
- 2020-10-29 CN CN202011181883.2A patent/CN112270268A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN110188657A (zh) * | 2019-05-27 | 2019-08-30 | 中国农业科学院农业资源与农业区划研究所 | 基于卷曲叶片检测的玉米干旱识别方法 |
| CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
| CN111340784A (zh) * | 2020-02-25 | 2020-06-26 | 安徽大学 | 一种基于Mask R-CNN图像篡改检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| YANG YU 等: "Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2606816A (en) * | 2021-02-16 | 2022-11-23 | Nvidia Corp | Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision |
| CN113076819A (zh) * | 2021-03-17 | 2021-07-06 | 山东师范大学 | 同色系背景下的果实识别方法、装置及果实采摘机器人 |
| CN113343749A (zh) * | 2021-04-13 | 2021-09-03 | 山东师范大学 | 基于D2Det模型的果实识别方法及系统 |
| CN114532224A (zh) * | 2022-02-25 | 2022-05-27 | 华北电力大学（保定） | 一种蝴蝶兰种苗切割方法和装置 |
| CN114532224B (zh) * | 2022-02-25 | 2023-01-31 | 华北电力大学（保定） | 一种蝴蝶兰种苗切割方法和装置 |
| CN114494441A (zh) * | 2022-04-01 | 2022-05-13 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN114494441B (zh) * | 2022-04-01 | 2022-06-17 | 广东机电职业技术学院 | 基于深度学习的葡萄及其采摘点同步识别定位方法、装置 |
| CN115631402A (zh) * | 2022-12-22 | 2023-01-20 | 联通(四川)产业互联网有限公司 | 一种适用于智慧养殖的ai算法服务平台构建方法 |
| CN116824581A (zh) * | 2023-06-08 | 2023-09-29 | 中国科学院空间应用工程与技术中心 | 空间水稻叶尖检测与生长轨迹生成方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270268A (zh) | 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法 | |
| Liu et al. | A detection method for apple fruits based on color and shape features | |
| Yu et al. | Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN | |
| Dias et al. | Multispecies fruit flower detection using a refined semantic segmentation network | |
| Tian et al. | Apple detection during different growth stages in orchards using the improved YOLO-V3 model | |
| Dias et al. | Apple flower detection using deep convolutional networks | |
| Zhuang et al. | Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios | |
| Yu et al. | Automatic grading of apples based on multi-features and weighted K-means clustering algorithm | |
| CN111709489A (zh) | 一种基于改进YOLOv4的柑橘识别方法 | |
| CN109961024A (zh) | 基于深度学习的小麦田间杂草检测方法 | |
| CN111666883B (zh) | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 | |
| Wang et al. | Research on detection technology of various fruit disease spots based on mask R-CNN | |
| CN110827273A (zh) | 一种基于区域卷积神经网络的茶叶病害检测方法 | |
| Li et al. | An improved binocular localization method for apple based on fruit detection using deep learning | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| Wang et al. | Segmentation of corn leaf disease based on fully convolution neural network | |
| CN116363505A (zh) | 一种基于采摘机器人视觉系统的目标采摘方法 | |
| CN114842337A (zh) | 基于深度学习与多维信息融合聚类的果实采摘点识别方法 | |
| CN114758132B (zh) | 一种基于卷积神经网络的果树病虫害识别方法及系统 | |
| CN115862004A (zh) | 一种玉米果穗表面缺陷检测方法及装置 | |
| CN115240188A (zh) | 一种基于深度学习的橙子采摘机器人目标实时检测方法 | |
| CN118053154A (zh) | 平菇生长监测方法、装置、电子设备及存储介质 | |
| CN110348311B (zh) | 一种基于深度学习的道路交叉口识别系统及方法 | |
| Han et al. | Tomatoes maturity detection approach based on YOLOv5 and attention mechanisms | |
| Hemalatha et al. | Automatic tomato leaf diseases classification and recognition using transfer learning model with image processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210126 |
|
| RJ01 | Rejection of invention patent application after publication |