CN110033487A - 基于深度联想感知算法的受遮挡蔬果采收方法 - Google Patents
基于深度联想感知算法的受遮挡蔬果采收方法 Download PDFInfo
- Publication number
- CN110033487A CN110033487A CN201910168396.3A CN201910168396A CN110033487A CN 110033487 A CN110033487 A CN 110033487A CN 201910168396 A CN201910168396 A CN 201910168396A CN 110033487 A CN110033487 A CN 110033487A
- Authority
- CN
- China
- Prior art keywords
- image
- blocked
- target
- mature
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 32
- 235000013311 vegetables Nutrition 0.000 title claims abstract description 25
- 230000008447 perception Effects 0.000 title claims abstract description 20
- 238000003306 harvesting Methods 0.000 claims abstract description 22
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000002203 pretreatment Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度联想感知算法的受遮挡蔬果采收方法，包括：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；对采集到的图像统一分辨率；剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。本发明受环境干扰小，工作更稳定；能够估计目标的完整RGBD信息；能够提高机器人采收成功率。
Description
技术领域
本发明涉及图像处理领域，具体地，涉及基于深度联想感知算法的受遮挡蔬果采收方法。
背景技术
蔬果采摘作业规模化生产劳动力缺口大，使用机器人自动采收能提高生产效率但技术要求高。目前精确采摘蔬果的机器人鲜有大规模应用，一个重要的限制性因素是机器人采摘要求目标在视野中无遮挡，而实际农业环境中环境复杂，存在大量枝叶遮挡目标，降低了机器人采摘的成功率。另一方面，蔬果形态多变，采收控制量难以提取，进一步降低了机器人采摘成功率。
如日本松下公司开发了一种番茄采摘机器人，能够自动采摘无枝叶遮挡、挂果均匀、单侧挂果的番茄。目前处于试用阶段，计划于2019年开始销售。以及，如公开号为CN108319894A的中国发明专利公开了基于深度学习的水果识别方法及装置，利用训练后的深度学习模型对用户输入的图像进行识别，判断其中是否包含目标水果并且识别出所有目标水果在图像中的具体位置。上述两种方案均需要要求目标在视野中无遮挡，及需要将冗余枝叶全部去除，需要较长的判断蔬果是否成熟的时间，同时实际作业中受光照影响严重，因而采摘成功率低且难以广泛应用。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度联想感知算法的受遮挡蔬果采收方法。
根据本发明提供的一种基于深度联想感知算法的受遮挡蔬果采收方法，包括：
图像采集步骤：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理步骤：对采集到的图像统一分辨率；
图像裁剪步骤：剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别步骤：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断步骤：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取步骤：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。
较佳的，所述预处理步骤还包括去除图像中的噪声。
较佳的，所述图像裁剪步骤包括计算图像中每个点的真实坐标，从而剔除统一分辨率后的图像中的采收机器人工作区域以外的区域。
较佳的，判断成熟目标是否被遮挡的方法包括：
提取目标识别得到的成熟目标轮廓像素，并提取轮廓内、外侧像素的深度值及三维坐标然后作差，若存在外侧像素深度值小于内侧像素深度值，且三维坐标差值大于阈值，说明目标被遮挡；否则目标未被遮挡。
较佳的，复原出完整成熟目标的RGBD四个通道的图像的方法包括：构建视觉联想模型对被遮挡的成熟目标进行还原。
根据本发明提供的一种基于深度联想感知算法的受遮挡蔬果采收系统，包括：
图像采集模块：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理模块：对采集到的图像统一分辨率；
图像裁剪模块：剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别模块：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断模块：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取模块：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。
较佳的，所述预处理模块还包括去除图像中的噪声。
较佳的，所述图像裁剪模块包括计算图像中每个点的真实坐标，从而剔除统一分辨率后的图像中的采收机器人工作区域以外的区域。
较佳的，判断成熟目标是否被遮挡的方法包括：
提取目标识别得到的成熟目标轮廓像素，并提取轮廓内、外侧像素的深度值及三维坐标然后作差，若存在外侧像素深度值小于内侧像素深度值，且三维坐标差值大于阈值，说明目标被遮挡；否则目标未被遮挡。
较佳的，复原出完整成熟目标的RGBD四个通道的图像的方法包括：构建视觉联想模型对被遮挡的成熟目标进行还原。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于RGBDI五通道图像，受环境干扰小，工作更稳定；
2、对被遮挡的目标进行复原，能够估计目标的完整RGBD信息；
3、提取得到目标的位置和姿态进行高效采摘，能够提高机器人采收成功率，降低果实损伤率；
4、剔除机器人工作区域外的图像，使图像处理时间降至1/9；同时克服了现有方法(算法)成熟度检测慢的缺点，将目标识别与成熟度判定统一到目标识别算法；
5、本发明训练简单，通过采用迁移学习与相似网络结构，简化训练过程。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程图；
图2为目标识别的算法框架图；
图3为遮挡目标复原的算法框架图；
图4为目标位姿提取的算法框架图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种基于深度联想感知算法的受遮挡蔬果采收方法，包括：
图像采集步骤：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理步骤：对采集到的图像统一分辨率，去除图像噪声；
图像裁剪步骤：计算图像中每个点的真实坐标，剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别步骤：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断步骤：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取步骤：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置(x，y，z)和姿态(α，β，γ)至采收机器人作为采收的控制参数。
其中，在目标识别步骤中，采用像素级目标识别算法。
该算法属于深度学习类方法，利用多层卷积层提取图像特征。卷积神经网络是深度神经网络的一种，其结构往往由多层隐藏层的神经网络连接而成，相比传统人工神经网络，层数更深，能更有效刻画深层特征。它的权值共享和局部连接网络结构符合生物神经元的特性，降低了网络模型的权值参数的规模。这个特点使得网络在输入是多维图像时表现出优异的性能，图像基本不需要额外操作，可直接作为网络的输入，从而避免了传统模式识别算法中的特征提取操作，无需手工设计特征。
然而现有目标检测网络多数基于RGB图像，图像信息简单，在农业作业场景下易受光照等因素干扰，因此本发明引入不受光照干扰的深度图像D及红外图像I，对多个任务分别研究各维度图像特征的贡献，特点为：1.受光照影响小，准确度高；2.算法对象复杂，信息量大，难度高。并设计了像素级目标识别算法，强化视觉模型鲁棒性及精度。
本实施例目标识别算法的输入为Kinect摄像机拍摄的RGBDI图像，输出为二值化掩码图像，图像中目标对应的像素值为1，其他区域像素值为0，其算法框架如图2所示。
其中，Conv表示使用3x3卷积核对图像进行滑动卷积，从而提取特征；Pool表示最大池化，将核内所包含数据的最大值作为输出，会使图像尺寸缩小1/2；Relu表示使用relu函数对卷积结果进行激活，公式如式(1)，若没有非线性激活操作，线性网络对数据高层特征的挖掘和表征能力不足。Up-conv表示解卷积层，会使图像放大一倍。整个网络完成了图像的编码-解码过程，通过一系列特征提取、特征激活运算，最后输出目标的标记图像。
ReLU(x)＝max(x，0) (1)
其中Conv层，Up-conv层的每个卷积核由9个数字组成，不同值的卷积核会导致网络得到不同的结果，为了得到期望的卷积核，需要构建训练集对网络进行训练。除RGB特征提取网络使用了公开的vgg19网络权重，其他网络通过申请人自行收集的数据集训练并确定权重。使用vgg19预训练的权重提取图像特征是小数据集的常用做法，因为自行搭建的数据集往往无法满足大型网络训练的数据量需求。
判断成熟目标是否被遮挡的方法包括：
利用目标图像三维坐标判断是否存在遮挡。若不存在遮挡，则目标像素对应的三维坐标处处连续，目标轮廓外侧像素的深度值处处大于内侧像素深度值；若存在遮挡，则遮挡物与目标在图像中构成两个相邻图像域，且像素级目标识别的目标轮廓必然包含两图像域的邻接边缘，因此目标轮廓像素两侧像素的三维坐标不连续，作差结果将远大于连续情况，且遮挡物的深度值必小于目标深度值。
基于上述分析，提取目标识别得到的成熟目标轮廓像素，并提取轮廓内、外侧像素的深度值及三维坐标然后作差。若存在外侧像素深度值小于内侧像素深度值，且三维坐标差值大于阈值，说明目标被遮挡；否则目标未被遮挡。
复原出完整成熟目标的RGBD四个通道的图像的方法包括：构建视觉联想模型对被遮挡的成熟目标进行还原。
遮挡目标形态复原算法的算法框架与目标识别算法框架类似，接收被遮挡图像的RGBD图像，区别在于附加了识别网络得到的掩码图像作为输入辅助还原过程，输出为完整目标的RGBD图像信息，其网络架构如图3所示。算法包含完整的特征提取(编码)与解码过程以完成遮挡目标形态复原任务，其输入包括掩码图像、红外图像、深度图像与RGB图像，对不同的输入图像分别使用单独的特征提取网络进行编码，整合后使用单一的解码网络解码得到完整目标图像。掩码图像、红外图像、深度图像使用相同的特征提取网络，即多层串联的卷积层对图像进行多次重复卷积，卷积核随机初始化，通过对已有的遮挡样本-完整样本的训练，使用梯度下降算法不断缩小网络输出与真实完整样本间的误差，最终确定卷积核系数并使网络具有复原真实完整目标的能力。RGB图像使用迁移学习，直接使用VGG19的特征提取网络进行编码，卷积核系数不参与训练。解码网络同样由多层卷积层构成，与编码网络同时训练。虽然该网络结构与识别网络基本一致，但由于作用不同，网络输出不同，因此网络输出层通道数不同；且训练标签不同，因此网络权重也不同，需要重新搭建网络进行训练。
传统的算法仅能提取蔬果的位置(x，y，z)，对应地限制了采摘机器人的自由程度与采摘成功率，对于复杂环境下受枝叶影响导致姿态异常的目标果实难以处理，且进一步容易导致鲜嫩果实受损。在本实施例的位姿提取步骤中，提取出位置(x，y，z)以确定末端停靠位置、姿态(α，β，γ)以确定末端采摘姿态并提高采摘成功率、果实半径(r)以确定末端开合程度并提高采摘成功率。利用7维控制参数的提取，机器人可以调整最佳的采摘姿态及抓取路径，其算法框架如图4所示。
位姿提取算法包含完整的特征提取(编码)与解码过程以完成遮挡目标形态复原任务，其输入包括完整目标深度图像与RGB图像，对不同的输入图像分别使用单独的特征提取网络进行编码，整合后使用单一的解码网络解码得到完整目标图像。深度图像多层串联的卷积层对图像进行多次重复卷积提取特征，卷积核随机初始化，通过对已有的遮挡样本-七维位姿数据的训练，使用梯度下降算法不断缩小网络输出与真实位姿间的误差，最终确定卷积核系数并使网络具有完整目标位姿提取的能力。RGB图像使用迁移学习，直接使用VGG19的特征提取网络进行编码，卷积核系数不参与训练。解码网络同样由多层卷积层构成，与编码网络同时训练。
在上述一种基于深度联想感知算法的受遮挡蔬果采收方法的基础上，本发明还提供一种基于深度联想感知算法的受遮挡蔬果采收系统，包括：
图像采集模块：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理模块：对采集到的图像统一分辨率；
图像裁剪模块：剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别模块：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断模块：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取模块：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度联想感知算法的受遮挡蔬果采收方法，其特征在于，包括：
图像采集步骤：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理步骤：对采集到的图像统一分辨率；
图像裁剪步骤：剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别步骤：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断步骤：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取步骤：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。
2.根据权利要求1所述的基于深度联想感知算法的受遮挡蔬果采收方法，其特征在于，所述预处理步骤还包括去除图像中的噪声。
3.根据权利要求1所述的基于深度联想感知算法的受遮挡蔬果采收方法，其特征在于，所述图像裁剪步骤包括计算图像中每个点的真实坐标，从而剔除统一分辨率后的图像中的采收机器人工作区域以外的区域。
4.根据权利要求1所述的基于深度联想感知算法的受遮挡蔬果采收方法，其特征在于，判断成熟目标是否被遮挡的方法包括：
提取目标识别得到的成熟目标轮廓像素，并提取轮廓内、外侧像素的深度值及三维坐标然后作差，若存在外侧像素深度值小于内侧像素深度值，且三维坐标差值大于阈值，说明目标被遮挡；否则目标未被遮挡。
5.根据权利要求1所述的基于深度联想感知算法的受遮挡蔬果采收方法，其特征在于，复原出完整成熟目标的RGBD四个通道的图像的方法包括：构建视觉联想模型对被遮挡的成熟目标进行还原。
6.一种基于深度联想感知算法的受遮挡蔬果采收系统，其特征在于，包括：
图像采集模块：采集RGB通道彩色图像、D通道深度图像和I通道红外图像；
预处理模块：对采集到的图像统一分辨率；
图像裁剪模块：剔除统一分辨率后的图像中的采收机器人工作区域以外的区域；
目标识别模块：识别成熟目标，并在裁剪后的图像中标记出成熟目标的每个像素；
遮挡判断模块：判断成熟目标是否被遮挡，在被遮挡的情况下复原出完整成熟目标的RGBD四个通道的图像，在不被遮挡的情况下直接获取完整成熟目标的RGBD四个通道的图像；
位姿提取模块：根据完整成熟目标的RGBD四个通道的图像，提取出成熟目标的位置和姿态至采收机器人。
7.根据权利要求6所述的基于深度联想感知算法的受遮挡蔬果采收系统，其特征在于，所述预处理模块还包括去除图像中的噪声。
8.根据权利要求6所述的基于深度联想感知算法的受遮挡蔬果采收系统，其特征在于，所述图像裁剪模块包括计算图像中每个点的真实坐标，从而剔除统一分辨率后的图像中的采收机器人工作区域以外的区域。
9.根据权利要求6所述的基于深度联想感知算法的受遮挡蔬果采收系统，其特征在于，判断成熟目标是否被遮挡的方法包括：
提取目标识别得到的成熟目标轮廓像素，并提取轮廓内、外侧像素的深度值及三维坐标然后作差，若存在外侧像素深度值小于内侧像素深度值，且三维坐标差值大于阈值，说明目标被遮挡；否则目标未被遮挡。
10.根据权利要求6所述的基于深度联想感知算法的受遮挡蔬果采收系统，其特征在于，复原出完整成熟目标的RGBD四个通道的图像的方法包括：构建视觉联想模型对被遮挡的成熟目标进行还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/085439 WO2020172992A1 (zh) | 2019-02-25 | 2019-05-05 | 基于深度联想感知算法的受遮挡蔬果采收方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019101380528 | 2019-02-25 | ||
| CN201910138052 | 2019-02-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110033487A true CN110033487A (zh) | 2019-07-19 |
Family
ID=67235073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910168396.3A Pending CN110033487A (zh) | 2019-02-25 | 2019-03-06 | 基于深度联想感知算法的受遮挡蔬果采收方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110033487A (zh) |
| WO (1) | WO2020172992A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941991A (zh) * | 2019-10-28 | 2020-03-31 | 成都华迈通信技术有限公司 | 一种多通道结构化数据采集系统及数据采集方法 |
| CN111340030A (zh) * | 2020-02-14 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN112464747A (zh) * | 2020-11-10 | 2021-03-09 | 广州富港万嘉智能科技有限公司 | 基于图像采集设备的身高检测方法及装置 |
| CN112528826A (zh) * | 2020-12-04 | 2021-03-19 | 江苏省农业科学院 | 一种基于3d视觉感知的采摘装置的控制方法 |
| CN113099210A (zh) * | 2021-03-31 | 2021-07-09 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像还原方法、装置、计算机设备和存储介质 |
| CN117501990A (zh) * | 2023-11-30 | 2024-02-06 | 北京市农林科学院智能装备技术研究中心 | 用于遮挡环境下水果自动采摘的定位和识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295018A (zh) * | 2013-05-21 | 2013-09-11 | 常州大学 | 一种枝叶遮挡果实精确识别方法 |
| CN103310218A (zh) * | 2013-05-21 | 2013-09-18 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101683037B (zh) * | 2008-09-26 | 2012-12-05 | 中国农业大学 | 一种果实采摘机器人的控制器 |
| US8244402B2 (en) * | 2009-09-22 | 2012-08-14 | GM Global Technology Operations LLC | Visual perception system and method for a humanoid robot |
| KR101720677B1 (ko) * | 2015-07-23 | 2017-03-28 | 성균관대학교산학협력단 | 파프리카 수확 시스템 |
| CN105259832A (zh) * | 2015-10-26 | 2016-01-20 | 重庆大学 | 一种基于多目立体视觉的智能采棉机控制系统 |
| CN108781762B (zh) * | 2018-04-10 | 2021-04-13 | 河海大学文天学院 | 一种高效草莓采摘机器人及采摘方法 |
-
2019
- 2019-03-06 CN CN201910168396.3A patent/CN110033487A/zh active Pending
- 2019-05-05 WO PCT/CN2019/085439 patent/WO2020172992A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295018A (zh) * | 2013-05-21 | 2013-09-11 | 常州大学 | 一种枝叶遮挡果实精确识别方法 |
| CN103310218A (zh) * | 2013-05-21 | 2013-09-18 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| TIEN等: ""Apple detection algorithm for robotic harvesting using a RGB-D camera"", 《PROCEEDINGS INTERNATIONAL CONFERENCE OF AGRICULTURAL ENGINEERING》 * |
| YUANSHEN ZHAO等: ""Robust Tomato Recognition for Robotic Harvesting Using Feature Images Fusion"", 《SENSORS》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110941991A (zh) * | 2019-10-28 | 2020-03-31 | 成都华迈通信技术有限公司 | 一种多通道结构化数据采集系统及数据采集方法 |
| CN110941991B (zh) * | 2019-10-28 | 2023-05-23 | 成都华迈通信技术有限公司 | 一种多通道结构化数据采集系统及数据采集方法 |
| CN111340030A (zh) * | 2020-02-14 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN112464747A (zh) * | 2020-11-10 | 2021-03-09 | 广州富港万嘉智能科技有限公司 | 基于图像采集设备的身高检测方法及装置 |
| CN112528826A (zh) * | 2020-12-04 | 2021-03-19 | 江苏省农业科学院 | 一种基于3d视觉感知的采摘装置的控制方法 |
| CN112528826B (zh) * | 2020-12-04 | 2024-02-02 | 江苏省农业科学院 | 一种基于3d视觉感知的采摘装置的控制方法 |
| CN113099210A (zh) * | 2021-03-31 | 2021-07-09 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像还原方法、装置、计算机设备和存储介质 |
| CN117501990A (zh) * | 2023-11-30 | 2024-02-06 | 北京市农林科学院智能装备技术研究中心 | 用于遮挡环境下水果自动采摘的定位和识别方法及系统 |
| CN117501990B (zh) * | 2023-11-30 | 2024-06-07 | 北京市农林科学院智能装备技术研究中心 | 用于遮挡环境下水果自动采摘的定位和识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020172992A1 (zh) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033487A (zh) | 基于深度联想感知算法的受遮挡蔬果采收方法 | |
| CN110070033B (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN109559310B (zh) | 基于显著性检测的输变电巡检图像质量评价方法及系统 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| Liu et al. | A method of segmenting apples at night based on color and position information | |
| CN104992189B (zh) | 基于深度学习网络模型的鱼群异常行为识别方法 | |
| CN109325954A (zh) | 图像分割方法、装置及电子设备 | |
| CN102214306B (zh) | 叶片病斑识别方法及装置 | |
| CN106951870B (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
| CN108460356A (zh) | 一种基于监控系统的人脸图像自动处理系统 | |
| CN112990103B (zh) | 一种基于机器视觉的串采二次定位方法 | |
| CN109045676B (zh) | 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法 | |
| CN114937232B (zh) | 医废处理人员防护用具穿戴检测方法、系统和设备 | |
| CN111783693A (zh) | 果蔬采摘机器人的智能识别方法 | |
| CN109376625A (zh) | 一种基于卷积神经网络的面部表情识别方法 | |
| CN103020933A (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| CN109948501A (zh) | 一种监控视频中人员和安全帽的检测方法 | |
| CN109360179A (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN109583331A (zh) | 基于深度学习的人手腕脉口位置精准定位方法 | |
| Sabri et al. | Evaluation of color models for palm oil fresh fruit bunch ripeness classification | |
| CN107194380A (zh) | 一种复杂场景下人脸识别的深度卷积网络及学习方法 | |
| CN115482523A (zh) | 轻量级多尺度注意力机制的小物体目标检测方法及系统 | |
| Li et al. | A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs | |
| Moghimi et al. | A robo-vision algorithm for automatic harvesting of green bell pepper | |
| Zhang et al. | Recognition of greenhouse cucumber fruit using computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190719 |
|
| RJ01 | Rejection of invention patent application after publication |