CN114347044A - 辣椒采摘方法、装置、电子设备及存储介质 - Google Patents

辣椒采摘方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114347044A
CN114347044A CN202210263470.1A CN202210263470A CN114347044A CN 114347044 A CN114347044 A CN 114347044A CN 202210263470 A CN202210263470 A CN 202210263470A CN 114347044 A CN114347044 A CN 114347044A
Authority
CN
China
Prior art keywords
picking
image
pepper
template
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210263470.1A
Other languages
English (en)
Other versions
CN114347044B (zh
Inventor
吴宇君
李季兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210263470.1A priority Critical patent/CN114347044B/zh
Publication of CN114347044A publication Critical patent/CN114347044A/zh
Application granted granted Critical
Publication of CN114347044B publication Critical patent/CN114347044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及辣椒采摘领域，具体为一种辣椒采摘方法、装置、电子设备及存储介质。该辣椒采摘方法用于条状辣椒的采摘机器人的控制系统，采摘机器人包括双目相机和二指夹爪，包括步骤：通过双目相机获取左侧图像和右侧图像；根据左侧图像，获取所有采摘对象对应的等效中轴线段；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的下爪角度；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点；控制二指夹爪对各个采摘对象进行采摘。本发明有利于准确控制二指夹爪实现对辣椒的精准采摘，同时还有利于降低采摘过程对辣椒造成损伤的风险。

Description

辣椒采摘方法、装置、电子设备及存储介质
技术领域
本发明涉及辣椒采摘领域，具体涉及一种辣椒采摘方法、装置、电子设备及存储介质。
背景技术
现有技术中有一种针对相互堆叠的蘑菇的识别方法，该方法利用图像识别区分出属于蘑菇的各个区域，然后对各个蘑菇区域进行圆形拟合以获得各个蘑菇的圆心坐标，拟合出的圆形和获取的圆心坐标仅用于识别以使得机器人能够快速定位从而提高采摘效率，然而该方法仅能适用于采摘蘑菇这种圆形果实且仅达到定位作用，在需要采摘辣椒这种条状果实时，除了需要准确定位外，还需要根据辣椒的生长姿态调整机器人执行端的下爪角度，以致该方法无法有效适用于采摘辣椒。
因此，现有技术有待改进和发展。
发明内容
本发明的目的在于提供一种辣椒采摘方法、装置、电子设备及存储介质，一方面能够准确识别并定位辣椒，另一方面能够根据辣椒的生长姿态调整下爪角度，有利于稳固夹持辣椒。
第一方面，本申请提供一种辣椒采摘方法，用于条状辣椒的采摘机器人的控制系统，所述采摘机器人包括双目相机和二指夹爪，所述辣椒采摘方法包括以下步骤：
S1.通过所述双目相机获取左侧图像和右侧图像；
S2.根据所述左侧图像，获取所有采摘对象对应的等效中轴线段；
S3.根据各个所述采摘对象对应的等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的下爪角度；所述下爪角度使所述二指夹爪的合拢方向垂直于所述等效中轴线段；
S4.根据各个所述采摘对象对应的所述等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的抓取点；
S5.根据各个所述采摘对象对应的抓取点和下爪角度以及所述左侧图像和所述右侧图像，控制所述二指夹爪对各个所述采摘对象进行采摘。
根据辣椒图像拟合出辣椒的生长姿态的等效中轴线段，根据该等效中轴线段定位辣椒，更进一步的根据拟合直线调整二指夹爪的下爪角度，从而确保定位准确且夹持稳定。
进一步的，步骤S2包括：
S21.从所述左侧图像中提取出所有候选区域；所述候选区域是指候选采摘对象所占据的图像区域；
S22.利用RANSAC直线拟合法分别对各个所述候选区域的像素点进行直线拟合，以获取各个所述候选区域的等效中轴线段、内部像素点和外部像素点；
S23.根据各个所述候选区域对应的等效中轴线段、内部像素点和外部像素点，对所有所述候选区域进行筛选，以获取所有符合采摘要求的所述采摘对象。
通过对所获取的图像中包含的各个元素进行筛选，以准确获得所有符合采摘要求的采摘对象，有利于确保采摘机器人准确采摘，防止错误抓取。
进一步的，步骤S23包括：
S231.获取各个所述候选区域对应的内部像素点数量和外部像素点数量；
S232.把内部像素点数量大于或等于预设的第二阈值的所述候选区域所对应的辣椒作为所述采摘对象。
根据像素点数量从多个候选区域中提取出能被采摘的采摘对象，算法简单，识别速度快。
进一步的，步骤S21包括：
S211.利用HSV颜色提取法，识别左侧图像中的所有红色成熟辣椒的像素点，并提取所有所述辣椒的所述像素点得到第一图像；
S212.将所述第一图像转换为二值化图像；
S213.利用连通区域标记法，从所述二值化图像中区分出所有孤立的连通区域；
S214.获取各个所述连通区域的像素点数量；
S215.把像素点数量大于或等于预设的第一阈值的所述连通区域作为所述候选区域。
通过像素点数量剔除图像中不符合要求的区域，减少干扰，有利于后续对采摘对象的准确判断和识别。
进一步的，步骤S4包括：
S41.获取各个所述采摘对象对应的等效中轴线段的中心点；
S42.以所述中心点作为相应的所述采摘对象的抓取点。
进一步的，步骤S5包括：
S51.以所述抓取点为中心在所述左侧图像中生成一个检测框，以所述检测框所框选的图像作为第一模板；
S52.在所述右侧图像中设置窗口，所述窗口所划定的区域的形状和大小与所述第一模板相同；
S53.移动所述窗口对所述右侧图像进行滑窗搜索，获取与所述第一模板相匹配的第二模板；
S54.根据以下公式计算所述第一模板和所述第二模板之间的视差：
Figure 100002_DEST_PATH_IMAGE001
；
其中，
Figure 130377DEST_PATH_IMAGE002
为所述视差，
Figure 100002_DEST_PATH_IMAGE003
为所述第一模板中心点在所述左侧图像中的
Figure 146875DEST_PATH_IMAGE004
轴坐标，
Figure 100002_DEST_PATH_IMAGE005
为所述第二模板中心点在所述右侧图像中的
Figure 831803DEST_PATH_IMAGE004
轴坐标；
S55.根据以下公式计算所述抓取点相对于所述双目相机的左侧摄像头的三维位置：
Figure 869029DEST_PATH_IMAGE006
；
Figure 100002_DEST_PATH_IMAGE007
；
Figure 757351DEST_PATH_IMAGE008
；
其中，
Figure 100002_DEST_PATH_IMAGE009
为所述抓取点相对于所述双目相机的左侧摄像头的
Figure 826807DEST_PATH_IMAGE010
轴坐标，
Figure 100002_DEST_PATH_IMAGE011
为所述抓 取点相对于所述双目相机的左侧摄像头的
Figure 851394DEST_PATH_IMAGE004
轴坐标，
Figure 325101DEST_PATH_IMAGE012
为所述抓取点相对于所述双目相机 的左侧摄像头的
Figure 100002_DEST_PATH_IMAGE013
轴坐标，
Figure 684407DEST_PATH_IMAGE014
为所述双目相机的左侧摄像头光心与右侧摄像头光心之间的 连线长度，
Figure 100002_DEST_PATH_IMAGE015
为所述双目相机的左侧摄像头的焦距，
Figure 42707DEST_PATH_IMAGE016
为所述双目相机的左侧摄像头光心在 所述左侧图像中的
Figure 46435DEST_PATH_IMAGE004
轴坐标，
Figure 100002_DEST_PATH_IMAGE017
为所述双目相机的左侧摄像头光心在所述左侧图像中的
Figure 815677DEST_PATH_IMAGE013
轴 坐标，
Figure 147432DEST_PATH_IMAGE018
为所述第一模板中心点在所述左侧图像中的
Figure 637320DEST_PATH_IMAGE013
轴坐标。
进一步的，步骤S53包括：
S531.控制所述窗口以固定步距在所述右侧图像中移动，并时刻记录位置信息和对应图像；
S532.根据以下公式计算在各个位置上所述窗口内部的图像与所述第一模板的相似度：
Figure 100002_DEST_PATH_IMAGE019
；
其中，
Figure 151346DEST_PATH_IMAGE020
为所述相似度；
Figure 100002_DEST_PATH_IMAGE021
为所述第一模板上所有像素点的亮度均值，
Figure 107801DEST_PATH_IMAGE022
为所述 窗口内部的图像上所有像素点的亮度均值，
Figure 100002_DEST_PATH_IMAGE023
和
Figure 707279DEST_PATH_IMAGE024
均为预设常数，
Figure 100002_DEST_PATH_IMAGE025
为所述第一模板上所 有像素点的亮度方差，
Figure 266436DEST_PATH_IMAGE026
为所述窗口内部的图像上所有像素点的亮度方差，
Figure 100002_DEST_PATH_IMAGE027
为所述第一 模板和所述窗口内部的图像上各个像素点的亮度之间的协方差；
S533.以相似度最大值对应的窗口内部的图像作为所述第二模板。
第二方面，本发明还提供了一种辣椒采摘装置，用于条状辣椒的采摘机器人的控制系统，所述采摘机器人包括双目相机和二指夹爪，所述辣椒采摘装置包括：
第一获取模块，用于通过所述双目相机获取左侧图像和右侧图像；
第二获取模块，用于根据所述左侧图像，获取所有采摘对象对应的等效中轴线段；
第三获取模块，用于根据各个所述采摘对象对应的等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的下爪角度；所述下爪角度使所述二指夹爪的合拢方向垂直于所述等效中轴线段；
第四获取模块，用于根据各个所述采摘对象对应的所述等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的抓取点；
控制模块，用于根据各个所述采摘对象对应的抓取点和下爪角度以及所述左侧图像和所述右侧图像，控制所述二指夹爪对各个所述采摘对象进行采摘。
通过在图像中找出所有可被采摘的辣椒的等效中轴线段，以获得辣椒的生长姿态，有利于后续采摘时能够准确控制二指夹爪的下爪角度，从而确保采摘顺利且不会导致辣椒损伤。
第三方面，本发明提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述辣椒采摘方法中的步骤。
第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述辣椒采摘方法中的步骤。
由上可知，通过图像处理截取待采摘辣椒的图像，然后为各个待采摘辣椒拟合出等效中轴线段，该等效中轴线段能够直观反映辣椒的生长姿态，从而准确确定二指夹爪的下爪角度，一方面有利于避免下爪角度不恰当导致与辣椒表皮发生刮擦导致果实损伤，另一方面下爪角度适应辣椒的生长姿态，采摘时辣椒受力更合理，且夹持更稳定，有助于辣椒与植株分离。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的辣椒采摘方法的一种流程图。
图2为本申请实施例中的二值化图像。
图3为本申请实施中获取的采摘对象的图像。
图4为本申请实施例提供的辣椒采摘装置的一种结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
现实生活中，采摘辣椒的方式主要有两种：
第一种为人工采摘，然而人工采摘成本高，采摘效率较低，因此促进了第二种采摘方式，第二种是通过机器人进行采摘，例如欧洲和以色列的甜椒温室种植基地中则用到称为“Sweeper”的采摘机器人，该采摘机器人通过图像识别获取甜椒的外形和根茎轮廓，在判断成熟后通过剪切的方式切断甜椒与植株之间的茎干，从而实现采摘甜椒。然而这种机器人仅仅适用于采摘较大的甜椒，对于生长相对密集且体型细长的辣椒（如小米椒、指天椒等）则无法有效应用；再者，该机器人除了需要识别辣椒本身外，还需要识别辣椒与植株之间的茎干，才能够准确无误地对茎干进行剪切，然而对于小米椒、指天椒这种辣椒，其茎干一般较细，在密集的环境中识别出各个辣椒的茎干显然需要依靠复杂的算法；同时，以剪切的方式采摘辣椒，无疑会对植株本身造成一定损伤，有可能影响以后的收成，导致经济损失。
在某些实施例中，一种辣椒采摘方法，用于条状辣椒的采摘机器人的控制系统，采摘机器人包括双目相机和二指夹爪，包括步骤：
S1.通过双目相机获取左侧图像和右侧图像；
S2.根据左侧图像，获取所有采摘对象对应的等效中轴线段；
S3.根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的下爪角度；下爪角度使二指夹爪的合拢方向垂直于等效中轴线段；
S4.根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点；
S5.根据各个采摘对象对应的抓取点和下爪角度以及左侧图像和右侧图像，控制二指夹爪对各个采摘对象进行采摘。
本实施例中，在进行辣椒采摘时，将会根据图像中辣椒的等效中轴线段的位置，获取到该辣椒的抓取点，同时根据该辣椒的等效中轴线段的摆向，调整二指夹爪的下爪角度，然后对准该抓取点伸向该辣椒，使得该辣椒位于二指夹爪的两个夹爪之间，随后控制两个夹爪合拢则完成对该辣椒的夹持，最终通过拖曳将该辣椒从植株上摘出。
需要说明的是，本实施例中的辣椒仅限于条形辣椒，例如小米椒、指天椒等，而等效中轴线段能够反映辣椒的实际摆向，是根据辣椒的生长姿态所决定的，例如辣椒沿左下角方向生长，则对应的等效中轴线段同样时沿左下角方向延伸。
采摘机器人在采摘时，会控制二指夹爪沿平行于双目相机的目视方向进行伸缩，然而因为辣椒的生长姿态各异，则还需要控制二指夹爪沿伸缩方向为轴向进行旋转，所旋转的角度则为下爪角度。
在某些实施例中，参考附图3，步骤S2包括：
S21.从左侧图像中提取出所有候选区域；候选区域是指候选采摘对象所占据的图像区域；
S22.利用RANSAC直线拟合法分别对各个候选区域的像素点进行直线拟合，以获取各个候选区域的等效中轴线段、内部像素点和外部像素点；
S23.根据各个候选区域对应的等效中轴线段、内部像素点和外部像素点，对所有候选区域进行筛选，以获取所有符合采摘要求的采摘对象。
本实施例中，左侧图像中一般有多个辣椒，然而在所拍摄的左侧图像中，有些辣椒只显示出一部分（例如辣椒被枝叶遮挡、辣椒之间相互遮挡、辣椒超出拍摄范围等），这种被遮挡的辣椒在此次采摘识别过程中应当被认为是无法采摘的对象，因此需要经过筛选，去除无法采摘的部分，保留符合采摘要求的部分（即采摘对象）。
需要说明的是，RANSAC直线拟合法为现有的技术手段，通过该RANSAC直线拟合法能够直接获得各个候选区域的等效中轴线段、内部像素点和外部像素点，内部像素点为某根以等效中轴线段为中轴线的辣椒的像素点，外部像素点为并非某根以等效中轴线段为中轴线的辣椒的像素点，在此不再赘述。
进一步的，参考附图3，步骤S23包括：
S231.获取各个候选区域对应的内部像素点数量和外部像素点数量；
S232.把内部像素点数量大于或等于预设的第二阈值的候选区域所对应的辣椒作为采摘对象。
本实施例中，用户预设一个第二阈值，当内部像素点数量超过第二阈值时，该内部像素点对应的候选区域所对应的辣椒则被认为在本次采摘识别过程中的采摘对象，最终将会控制二指夹爪采摘该辣椒。如附图3所示，黑色的两条线段为两个采摘对象的等效中轴线段，在左侧的采摘对象上，该等效中轴线段的左侧凸出部分的像素点则为外部像素点。
需要说明的是，第二阈值一般可以是根据大数据计算所得的平均值，例如在一定视距范围内拍摄大量辣椒图像，通过图像标注等方式计算该视距下，确定图像中可被采摘的各个辣椒（一般为在图像中完整显示的辣椒则为可被采摘的辣椒）所占据的像素点数量，最后进行统计并取均值，获得单个辣椒一般占据图像的像素点数量作为第二阈值，当候选区域的内部像素点数量小于第二阈值时，则该候选区域对应的辣椒可能未成熟（较小），也可能是与相机的距离太远，也可能是辣椒的长势过于倾斜等，从而导致内部像素点数量少。
进一步的，若需要确保第二阈值足够准确，则可以考虑对大数据进行筛选，比如按辣椒种类筛选，则能够准确获取同一种类下，该辣椒成熟时在一定视距范围内拍摄图像中所占据的像素点数量。
在某些实施例中，参考附图2，步骤S21包括：
S211.利用HSV颜色提取法，识别左侧图像中的所有红色成熟辣椒的像素点，并提取所有辣椒的像素点得到第一图像；
S212.将第一图像转换为二值化图像；
S213.利用连通区域标记法，从二值化图像中区分出所有孤立的连通区域；
S214.获取各个连通区域的像素点数量；
S215.把像素点数量大于或等于预设的第一阈值的连通区域作为候选区域。
本实施例中，针对细长型的红色辣椒，通过HSV颜色提取法能够直接从左侧图像中识别出所有红色像素点，从而实现将辣椒与枝叶之间的图像分离，将辣椒图像（即第一图像）分离出来后，经过上述处理，从二值化图像中可以得到所有相互孤立的连通区域，用户预设第一阈值，对二值化图像中的各个连通区域进行筛选，在连通区域像素点低于第一阈值时，则认为该连通区域对应的辣椒在此次采摘识别过程中并不能被有效采摘，该辣椒可能未成熟（较小），也可能是与相机的距离太远，也可能是辣椒的长势过于倾斜从而导致在二值化图像中所显示的连通区域较小，因而所占据的像素点数量少。
需要说明的是，在实际应用时，部分连通区域在二值化图像中显示面积较大，因而所占据的像素点数量大于第一阈值从而被保留，被保留的连通区域则为上述的候选采摘对象，然而这种连通区域（候选采摘对象）有可能是因为多个辣椒重叠导致的，多个辣椒重叠在经过HSV颜色提取后，会识别成一整体（即连通区域），因而需要经过后续的步骤进一步使用第二阈值进行筛选，以剔除因重叠原因通过第一阈值筛查的部分，有利于确保最终的采摘对象的识别精准度。
HSV颜色提取法为现有技术，在此不再赘述。
在某些实施例中，步骤S4包括：
S41.获取各个采摘对象对应的等效中轴线段的中心点；
S42.以中心点作为相应的采摘对象的抓取点。
本实施例中，等效中轴线段反映了对应辣椒的生长姿态，而为了确保抓取更加稳定牢固，以等效中轴线段的中心点作为二指夹爪的抓取点，有利于确保二指夹爪夹取辣椒时不会导致辣椒从二指夹爪上意外脱落。
在某些实施例中，步骤S5包括：
S51.以抓取点为中心在左侧图像中生成一个检测框，以该检测框所框选的图像作为第一模板；
S52.在右侧图像中设置窗口，窗口所划定的区域（即窗口内部区域）的形状和大小与第一模板相同；
S53.移动窗口对右侧图像进行滑窗搜索，获取与第一模板相匹配的第二模板；
S54.根据以下公式计算第一模板和第二模板之间的视差：
Figure 120122DEST_PATH_IMAGE001
；
其中，
Figure 237026DEST_PATH_IMAGE002
为视差，
Figure 668007DEST_PATH_IMAGE003
为第一模板中心点在左侧图像中的
Figure 640643DEST_PATH_IMAGE004
轴坐标，
Figure 942311DEST_PATH_IMAGE005
为第二模板中 心点在右侧图像中的
Figure 99623DEST_PATH_IMAGE004
轴坐标；
S55.根据以下公式计算抓取点相对于双目相机的左侧摄像头的三维位置：
Figure 142534DEST_PATH_IMAGE006
；
Figure 512336DEST_PATH_IMAGE007
；
Figure 75035DEST_PATH_IMAGE008
；
其中，
Figure 403248DEST_PATH_IMAGE028
为抓取点相对于双目相机的左侧摄像头的
Figure DEST_PATH_IMAGE029
轴坐标，
Figure 933456DEST_PATH_IMAGE030
为抓取点相对于 双目相机的左侧摄像头的
Figure DEST_PATH_IMAGE031
轴坐标，
Figure 44631DEST_PATH_IMAGE032
为抓取点相对于双目相机的左侧摄像头的
Figure DEST_PATH_IMAGE033
轴坐 标，
Figure 976684DEST_PATH_IMAGE034
为双目相机的左侧摄像头光心与右侧摄像头光心之间的连线长度，
Figure DEST_PATH_IMAGE035
为双目相机的左 侧摄像头的焦距，
Figure 882323DEST_PATH_IMAGE036
为双目相机的左侧摄像头光心在左侧图像中的
Figure 244034DEST_PATH_IMAGE031
轴坐标，
Figure DEST_PATH_IMAGE037
为双目相 机的左侧摄像头光心在左侧图像中的
Figure 877010DEST_PATH_IMAGE033
轴坐标，
Figure 538935DEST_PATH_IMAGE038
为第一模板中心点在左侧图像中的
Figure 84317DEST_PATH_IMAGE033
轴 坐标。
本实施例中，经上述实施例的处理后，左侧图像上则能够标记出所有采摘对象，通过上述步骤，在右侧图像中进行滑窗搜索，以在右侧图像中识别出所有采摘对象，最后对同一个采摘对象通过上述计算方式计算出该采摘对象的三维位置。
需要说明的是，双目相机中左侧摄像头和右侧摄像头需要保持水平，以使采摘对象在左侧图像中的位置与在右侧图像中的位置保持在同一水平线上，从而在右侧图像中对某一个采摘对象进行滑窗搜索时，窗口保持与左侧图像中该采摘对象对应的第一模板处于同一高度，沿水平方向滑动搜索即可，无需遍历整个右侧图像，有效节省搜索时间。
在某些实施例中，步骤S53包括：
S531.控制窗口以固定步距在右侧图像中移动；
S532.根据以下公式计算在各个位置上窗口内部的图像与第一模板的相似度：
Figure 933324DEST_PATH_IMAGE019
；
其中，
Figure 838832DEST_PATH_IMAGE020
为相似度；
Figure 355264DEST_PATH_IMAGE021
为第一模板上所有像素点的亮度均值，
Figure 71548DEST_PATH_IMAGE022
为窗口内部的图 像上所有像素点的亮度均值，
Figure 407851DEST_PATH_IMAGE023
和
Figure 992416DEST_PATH_IMAGE024
均为预设常数，
Figure 487988DEST_PATH_IMAGE025
为第一模板上所有像素点的亮度方 差，
Figure 499807DEST_PATH_IMAGE026
为窗口内部的图像上所有像素点的亮度方差，
Figure 933193DEST_PATH_IMAGE027
为第一模板和窗口内部的图像上各 个像素点的亮度之间的协方差；需要说明的是，对于各个位置上的窗口，各自通过上述公式 计算得到一个相似度；
S533.以相似度最大值对应的窗口内部的图像作为第二模板。
本实施例中，窗口可以固定步距进行滑动搜索，固定步距可以根据实际需要设置，例如为1个像素、10个像素或每次移动一个窗口的水平长度距离等，但不仅限于此。
需要说明的是，实际应用时，因为左侧图像和右侧图像之间存在视差，一般情况 下，对右侧图像进行滑窗搜索时无法寻找到与第一模板百分百相同的图像，因此窗口在该 第一模板所对应的水平方向上完成对右侧图像的搜索识别后，根据记录，获取相似度最高 时候的位置信息，则对应该位置的图像为第二模板。其中，
Figure DEST_PATH_IMAGE039
和
Figure 977242DEST_PATH_IMAGE040
根据实际情况进行设置；
还需要说明的是，因为第一模板和窗口的大小相同，因此所包括的像素点数量也 相同，而
Figure DEST_PATH_IMAGE041
的具体计算步骤如下：
1、计算第一模板的第一亮度均值，然后计算第一模板中各个像素点与第一亮度均值之间的第一差值；
2、计算窗口的第二亮度均值，然后计算窗口内部的图像的像素点与第二亮度均值之间的第二差值；
3、计算第一模板与窗口之间对应位置像素点的第一差值与第二差值的乘积（例如第一模板和窗口均有4个像素点且呈“田”字型排布，则计算第一模板第一行第一列像素点的第一差值与窗口第一行第一列像素点的第二差值之间乘积，同理，计算所有对应行列的像素点第一差值与第二差值的乘积，一共可以获得4个乘积）；
4、对所有乘积求和并求均值，得到
Figure 468266DEST_PATH_IMAGE041
。
请参照图4，图4是本申请一些实施例中的一种辣椒采摘装置，用于条状辣椒的采摘机器人的控制系统，采摘机器人包括双目相机和二指夹爪，该辣椒采摘装置以计算机程序的形式集成在该辣椒采摘装置的后端控制设备中，该辣椒采摘装置包括：
第一获取模块100，用于通过双目相机获取左侧图像和右侧图像；
第二获取模块200，用于根据左侧图像，获取所有采摘对象对应的等效中轴线段；
第三获取模块300，用于根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的下爪角度；下爪角度使二指夹爪的合拢方向垂直于等效中轴线段；
第四获取模块400，用于根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点；
控制模块500，用于根据各个采摘对象对应的抓取点和下爪角度以及左侧图像和右侧图像，控制二指夹爪对各个采摘对象进行采摘。
在某些实施例中，第二获取模块200在根据左侧图像，获取所有采摘对象对应的等效中轴线段时具体执行：
S21.从左侧图像中提取出所有候选区域；候选区域是指候选采摘对象所占据的图像区域；
S22.利用RANSAC直线拟合法分别对各个候选区域的像素点进行直线拟合，以获取各个候选区域的等效中轴线段、内部像素点和外部像素点；
S23.根据各个候选区域对应的等效中轴线段、内部像素点和外部像素点，对所有候选区域进行筛选，以获取所有符合采摘要求的采摘对象。
在某些实施例中，第二获取模块200在用于根据各个候选区域对应的等效中轴线段、内部像素点和外部像素点，筛选所有候选区域，以获取所有符合采摘要求的采摘对象的时候，执行：
S231.获取各个候选区域对应的内部像素点数量和外部像素点数量；
S232.把内部像素点数量大于或等于预设的第二阈值的候选区域所对应的辣椒作为采摘对象。
在某些实施例中，第二获取模块200在用于从左侧图像中提取出所有候选区域；候选区域是指候选采摘对象所占据的图像区域的时候，执行：
S211.利用HSV颜色提取法，识别左侧图像中的所有红色成熟辣椒的像素点，并提取所有辣椒的像素点得到第一图像；
S212.将第一图像转换为二值化图像；
S213.利用连通区域标记法，从二值化图像中区分出所有孤立的连通区域；
S214.获取各个连通区域的像素点数量；
S215.把像素点数量大于或等于预设的第一阈值的连通区域作为候选区域。
在某些实施例中，第四获取模块400在根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点时具体执行：
S41.获取各个采摘对象对应的等效中轴线段的中心点；
S42.以中心点作为相应的采摘对象的抓取点。
在某些实施例中，控制模块500在根据各个采摘对象对应的抓取点和下爪角度以及左侧图像和右侧图像，控制二指夹爪对各个采摘对象进行采摘时具体执行：
S51.以抓取点为中心在左侧图像中生成一个检测框，以检测框所框选的图像作为第一模板；
S52.在右侧图像中设置窗口，窗口所划定的区域的形状和大小与第一模板相同；
S53.移动窗口对右侧图像进行滑窗搜索，获取与第一模板相匹配的第二模板；
S54.根据以下公式计算第一模板和第二模板之间的视差：
Figure 526352DEST_PATH_IMAGE001
；
其中，
Figure 102826DEST_PATH_IMAGE002
为视差，
Figure 147969DEST_PATH_IMAGE003
为第一模板中心点在左侧图像中的
Figure 962341DEST_PATH_IMAGE004
轴坐标，
Figure 456907DEST_PATH_IMAGE005
为第二模板中 心点在右侧图像中的
Figure 989520DEST_PATH_IMAGE004
轴坐标；
S55.根据以下公式计算抓取点相对于双目相机的左侧摄像头的三维位置：
Figure 453999DEST_PATH_IMAGE006
；
Figure 778670DEST_PATH_IMAGE007
；
Figure 303192DEST_PATH_IMAGE008
；
其中，
Figure 198467DEST_PATH_IMAGE009
为抓取点相对于双目相机的左侧摄像头的
Figure 732217DEST_PATH_IMAGE010
轴坐标，
Figure 911394DEST_PATH_IMAGE011
为抓取点相对于双 目相机的左侧摄像头的
Figure 341238DEST_PATH_IMAGE004
轴坐标，
Figure 114022DEST_PATH_IMAGE012
为抓取点相对于双目相机的左侧摄像头的
Figure 61250DEST_PATH_IMAGE013
轴坐标，
Figure 970300DEST_PATH_IMAGE014
为双目相机的左侧摄像头光心与右侧摄像头光心之间的连线长度，
Figure 961259DEST_PATH_IMAGE015
为双目相机的左侧摄 像头的焦距，
Figure 955759DEST_PATH_IMAGE016
为双目相机的左侧摄像头光心在左侧图像中的
Figure 706678DEST_PATH_IMAGE004
轴坐标，
Figure 470234DEST_PATH_IMAGE017
为双目相机的左 侧摄像头光心在左侧图像中的
Figure 507460DEST_PATH_IMAGE013
轴坐标，
Figure 379470DEST_PATH_IMAGE018
为第一模板中心点在左侧图像中的
Figure 793134DEST_PATH_IMAGE013
轴坐标。
在某些实施例中，控制模块500在用于移动窗口对右侧图像进行滑窗搜索，获取与第一模板相匹配的第二模板的时候，执行：
S531.控制窗口以固定步距在右侧图像中移动；
S532.根据以下公式计算在各个位置上窗口内部的图像与第一模板的相似度：
Figure 552143DEST_PATH_IMAGE019
；
其中，
Figure 494691DEST_PATH_IMAGE020
为相似度；
Figure 588418DEST_PATH_IMAGE021
为第一模板上所有像素点的亮度均值，
Figure 805773DEST_PATH_IMAGE022
为窗口内部的图 像上所有像素点的亮度均值，
Figure 419288DEST_PATH_IMAGE023
和
Figure 63896DEST_PATH_IMAGE024
均为预设常数，
Figure 254705DEST_PATH_IMAGE025
为第一模板上所有像素点的亮度方 差，
Figure 134806DEST_PATH_IMAGE026
为窗口内部的图像上所有像素点的亮度方差，
Figure 993040DEST_PATH_IMAGE027
为第一模板和窗口内部的图像上各 个像素点的亮度之间的协方差；
S533.以相似度最大值对应的窗口内部的图像作为第二模板。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器1301和存储器1302，处理器1301和存储器1302通过通信总线1303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器1302存储有处理器1301可执行的计算机程序，当计算设备运行时，处理器1301执行该计算机程序，以执行上述第一方面的实施例的任一可选的实现方式中的辣椒采摘方法，以实现以下功能：通过双目相机获取左侧图像和右侧图像；根据左侧图像，获取所有采摘对象对应的等效中轴线段；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的下爪角度；下爪角度使二指夹爪的合拢方向垂直于等效中轴线段；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点；根据各个采摘对象对应的抓取点和下爪角度以及左侧图像和右侧图像，控制二指夹爪对各个采摘对象进行采摘。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述第一方面的实施例的任一可选的实现方式中的辣椒采摘方法，以实现以下功能：通过双目相机获取左侧图像和右侧图像；根据左侧图像，获取所有采摘对象对应的等效中轴线段；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的下爪角度；下爪角度使二指夹爪的合拢方向垂直于等效中轴线段；根据各个采摘对象对应的等效中轴线段，获取二指夹爪对应各个采摘对象的抓取点；根据各个采摘对象对应的抓取点和下爪角度以及左侧图像和右侧图像，控制二指夹爪对各个采摘对象进行采摘。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种辣椒采摘方法，用于条状辣椒的采摘机器人的控制系统，所述采摘机器人包括双目相机和二指夹爪，其特征在于，包括步骤：
S1.通过所述双目相机获取左侧图像和右侧图像；
S2.根据所述左侧图像，获取所有采摘对象对应的等效中轴线段；
S3.根据各个所述采摘对象对应的等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的下爪角度；所述下爪角度使所述二指夹爪的合拢方向垂直于所述等效中轴线段；
S4.根据各个所述采摘对象对应的所述等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的抓取点；
S5.根据各个所述采摘对象对应的抓取点和下爪角度以及所述左侧图像和所述右侧图像，控制所述二指夹爪对各个所述采摘对象进行采摘。
2.根据权利要求1所述的辣椒采摘方法，其特征在于，步骤S2包括：
S21.从所述左侧图像中提取出所有候选区域；所述候选区域是指候选采摘对象所占据的图像区域；
S22.利用RANSAC直线拟合法分别对各个所述候选区域的像素点进行直线拟合，以获取各个所述候选区域的等效中轴线段、内部像素点和外部像素点；
S23.根据各个所述候选区域对应的等效中轴线段、内部像素点和外部像素点，对所有所述候选区域进行筛选，以获取所有符合采摘要求的所述采摘对象。
3.根据权利要求2所述的辣椒采摘方法，其特征在于，步骤S23包括：
S231.获取各个所述候选区域对应的内部像素点数量和外部像素点数量；
S232.把内部像素点数量大于或等于预设的第二阈值的所述候选区域所对应的辣椒作为所述采摘对象。
4.根据权利要求2所述的辣椒采摘方法，其特征在于，步骤S21包括：
S211.利用HSV颜色提取法，识别左侧图像中的所有红色成熟辣椒的像素点，并提取所有所述辣椒的像素点得到第一图像；
S212.将所述第一图像转换为二值化图像；
S213.利用连通区域标记法，从所述二值化图像中区分出所有孤立的连通区域；
S214.获取各个所述连通区域的像素点数量；
S215.把像素点数量大于或等于预设的第一阈值的所述连通区域作为所述候选区域。
5.根据权利要求1所述的辣椒采摘方法，其特征在于，步骤S4包括：
S41.获取各个所述采摘对象对应的等效中轴线段的中心点；
S42.以所述中心点作为相应的所述采摘对象的抓取点。
6.根据权利要求5所述的辣椒采摘方法，其特征在于，步骤S5包括：
S51.以所述抓取点为中心在所述左侧图像中生成一个检测框，以所述检测框所框选的图像作为第一模板；
S52.在所述右侧图像中设置窗口，所述窗口所划定的区域的形状和大小与所述第一模板相同；
S53.移动所述窗口对所述右侧图像进行滑窗搜索，获取与所述第一模板相匹配的第二模板；
S54.根据以下公式计算所述第一模板和所述第二模板之间的视差：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 532202DEST_PATH_IMAGE002
为所述视差，
Figure DEST_PATH_IMAGE003
为所述第一模板中心点在所述左侧图像中的
Figure 861552DEST_PATH_IMAGE004
轴坐标，
Figure DEST_PATH_IMAGE005
为所述 第二模板中心点在所述右侧图像中的
Figure 122769DEST_PATH_IMAGE004
轴坐标；
S55.根据以下公式计算所述抓取点相对于所述双目相机的左侧摄像头的三维位置：
Figure 526068DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE007
；
Figure 581749DEST_PATH_IMAGE008
；
其中，
Figure DEST_PATH_IMAGE009
为所述抓取点相对于所述双目相机的左侧摄像头的
Figure 398395DEST_PATH_IMAGE010
轴坐标，
Figure DEST_PATH_IMAGE011
为所述抓取点 相对于所述双目相机的左侧摄像头的
Figure 463303DEST_PATH_IMAGE004
轴坐标，
Figure 144663DEST_PATH_IMAGE012
为所述抓取点相对于所述双目相机的左 侧摄像头的
Figure DEST_PATH_IMAGE013
轴坐标，
Figure 902403DEST_PATH_IMAGE014
为所述双目相机的左侧摄像头光心与右侧摄像头光心之间的连线 长度，
Figure DEST_PATH_IMAGE015
为所述双目相机的左侧摄像头的焦距，
Figure 206346DEST_PATH_IMAGE016
为所述双目相机的左侧摄像头光心在所述 左侧图像中的
Figure 950311DEST_PATH_IMAGE004
轴坐标，
Figure DEST_PATH_IMAGE017
为所述双目相机的左侧摄像头光心在所述左侧图像中的
Figure 921678DEST_PATH_IMAGE013
轴坐 标，
Figure 725686DEST_PATH_IMAGE018
为所述第一模板中心点在所述左侧图像中的
Figure 48083DEST_PATH_IMAGE013
轴坐标。
7.根据权利要求6所述的辣椒采摘方法，其特征在于，步骤S53包括：
S531.控制所述窗口以固定步距在所述右侧图像中移动；
S532.根据以下公式计算在各个位置上所述窗口内部的图像与所述第一模板的相似度：
Figure DEST_PATH_IMAGE019
；
其中，
Figure 189214DEST_PATH_IMAGE020
为所述相似度；
Figure DEST_PATH_IMAGE021
为所述第一模板上所有像素点的亮度均值，
Figure 749508DEST_PATH_IMAGE022
为所述窗口 内部的图像上所有像素点的亮度均值，
Figure DEST_PATH_IMAGE023
和
Figure 849051DEST_PATH_IMAGE024
均为预设常数，
Figure DEST_PATH_IMAGE025
为所述第一模板上所有像 素点的亮度方差，
Figure 2952DEST_PATH_IMAGE026
为所述窗口内部的图像上所有像素点的亮度方差，
Figure DEST_PATH_IMAGE027
为所述第一模板 和所述窗口内部的图像上各个像素点的亮度之间的协方差；
S533.以相似度最大值对应的窗口内部的图像作为所述第二模板。
8.一种辣椒采摘装置，用于条状辣椒的采摘机器人的控制系统，所述采摘机器人包括双目相机和二指夹爪，其特征在于，所述辣椒采摘装置包括：
第一获取模块，用于通过所述双目相机获取左侧图像和右侧图像；
第二获取模块，用于根据所述左侧图像，获取所有采摘对象对应的等效中轴线段；
第三获取模块，用于根据各个所述采摘对象对应的等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的下爪角度；所述下爪角度使所述二指夹爪的合拢方向垂直于所述等效中轴线段；
第四获取模块，用于根据各个所述采摘对象对应的所述等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的抓取点；
控制模块，用于根据各个所述采摘对象对应的抓取点和下爪角度以及所述左侧图像和所述右侧图像，控制所述二指夹爪对各个所述采摘对象进行采摘。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述辣椒采摘方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述辣椒采摘方法中的步骤。
CN202210263470.1A 2022-03-17 2022-03-17 辣椒采摘方法、装置、电子设备及存储介质 Active CN114347044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210263470.1A CN114347044B (zh) 2022-03-17 2022-03-17 辣椒采摘方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210263470.1A CN114347044B (zh) 2022-03-17 2022-03-17 辣椒采摘方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114347044A true CN114347044A (zh) 2022-04-15
CN114347044B CN114347044B (zh) 2022-06-17

Family

ID=81095276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210263470.1A Active CN114347044B (zh) 2022-03-17 2022-03-17 辣椒采摘方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114347044B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632236B2 (ja) * 1995-03-15 2005-03-23 井関農機株式会社 果実収穫マニピュレータ
CN101356877A (zh) * 2008-09-19 2009-02-04 中国农业大学 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN101706968A (zh) * 2009-12-10 2010-05-12 江苏大学 基于图像的果树枝干三维模型重建方法
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
CN102682286A (zh) * 2012-04-16 2012-09-19 中国农业大学 基于激光视觉系统的采摘机器人果实识别方法
CN103950033A (zh) * 2014-04-18 2014-07-30 南京农业大学 水果采摘机器人的机械臂和末端执行器及水果采摘方法
CN106612941A (zh) * 2016-09-18 2017-05-10 广西大学 立式螺杆升降多自由度香蕉采摘小车
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法
CN108182374A (zh) * 2016-12-08 2018-06-19 广州映博智能科技有限公司 一种针对果实串的采摘点识别方法
CN108541458A (zh) * 2018-03-21 2018-09-18 华南理工大学 一种机器人模糊采摘方法
CN108934442A (zh) * 2018-08-08 2018-12-07 华北电力大学 一种果实采摘和枝叶修剪的装置和方法
US20190053430A1 (en) * 2016-02-03 2019-02-21 Tumoba B.V. Apparatus for harvesting vegetable crops
CN109788732A (zh) * 2016-07-19 2019-05-21 欧科体尼恩公司 用于挑选水果且具有机器臂的装置
CN110084799A (zh) * 2019-04-24 2019-08-02 扬州龙科信息科技有限公司 一种基于深度相机的褐菇菌盖伞区视觉在线测量方法
CN110139552A (zh) * 2016-11-08 2019-08-16 道格图斯科技有限公司 机器人水果采摘系统
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110298885A (zh) * 2019-06-18 2019-10-01 仲恺农业工程学院 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
US10464217B1 (en) * 2017-09-29 2019-11-05 Traptic, Inc. Robotic gripper with driven belts
US20200058162A1 (en) * 2018-08-14 2020-02-20 Regents Of The University Of Minnesota Semantic structure from motion for orchard reconstruction
CN112802099A (zh) * 2021-01-21 2021-05-14 重庆文理学院 一种适用于串型水果的采摘方法
JP2021087369A (ja) * 2019-12-02 2021-06-10 株式会社クボタ 農業用ロボット
CN114067206A (zh) * 2021-11-16 2022-02-18 哈尔滨理工大学 一种基于深度图像的球形果实识别定位方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632236B2 (ja) * 1995-03-15 2005-03-23 井関農機株式会社 果実収穫マニピュレータ
CN101356877A (zh) * 2008-09-19 2009-02-04 中国农业大学 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN101706968A (zh) * 2009-12-10 2010-05-12 江苏大学 基于图像的果树枝干三维模型重建方法
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
CN102682286A (zh) * 2012-04-16 2012-09-19 中国农业大学 基于激光视觉系统的采摘机器人果实识别方法
CN103950033A (zh) * 2014-04-18 2014-07-30 南京农业大学 水果采摘机器人的机械臂和末端执行器及水果采摘方法
US20190053430A1 (en) * 2016-02-03 2019-02-21 Tumoba B.V. Apparatus for harvesting vegetable crops
CN109788732A (zh) * 2016-07-19 2019-05-21 欧科体尼恩公司 用于挑选水果且具有机器臂的装置
CN106612941A (zh) * 2016-09-18 2017-05-10 广西大学 立式螺杆升降多自由度香蕉采摘小车
CN110139552A (zh) * 2016-11-08 2019-08-16 道格图斯科技有限公司 机器人水果采摘系统
CN108182374A (zh) * 2016-12-08 2018-06-19 广州映博智能科技有限公司 一种针对果实串的采摘点识别方法
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法
US10464217B1 (en) * 2017-09-29 2019-11-05 Traptic, Inc. Robotic gripper with driven belts
CN108541458A (zh) * 2018-03-21 2018-09-18 华南理工大学 一种机器人模糊采摘方法
CN108934442A (zh) * 2018-08-08 2018-12-07 华北电力大学 一种果实采摘和枝叶修剪的装置和方法
US20200058162A1 (en) * 2018-08-14 2020-02-20 Regents Of The University Of Minnesota Semantic structure from motion for orchard reconstruction
CN110084799A (zh) * 2019-04-24 2019-08-02 扬州龙科信息科技有限公司 一种基于深度相机的褐菇菌盖伞区视觉在线测量方法
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110298885A (zh) * 2019-06-18 2019-10-01 仲恺农业工程学院 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
JP2021087369A (ja) * 2019-12-02 2021-06-10 株式会社クボタ 農業用ロボット
CN112802099A (zh) * 2021-01-21 2021-05-14 重庆文理学院 一种适用于串型水果的采摘方法
CN114067206A (zh) * 2021-11-16 2022-02-18 哈尔滨理工大学 一种基于深度图像的球形果实识别定位方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAO-YUAN KUO;HONG-REN SU;SHANG-HONG LAI;CHIN-CHIA WU: "3D object detection and pose estimation from depth image for robotic bin picking", 《2014 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION SCIENCE AND ENGINEERING (CASE)》 *
HAO-YUAN KUO;HONG-REN SU;SHANG-HONG LAI;CHIN-CHIA WU: "3D object detection and pose estimation from depth image for robotic bin picking", 《2014 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION SCIENCE AND ENGINEERING (CASE)》, 30 October 2014 (2014-10-30) *
YUJUN WU, CHENGRONG QIU ,ETC: "Tomato Harvesting Robot System Based on Binocular Vision", 《2021 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS》 *
YUJUN WU, CHENGRONG QIU ,ETC: "Tomato Harvesting Robot System Based on Binocular Vision", 《2021 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS》, 22 December 2021 (2021-12-22), pages 758 - 759 *
刘嘉超: "基于信息融合的采摘机器人视觉识别与定位系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
刘嘉超: "基于信息融合的采摘机器人视觉识别与定位系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 01, 15 January 2020 (2020-01-15) *

Also Published As

Publication number Publication date
CN114347044B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
Luo et al. A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard
Hu et al. Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set
Zhao et al. Detecting tomatoes in greenhouse scenes by combining AdaBoost classifier and colour analysis
Bulanon et al. Fruit detection system and an end effector for robotic harvesting of Fuji apples
Qiang et al. Identification of fruit and branch in natural scenes for citrus harvesting robot using machine vision and support vector machine
Zhou et al. Disease detection of Cercospora Leaf Spot in sugar beet by robust template matching
Silwal et al. Apple identification in field environment with over the row machine vision system
CN111666883B (zh) 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
Lu et al. Fine-grained maize tassel trait characterization with multi-view representations
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
Sun et al. Image processing algorithms for infield single cotton boll counting and yield prediction
Liu et al. Detection of citrus fruit and tree trunks in natural environments using a multi-elliptical boundary model
CN112990103B (zh) 一种基于机器视觉的串采二次定位方法
Majeed et al. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards
Kusumam et al. Can you pick a broccoli? 3D-vision based detection and localisation of broccoli heads in the field
US20230360411A1 (en) Cherry picking and classifying method and device based on machine vision
Yoshida et al. A tomato recognition method for harvesting with robots using point clouds
CN111950391A (zh) 果树芽体的识别方法及装置
CN114359394B (zh) 一种双目视觉的定位方法、装置、电子设备及存储介质
Moghimi et al. A robo-vision algorithm for automatic harvesting of green bell pepper
CN113252584B (zh) 基于5g传输的作物生长检测方法及系统
CN114347044B (zh) 辣椒采摘方法、装置、电子设备及存储介质
Zhang et al. Cherry recognition in natural environment based on the vision of picking robot
CN112381028A (zh) 目标物的特征检测方法和装置
Nejati et al. Kiwifruit detection in challenging conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant