CN108470339A - 一种基于信息融合的重叠苹果视觉识别与定位方法 - Google Patents

一种基于信息融合的重叠苹果视觉识别与定位方法 Download PDF

Info

Publication number
CN108470339A
CN108470339A CN201810237321.1A CN201810237321A CN108470339A CN 108470339 A CN108470339 A CN 108470339A CN 201810237321 A CN201810237321 A CN 201810237321A CN 108470339 A CN108470339 A CN 108470339A
Authority
CN
China
Prior art keywords
apple
image
fruit
depth
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810237321.1A
Other languages
English (en)
Inventor
张勤
刘嘉超
李彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810237321.1A priority Critical patent/CN108470339A/zh
Publication of CN108470339A publication Critical patent/CN108470339A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于信息融合的重叠苹果视觉识别与定位方法。该方法具体包括：运用Kinect v2.0体感摄像机采集果树上果实图像，其中彩色相机分辨率为1080*1920，深度相机分辨率为424*512。首先将深度图像映射到彩色图像中；之后，对匹配后的彩色图像运用归一化的r‑g色差灰度算子提取苹果的灰度化特征并分割去噪，运用连通域属性分析完成目标区域特征提取；最后，在多源信息融合的图像中，基于区域生长分割、定位出苹果区域中单只苹果位置。本发明可用于采摘机器人的视觉识别系统，完成果实自动采摘前重叠果实的精确定位工作，有利于采摘机器人执行机构快速准确的完成果实采摘任务。

Description

一种基于信息融合的重叠苹果视觉识别与定位方法
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于信息融合的重叠苹果视觉识别与定位技术。
背景技术
近年来，农业采摘机器人发展迅速，视觉识别系统作为采摘机器人系中的关键技术，其主要作用是采摘目标的识别定位及相关特征信息提取。对于农业采摘机器人，其工作环境是开放式、多变化的非结构性复杂自然环境，果实的生长环境决定了其在自然环境下的空间位置姿态以及表面光照条件都是随机不确定的，且枝、叶对果实存在遮挡现象以及果实之间的遮挡现象都给采摘机器人的视觉识别定位系统提出了挑战。目前重叠苹果的分割方法主要有基于圆拟合的方法、凹点检测法、视差图比对法、聚类算法等。这些方法都是通过二维颜色以及轮廓信息提取果实特征，完成遮挡果实及重叠果实识别，却忽略了直接利用空间位置不同这一重要信息源。
本发明提供了一种基于颜色和深度信息融合的重叠苹果分割方法，与现有的技术相比，提出的方法可以有效地适用于多苹果重叠、大面积重叠苹果的识别，且适用的深度范围达到0.5m到1.5m，满足采摘机器人在自然场景下对重叠苹果识别与定位的要求。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于颜色和深度信息融合的重叠苹果分割方法，在0.5m到1.5m距离范围之内，利用重叠苹果深度信息上的差异，能有效地对多苹果重叠区域进行分割定位。满足采摘机器人在自然场景下对重叠苹果识别与定位的要求。
本发明所采用的技术方案如下。
一种基于信息融合的重叠苹果视觉识别与定位方法，其按如下步骤进行：
步骤1：Kinect v2.0体感摄像机获取自然生长条件下的果树上的苹果彩色图像和深度图像，通过张正友标定法获取到的两个相机内参和外参，计算深度图像与彩色图的坐标映射关系。获取匹配后的彩色图像。步骤2：对步骤1处理后的图像运用归一化的r-g色差灰度算子进行图像增强处理，提取苹果的颜色特征；同时进行分割去噪处理。步骤3：对步骤2处理后的图像运用连通域属性分析完成目标区域特征提取。步骤4：由步骤3可以获取目标区域轮廓特征及最近点位置；最后，在多源信息融合的图像中，基于区域生长分割、定位出苹果区域中单只苹果位置。
进一步的，在步骤1中：彩色图像和深度图像的配准具体步骤包括：
(1.1)采用张式标定法对彩色相机以及深度相机进行标定，通过标定得出二者内参和外参。其中，深度相机标定时，需用红外光源照射标定板，获取棋盘格红外照片，进行角点检测；为了方便棋盘角点检测，减少红外照片中的噪声亮点，需用黑色遮光板将Kinectv2.0体感摄像机自身的红外发射器完全遮挡。
(1.2)获取彩色图像(分辨率1080*1920)和深度图(分辨率424*512)。
(1.3)通过(1.1)获得的相机内、外参数计算深度图与彩色图的坐标映射关系，实现深度图与彩色图的配准，生成匹配后的彩色图。
进一步的，对于彩色相机坐标系下的齐次的三维点(Prgb＝[Xrgb Yrgb Zrgb 1]T)到彩色图片上齐次表示的像素坐标(prgb＝[urgb vrgb 1]T)的映射关系，如式(1)所示。
zrgbprgb＝Krgb[I|0]Prgb (1)
式中：zrgb为彩色图尺度因子，Krgb为彩色相机内参，I为单位矩阵。
其中，彩色图中齐次坐标Prgb＝[Xrgb Yrgb Zrgb 1]T可以用非齐次坐标来表示，如式(2)所示。
同理，可得到深度相机的映射关系，如式(3)所示。
式中：zir为深度图尺度因子，Kir为彩色相机内参,pir为深度图中齐次坐标，为深度图中非齐次坐标，两个相机有如下刚体变换关系，如式(4)所示
式中：Rir2rgb为深度相机坐标系至彩色相机坐标系旋转矩阵
Tir2rgb为深度相机坐标系至彩色相机坐标系平移矩阵
Rrgb和Trgb表示同一标定棋盘下彩色相机的外参
Rir和Tir表示同一标定棋盘下深度相机的外参
对于非齐次坐标表示的各自相机坐标系下的三维点和来说，关系如式(5)所示。
联立方程(1)～(5)，可以得到深度图与彩色图的坐标映射关系，如式(6)所示。
在步骤2中：对匹配后的目标苹果图像，采用r-g色差灰度算子作为苹果区域特征的提取方法，其基本思想是从RGB彩色空间提取各通道参数，为减少光照变化的影响，在运用灰度化方法之前需要对RGB值进行归一化，运用r-g对图像进行灰度化处理，如式(7)，(8)所示。
式中：R、G、B分别表示红通道值、绿通道值、蓝通道值；r、g、b表示归一化后的红、绿、蓝取值。
式中：Gray(x,y)表示坐标为(x,y)的灰度值。
对提取了苹果颜色信息的r-g灰度图像，采用Otsu法对灰度图像进行阈值分割，将苹果区域从背景中分割出来。
在步骤3中：采用圆形结构元素进行形态学开运算处理，平滑边界，填充内部空洞，结构元素的大小依据不同的拍摄距离(深度信息)进行归一化处理。通过上述形态学处理后的果实分割图像提取各连通域的几何特征。在果实分割图像中，同一果实簇中重叠苹果面积大于单只苹果的面积，依据这一特性，选取连通域面积最大的区域，将重叠苹果区域从果实分割图像中提取出来，作为目标采摘果实区域。
在步骤4中：对于上述获得的目标果实区域深度图片，以最近点为初始种子点，进行区域生长运算，获取深度信息相近苹果区域。区域生长算法是根据预先定义的生长准则将像素或子区域组合为更大区域的过程。基本方法是从一组“种子”点开始，将与种子性质相似的那些邻域像素附加到每个种子上来形成这些生长区域。具体方法是：
(4.1)对目标果实区域深度图遍历扫描，找到像素最小值Dmin及对应坐标位置集合{(xi,yi)|D(xi,yi)＝Dmin}，对集合内所有像素点坐标取均值，获取到的坐标(x1,y1)，即为最近点，标记该点作为初始种子点(x1,y1)；
(4.2)在目标果实区域深度图中，以初始种子点(x1,y1)为区域生长中心，将种子点的八邻域像素值D(x,y)与种子点像素值D(x1,y1)做差阈值分割处理，小于阈值的点纳入目标区域，剩余像素点纳入背景区域。同时，标记目标区域点为新的种子点。
D(x1,y1)为最近点位置(x1,y1)在深度图片中对应的灰度值。
(4.3)以新选定的种子点(x’,y’)为新的区域生长中心，执行(4.2)
(4.4)当新选定的种子点为空时，区域生长结束，区域生长所产生的目标区域即为单只果实区域，完成重叠苹果的识别与定位。
该方法不仅适用于苹果，同时适用成熟番茄/柿子等红色水果的识别与定位。
同时，本方法改变步骤2中果实颜色特征提取灰度算子模型，其他步骤不变，此方法同样可以适用于其他颜色果实的识别与定位。比如将原方法中的步骤2改为利用2R-G-B色差灰度算子模型提取成熟柑橘颜色特征，则此方法同样适用于成熟柑橘的果实识别与定位。此方法的拓展性强。依据不同果实的颜色特征，建立不同灰度算子模型替换原识别方法中步骤2的苹果颜色特征提取灰度算子模型，就能完成不同果实类型的重叠果实分割，进而完成果实的识别与定位。
与现有技术相比，本发明的有益效果是：
1.本发明提出的方法在果实识别中采用Kinect v2.0体感摄像机，利用彩色信息与深度信息完成重叠果实的分割。相较于传统二维颜色信息，信息获取更为丰富、立体。算法鲁棒性更高。
2.本发明提出的方法在一定范围内实现了不同的拍摄距离(深度信息)下的重叠苹果识别。
3.本发明提出的方法，采用彩色图像种子点提取，深度图像区域生长的方式进行重叠苹果识别定位，对于大面积重叠苹果，多果重叠，果间深度差异大，能快速准确地完成重叠果实的分割定位。
4.本发明提出的方法，更换不同颜色特征模型，可以适用不同果实类型的重叠果实分割，方法拓展性高。
附图说明
图1为实例中重叠果实识别定位流程图；
图2a为匹配后的目标苹果图像；
图2b为种子点标记图；
图2c为信息融合分割图；
图2d为重叠苹果识别与定位示意图。
具体实施方式
下面结合附图对本发明进一步说明。如图1所示，本发明以自然条件下重叠苹果定位试验来说明一种基于信息融合的重叠苹果视觉识别与定位方法。其具体步骤如下：
步骤1：Kinect v2.0体感摄像机获取自然生长条件下的果树上的苹果彩色图像和深度图像，通过张正友标定法获取到的两个相机内参和外参，计算深度图像与彩色图的坐标映射关系。获取匹配后的彩色图像。步骤2：对步骤1处理后的图像运用归一化的r-g色差灰度算子进行图像增强处理，提取苹果的颜色特征；同时进行分割去噪处理。步骤3：对步骤2处理后的图像运用连通域属性分析完成目标区域特征提取。步骤4：由步骤3可以获取目标区域轮廓特征及质心位置；最后，在多源信息融合的图像中，基于区域生长分割、定位出苹果区域中单只苹果位置。
在步骤1中：彩色图像和深度图像的配准具体步骤包括：
(1.1)采用张式标定法对彩色相机以及深度相机进行标定，通过标定得出二者内参和外参。其中，深度相机标定时，需用红外光源照射标定板，获取棋盘格红外照片，进行角点检测；为了方便棋盘角点检测，减少红外照片中的噪声亮点，需用黑色遮光板将Kinectv2.0体感摄像机自身的红外发射器完全遮挡。
(1.2)获取彩色图像(分辨率1080*1920)，深度图(分辨率424*512)，
(1.3)通过(1.1)获得的相机内、外参数计算深度图与彩色图的坐标映射如式(1)～(5)所示，采用映射模型，如式(6)所示，实现深度图与彩色图的配准，生成匹配后的彩色图。
对于彩色相机坐标系下的齐次的三维点(Prgb＝[Xrgb Yrgb Zrgb 1]T)到彩色图片上齐次表示的像素坐标(prgb＝[urgb vrgb 1]T)的映射关系，如式(1)所示。
zrgbprgb＝Krgb[I|0]Prgb (1)
式中：zrgb表示彩色图尺度因子，Krgb为彩色相机内参，I为单位矩阵。
其中，彩色图中齐次坐标Prgb＝[Xrgb Yrgb Zrgb 1]T可以用非齐次坐标来表示，如式(2)所示。
同理，可得到深度相机的映射关系，如式(3)所示。
式中：zir为深度图尺度因子，Kir为深度相机内参，pir为深度图中像素坐标，为深度图中非齐次坐标
两个相机有如下刚体变换关系，如式(4)所示
式中：Rir2rgb为深度相机坐标系至彩色相机坐标系旋转矩阵
Tir2rgb为深度相机坐标系至彩色相机坐标系平移矩阵
Rrgb和Trgb表示同一标定棋盘下彩色相机的外参
Rir和Tir表示同一标定棋盘下深度相机的外参
对于非齐次坐标表示的各自相机坐标系下的三维点和来说，关系如式(5)所示。
联立方程(1)～(5)，可以得到深度图与彩色图的坐标映射关系，如式(6)所示。
在步骤2中：对匹配后的目标苹果图像如图2a所示，采用r-g色差灰度算子作为苹果区域特征的提取方法，其基本思想是从RGB彩色空间提取各通道参数，为减少光照变化的影响，在运用灰度化方法之前需要对RGB值进行归一化，运用r-g对图像进行灰度化处理，如式(7)，(8)所示。
式中：R、G、B分别表示红通道值、绿通道值、蓝通道值；r、g、b表示归一化后的红、绿、蓝取值。
式中：Gray(x,y)表示坐标为(x,y)的灰度值。
对提取了苹果颜色信息的r-g灰度图像，采用Otsu法对灰度图像进行阈值分割，将苹果区域从背景中分割出来。
在步骤3中：采用圆形结构元素进行形态学开运算处理，平滑边界，填充内部空洞，结构元素的大小依据不同的拍摄距离(深度信息)进行归一化处理。通过上述形态学处理后的果实分割图像提取各连通域的几何特征。在果实分割图像中，同一果实簇中重叠苹果面积大于单只苹果的面积，依据这一特性，选取连通域面积最大的区域，将重叠苹果区域从果实分割图像中提取出来，作为目标采摘果实区域，如图2b所示。
在步骤4中：对于上述获得的目标果实区域深度图片，以最近点为初始种子点，进行区域生长运算，获取深度信息相近苹果区域。区域生长算法是根据预先定义的生长准则将像素或子区域组合为更大区域的过程。基本方法是从一组“种子”点开始，将与种子性质相似的那些邻域像素附加到每个种子上来形成这些生长区域。具体方法是：
(4.1)对目标果实区域深度图遍历扫描，找到像素最小值Dmin及对应坐标位置集合{(xi,yi)|D(xi,yi)＝Dmin}，对集合内所有像素点坐标取均值，获取到的坐标(x1,y1)，即为最近点，标记该点作为初始种子点(x1,y1)；
(4.2)在目标果实区域深度图中，以初始种子点(x1,y1)为区域生长中心，将种子点的八邻域像素值D(x,y)与种子点像素值D(x1,y1)做差阈值分割处理，小于阈值的点纳入目标区域，剩余像素点纳入背景区域。同时，标记目标区域点为新的种子点。
D(x1,y1)为最近点位置(x1,y1)在深度图片中对应的灰度值。
(4.3)以新选定的种子点(x’,y’)为新的区域生长中心，执行(4.2)
(4.4)当新选定的种子点为空时，区域生长结束，区域生长所产生的目标区域即为单只果实区域，如图2c所示。完成重叠苹果的识别与定位，标记形心坐标位置的识别效果图如图2d所示。

Claims (6)

1.一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于：包括以下步骤：
步骤1：Kinect v2.0体感摄像机获取自然生长条件下的果树上的苹果彩色图像和深度图像，通过张正友标定法获取到的两个相机内参和外参，计算深度图像与彩色图的坐标映射关系，获取匹配后的彩色图像；
步骤2：对步骤1处理后的图像运用归一化的r-g色差灰度算子进行图像增强处理，提取苹果的颜色特征；同时进行分割去噪处理；
步骤3：对步骤2处理后的图像运用连通域属性分析完成目标区域特征提取；
步骤4：由步骤3可以获取目标区域轮廓特征及质心位置；最后，在多源信息融合的图像中，基于区域生长分割，定位出苹果区域中单只苹果位置。
2.根据权利要求1所述的一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于，所述的步骤1具体步骤包括：
(1.1)采用张式标定法对彩色相机以及深度相机进行标定，通过标定得出二者内参和外参。其中，深度相机标定时，需用红外光源照射标定板，获取棋盘格红外照片，进行角点检测；为了方便棋盘角点检测，减少红外照片中的噪声亮点，需用黑色遮光板将Kinect v2.0体感摄像机自身的红外发射器完全遮挡；
(1.2)获取彩色图像和深度图；
(1.3)通过(1.1)获得的相机内、外参数计算深度图与彩色图的坐标映射关系，实现深度图与彩色图的配准，生成匹配后的彩色图。
3.根据权利要求1所述的一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于，所述的步骤2具体包括：对匹配后的彩色图在RGB彩色空间提取各通道参数，在运用灰度化方法之前需要对RGB值进行归一化，之后采用r-g色差灰度算子作为苹果区域特征的提取方法，对提取了苹果颜色信息的r-g灰度图像，采用Otsu法对灰度图像进行阈值分割，将苹果区域从背景中分割出来。
4.根据权利要求1所述的一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于，所述的步骤3：对分割处理后的苹果图像，采用圆形结构元素进行形态学开运算处理，平滑边界，填充内部空洞，结构元素的大小依据不同的拍摄距离进行归一化处理。通过上述形态学处理后的果实分割图像提取各连通域的几何特征；在果实分割图像中，同一果实簇中重叠苹果面积大于单只苹果的面积，依据这一特性，选取连通域面积最大的区域，将重叠苹果区域从果实分割图像中提取出来，作为目标采摘果实区域。
5.根据权利要求1所述的一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于，所述的步骤4具体包括：对于上述获得的目标果实区域深度图片，以最近点为初始种子点，进行区域生长运算，获取深度信息相近苹果区域；具体方法是：
(4.1)对目标果实区域深度图遍历扫描，找到像素最小值及对应坐标位置集合，对集合内所有像素点坐标取均值，获取到的坐标，即为最近点，标记该点作为初始种子点；
(4.2)在目标果实区域深度图中，以初始种子点为区域生长中心，将种子点的八邻域像素值与种子点做差阈值分割处理，小于阈值的点纳入目标区域，剩余像素点纳入背景区域；同时，标记目标区域点为新的种子点；
(4.3)以新选定的种子点为新的区域生长中心，执行(4.2)；
(4.4)当新选定的种子点为空时，区域生长结束，区域生长所产生的目标区域即为单只果实区域；完成重叠苹果的识别与定位。
6.根据权利要求1所述的一种基于信息融合的重叠苹果视觉识别与定位方法，其特征在于，所述Kinect v2.0体感摄像机中其彩色相机和深度相机分辨率分别为1080*1920，424*512、型号为Kinect v2.0。
CN201810237321.1A 2018-03-21 2018-03-21 一种基于信息融合的重叠苹果视觉识别与定位方法 Pending CN108470339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810237321.1A CN108470339A (zh) 2018-03-21 2018-03-21 一种基于信息融合的重叠苹果视觉识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810237321.1A CN108470339A (zh) 2018-03-21 2018-03-21 一种基于信息融合的重叠苹果视觉识别与定位方法

Publications (1)

Publication Number Publication Date
CN108470339A true CN108470339A (zh) 2018-08-31

Family

ID=63264652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810237321.1A Pending CN108470339A (zh) 2018-03-21 2018-03-21 一种基于信息融合的重叠苹果视觉识别与定位方法

Country Status (1)

Country Link
CN (1) CN108470339A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109220226A (zh) * 2018-10-31 2019-01-18 哈尔滨理工大学 果实自动识别分类及采摘的果园智能化系统
CN109342431A (zh) * 2018-12-10 2019-02-15 山东农业大学 鲜食葡萄无损采摘品质检测分级装置及其控制方法
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN109684997A (zh) * 2018-12-20 2019-04-26 龙口盛福达食品有限公司 一种被遮挡圆形成熟果实的图像识别与定位方法
CN110197129A (zh) * 2019-05-09 2019-09-03 常州大学 一种自然环境下果蔬生长形态视觉辨识方法
CN110595959A (zh) * 2019-04-19 2019-12-20 齐鲁工业大学 一种糖膏颗粒粒度分析系统及分析方法
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN110930450A (zh) * 2019-12-11 2020-03-27 清远职业技术学院 基于图像阈值分割和blob分析方法的煤矸石定位方法
CN111046782A (zh) * 2019-12-09 2020-04-21 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备
CN111553891A (zh) * 2020-04-23 2020-08-18 大连理工大学 一种手持物体存在检测方法
JP2020195336A (ja) * 2019-06-04 2020-12-10 本田技研工業株式会社 位置姿勢推定装置及び位置姿勢推定方法
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112529948A (zh) * 2020-12-25 2021-03-19 南京林业大学 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法
CN113065521A (zh) * 2021-04-26 2021-07-02 北京航空航天大学杭州创新研究院 物体识别方法、装置、设备及介质
CN113255434A (zh) * 2021-04-08 2021-08-13 淮阴工学院 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN113421297A (zh) * 2021-07-02 2021-09-21 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法
CN114648640A (zh) * 2022-05-23 2022-06-21 深圳市其域创新科技有限公司 一种目标物单体化方法、装置、设备及存储介质
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN115294085A (zh) * 2022-08-17 2022-11-04 太原理工大学 一种基于Kinect相机获取自然场景下苹果果径的检测方法
CN115861988A (zh) * 2023-03-01 2023-03-28 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和系统
CN116797544A (zh) * 2023-05-16 2023-09-22 绿萌科技股份有限公司 一种面向果蔬采后处理装备的表面缺陷提取方法
CN116977615A (zh) * 2023-07-27 2023-10-31 广东技术师范大学 荔枝果梗识别定位方法及装置
CN118608529A (zh) * 2024-08-08 2024-09-06 陕西美好家园农业科技发展股份有限公司 一种基于图像处理的苹果病害检测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
CN104463880A (zh) * 2014-12-12 2015-03-25 中国科学院自动化研究所 一种rgb-d图像获取方法
CN104636722A (zh) * 2015-01-26 2015-05-20 江苏大学 一种采摘机器人的重叠果实快速跟踪识别方法
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法
CN106886997A (zh) * 2015-12-15 2017-06-23 株式会社理光 识别堆叠物体的方法和装置
CN107038446A (zh) * 2017-03-23 2017-08-11 中国计量大学 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
CN107301401A (zh) * 2017-06-21 2017-10-27 西北农林科技大学 一种多目标猕猴桃果实识别方法与图像获取装置
US20180018788A1 (en) * 2016-07-12 2018-01-18 Datalogic Usa, Inc. System and method for object counting and tracking

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
CN104463880A (zh) * 2014-12-12 2015-03-25 中国科学院自动化研究所 一种rgb-d图像获取方法
CN104636722A (zh) * 2015-01-26 2015-05-20 江苏大学 一种采摘机器人的重叠果实快速跟踪识别方法
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
CN106886997A (zh) * 2015-12-15 2017-06-23 株式会社理光 识别堆叠物体的方法和装置
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法
US20180018788A1 (en) * 2016-07-12 2018-01-18 Datalogic Usa, Inc. System and method for object counting and tracking
CN107038446A (zh) * 2017-03-23 2017-08-11 中国计量大学 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
CN107301401A (zh) * 2017-06-21 2017-10-27 西北农林科技大学 一种多目标猕猴桃果实识别方法与图像获取装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯娟 等: "融合多源图像信息的果实识别方法", 《农业机械学报》 *
王一丁 等: "区域生长", 《数字图像处理》 *
陈兵旗 等: "《实用数字图像处理与分析 第2版》", 28 February 2014, 中国农业大学出版社 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615601B (zh) * 2018-10-23 2020-12-25 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN109220226A (zh) * 2018-10-31 2019-01-18 哈尔滨理工大学 果实自动识别分类及采摘的果园智能化系统
CN109342431A (zh) * 2018-12-10 2019-02-15 山东农业大学 鲜食葡萄无损采摘品质检测分级装置及其控制方法
CN109684997A (zh) * 2018-12-20 2019-04-26 龙口盛福达食品有限公司 一种被遮挡圆形成熟果实的图像识别与定位方法
CN111415461B (zh) * 2019-01-08 2021-09-28 虹软科技股份有限公司 物品识别方法及系统、电子设备
JP2021513690A (ja) * 2019-01-08 2021-05-27 アークソフト コーポレイション リミテッドＡｒｃＳｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｉｍｉｔｅｄ 物品識別方法及びシステム、電子機器
US11335092B2 (en) 2019-01-08 2022-05-17 Arcsoft Corporation Limited Item identification method, system and electronic device
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及系统、电子设备
KR20200088219A (ko) * 2019-01-08 2020-07-22 아크소프트 코포레이션 리미티드 물품 식별 방법 및 시스템, 전자설비
KR102329369B1 (ko) * 2019-01-08 2021-11-19 아크소프트 코포레이션 리미티드 물품 식별 방법 및 시스템, 전자설비
CN110595959B (zh) * 2019-04-19 2023-03-21 齐鲁工业大学 一种糖膏颗粒粒度分析系统及分析方法
CN110595959A (zh) * 2019-04-19 2019-12-20 齐鲁工业大学 一种糖膏颗粒粒度分析系统及分析方法
CN110197129B (zh) * 2019-05-09 2023-04-18 常州大学 一种自然环境下果蔬生长形态视觉辨识方法
CN110197129A (zh) * 2019-05-09 2019-09-03 常州大学 一种自然环境下果蔬生长形态视觉辨识方法
JP2020195336A (ja) * 2019-06-04 2020-12-10 本田技研工業株式会社 位置姿勢推定装置及び位置姿勢推定方法
JP7187388B2 (ja) 2019-06-04 2022-12-12 本田技研工業株式会社 位置姿勢推定装置及び位置姿勢推定方法
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111046782B (zh) * 2019-12-09 2023-06-23 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
CN111046782A (zh) * 2019-12-09 2020-04-21 上海海洋大学 一种用于苹果采摘机器人的果实快速识别方法
CN110930450A (zh) * 2019-12-11 2020-03-27 清远职业技术学院 基于图像阈值分割和blob分析方法的煤矸石定位方法
CN111553891A (zh) * 2020-04-23 2020-08-18 大连理工大学 一种手持物体存在检测方法
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112270326B (zh) * 2020-11-18 2022-03-22 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112529948A (zh) * 2020-12-25 2021-03-19 南京林业大学 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法
CN113255434A (zh) * 2021-04-08 2021-08-13 淮阴工学院 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN113255434B (zh) * 2021-04-08 2023-12-19 淮阴工学院 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN113065521B (zh) * 2021-04-26 2024-01-26 北京航空航天大学杭州创新研究院 物体识别方法、装置、设备及介质
CN113065521A (zh) * 2021-04-26 2021-07-02 北京航空航天大学杭州创新研究院 物体识别方法、装置、设备及介质
CN113421297A (zh) * 2021-07-02 2021-09-21 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法
CN113421297B (zh) * 2021-07-02 2023-06-27 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN114842337B (zh) * 2022-04-27 2024-08-23 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
WO2023226654A1 (zh) * 2022-05-23 2023-11-30 深圳市其域创新科技有限公司 一种目标物单体化方法、装置、设备及存储介质
CN114648640A (zh) * 2022-05-23 2022-06-21 深圳市其域创新科技有限公司 一种目标物单体化方法、装置、设备及存储介质
CN115294085A (zh) * 2022-08-17 2022-11-04 太原理工大学 一种基于Kinect相机获取自然场景下苹果果径的检测方法
CN115861988A (zh) * 2023-03-01 2023-03-28 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和系统
CN115861988B (zh) * 2023-03-01 2023-05-09 四川省农业机械研究设计院 一种基于rgb区分度的茶叶采摘方法和系统
CN116797544A (zh) * 2023-05-16 2023-09-22 绿萌科技股份有限公司 一种面向果蔬采后处理装备的表面缺陷提取方法
CN116977615A (zh) * 2023-07-27 2023-10-31 广东技术师范大学 荔枝果梗识别定位方法及装置
CN116977615B (zh) * 2023-07-27 2024-04-30 广东技术师范大学 荔枝果梗识别定位方法及装置
CN118608529A (zh) * 2024-08-08 2024-09-06 陕西美好家园农业科技发展股份有限公司 一种基于图像处理的苹果病害检测系统

Similar Documents

Publication Publication Date Title
CN108470339A (zh) 一种基于信息融合的重叠苹果视觉识别与定位方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN107038446B (zh) 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
CN108319973A (zh) 一种树上柑橘果实检测方法
CN109711325A (zh) 一种芒果采摘点识别方法
Tong et al. Skewness correction and quality evaluation of plug seedling images based on Canny operator and Hough transform
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110211093A (zh) 一种用于自动饮水机的出水控制方法
CN110108711A (zh) 圆环侧壁缺陷的视觉检测系统
CN105894503A (zh) 一种对Kinect植株彩色和深度检测图像的修复方法
Fytsilis et al. A methodology for near real-time change detection between Unmanned Aerial Vehicle and wide area satellite images
CN110687121B (zh) 一种陶瓦智能在线检测与自动分级方法和系统
CN105654085A (zh) 一种基于图像技术的弹孔识别方法
CN106780504B (zh) 一种基于距离保持水平集的牛肉图像中背长肌自动分割方法
CN109813725A (zh) 一种大尺寸胶水缺陷检测方法
CN112561899A (zh) 电力巡检图像识别方法
CN111784764A (zh) 一种茶叶嫩芽识别与定位算法
CN110110131A (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN116862900A (zh) 一种大葱育秧播种质量检测方法
CN107301401A (zh) 一种多目标猕猴桃果实识别方法与图像获取装置
CN112907516B (zh) 一种用于穴盘育苗的甜玉米种子识别方法及装置
CN108805875B (zh) 双孢菇位置识别与推倒方向的选定方法
CN104408407B (zh) 苹果采摘机器人的夜间识别方法
CN107239761B (zh) 基于骨架角点检测的果树拉枝效果评价方法
CN115601690B (zh) 一种基于智慧农业的食用菌环境检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180831

RJ01 Rejection of invention patent application after publication