CN110059663A - 一种基于特征点检测的粘连蘑菇视觉识别与测量方法 - Google Patents

一种基于特征点检测的粘连蘑菇视觉识别与测量方法 Download PDF

Info

Publication number
CN110059663A
CN110059663A CN201910347409.3A CN201910347409A CN110059663A CN 110059663 A CN110059663 A CN 110059663A CN 201910347409 A CN201910347409 A CN 201910347409A CN 110059663 A CN110059663 A CN 110059663A
Authority
CN
China
Prior art keywords
mushroom
point
adhesion
monomer
connected domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910347409.3A
Other languages
English (en)
Inventor
王玲
徐伟
卢伟
张刚
虞紫光
杜开炜
朱家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Ogit Biotechnology Co Ltd
Yangzhou Longke Information Technology Co Ltd
Original Assignee
Yangzhou Ogit Biotechnology Co Ltd
Yangzhou Longke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Ogit Biotechnology Co Ltd, Yangzhou Longke Information Technology Co Ltd filed Critical Yangzhou Ogit Biotechnology Co Ltd
Priority to CN201910347409.3A priority Critical patent/CN110059663A/zh
Publication of CN110059663A publication Critical patent/CN110059663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征点检测的粘连蘑菇视觉识别与测量方法，采用黑白相机采集菇床灰度图像视频流；对灰度图像进行角点检测以滤除大部分菌丝背景，获得只包含蘑菇连通域的二值图；用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，基于其链码搜索蘑菇粘连处的相接凹点序列，用相邻凹点间的弧弦比匹配凹点对，分割粘连的蘑菇，获取蘑菇单体的边界轮廓；标定相机坐标系与世界坐标系之间的比例尺，用最小二乘法对蘑菇单体的边界轮廓点序列进行椭圆拟合，根据比例尺获取世界坐标系下蘑菇单体的圆心、直径等参数。该发明方法能够快速识别粘连的类圆形蘑菇，并对菌丝干扰、光照不均匀的复杂背景有较好的适应性，运行时间短，实时性较好。

Description

一种基于特征点检测的粘连蘑菇视觉识别与测量方法
技术领域
本发明涉及机器视觉领域，具体涉及果蔬采摘机器人的图像识别与测量算法，特别是对类圆型蘑菇的视觉识别与测量方法。
背景技术
蘑菇肉厚脆嫩、香味浓郁、鲜美可口、营养价值丰富，具有提高机体免疫力等作用，以蘑菇为原料的菜肴正逐步获得消费者的青睐。蘑菇生产过程中，采摘和分类是最后一道重要工序，由于蘑菇的市场价格与尺寸大小有关，有必要对蘑菇进行选择性采摘。传统方法都靠手工完成，由于手工作业的效率和分类的质量因工作人员的疲劳程度不一，很难达到严格的分选要求，并且费工费时，成本高，劳动强度大，适宜的劳动力短缺，亟需研究一种能够替代工人进行蘑菇在线识别、测量和采摘的智能蘑菇采摘机器人设备，以实现蘑菇的工业化生产中，进一步降低生产成本、提高分类质量、保证最佳的经济效益。
为了引导智能蘑菇采摘机器人的机械臂持续工作，需要采集菇床视频流，通过图像处理算法实现蘑菇的快速识别与测量，为机械臂规划运动轨迹提供参数。
蘑菇的快速识别与测量算法主要有以下二个难点：(1)现有蘑菇图像的背景分割主要借助了菇床与蘑菇灰度的显著差异或人工背景，对蘑菇照片中光照不均、泥土、菌丝等复杂背景的处理仍是空白。(2)在获得去背景的图像后，已有的研究通常基于距离图像的分水岭算法等矩阵运算或霍夫变换识别粘连蘑菇，计算开销大，对重叠蘑菇的识别效果欠佳。
发明内容
针对已有技术存在的不足，本发明提供了一种基于特征点检测的粘连蘑菇视觉识别与测量方法。
本发明所采用的技术方案，步骤如下：
步骤1，蘑菇图像采集：采用黑白相机采集菇床灰度图像视频流；
步骤2，蘑菇背景分割：对采集到的每一帧灰度图像进行角点检测，并根据检测到的角点滤除背景，获得只包含蘑菇连通域的二值图；
步骤3，蘑菇粘连分割：从二值图中提取各个蘑菇连通域，用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，基于链码运算搜索其中的蘑菇粘连处的相接凹点序列，进一步用相邻凹点间的弧弦比匹配凹点对，分割粘连的蘑菇，获取蘑菇单体的边界轮廓；
步骤4，蘑菇单体测量：标定相机坐标系与世界坐标系之间的比例尺，用最小二乘法对蘑菇单体的边界轮廓点序列进行椭圆拟合，根据比例尺获取世界坐标系下蘑菇单体的圆心、直径等参数。
进一步，所述步骤2中对采集到的菇床灰度图像进行背景分割的过程为：
步骤2.1，计算灰度图的角点，并记录各角点位置；以奇数N为步长遍历整个灰度图，计算N×N滑动窗口内的角点数量，若角点数量大于预设阈值，则认定该区域为背景，将该区域内的所有像素点灰度值置0，以滤除大部分菌丝背景；
步骤2.2，用大津法设定自适应阈值对已经滤除背景的蘑菇灰度图进行二值化，结合形态学操作去除蘑菇边界噪声和小面积连通域，获得只含蘑菇连通域的二值图。
进一步，所述步骤3中对蘑菇粘连分割的过程为：
步骤3.1，利用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，依次计算每一个点Freeman链码D、相对链码R、绝对链码A及其N点绝对链码差Di，进一步搜索Di的局部极值点，对应蘑菇连通域边界的拐点，剔除其中的凸点，获得蘑菇粘连处的相接凹点序列；
相对链码R：
R1(i)＝D(i+1)-D(i)
R2(i)＝R1(i)+8
R3(i)＝mod(R2，8)
绝对链码A：
A(1)＝0
A(i)＝A(i-1)+R(i)
N点绝对链码差Di：
步骤3.2，依次计算相接凹点序列中相邻凹点之间的弧弦比，若弧弦比大于预设阈值，则匹配该凹点对，并提取该凹点对之间的圆弧，分割粘连的蘑菇，获得蘑菇单体的边界轮廓。
与现有技术相比，本发明的有益效果是，能够快速识别粘连的类圆形蘑菇，并对菌丝干扰、光照不均匀的复杂背景有较好的适应性，运行时间短，实时性较好。
附图说明
图1是基于特征点检测的粘连蘑菇视觉识别与测量方法的流程图。
图2是蘑菇背景分割效果图，其中，图2a为黑白相机采集的菇床灰度图像，图2b为对菇床灰度图像进行角点检测的结果图，图2c为滤除背景后的二值图。
图3是蘑菇粘连分割过程的示意图，其中，图3a为蘑菇连通域的边界轮廓，图3b为边界轮廓点序列的链码D，图3c为边界轮廓点序列的相对链码R，图3d为边界轮廓点序列的绝对链码A，图3e为边界轮廓点序列的N点绝对链码差Di，图3f为蘑菇粘连处的相接凹点序列。
图4是蘑菇单体椭圆拟合结果，其中，图4a为凹点对之间的圆弧，图4b为椭圆拟合结果图。
具体实施方式
本发明专利具体流程图如图1所示，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
1、蘑菇图像采集
本发明使用黑白相机采集菇床灰度图像视频流，采集到的灰度图像如图2a所示。
2、蘑菇背景分割
为了提高灰度图像角点检测的运算速度，采用FAST算子遍历灰度图，以步长和滑动窗口大小N为5计算滑动窗口内的角点数量，如图2b所示，如果窗口内的角点数量大于预设阈值1，则认定该区域为背景，将该区域内的所有像素点灰度值置0，此时已滤除背景中的大部分菌丝；
使用大津法设定自适应阈值，对已经滤除背景的蘑菇灰度图进行二值化处理；用形态学腐蚀操作进行邻域蚕食，将相邻的图像元素分割、独立出来；计算各个连通域的面积，去除面积过小的连通域；使用形态学膨胀操作进行邻域扩张，对因腐蚀操作损失部分面积的蘑菇连通域进行面积补偿；对各个连通域进行填充操作，以避免误检角点对部分蘑菇区域的去除，获得只包含蘑菇连通域的二值图，如图2c所示。
3、蘑菇粘连分割
从二值图中提取各个蘑菇连通域，用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，并以7为步长对其进行滑动平均运算，以恢复蘑菇本身的光滑轮廓，如图3a所示；依次计算边界轮廓点序列的Freeman链码D，如图3b所示，在此基础上，根据以下公式计算边界轮廓点序列的相对链码R、绝对链码A及其N点绝对链码差Di，如图3c、图3d、图3e所示；进一步搜索N点绝对链码差Di的局部极值点序列，这些点对应蘑菇连通域边界的拐点；通过判别每一个拐点两侧连线的位置，剔除凸点，获得蘑菇粘连处的相接凹点序列，如图3f所示；
相对链码R：
R1(i)＝D(i+1)-D(i)
R2(i)＝R1(i)+8
R3(i)＝mod(R2，8)
绝对链码A：
A(1)＝0
A(i)＝A(i-1)+R(i)
N点绝对链码差Di：
依次计算相接凹点序列中相邻二个凹点之间的弧长与弦长之比，若弧弦比大于预设阈值2.5，则匹配该凹点对，并提取该凹点对之间的圆弧，分割粘连的蘑菇，获得蘑菇单体的边界轮廓。
4、蘑菇单体测量
用测距传感器标定相机坐标系与世界坐标系之间的比例尺，用最小二乘法对如图4a所示的蘑菇单体的边界轮廓点序列进行椭圆拟合，如图4b所示，利用比例尺计算世界坐标系下蘑菇单体的圆心、直径，单位为mm。

Claims (4)

1.一种基于特征点检测的粘连蘑菇视觉识别与测量方法，其特征在于，包括以下步骤：
步骤1，蘑菇图像采集：采用黑白相机采集菇床灰度图像视频流；
步骤2，蘑菇背景分割：对采集到的每一帧灰度图像进行角点检测，并根据检测到的角点滤除背景，获得只包含蘑菇连通域的二值图；
步骤3，蘑菇粘连分割：从二值图中提取各个蘑菇连通域，用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，基于链码运算搜索其中的蘑菇粘连处的相接凹点序列，进一步用相邻凹点间的弧弦比匹配凹点对，分割粘连的蘑菇，获取蘑菇单体的边界轮廓；
步骤4，蘑菇单体测量：标定相机坐标系与世界坐标系之间的比例尺，用最小二乘法对蘑菇单体的边界轮廓点序列进行椭圆拟合，根据比例尺获取世界坐标系下蘑菇单体的圆心、直径等参数。
2.根据权利要求1所述的基于特征点检测的粘连蘑菇视觉识别与测量方法，其特征在于，所述步骤2完善过程为：
步骤2.1，计算灰度图的角点，并记录各角点位置；以奇数N为步长遍历整个灰度图，计算N×N滑动窗口内的角点数量，若角点数量大于预设阈值，则认定该区域为背景，将该区域内的所有像素点灰度值置0，以滤除大部分菌丝背景；
步骤2.2，用大津法设定自适应阈值对已经滤除背景的蘑菇灰度图进行二值化，结合形态学操作去除蘑菇边界噪声和小面积连通域，获得只含蘑菇连通域的二值图。
3.根据权利要求1所述的基于特征点检测的粘连蘑菇视觉识别与测量方法，其特征在于，所述步骤3完善过程为：
步骤3.1，利用八邻域跟踪法逆时针遍历蘑菇连通域的边界轮廓点序列，依次计算每一个点Freeman链码D、相对链码R、绝对链码A及其N点绝对链码差Di，进一步搜索Di的局部极值点，对应蘑菇连通域边界的拐点，剔除其中的凸点，获得蘑菇粘连处的相接凹点序列；
相对链码R：
R1(i)＝D(i+1)-D(i)
R2(i)＝R1(i)+8
R3(i)＝mod(R2，8)
绝对链码A：
A(1)＝0
A(i)＝A(i-1)+R(i)
N点绝对链码差Di：
步骤3.2，依次计算相接凹点序列中相邻凹点之间的弧弦比，若弧弦比大于预设阈值，则匹配该凹点对，并提取该凹点对之间的圆弧，分割粘连的蘑菇，获得蘑菇单体的边界轮廓。
4.根据权利要求1所述的基于特征点检测的粘连蘑菇视觉识别与测量方法，其特征在于，所述步骤4完善过程为：
用测距传感器标定相机坐标系与世界坐标系之间的比例尺，用最小二乘法对蘑菇单体的边界轮廓点序列进行椭圆拟合，利用比例尺计算世界坐标系下蘑菇单体的圆心、直径，单位为mm。
CN201910347409.3A 2019-04-24 2019-04-24 一种基于特征点检测的粘连蘑菇视觉识别与测量方法 Pending CN110059663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910347409.3A CN110059663A (zh) 2019-04-24 2019-04-24 一种基于特征点检测的粘连蘑菇视觉识别与测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910347409.3A CN110059663A (zh) 2019-04-24 2019-04-24 一种基于特征点检测的粘连蘑菇视觉识别与测量方法

Publications (1)

Publication Number Publication Date
CN110059663A true CN110059663A (zh) 2019-07-26

Family

ID=67321192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910347409.3A Pending CN110059663A (zh) 2019-04-24 2019-04-24 一种基于特征点检测的粘连蘑菇视觉识别与测量方法

Country Status (1)

Country Link
CN (1) CN110059663A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610506A (zh) * 2019-09-17 2019-12-24 北京中环易达设施园艺科技有限公司 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN110766702A (zh) * 2019-10-18 2020-02-07 沈阳农业大学 一种双孢蘑菇分级判断方法
CN111160470A (zh) * 2019-12-30 2020-05-15 四川慈石召铁科技有限公司 考古器物形态处理与分析方法、装置和计算机存储介质
CN111445482A (zh) * 2020-03-24 2020-07-24 上海第二工业大学 重叠双孢蘑菇的分割识别方法
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
CN112070052A (zh) * 2020-09-16 2020-12-11 青岛维感科技有限公司 一种间距监测方法、装置、系统及存储介质
CN115830011A (zh) * 2023-02-08 2023-03-21 山东瑞峰新材料科技有限公司 一种无声胶带生产过程的视觉检测方法
CN116912250A (zh) * 2023-09-13 2023-10-20 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
WO2024077979A1 (zh) * 2022-10-13 2024-04-18 上海第二工业大学 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013102A (zh) * 2010-12-01 2011-04-13 华中科技大学 一种图像中的粘连细胞分割方法
CN102881017A (zh) * 2012-09-21 2013-01-16 四川师范大学 一种细胞分离方法
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013102A (zh) * 2010-12-01 2011-04-13 华中科技大学 一种图像中的粘连细胞分割方法
CN102881017A (zh) * 2012-09-21 2013-01-16 四川师范大学 一种细胞分离方法
CN107316043A (zh) * 2017-07-04 2017-11-03 上海大学 一种采摘机器人的堆叠蘑菇快速识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宁丽: "基于集合形状的图象识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610506B (zh) * 2019-09-17 2022-11-29 北京中环易达设施园艺科技有限公司 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN110610506A (zh) * 2019-09-17 2019-12-24 北京中环易达设施园艺科技有限公司 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN110766702B (zh) * 2019-10-18 2023-08-01 沈阳农业大学 一种双孢蘑菇分级判断方法
CN110766702A (zh) * 2019-10-18 2020-02-07 沈阳农业大学 一种双孢蘑菇分级判断方法
CN111160470A (zh) * 2019-12-30 2020-05-15 四川慈石召铁科技有限公司 考古器物形态处理与分析方法、装置和计算机存储介质
CN111160470B (zh) * 2019-12-30 2024-01-23 四川慈石召铁科技有限公司 考古器物形态处理与分析方法、装置和计算机存储介质
CN111445482A (zh) * 2020-03-24 2020-07-24 上海第二工业大学 重叠双孢蘑菇的分割识别方法
CN111445482B (zh) * 2020-03-24 2023-03-28 上海第二工业大学 重叠双孢蘑菇的分割识别方法
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
CN112070052A (zh) * 2020-09-16 2020-12-11 青岛维感科技有限公司 一种间距监测方法、装置、系统及存储介质
WO2024077979A1 (zh) * 2022-10-13 2024-04-18 上海第二工业大学 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法
CN115830011A (zh) * 2023-02-08 2023-03-21 山东瑞峰新材料科技有限公司 一种无声胶带生产过程的视觉检测方法
CN116912250A (zh) * 2023-09-13 2023-10-20 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
CN116912250B (zh) * 2023-09-13 2023-11-28 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法

Similar Documents

Publication Publication Date Title
CN110059663A (zh) 一种基于特征点检测的粘连蘑菇视觉识别与测量方法
CN107145905B (zh) 电梯紧固螺帽松动的图像识别检测方法
Jimenez et al. A survey of computer vision methods for locating fruit on trees
CN107804514B (zh) 一种基于图像识别的牙刷分拣方法
CN111753577B (zh) 自动采摘机器人中的苹果识别与定位方法
CN106056020B (zh) 一种基于机器视觉系统的条码检测识别方法及系统
CN108230315B (zh) 一种基于机器视觉的口罩带缺失检测方法
CN106951905A (zh) 一种基于tof相机的树上苹果识别与定位方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN108921819B (zh) 一种基于机器视觉的验布装置及方法
CN102998316B (zh) 一种透明液体杂质检测系统及其检测方法
CN109345554A (zh) 一种基于rgb－d相机的粘连蘑菇视觉原位测量方法
CN102879401A (zh) 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法
CN108009538A (zh) 一种汽车发动机缸体序列号智能识别方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
Yusuf et al. Blob analysis for fruit recognition and detection
CN105572143B (zh) 压延过程中压延材料表面周期性缺陷的检测方法
CN111562260B (zh) 一种基于机器视觉的莲藕泥孔检测方法及装置
CN107256549B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN102788806B (zh) 基于类球形亮度变换的水果表面缺陷检测方法
CN114862855A (zh) 基于模板匹配的纺织品缺陷检测方法及系统
CN109596620A (zh) 基于机器视觉的产品表面形状缺陷检测方法和系统
Witus et al. A review of computer vision methods for fruit recognition
CN108038482A (zh) 一种汽车发动机缸体序列号视觉智能识别系统
CN114881969A (zh) 基于计算机视觉的木板表面木节疤检测方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190726