CN105701812A - 适用于采棉机器人的视觉识别系统 - Google Patents

适用于采棉机器人的视觉识别系统 Download PDF

Info

Publication number
CN105701812A
CN105701812A CN201610018459.3A CN201610018459A CN105701812A CN 105701812 A CN105701812 A CN 105701812A CN 201610018459 A CN201610018459 A CN 201610018459A CN 105701812 A CN105701812 A CN 105701812A
Authority
CN
China
Prior art keywords
cotton
image
picking robot
cotton picking
system suitable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610018459.3A
Other languages
English (en)
Other versions
CN105701812B (zh
Inventor
刘坤
高金凤
汪木兰
刘娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201610018459.3A priority Critical patent/CN105701812B/zh
Publication of CN105701812A publication Critical patent/CN105701812A/zh
Application granted granted Critical
Publication of CN105701812B publication Critical patent/CN105701812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于采棉机器人的视觉识别系统,其特征是,包括视觉系统设定、棉花图像的滤波,棉花图像的分割,棉花图像的目标检测和边缘提取以及特征提取和成熟度分类。图像滤波采用了基于边缘乘积互信息的Unit-linking PCNN的图像分割方法;基于改进自适应遗传算法实现棉花定位,然后利用快速多尺度边缘算法实现图像分割;通过对棉花图像特征、纹理特征、几何形状特征研究,基于主成分分析法实现棉花成熟度分类。本发明是基于图像视觉的采棉机器人的研究,具有成本低、通用性强、使用方便的特点,具有良好的应用前景。

Description

适用于采棉机器人的视觉识别系统
技术领域
本发明涉及一种适用于采棉机器人的视觉识别系统,属于像定位识别技术领域。
背景技术
我国棉花种植地域辽阔,南方丘陵地貌比较常见,棉花品种和生产规模呈现多元化格局,棉花的成熟吐絮期不一致,纤维长短不同,而目前无论是国际还是国内所采用的大型采棉机均需要化学干扰素和其它相关设备的配合才能很好地发挥其功能,即采摘后还必须经过复杂的清理、分离环节才能将棉絮从枝叶中分离出来,或者需要依靠农艺在品种方面进行改良。因此,传统的机械化高效采收装置难以直接满足这类有选择性收获的要求,而短期内通过农艺手段实现棉花采摘收获机械化的难度较大,周期较长,绝非短时间能够解决。换言之,这样的机械化道路对于内地产棉区而言太过漫长。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种适用于采棉机器人的视觉识别系统,可以实现准确地识别和定位成熟棉桃,并对采摘的棉花进行分类,然后引导末端执行器灵活准确地接近目标,完成采摘和分类动作。
为了实现上述目标,本发明采用如下的技术方案:
一种适用于采棉机器人的视觉识别系统,其特征是,包括如下步骤:
1)视觉系统设定;
2)对步骤1)检测到的像进行滤波处理;
3)对步骤2)中的像进行分割;
4)目标检测定位并进行边缘提取;
5)基于主成分分析法进行特征提取;
6)根据步骤5)的结果根据成熟度进行分类。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤1)中视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤2)的具体步骤如下:
步骤21):采用线性滤波器根据分块平均法提取噪声像的边缘;
步骤22):对于边缘区域直接输出;对于非边缘区域进行分类处理后输出,分类处理的标准根据事先设定的阀值进行设置;
步骤23):在步骤22)处理完毕后的噪声像中提取像细节;
步骤24):对非细节部分采用中值滤波,其对应的滤波器采用根据个数判断脉冲噪声的中值滤波器。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤3)中像分割模块采用基于边缘乘积互信息和直方的PCNN像分割方法。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤4)中目标检测定位采用基于改进自适应遗传算法的识别方法。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤5)中主成分选择纹理特征、几何形状特征和区域形状特征,并采用改进克隆选择算法验证所提取特征的有效性。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述纹理特征采用基于小波域共生矩阵模型和和差统计法进行提取,包括熵、角二阶矩、相关性、对比度和相异性。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述区域形状特征采用基于小波和相对矩进行提取。
本发明所达到的有益效果:(1)本系统的视觉系统采用一种基于位置与像结合的动态视觉伺服系统结构,可用于实现稳定高精度的视觉伺服控制;(2)选用基于边缘检测和噪声分类相结合的线性滤波器和基于个数判断脉冲噪声的中值滤波器,可用于快速高效的滤波;(3)基于边缘乘积互信息的Unit-linkingPCNN的像分割方法能够使得分割速度显著提高;(4)提供了基于改进自适应遗传算法的棉花定位,能够更快速、准确的提取质心坐标和半径;(5)通过对棉花像特征、纹理特征、几何形状特征研究,提供一种基于主成分分析法实现棉花成熟度分类器,具有成本低、通用性强、使用方便的特点,具有良好的应用前景。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
在本视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构,此种视觉伺服机构出自:周俊,刘锐等,基于立体视觉的水果采摘机器人系统设计,农业机械学报,2010,41(6):159-162。
在步骤2)中,虽然人眼对于像的细节是比较敏感的,而对于大部分的平坦区域敏感度要差一些,因此,我们假设在一个滑动窗口内非边界区域中像素点的值基本相等;而在边界区域像素点的值变化大。在此前提下,将5×5滑动窗口以中心像素点为中心,沿水平、垂直、45°、135°四个方向划分成F(1)~F(8)八块,F(1)~F(8)分别是相应部分9个像素点的灰度平均值。
采用分块平均法来提取噪声像的边缘后,如果是像的边缘,则直接输出,对于非边缘区域要进行分类处理。可以分为没有被噪声污染的像信号;轻度污染的像信号;中度污染的像信号;重度污染的像信号4类。取已经判断为的非边缘点的5×5邻域,设a(i,j)是5×5窗口的中心像素点,即待处理的非边缘点,mean为5×5窗口的平均值,则滤波步骤如下:
(1)计算D2=|a(i,j)-mean|;
(2)如果D2<T1,则判断为没有被噪声污染的像素,经中心权值较大的3×3均值滤波输出;
(3)如果T1<D2<T2,则判断为轻度污染的像素,经3×3线性均值滤波输出;
(4)如果T2<D2<T3,则判断为中度污染的像素,经5×5线性均值滤波输出;
(5)如果D2>T3,则判断为重度污染的像素,经5×5均值加权滤波输出。
其中,T1、T2、T3是给定的阈值,该方法克服了线性滤波器所选窗口越大,噪声去除能力越强,但同时细节丢失也越多的缺点。
对于脉冲噪声,中值滤波具有明显的优势。但仅采用简单的中值滤波器对整幅像去噪,将不可避免地丢失像细节,造成视觉效果的模糊。本使用新型提出了在噪声像中先提取像的细节,然后对非细节部分用中值滤波的基于个数判断脉冲噪声的中值滤波器。
在步骤3)中,像分割采用基于边缘乘积互信息和直方的PCNN像分割方法,原有的最大互信息量可有效地让两幅像的互信息最大,而带有边缘信息的最大互信息不但可使分割前后两幅像之间的互信息最大,而且可以让目标边缘间的信息最大化,从而大大增强了区域内像分割的细节分辨能力。
但是,在现有技术中,带有边缘信息的互信息量不仅含有加减乘除运算,还包含有对数运算,现有CPU的算术运算单元中没有对数运算部件,需将对数运算转化成加法和乘法运算来执行。这必然带来较大的计算量,影响其像分割处理的速度。引入了边缘乘积互信息的概念,计算量显著降低,速度大幅度提高。
在步骤4)中的边缘提取是为棉花形状特征提取打下基础,也是为了棉花的定位方便。
在目标检测定位中,采用基于改进自适应遗传算法的识别方法。
在遗传算法参数中,杂交率和变异率直接影响算法的收敛速度。为了避免自适应遗传算法停滞不前,使杂交率和变异率的自适应调整曲线在处缓慢改变(其中,是种群的平均适应度值),从而大面积地提高适应度接近平均适应度的个体的杂交率和变异率,且保证当代种群中较优个体仍具有一定的交叉率和变异率。为了能在算法演化后期尽可能地保留较优个体的模式,平滑处的自适应调整曲线。
本方案中对自适应遗传算法的改进,是对杂交、变异两个算子做改进:
在现有技术中,神经网络中激活函数最常用的是sigmoid函数,该函数在线性和非线性行为之间显现出较好的平衡。所以此处利用sigmoid函数设计出求解最大优化问题时的杂交率及变异率的自适应调整公式:
杂交率
变异率
其中A=9.903438,fmax是种群中个体的最大适应度值,是种群的平均适应度值,f'是要杂交的两个个体适应度值较大者,f是变异个体的适应度值,Pcmax是最大的杂交率;Pcmin是最小的杂交率;Pmmax是最大的变异率;这里的改进使杂交率和变异率的自适应调整曲线在处缓慢改变,带来如下有益效果:
1.给出的适应度函数满足算法收敛速度及最优解的要求,可以作为自适应遗传算法在进化搜索中的判定依据;
2.非线性杂交算子及变异算子的选取克服了自适应遗传算法易陷入局部最优的缺陷;
3.采用基于遗传算法的圆拟合比IRHT变换的拟合效果更符合实际情况,拟合时间显著降低。
在步骤5)中,采用主成分分析法对特征进行提取,形成棉花像特征库,其中包括,纹理特征、几何形状特征和区域形状特征。
采用基于小波域灰度共生矩阵模型结合和差统计法提取了棉花五个典型的纹理特征:熵、角二阶矩、相关性、对比度和相异性,该方法通过优化纹理特征量,提高了分类的速度及准确率。
鉴于成熟与未成熟棉花的形状差异,定义了棉花的5个几何特征:圆方差、椭圆方差、紧密度、圆形度和偏心率,通过ICSA算法验证了5个几何特征的有效性。同时,采用基于快速多尺度边缘检测算法提取棉花边界,在此基础上提取了棉花的边界矩和相对矩,为后续成熟度分类提供了必要的形状特征。通过ICSA特征选择算法直观地了解了哪些特征更能描述不同成熟度的棉花像,同时降低了输入的空间,提高了分类精度。
在步骤6)中,对于根据棉花成熟度进行分类时,现有技术是采用基于人工免疫系统的克隆选择算法在解决优化问题中表现出良好的性能,该方法用于特征选择,表现出优于遗传算法的性能,并得到了优于遗传算法的效果。但是该方法仍存在一些问题,如特征选择的收敛速度慢,每次迭代的用于预案算巴氏距离的时间长。
本发明采用在克隆选择算法(ImmuneClonalSelecionAlgorithm,ICSA)中加入克隆死亡操作来加快算法收敛,并改用基于训练样本正确分类概率作为亲和度函数的Wrapper选择方法,该方法计算简单且避免了求巴氏距离带来的时间消耗,显著提高了棉花成熟度分类效率。
本发明可实现机器人紧凑,转弯灵活;准确地识别和定位成熟棉桃,并对采摘的棉花进行分类,然后引导末端执行器灵活准确地接近目标,完成采摘和分类动作;利用率要比较高;采棉效率尽量高,每朵棉花的采摘时间短。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种适用于采棉机器人的视觉识别系统,其特征是,包括如下步骤:
1)视觉系统设定;
2)对步骤1)检测到的图像进行滤波处理;
3)对步骤2)中的图像进行分割;
4)目标检测定位并进行边缘提取;
5)基于主成分分析法进行特征提取;
6)根据步骤5)的结果根据成熟度进行分类。
2.根据权利要求1所述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤1)中视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构。
3.根据权利要求1所述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤2)的具体步骤如下:
步骤21):采用线性滤波器根据分块平均法提取噪声图像的边缘;
步骤22):对于边缘区域直接输出;对于非边缘区域进行分类处理后输出,分类处理的标准根据事先设定的阀值进行设置;
步骤23):在步骤22)处理完毕后的噪声图像中提取图像细节;
步骤24):对非细节部分采用中值滤波,其对应的滤波器采用根据个数判断脉冲噪声的中值滤波器。
4.根据权利要求1所述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤3)中图像分割模块采用基于边缘乘积互信息和直方图的PCNN图像分割方法。
5.根据权利要求1所述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤4)中目标检测定位采用基于改进自适应遗传算法的识别方法。
6.根据权利要求1所述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤5)中主成分选择纹理特征、几何形状特征和区域形状特征,并采用改进克隆选择算法验证所提取特征的有效性。
7.根据权利要求6所述的适用于采棉机器人的视觉识别系统,其特征是,所述纹理特征采用基于小波域共生矩阵模型和和差统计法进行提取,包括熵、角二阶矩、相关性、对比度和相异性。
8.根据权利要求6所述的适用于采棉机器人的视觉识别系统,其特征是,所述区域形状特征采用基于小波和相对矩进行提取。
CN201610018459.3A 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统 Active CN105701812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610018459.3A CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610018459.3A CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Publications (2)

Publication Number Publication Date
CN105701812A true CN105701812A (zh) 2016-06-22
CN105701812B CN105701812B (zh) 2021-09-07

Family

ID=56226273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610018459.3A Active CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Country Status (1)

Country Link
CN (1) CN105701812B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910253A (zh) * 2017-02-22 2017-06-30 天津大学 基于不同相机间距的立体图像克隆方法
CN107527367A (zh) * 2017-10-19 2017-12-29 新疆秦域工业设备制造安装有限公司 一种基于双目相机的棉花识别及定位方法
CN107598917A (zh) * 2016-07-12 2018-01-19 浙江星星冷链集成股份有限公司 一种机器人的视觉识别系统
CN107609594A (zh) * 2017-09-18 2018-01-19 湖州师范学院 基于自适应遗传方法的显著性检测方法
CN109255779A (zh) * 2018-08-17 2019-01-22 南京邮电大学 基于物联网的托管种植服务平台
CN113330915A (zh) * 2021-05-26 2021-09-03 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101726264A (zh) * 2009-12-30 2010-06-09 深圳先进技术研究院 一种针对投射条纹图像的残差滤波方法
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
WO2012136874A1 (es) * 2011-04-06 2012-10-11 Universitat Autonoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
CN103559511A (zh) * 2013-11-20 2014-02-05 天津农学院 一种温室蔬菜叶部病害图像自动识别方法
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
CN104077752A (zh) * 2014-06-25 2014-10-01 东南大学 一种基于置信相似度的递归高斯极大似然估计的冲激噪声抑制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN101726264A (zh) * 2009-12-30 2010-06-09 深圳先进技术研究院 一种针对投射条纹图像的残差滤波方法
WO2012136874A1 (es) * 2011-04-06 2012-10-11 Universitat Autonoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
CN103559511A (zh) * 2013-11-20 2014-02-05 天津农学院 一种温室蔬菜叶部病害图像自动识别方法
CN104077752A (zh) * 2014-06-25 2014-10-01 东南大学 一种基于置信相似度的递归高斯极大似然估计的冲激噪声抑制方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
关保林 等: "基于改进遗传算法的 BP 神经网络手写数字识别", 《化工自动化及仪表》 *
刘坤 等: "采棉机器人中棉花成熟度的识别", 《工业仪表与自动化装置》 *
周俊 等: "基于立体视觉的水果采摘机器人系统设计", 《农业机械学报》 *
焦李成,侯彪,王爽等著: "《图像多尺度几何分析理论与应用》", 31 July 2008, 西安电子科技大学出版社 *
王帆: "基于遗传和克隆选择算法的人脸识别", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
蒋先刚著: "《数字图像模式识别工程项目研究》", 31 March 2014, 西南交通大学出版社 *
陈立雪 等: "利用直方图及边缘乘积互信息的PCNN图像分割", 《计算机工程与应用》 *
项力领 等: "图像去噪的混合滤波方法", 《吉林大学学报(信息科学版)》 *
魏静明 等: "利用抗噪纹理特征的快速鸟鸣声识别", 《电子学报》 *
黄志开: "彩色图像特征提取与植物分类研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107598917A (zh) * 2016-07-12 2018-01-19 浙江星星冷链集成股份有限公司 一种机器人的视觉识别系统
CN106910253A (zh) * 2017-02-22 2017-06-30 天津大学 基于不同相机间距的立体图像克隆方法
CN106910253B (zh) * 2017-02-22 2020-02-18 天津大学 基于不同相机间距的立体图像克隆方法
CN107609594A (zh) * 2017-09-18 2018-01-19 湖州师范学院 基于自适应遗传方法的显著性检测方法
CN107527367A (zh) * 2017-10-19 2017-12-29 新疆秦域工业设备制造安装有限公司 一种基于双目相机的棉花识别及定位方法
CN109255779A (zh) * 2018-08-17 2019-01-22 南京邮电大学 基于物联网的托管种植服务平台
CN113330915A (zh) * 2021-05-26 2021-09-03 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN113330915B (zh) * 2021-05-26 2022-08-30 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置

Also Published As

Publication number Publication date
CN105701812B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN105701812A (zh) 适用于采棉机器人的视觉识别系统
Jiang et al. A tomato leaf diseases classification method based on deep learning
Lv et al. Maize leaf disease identification based on feature enhancement and DMS-robust alexnet
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Tripathi et al. Recent machine learning based approaches for disease detection and classification of agricultural products
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN105930854A (zh) 一种机械臂视觉系统
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
Nigam et al. Plant disease identification using Deep Learning: A review. Indian Journal of Agricultural Sciences
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
Zhang et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm
CN116071560A (zh) 一种基于卷积神经网络的水果识别方法
CN112329506A (zh) 枸杞采摘机器人的果实识别方法及系统、定位方法及系统
Dange et al. Grape vision: a CNN-based system for yield component analysis of grape clusters
Su et al. A CNN-LSVM model for imbalanced images identification of wheat leaf
Omer et al. Plant disease diagnosing based on deep learning techniques
Prasher et al. Potato leaf disease prediction using RMSProp, Adam and SGD optimizers
Zhao et al. Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model
Guan et al. Defect detection and classification for plain woven fabric based on deep learning
Yang et al. Segmentation algorithm for Hangzhou white chrysanthemums based on least squares support vector machine
CN111523503A (zh) 基于改进ssd算法的苹果目标检测方法
Balakrishna et al. Tomato Leaf Disease Detection Using Deep Learning: A CNN Approach
Jin et al. An improved mask r-cnn method for weed segmentation
Ullagaddi et al. An enhanced feature extraction technique for diagnosis of pathological problems in mango crop

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160622

Assignee: Nanjing Institute of Engineering Technical Service Co.,Ltd.

Assignor: NANJING INSTITUTE OF TECHNOLOGY

Contract record no.: X2024980002478

Denomination of invention: Visual recognition system suitable for cotton picking robots

Granted publication date: 20210907

License type: Common License

Record date: 20240305