CN105701812B - 适用于采棉机器人的视觉识别系统 - Google Patents

适用于采棉机器人的视觉识别系统 Download PDF

Info

Publication number
CN105701812B
CN105701812B CN201610018459.3A CN201610018459A CN105701812B CN 105701812 B CN105701812 B CN 105701812B CN 201610018459 A CN201610018459 A CN 201610018459A CN 105701812 B CN105701812 B CN 105701812B
Authority
CN
China
Prior art keywords
cotton
image
features
edge
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610018459.3A
Other languages
English (en)
Other versions
CN105701812A (zh
Inventor
刘坤
高金凤
汪木兰
刘娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201610018459.3A priority Critical patent/CN105701812B/zh
Publication of CN105701812A publication Critical patent/CN105701812A/zh
Application granted granted Critical
Publication of CN105701812B publication Critical patent/CN105701812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于采棉机器人的视觉识别系统,其特征是,包括视觉系统设定、棉花图像的滤波,棉花图像的分割,棉花图像的目标检测和边缘提取以及特征提取和成熟度分类。图像滤波采用了基于边缘乘积互信息的Unit‑linking PCNN的图像分割方法;基于改进自适应遗传算法实现棉花定位,然后利用快速多尺度边缘算法实现图像分割;通过对棉花图像特征、纹理特征、几何形状特征研究,基于主成分分析法实现棉花成熟度分类。本发明是基于图像视觉的采棉机器人的研究,具有成本低、通用性强、使用方便的特点,具有良好的应用前景。

Description

适用于采棉机器人的视觉识别系统
技术领域
本发明涉及一种适用于采棉机器人的视觉识别系统,属于图像定位识别技术领域。
背景技术
我国棉花种植地域辽阔,南方丘陵地貌比较常见,棉花品种和生产规模呈现多元化格局,棉花的成熟吐絮期不一致,纤维长短不同,而目前无论是国际还是国内所采用的大型采棉机均需要化学干扰素和其它相关设备的配合才能很好地发挥其功能,即采摘后还必须经过复杂的清理、分离环节才能将棉絮从枝叶中分离出来,或者需要依靠农艺在品种方面进行改良。因此,传统的机械化高效采收装置难以直接满足这类有选择性收获的要求,而短期内通过农艺手段实现棉花采摘收获机械化的难度较大,周期较长,绝非短时间能够解决。换言之,这样的机械化道路对于内地产棉区而言太过漫长。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种适用于采棉机器人的视觉识别系统,可以实现准确地识别和定位成熟棉桃,并对采摘的棉花进行分类,然后引导末端执行器灵活准确地接近目标,完成采摘和分类动作。
为了实现上述目标,本发明采用如下的技术方案:
一种适用于采棉机器人的视觉识别系统,其特征是,包括如下步骤:
1)视觉系统设定;
2)对步骤1)检测到的图像进行滤波处理;
3)对步骤2)中的图像进行分割;
4)目标检测定位并进行边缘提取;
5)基于主成分分析法进行特征提取;
6)根据步骤5)的结果根据成熟度进行分类。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤1)中视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤2)的具体步骤如下:
步骤21):采用线性滤波器根据分块平均法提取噪声图像的边缘;
步骤22):对于边缘区域直接输出;对于非边缘区域进行分类处理后输出,分类处理的标准根据事先设定的阀值进行设置;
步骤23):在步骤22)处理完毕后的噪声图像中提取图像细节;
步骤24):对非细节部分采用中值滤波,其对应的滤波器采用根据个数判断脉冲噪声的中值滤波器。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤3)中图像分割模块采用基于边缘乘积互信息和直方图的PCNN图像分割方法。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤4)中目标检测定位采用基于改进自适应遗传算法的识别方法。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述步骤5)中主成分选择纹理特征、几何形状特征和区域形状特征,并采用改进克隆选择算法验证所提取特征的有效性。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述纹理特征采用基于小波域共生矩阵模型和和差统计法进行提取,包括熵、角二阶矩、相关性、对比度和相异性。
前述的适用于采棉机器人的视觉识别系统,其特征是,所述区域形状特征采用基于小波和相对矩进行提取。
本发明所达到的有益效果:(1)本系统的视觉系统采用一种基于位置与图像结合的动态视觉伺服系统结构,可用于实现稳定高精度的视觉伺服控制;(2)选用基于边缘检测和噪声分类相结合的线性滤波器和基于个数判断脉冲噪声的中值滤波器,可用于快速高效的滤波;(3)基于边缘乘积互信息的Unit-linkingPCNN的图像分割方法能够使得分割速度显著提高;(4)提供了基于改进自适应遗传算法的棉花定位,能够更快速、准确的提取质心坐标和半径;(5)通过对棉花图像特征、纹理特征、几何形状特征研究,提供一种基于主成分分析法实现棉花成熟度分类器,具有成本低、通用性强、使用方便的特点,具有良好的应用前景。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
在本视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构,此种视觉伺服机构出自:周俊,刘锐等,基于立体视觉的水果采摘机器人系统设计,农业机械学报,2010,41(6):159-162。
在步骤2)中,虽然人眼对于图像的细节是比较敏感的,而对于大部分的平坦区域敏感度要差一些,因此,我们假设在一个滑动窗口内非边界区域中像素点的值基本相等;而在边界区域像素点的值变化大。在此前提下,将5×5滑动窗口以中心像素点为中心,沿水平、垂直、45°、135°四个方向划分成F(1)~F(8)八块,F(1)~F(8)分别是相应部分9个像素点的灰度平均值。
采用分块平均法来提取噪声图像的边缘后,如果是图像的边缘,则直接输出,对于非边缘区域要进行分类处理。可以分为没有被噪声污染的图像信号;轻度污染的图像信号;中度污染的图像信号;重度污染的图像信号4类。取已经判断为的非边缘点的5×5邻域,设a(i,j)是5×5窗口的中心像素点,即待处理的非边缘点,mean为5×5窗口的平均值,则滤波步骤如下:
(1)计算D2=|a(i,j)-mean|;
(2)如果D2<T1,则判断为没有被噪声污染的像素,经中心权值较大的3×3均值滤波输出;
(3)如果T1<D2<T2,则判断为轻度污染的像素,经3×3线性均值滤波输出;
(4)如果T2<D2<T3,则判断为中度污染的像素,经5×5线性均值滤波输出;
(5)如果D2>T3,则判断为重度污染的像素,经5×5均值加权滤波输出。
其中,T1、T2、T3是给定的阈值,该方法克服了线性滤波器所选窗口越大,噪声去除能力越强,但同时细节丢失也越多的缺点。
对于脉冲噪声,中值滤波具有明显的优势。但仅采用简单的中值滤波器对整幅图像去噪,将不可避免地丢失图像细节,造成视觉效果的模糊。本使用新型提出了在噪声图像中先提取图像的细节,然后对非细节部分用中值滤波的基于个数判断脉冲噪声的中值滤波器。
在步骤3)中,图像分割采用基于边缘乘积互信息和直方图的PCNN图像分割方法,原有的最大互信息量可有效地让两幅图像的互信息最大,而带有边缘信息的最大互信息不但可使分割前后两幅图像之间的互信息最大,而且可以让目标边缘间的信息最大化,从而大大增强了区域内图像分割的细节分辨能力。
但是,在现有技术中,带有边缘信息的互信息量不仅含有加减乘除运算,还包含有对数运算,现有CPU的算术运算单元中没有对数运算部件,需将对数运算转化成加法和乘法运算来执行。这必然带来较大的计算量,影响其图像分割处理的速度。引入了边缘乘积互信息的概念,计算量显著降低,速度大幅度提高。
在步骤4)中的边缘提取是为棉花形状特征提取打下基础,也是为了棉花的定位方便。
在目标检测定位中,采用基于改进自适应遗传算法的识别方法。
在遗传算法参数中,杂交率和变异率直接影响算法的收敛速度。为了避免自适应遗传算法停滞不前,使杂交率和变异率的自适应调整曲线在
Figure GDA0000952843300000051
处缓慢改变(其中,
Figure GDA0000952843300000052
是种群的平均适应度值),从而大面积地提高适应度接近平均适应度的个体的杂交率和变异率,且保证当代种群中较优个体仍具有一定的交叉率和变异率。为了能在算法演化后期尽可能地保留较优个体的模式,平滑
Figure GDA0000952843300000054
处的自适应调整曲线。
本方案中对自适应遗传算法的改进,是对杂交、变异两个算子做改进:
在现有技术中,神经网络中激活函数最常用的是sigmoid函数,该函数在线性和非线性行为之间显现出较好的平衡。所以此处利用sigmoid函数设计出求解最大优化问题时的杂交率及变异率的自适应调整公式:
杂交率
Figure GDA0000952843300000053
变异率
Figure GDA0000952843300000061
其中A=9.903438,fmax是种群中个体的最大适应度值,
Figure GDA0000952843300000062
是种群的平均适应度值,f'是要杂交的两个个体适应度值较大者,f是变异个体的适应度值,Pcmax是最大的杂交率;Pcmin是最小的杂交率;Pmmax是最大的变异率;这里的改进使杂交率和变异率的自适应调整曲线在
Figure GDA0000952843300000063
处缓慢改变,带来如下有益效果:
1.给出的适应度函数满足算法收敛速度及最优解的要求,可以作为自适应遗传算法在进化搜索中的判定依据;
2.非线性杂交算子及变异算子的选取克服了自适应遗传算法易陷入局部最优的缺陷;
3.采用基于遗传算法的圆拟合比IRHT变换的拟合效果更符合实际情况,拟合时间显著降低。
在步骤5)中,采用主成分分析法对特征进行提取,形成棉花图像特征库,其中包括,纹理特征、几何形状特征和区域形状特征。
采用基于小波域灰度共生矩阵模型结合和差统计法提取了棉花五个典型的纹理特征:熵、角二阶矩、相关性、对比度和相异性,该方法通过优化纹理特征量,提高了分类的速度及准确率。
鉴于成熟与未成熟棉花的形状差异,定义了棉花的5个几何特征:圆方差、椭圆方差、紧密度、圆形度和偏心率,通过ICSA算法验证了5个几何特征的有效性。同时,采用基于快速多尺度边缘检测算法提取棉花边界,在此基础上提取了棉花的边界矩和相对矩,为后续成熟度分类提供了必要的形状特征。通过ICSA特征选择算法直观地了解了哪些特征更能描述不同成熟度的棉花图像,同时降低了输入的空间,提高了分类精度。
在步骤6)中,对于根据棉花成熟度进行分类时,现有技术是采用基于人工免疫系统的克隆选择算法在解决优化问题中表现出良好的性能,该方法用于特征选择,表现出优于遗传算法的性能,并得到了优于遗传算法的效果。但是该方法仍存在一些问题,如特征选择的收敛速度慢,每次迭代的用于预案算巴氏距离的时间长。
本发明采用在克隆选择算法(Immune Clonal Selecion Algorithm,ICSA)中加入克隆死亡操作来加快算法收敛,并改用基于训练样本正确分类概率作为亲和度函数的Wrapper选择方法,该方法计算简单且避免了求巴氏距离带来的时间消耗,显著提高了棉花成熟度分类效率。
本发明可实现机器人紧凑,转弯灵活;准确地识别和定位成熟棉桃,并对采摘的棉花进行分类,然后引导末端执行器灵活准确地接近目标,完成采摘和分类动作;利用率要比较高;采棉效率尽量高,每朵棉花的采摘时间短。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种适用于采棉机器人的视觉识别系统,其特征是,包括如下步骤:
1)视觉系统设定:
所述步骤1)中视觉系统采用基于双目立体视觉和单目视觉系统结合的多目立体视觉伺服机构;
2)对步骤1)检测到的图像进行滤波处理;
所述步骤2)的具体步骤如下:
步骤21):采用线性滤波器根据分块平均法提取噪声图像的边缘;
步骤22):对于边缘区域直接输出:对于非边缘区域进行分类处理后输出,分类处理的标准根据事先设定的阀值进行设置;
步骤23):在步骤22)处理完毕后的噪声图像中提取图像细节;
步骤24):对非细节部分采用中值滤波,其对应的滤波器采用根据个数判断脉冲噪声的中值滤波器;
所述步骤22)中对于非边缘区域进行的分类处理包括:若判断为没有被噪声污染的像素,则经中心权值3×3滤波输出;
3)对步骤2)中的图像进行分割;
所述步骤3)中图像分割模块采用基于边缘乘积互信息和直方图的PCNN图像分割方法;
4)目标检测定位并进行边缘提取;
所述步骤4)中目标检测定位采用基于改进自适应遗传算法的识别方法:
5)基于主成分分析法进行特征提取;
所述步骤5)中主成分选择纹理特征、几何形状特征和区域形状特征,并采用改进克隆选择算法验证所提取特征的有效性;所述纹理特征采用基于小波域共生矩阵模型和和差统计法进行提取,包括熵、角二阶矩、相关性、对比度和相异性:所述区域形状特征采用基于小波和相对矩进行提取,鉴于成熟与未成熟棉花的形状差异,定义了棉花的5个几何特征:圆方差、椭圆方差、紧密度、圆形度和偏心率,通过ICSA算法验证了5个几何特征的有效性;
6)根据步骤5)的结果根据成熟度进行分类,采用在克隆选择算法(Immune ClonalSelec ion Algorithm,ICSA)中加入克隆死亡操作来加快算法收敛,并改用基于训练样本正确分类概率作为亲和度函数的Wrapper选择方法,该方法计算简单且避免了求巴氏距离带来的时间消耗,显著提高了棉花成熟度分类效率。
CN201610018459.3A 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统 Active CN105701812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610018459.3A CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610018459.3A CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Publications (2)

Publication Number Publication Date
CN105701812A CN105701812A (zh) 2016-06-22
CN105701812B true CN105701812B (zh) 2021-09-07

Family

ID=56226273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610018459.3A Active CN105701812B (zh) 2016-01-12 2016-01-12 适用于采棉机器人的视觉识别系统

Country Status (1)

Country Link
CN (1) CN105701812B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107598917A (zh) * 2016-07-12 2018-01-19 浙江星星冷链集成股份有限公司 一种机器人的视觉识别系统
CN106910253B (zh) * 2017-02-22 2020-02-18 天津大学 基于不同相机间距的立体图像克隆方法
CN107609594A (zh) * 2017-09-18 2018-01-19 湖州师范学院 基于自适应遗传方法的显著性检测方法
CN107527367A (zh) * 2017-10-19 2017-12-29 新疆秦域工业设备制造安装有限公司 一种基于双目相机的棉花识别及定位方法
CN109255779A (zh) * 2018-08-17 2019-01-22 南京邮电大学 基于物联网的托管种植服务平台
CN113330915B (zh) * 2021-05-26 2022-08-30 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
WO2012136874A1 (es) * 2011-04-06 2012-10-11 Universitat Autonoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
CN103559511A (zh) * 2013-11-20 2014-02-05 天津农学院 一种温室蔬菜叶部病害图像自动识别方法
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726264A (zh) * 2009-12-30 2010-06-09 深圳先进技术研究院 一种针对投射条纹图像的残差滤波方法
CN104077752A (zh) * 2014-06-25 2014-10-01 东南大学 一种基于置信相似度的递归高斯极大似然估计的冲激噪声抑制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
WO2012136874A1 (es) * 2011-04-06 2012-10-11 Universitat Autonoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
CN103559511A (zh) * 2013-11-20 2014-02-05 天津农学院 一种温室蔬菜叶部病害图像自动识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
图像去噪的混合滤波方法;项力领 等;《吉林大学学报(信息科学版)》;20130531;第31卷(第3期);第3节 *
基于立体视觉的水果采摘机器人系统设计;周俊 等;《农业机械学报》;20100630;第41卷(第6期);图1,第1节 *
基于遗传和克隆选择算法的人脸识别;王帆;《中国优秀硕士学位论文全文数据库-信息科技辑》;20111215(第S1期);第3.4节 *
采棉机器人中棉花成熟度的识别;刘坤 等;《工业仪表与自动化装置》;20121215(第6期);第1-3节 *

Also Published As

Publication number Publication date
CN105701812A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105701812B (zh) 适用于采棉机器人的视觉识别系统
Li et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
CN108335307A (zh) 基于暗原色的自适应烟叶图片分割方法及系统
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
CN105095907B (zh) 一种基于rbf神经网络的棉花异质纤维鉴别方法
CN104036231B (zh) 人体躯干识别装置及方法、终点影像检测方法、装置
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
CN108064560A (zh) 基于Kinect景深相机的水果自动采摘系统及方法
CN109684941B (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
CN113298777A (zh) 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
Feng et al. A separating method of adjacent apples based on machine vision and chain code information
CN109086823B (zh) 一种小麦赤霉病病穗率自动统计方法
CN103279762A (zh) 一种自然环境下果实常见生长形态判定方法
Zhou et al. Research on cucumber downy mildew detection system based on SVM classification algorithm
CN109682326A (zh) 基于深度图像的钵苗直立度检测装置及检测方法
Gonçalves et al. Automatic system for counting cells with elliptical shape
CN114431005A (zh) 智能化农业果实采摘识别与定位方法、系统及装置
Zhang et al. Recognition of greenhouse cucumber fruit using computer vision
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、系统及存储介质
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN111523503A (zh) 基于改进ssd算法的苹果目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160622

Assignee: Nanjing Institute of Engineering Technical Service Co.,Ltd.

Assignor: NANJING INSTITUTE OF TECHNOLOGY

Contract record no.: X2024980002478

Denomination of invention: Visual recognition system suitable for cotton picking robots

Granted publication date: 20210907

License type: Common License

Record date: 20240305