CN103727877B - 果实识别定位的方法、装置及系统 - Google Patents

果实识别定位的方法、装置及系统 Download PDF

Info

Publication number
CN103727877B
CN103727877B CN201310714110.XA CN201310714110A CN103727877B CN 103727877 B CN103727877 B CN 103727877B CN 201310714110 A CN201310714110 A CN 201310714110A CN 103727877 B CN103727877 B CN 103727877B
Authority
CN
China
Prior art keywords
fruit
pixel
region
image
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310714110.XA
Other languages
English (en)
Other versions
CN103727877A (zh
Inventor
冯青春
王秀
程伟
周建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN201310714110.XA priority Critical patent/CN103727877B/zh
Publication of CN103727877A publication Critical patent/CN103727877A/zh
Application granted granted Critical
Publication of CN103727877B publication Critical patent/CN103727877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Harvesting Machines For Specific Crops (AREA)

Abstract

本发明提供一种果实识别定位的方法、装置及系统,方法包括:采集待处理果实的当前图像作为第一图像;获得第一成熟果实区域;周期性采集待处理果实的当前图像作为第二图像,并控制线结构光发生器向待处理果实的方向发出具有预设颜色的水平线结构光;根据第一成熟果实区域在第一图像中的位置信息,获取第二图像中的第二成熟果实区域;判断第二成熟果实区域内各像素中是否存在第一像素,若是,则根据第一像素获得线结构光区域;将线结构光区域的一个或多个像素作为定位点;根据定位点的图像坐标,获得待处理果实中的成熟果实的空间坐标。本发明提供的果实识别定位的方法、装置及系统降低了空间定位的失败率。

Description

果实识别定位的方法、装置及系统
技术领域
本发明涉及图像处理技术,尤其涉及一种果实识别定位的方法、装置及系统。
背景技术
随着计算机技术和信息采集与处理技术的发展,机器人逐渐进入农业生产领域,近年来,用于实现果实自动化收获的采摘机器人越来越受到重视。
采摘机器人通过从果实生长环境中识别出目标果实,再对目标果实定位获得其空间位置,最后使用采摘执行部件采摘目标果实,完成果实自动化收获作业,由于采摘执行部件依靠果实识别定位技术提供的目标果实空间位置进行采摘,因此,果实识别定位技术对于保证采摘机器人的作业精度和成功率具有重要作用。
现有果实识别定位技术普遍采用双目视觉方法对目标果实进行识别定位,即通过两个摄像机同时从两个角度对同一目标果实拍摄图像,并从两幅图像中分别识别出目标果实区域,然后通过两个目标果实区域进行特征匹配,从而根据三角关系计算得到目标果实的空间坐标,现有技术至少存在以下缺陷:由于果实生长环境的光照角度和强度的多变,同一目标果实在两个角度拍摄的图像中成像特征差异较大,容易发生无法获取特征匹配点而造成特征匹配失败,导致空间定位失败率高。
发明内容
本发明提供一种果实识别定位的方法、装置及系统,以解决现有果实识别定位技术中空间定位失败率高的缺陷。
为实现上述目的,本发明提供了一种果实识别和定位的方法,其中,包括:
采集待处理果实的当前图像作为第一图像;
通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
本发明还提供了一种果实识别和定位的装置,其中,包括:
第一采集模块,用于采集待处理果实的当前图像作为第一图像;
识别模块,用于通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
第一处理模块,用于根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
第二采集模块,用于周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
第一获取模块,用于根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
第一判断模块,用于判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素;
执行模块,用于若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
第二获取模块,用于将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
第二处理模块,用于根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
此外,本发明还提供了一种果实识别和定位的系统,其中,包括果实识别和定位的设备和控制器,所述控制器包括本发明提供的果实识别和定位的装置,所述果实识别和定位的设备包括支撑柱、摄像头、摄像头固定件、移动单元、线结构光发生器、线结构光发生器固定件;
所述支撑柱竖直设置;
所述摄像头水平设置在所述摄像头固定件的一端,且所述摄像头固定件的另一端设置在所述支撑柱上,所述摄像头将采集的所述待处理果实的当前图像发送至所述控制器;
所述移动单元包括电机、丝杆和滑块,所述电机设置在所述支撑柱的顶部,所述丝杆竖直设置在所述支撑柱的内腔,且所述丝杆一端与所述电机输出轴连接,所述滑块设置在所述丝杆上;
所述线结构光发生器水平设置在所述线结构发生器固定件的一端,所述线结构发生器固定件的另一端与所述滑块固定连接,所述线结构光发生器用于接收所述控制器发送的控制信号向所述待处理果实的方向发出具有预设颜色的水平线结构光;
所述电机用于接收所述控制器发送的控制信号驱动所述丝杆转动,并通过所述滑块和所述线结构发生器固定件驱动所述线结构光发生器沿竖直方向移动,以使得所述水平线结构光沿竖直方向移动,且接收所述控制器发送的控制信号停止驱动所述线结构光发生器沿竖直方向移动。
本发明提供的果实识别定位的方法、装置及系统,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
附图说明
图1为本发明实施例提供的果实识别定位的方法的流程图;
图2为本发明实施例提供的果实识别定位的装置的结构示意图;
图3为本发明实施例提供的果实识别定位的系统的结构示意图;
图4为本发明实施例提供的果实识别定位的系统中线结构发生器固定件的结构示意图。
附图标记:
10-支撑柱;11-壳体;12-基柱;
13-U形卡;14-侧竖槽;15-底座;
20-摄像头;30-摄像头固定件;31-调整孔;
40-移动单元;41-电机;42-编码器;
43-滑块;50-线结构光发生器;60-线结构发生器固定件;
61-平台;62-环形凹槽。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例提供的果实识别定位的方法的流程图,如图1所示,本实施例的方法包括:
步骤101、采集待处理果实的当前图像作为第一图像。
其中,所述待处理果实可以为番茄、柑橘、苹果等果实,本实施例在此不对其进行限制,具体的,待处理果实的当前图像为经过位置调整后的摄像机视场内果实的平面图像,且该步骤中摄像机只需触发采集单幅待处理果实的当前图像,并将该单幅待处理果实的当前图像作为第一图像。
步骤102、通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域。
具体的,第一图像中包括成熟果实和未成熟果实的多个果实,为获取多个果实中的成熟果实在第一图像中的像素区域,需要依据颜色特征,或者圆形度、凹度、面积比等形状特征,或者均匀度纹理特征等特征量对第一图像进行识别,由于颜色特征计算简单,可以方便、快速的获取第一图像中的成熟果实区域,步骤102优选的是依据成熟果实颜色特征,通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域,其中,步骤102具体可以包括:
判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征条件的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征条件的像素获得待选成熟果实区域;
具体的,表示摄像机采集图像的颜色信息的色彩空间可以是RGB、HIS等,其中,RGB色彩空间是以R、G、B分量值表示图像中像素的颜色特征,R、G、B分量值分别为图像中红、绿、蓝的亮度值,HIS色彩空间是以H、I、S颜色分量值表示图像中像素的颜色特征,H分量值是色调值,S分量是饱和度值,I分量值是亮度值,由于环境光照因素的影响仅与I分量表示的亮度值相关,为了在判断第一图像内各像素中是否存在满足待处理果实的成熟果实颜色特征条件的像素的过程中,排除环境光照因素的影响,优选在HIS色彩空间的基础上仅利用第一图像内各像素的Hi、Si分量值进行识别。
为了更加直观的理解本实施例,通过以下举例进行说明,具体的,本例中的待处理果实为番茄,由于成熟番茄果实颜色特征为H=248,S=116,成熟番茄果实颜色特征条件可以为:
| H i - 248 | ≤ 50 | S i - 116 | ≤ 30
判断第一图像内各像素中是否存在满足成熟番茄果实颜色特征条件的像素,若是,则将该像素确定为待选成熟果实区域中的像素,否则为背景干扰像素,进而获得待选成熟果实区域。
进一步,为确定待选成熟果实区域为第一图像中的成熟果实区域,而不是噪声区域,步骤102还可以包括:
判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域,否则为噪声区域,其中预设噪声区域的像素数量可以为3000。
需要说明的是,上述举例只是本实施例的一种具体的实施方式,上述识别方法还可应用于其它果实,其并未对本实施例的其它实施方式进行限制。
步骤103、根据所述第一图像中的成熟果实区域,获得第一成熟果实区域。
具体的,可以将所述第一图像中的成熟果实区域直接作为所述第一成熟果实区域,或者通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
其中,优选的是,通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一图像中的成熟果实区域的外接矩形区域,并将所述外接矩形区域作为所述第一成熟果实区域,以简化数据处理。
步骤104、周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动。
具体的,摄像机周期性触发采集待处理果实的当前图像,并将每次触发采集的单幅待处理果实的当前图像作为第二图像。
步骤105、根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
具体的,所述位置信息可以是所述第一成熟果实区域在所述第一图像中的图像坐标,获取所述第二成熟果实区域内对应所述图像坐标的区域作为第二图像中的区域。
步骤106、判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
若具有预设颜色的水平线结构光移动到第二成熟果实区域内,也就是说第二成熟果实区域内存在第一像素,第一像素为第二成熟果实区域内各像素中满足预设颜色的颜色特征条件的像素,可以根据待处理果实的成熟果实颜色设定水平线结构光的预设颜色,以使得第一像素可以明显区别于所述第二成熟果实区域内满足待处理果实的成熟果实颜色特征条件的其他像素。
为了更加直观的理解本实施例,通过以下举例进行说明,具体的,在RGB色彩空间的基础上利用第二成熟果实区域内各像素的Ri、Gi、Bi色彩分量进行识别,本例中待处理果实为番茄,由于成熟番茄果实颜色为红色,水平线结构光的预设颜色可以优选为蓝色,所述预设颜色的颜色特征可以优选为Ri=138、Gi=118、Bi=243,所述预设颜色的颜色特征条件可以为:
| R i - 138 | ≤ 120 , | B i - 243 | ≤ 100 , | G i - 118 | ≤ 150 B i ≥ G i , B i ≥ R i
判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动,其中,线结构光区域为受蓝色水平结构光照射的区域,线结构光区域内的像素为满足蓝色颜色特征条件的第一像素。
需要说明的是,上述举例只是本实施例的一种具体的实施方式,上述识别方法还可应用于其它果实,其并未对本实施例的其它实施方式进行限制。
进一步,在所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,还可以包括:
判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动,具体可以包括:
若所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域。
具体的,若所述第一像素中存在位于第二成熟果实区域的几何中心的第二像素,则可认为受水平结构光照射的区域位于第二成熟果实区域的中部,即线结构光区域位于第二成熟果实区域的中部,以提高定位的准确性。
步骤107、将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标。
步骤108、根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
具体的,根据定位点在第二图像中的图像坐标,通过线结构光三维定位技术,根据预先标定的摄像机与线结构光发生器初始位置的空间坐标关系,摄像机的参数,和水平线结构光的移动位移,获得定位点的空间坐标,并将并将定位点的空间坐标的平均值作为待处理果实中的成熟果实的空间坐标,其中,优选的是,电机为伺服电机,可以根据伺服电机的编码器获取驱动线结构光发生器移动期间伺服电机的旋转角度,得到水平线结构光的移动位移。
其中,优选的是,将所述线结构光区域的左端像素、右端像素和中心像素作为三个定位点,获取三个定位点在所述第二图像中的图像坐标,根据三个定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得三个定位点的空间坐标,求其平均值,并作为待处理果实中的成熟果实的空间坐标。
本实施例提供的果实识别定位的方法,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
基于上述实施例提供的果实识别定位的方法,本发明还提供了一种果实识别定位的装置,图2为本发明实施例提供的果实识别定位的装置的结构示意图,如图2所示,本实施例的装置包括:
第一采集模块11,用于采集待处理果实的当前图像作为第一图像;
识别模块12,用于通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
第一处理模块13,用于根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
第二采集模块14,用于周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
第一获取模块15,用于根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
第一判断模块16,用于判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素;
执行模块17,用于若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
第二获取模块18,用于将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
第二处理模块19,用于根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
进一步的,所述装置还包括:
第二判断模块20,用于在执行模块17根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
执行模块17,具体用于若所述第二成熟果实区域内各像素中存在所述第一像素,且所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
进一步的,识别模块12具体包括:
第一判断单元121,用于判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征的像素获得待选成熟果实区域;
第二判断单元122,用于判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
进一步的,第一处理模块13,具体用于通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
本实施例提供的果实识别定位的装置,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
基于上述实施例提供的果实识别定位的装置,本发明还提供了一种果实识别定位的系统。图3为本发明实施例提供的果实识别定位的系统的结构示意图;图4为本发明实施例提供的果实识别定位的系统中线结构发生器固定件的结构示意图。结合图3和图4所示,本实施例的系统包括果实识别和定位的设备和控制器,其中,控制器包括本发明任意实施例所提供的果实识别和定位的装置,果实识别和定位的设备包括支撑柱10、摄像头20、摄像头固定件30、移动单元40、线结构光发生器50、线结构光发生器固定件60;其中,支撑柱10竖直设置,支撑柱10可以为具有用于容纳丝杆的内腔的多种柱形结构;摄像头20水平设置在摄像头固定件30的一端,且摄像头固定件30的另一端设置在支撑柱30上,摄像头20将采集的待处理果实的当前图像发送至控制器;移动单元40包括电机41、丝杆和滑块43,丝杆图中未示出,电机41设置在支撑柱10的顶部,丝杆竖直设置在支撑柱10的内腔,且丝杆一端与电机41的输出轴连接,滑块43设置在丝杆上;线结构光发生器50水平设置在线结构发生器固定件60的一端,线结构发生器固定件60的另一端与滑块43固定连接,线结构光发生器50用于接收控制器发送的控制信号向待处理果实的方向发出具有预设颜色的水平线结构光;电机41用于接收控制器发送的控制信号驱动丝杆转动,并通过滑块43和线结构发生器固定件60驱动线结构光发生器50沿竖直方向移动,以使得水平线结构光沿竖直方向移动,且接收控制器发送的控制信号停止驱动线结构光发生器50沿竖直方向移动。
进一步,优选的是,支撑柱10具体可以包括壳体11和基柱12,壳体11与基柱12通过沿竖直方向间隔设置的多个U形卡13固定连接,壳体11与基柱12之间形成沿竖直方向用于容纳丝杆的内腔,壳体11上设置有用于容纳滑块43沿竖直方向移动的滑槽,滑槽图中未示出,滑槽可以增加滑块43移动的稳定性,优选的是,在滑槽的两槽边均设置有密封条,密封条图中未示出,用以防止灰尘进入。
进一步,优选的是,支撑柱10还可包括底座15,底座15设置在壳体11和基柱12的底部,用于增加支撑柱10与地面的接触面积,增加稳定性。
进一步,优选的是,基柱12的一侧面还设置有侧竖槽14,摄像头固定件30的另一端通过连接件固定设置在侧竖槽14上,以使得在松开连接件后,摄像头固定件30的另一端可以沿侧竖槽14移动,调整摄像头20的竖直位置。
进一步,优选的是,摄像头固定件30的一端设置有调整孔31,摄像头20通过连接件和调整孔31与摄像头固定件30的一端固定连接,以使得在松开连接件后,摄像头20可沿调整孔31前后移动,调整摄像头20的前后位置。
进一步的,优选的是,线结构发生器固定件60的一端设置有具有环形凹槽62的平台61,线结构光发生器50的底部插设于环形凹槽62中,且线结构光发生器50可沿环形凹槽62的中心轴线转动,以调整线结构光发生光的角度。
本实施例提供的果实识别定位的系统,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种果实识别和定位的方法,其特征在于,包括:
采集待处理果实的当前图像作为第一图像;
通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
2.根据权利要求1所述的果实识别和定位的方法,其特征在于,所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,还包括:
判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动,具体包括:
若所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域。
3.根据权利要求1所述的果实识别和定位的方法,其特征在于,所述通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域具体包括:
判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征条件的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征条件的像素获得待选成熟果实区域;
判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
4.根据权利要求1-3任一所述的果实识别和定位的方法,其特征在于,根据所述第一图像中的成熟果实区域,获得第一成熟果实区域具体包括:
通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
5.一种果实识别和定位的装置,其特征在于,包括:
第一采集模块,用于采集待处理果实的当前图像作为第一图像;
识别模块,用于通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
第一处理模块,用于根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
第二采集模块,用于周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
第一获取模块,用于根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
第一判断模块,用于判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素;
执行模块,用于若所述第二成熟果实区域内各像素中存在第一像素,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
第二获取模块,用于将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
第二处理模块,用于根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
6.根据权利要求5所述的果实识别和定位的装置,其特征在于,所述装置还包括:
第二判断模块,用于在所述执行模块根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
所述执行模块,具体用于若所述第二成熟果实区域内各像素中存在所述第一像素,且所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
7.根据权利要求5所述的果实识别和定位的装置,其特征在于,所述识别模块具体包括:
第一判断单元,用于判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征的像素获得待选成熟果实区域;
第二判断单元,用于判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
8.根据权利要求5-7任一所述的果实识别和定位的装置,其特征在于,所述第一处理模块,具体用于通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
9.一种果实识别和定位的系统,其特征在于,包括果实识别和定位的设备和控制器,所述控制器包括权利要求5-7任一所述的果实识别和定位的装置,所述果实识别和定位的设备包括支撑柱、摄像头、摄像头固定件、移动单元、线结构光发生器、线结构光发生器固定件;
所述支撑柱竖直设置;
所述摄像头水平设置在所述摄像头固定件的一端,且所述摄像头固定件的另一端设置在所述支撑柱上,所述摄像头将采集的所述待处理果实的当前图像发送至所述控制器;
所述移动单元包括电机、丝杆和滑块,所述电机设置在所述支撑柱的顶部,所述丝杆竖直设置在所述支撑柱的内腔,且所述丝杆一端与所述电机输出轴连接,所述滑块设置在所述丝杆上;
所述线结构光发生器水平设置在所述线结构发生器固定件的一端,所述线结构发生器固定件的另一端与所述滑块固定连接,所述线结构光发生器用于接收所述控制器发送的控制信号向所述待处理果实的方向发出具有预设颜色的水平线结构光;
所述电机用于接收所述控制器发送的控制信号驱动所述丝杆转动,并通过所述滑块和所述线结构发生器固定件驱动所述线结构光发生器沿竖直方向移动,以使得所述水平线结构光沿竖直方向移动,且接收所述控制器发送的控制信号停止驱动所述线结构光发生器沿竖直方向移动。
10.根据权利要求9所述的果实识别和定位的系统,其特征在于,所述线结构发生器固定件的一端设置有具有环形凹槽的平台,所述线结构光发生器的底部插设于所述环形凹槽中,且所述线结构光发生器可沿所述环形凹槽的中心轴线转动,以调整所述线结构光发生器的角度。
CN201310714110.XA 2013-12-20 2013-12-20 果实识别定位的方法、装置及系统 Active CN103727877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310714110.XA CN103727877B (zh) 2013-12-20 2013-12-20 果实识别定位的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310714110.XA CN103727877B (zh) 2013-12-20 2013-12-20 果实识别定位的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN103727877A CN103727877A (zh) 2014-04-16
CN103727877B true CN103727877B (zh) 2016-07-06

Family

ID=50452059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310714110.XA Active CN103727877B (zh) 2013-12-20 2013-12-20 果实识别定位的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN103727877B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825171B (zh) * 2016-03-10 2019-02-01 江苏大学 一种基于rgb-d的树上果实快速识别定位方法
CN107862253B (zh) * 2017-10-20 2021-07-16 武汉科技大学 一种枸杞采摘效果评估方法
CN109359531B (zh) * 2018-09-12 2021-12-14 仲恺农业工程学院 一种面向自然场景的果实采收区域自动定位方法
CN111079530A (zh) * 2019-11-12 2020-04-28 青岛大学 一种成熟草莓识别的方法
CN111340957B (zh) * 2020-02-10 2023-07-14 季华实验室 测量方法和系统
CN112892943B (zh) * 2021-01-20 2022-07-01 湖北鸿地重工科技有限公司 一种钢结构加工用的防腐涂装设备
CN113099847B (zh) * 2021-05-25 2022-03-08 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493313A (zh) * 2009-02-27 2009-07-29 中国农业大学 成熟果实识别和定位的图像处理方法
CN101966617A (zh) * 2010-08-30 2011-02-09 东南大学 一种用于焊接机器人连续运动的视图模型简约描述方法
CN102788573A (zh) * 2012-08-07 2012-11-21 深圳供电局有限公司 一种线结构光定位投射影像获取装置
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI401412B (zh) * 2009-11-13 2013-07-11 Inst Information Industry Automatic measurement system, method and recording medium for plant characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493313A (zh) * 2009-02-27 2009-07-29 中国农业大学 成熟果实识别和定位的图像处理方法
CN101966617A (zh) * 2010-08-30 2011-02-09 东南大学 一种用于焊接机器人连续运动的视图模型简约描述方法
CN102788573A (zh) * 2012-08-07 2012-11-21 深圳供电局有限公司 一种线结构光定位投射影像获取装置
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于线结构光视觉的穴盘苗外形参数在线测量系统研制及试验;冯青春等;《农业工程学报》;20131130;第29卷(第21期);第143-149页 *

Also Published As

Publication number Publication date
CN103727877A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
CN103727877B (zh) 果实识别定位的方法、装置及系统
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
US20180189565A1 (en) Mapping a space using a multi-directional camera
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
US11200752B1 (en) Color correction for immersive content production systems
CN109215111B (zh) 一种基于激光测距仪的室内场景三维建模方法
CN206095968U (zh) 一种基于机器视觉的液晶屏气泡缺陷检测装置
CN109785381B (zh) 一种光学惯性融合空间定位方法及定位系统
CN108225798B (zh) 基于边缘增强识别的轮胎滑移量测试系统及测试方法
CN106908052B (zh) 用于智能机器人的路径规划方法及装置
KR101347450B1 (ko) 듀얼 카메라를 이용한 화상 감지 방법 및 장치
CN110083157B (zh) 一种避障方法及装置
CN104822019B (zh) 计算摄影机视场角的方法
CN103108452B (zh) 一种动态光场数据驱动的场景光照重现方法
CN107452051A (zh) 鞋零件的自动化3‑d建模方法和系统
CN110163963B (zh) 一种基于slam的建图装置和建图方法
US12065051B2 (en) Systems and methods for electric vehicle charging using machine learning
US10794691B2 (en) Appearance inspection device, appearance inspection method and program
CN104976968A (zh) 一种基于led标签跟踪的三维几何测量方法及系统
CN104469170A (zh) 双目摄像装置、图像处理方法及装置
JP5322050B2 (ja) マーカの3次元位置計測方法及びシステム
CN106357960A (zh) 具旋入式插头的摄影机基座装置
CN112750194A (zh) 一种无人驾驶汽车避障方法、装置
CN111161305A (zh) 无人机智能识别追踪方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BEIJING RESEARCH CENTER OF INTELLIGENT EQUIPMENT F

Free format text: FORMER OWNER: BEIJING AGRICULTURE INFORMATION TECHNOLOGY RESEARCH CENTER

Effective date: 20140605

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140605

Address after: 100097 agricultural building No. 11, Middle Road, Shuguang garden, Haidian District, Beijing 519

Applicant after: Beijing Research Center of Intelligent Equipment for Agriculture

Address before: 100097, agricultural building A318b, No. 11 middle road, Shuguang garden, Haidian District, Beijing

Applicant before: Beijing Research Center for Information Technology in Agriculture

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 519, agricultural science building, No. 11, Shuguang garden middle road, Banjing, Haidian District, Beijing 100097

Patentee after: Intelligent equipment technology research center of Beijing Academy of agricultural and Forestry Sciences

Address before: 519, agricultural science building, No. 11, Shuguang garden middle road, Banjing, Haidian District, Beijing 100097

Patentee before: BEIJING RESEARCH CENTER OF INTELLIGENT EQUIPMENT FOR AGRICULTURE

CP01 Change in the name or title of a patent holder