发明内容
本发明提供一种果实识别定位的方法、装置及系统,以解决现有果实识别定位技术中空间定位失败率高的缺陷。
为实现上述目的,本发明提供了一种果实识别和定位的方法,其中,包括:
采集待处理果实的当前图像作为第一图像;
通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
本发明还提供了一种果实识别和定位的装置,其中,包括:
第一采集模块,用于采集待处理果实的当前图像作为第一图像;
识别模块,用于通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
第一处理模块,用于根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
第二采集模块,用于周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
第一获取模块,用于根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
第一判断模块,用于判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素;
执行模块,用于若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
第二获取模块,用于将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
第二处理模块,用于根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
此外,本发明还提供了一种果实识别和定位的系统,其中,包括果实识别和定位的设备和控制器,所述控制器包括本发明提供的果实识别和定位的装置,所述果实识别和定位的设备包括支撑柱、摄像头、摄像头固定件、移动单元、线结构光发生器、线结构光发生器固定件;
所述支撑柱竖直设置;
所述摄像头水平设置在所述摄像头固定件的一端,且所述摄像头固定件的另一端设置在所述支撑柱上,所述摄像头将采集的所述待处理果实的当前图像发送至所述控制器;
所述移动单元包括电机、丝杆和滑块,所述电机设置在所述支撑柱的顶部,所述丝杆竖直设置在所述支撑柱的内腔,且所述丝杆一端与所述电机输出轴连接,所述滑块设置在所述丝杆上;
所述线结构光发生器水平设置在所述线结构发生器固定件的一端,所述线结构发生器固定件的另一端与所述滑块固定连接,所述线结构光发生器用于接收所述控制器发送的控制信号向所述待处理果实的方向发出具有预设颜色的水平线结构光;
所述电机用于接收所述控制器发送的控制信号驱动所述丝杆转动,并通过所述滑块和所述线结构发生器固定件驱动所述线结构光发生器沿竖直方向移动,以使得所述水平线结构光沿竖直方向移动,且接收所述控制器发送的控制信号停止驱动所述线结构光发生器沿竖直方向移动。
本发明提供的果实识别定位的方法、装置及系统,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例提供的果实识别定位的方法的流程图,如图1所示,本实施例的方法包括:
步骤101、采集待处理果实的当前图像作为第一图像。
其中,所述待处理果实可以为番茄、柑橘、苹果等果实,本实施例在此不对其进行限制,具体的,待处理果实的当前图像为经过位置调整后的摄像机视场内果实的平面图像,且该步骤中摄像机只需触发采集单幅待处理果实的当前图像,并将该单幅待处理果实的当前图像作为第一图像。
步骤102、通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域。
具体的,第一图像中包括成熟果实和未成熟果实的多个果实,为获取多个果实中的成熟果实在第一图像中的像素区域,需要依据颜色特征,或者圆形度、凹度、面积比等形状特征,或者均匀度纹理特征等特征量对第一图像进行识别,由于颜色特征计算简单,可以方便、快速的获取第一图像中的成熟果实区域,步骤102优选的是依据成熟果实颜色特征,通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域,其中,步骤102具体可以包括:
判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征条件的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征条件的像素获得待选成熟果实区域;
具体的,表示摄像机采集图像的颜色信息的色彩空间可以是RGB、HIS等,其中,RGB色彩空间是以R、G、B分量值表示图像中像素的颜色特征,R、G、B分量值分别为图像中红、绿、蓝的亮度值,HIS色彩空间是以H、I、S颜色分量值表示图像中像素的颜色特征,H分量值是色调值,S分量是饱和度值,I分量值是亮度值,由于环境光照因素的影响仅与I分量表示的亮度值相关,为了在判断第一图像内各像素中是否存在满足待处理果实的成熟果实颜色特征条件的像素的过程中,排除环境光照因素的影响,优选在HIS色彩空间的基础上仅利用第一图像内各像素的Hi、Si分量值进行识别。
为了更加直观的理解本实施例,通过以下举例进行说明,具体的,本例中的待处理果实为番茄,由于成熟番茄果实颜色特征为H=248,S=116,成熟番茄果实颜色特征条件可以为:
判断第一图像内各像素中是否存在满足成熟番茄果实颜色特征条件的像素,若是,则将该像素确定为待选成熟果实区域中的像素,否则为背景干扰像素,进而获得待选成熟果实区域。
进一步,为确定待选成熟果实区域为第一图像中的成熟果实区域,而不是噪声区域,步骤102还可以包括:
判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域,否则为噪声区域,其中预设噪声区域的像素数量可以为3000。
需要说明的是,上述举例只是本实施例的一种具体的实施方式,上述识别方法还可应用于其它果实,其并未对本实施例的其它实施方式进行限制。
步骤103、根据所述第一图像中的成熟果实区域,获得第一成熟果实区域。
具体的,可以将所述第一图像中的成熟果实区域直接作为所述第一成熟果实区域,或者通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
其中,优选的是,通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一图像中的成熟果实区域的外接矩形区域,并将所述外接矩形区域作为所述第一成熟果实区域,以简化数据处理。
步骤104、周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动。
具体的,摄像机周期性触发采集待处理果实的当前图像,并将每次触发采集的单幅待处理果实的当前图像作为第二图像。
步骤105、根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
具体的,所述位置信息可以是所述第一成熟果实区域在所述第一图像中的图像坐标,获取所述第二成熟果实区域内对应所述图像坐标的区域作为第二图像中的区域。
步骤106、判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
若具有预设颜色的水平线结构光移动到第二成熟果实区域内,也就是说第二成熟果实区域内存在第一像素,第一像素为第二成熟果实区域内各像素中满足预设颜色的颜色特征条件的像素,可以根据待处理果实的成熟果实颜色设定水平线结构光的预设颜色,以使得第一像素可以明显区别于所述第二成熟果实区域内满足待处理果实的成熟果实颜色特征条件的其他像素。
为了更加直观的理解本实施例,通过以下举例进行说明,具体的,在RGB色彩空间的基础上利用第二成熟果实区域内各像素的Ri、Gi、Bi色彩分量进行识别,本例中待处理果实为番茄,由于成熟番茄果实颜色为红色,水平线结构光的预设颜色可以优选为蓝色,所述预设颜色的颜色特征可以优选为Ri=138、Gi=118、Bi=243,所述预设颜色的颜色特征条件可以为:
判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素,若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动,其中,线结构光区域为受蓝色水平结构光照射的区域,线结构光区域内的像素为满足蓝色颜色特征条件的第一像素。
需要说明的是,上述举例只是本实施例的一种具体的实施方式,上述识别方法还可应用于其它果实,其并未对本实施例的其它实施方式进行限制。
进一步,在所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,还可以包括:
判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
所述根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动,具体可以包括:
若所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域。
具体的,若所述第一像素中存在位于第二成熟果实区域的几何中心的第二像素,则可认为受水平结构光照射的区域位于第二成熟果实区域的中部,即线结构光区域位于第二成熟果实区域的中部,以提高定位的准确性。
步骤107、将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标。
步骤108、根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
具体的,根据定位点在第二图像中的图像坐标,通过线结构光三维定位技术,根据预先标定的摄像机与线结构光发生器初始位置的空间坐标关系,摄像机的参数,和水平线结构光的移动位移,获得定位点的空间坐标,并将并将定位点的空间坐标的平均值作为待处理果实中的成熟果实的空间坐标,其中,优选的是,电机为伺服电机,可以根据伺服电机的编码器获取驱动线结构光发生器移动期间伺服电机的旋转角度,得到水平线结构光的移动位移。
其中,优选的是,将所述线结构光区域的左端像素、右端像素和中心像素作为三个定位点,获取三个定位点在所述第二图像中的图像坐标,根据三个定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得三个定位点的空间坐标,求其平均值,并作为待处理果实中的成熟果实的空间坐标。
本实施例提供的果实识别定位的方法,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
基于上述实施例提供的果实识别定位的方法,本发明还提供了一种果实识别定位的装置,图2为本发明实施例提供的果实识别定位的装置的结构示意图,如图2所示,本实施例的装置包括:
第一采集模块11,用于采集待处理果实的当前图像作为第一图像;
识别模块12,用于通过对所述第一图像进行识别,获得所述第一图像中的成熟果实区域;
第一处理模块13,用于根据所述第一图像中的成熟果实区域,获得第一成熟果实区域;
第二采集模块14,用于周期性采集所述待处理果实的当前图像作为第二图像,并控制线结构光发生器向所述待处理果实的方向发出具有预设颜色的水平线结构光,且控制所述电机驱动所述线结构光发生器沿竖直方向移动以使得所述水平线结构光沿竖直方向移动;
第一获取模块15,用于根据所述第一成熟果实区域在所述第一图像中的位置信息,获取所述第二图像中对应所述位置信息的区域作为第二成熟果实区域;
第一判断模块16,用于判断所述第二成熟果实区域内各像素中是否存在第一像素,所述第一像素为所述第二成熟果实区域内各像素中满足所述预设颜色的颜色特征条件的像素;
执行模块17,用于若是,则根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动;
第二获取模块18,用于将所述线结构光区域的一个或多个像素作为定位点,获取所述定位点在所述第二图像中的图像坐标;
第二处理模块19,用于根据所述定位点在所述第二图像中的图像坐标,通过线结构光三维定位技术获得所述定位点的空间坐标,并将所述定位点的空间坐标的平均值作为所述待处理果实中的成熟果实的空间坐标。
进一步的,所述装置还包括:
第二判断模块20,用于在执行模块17根据所述第一像素获得线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动之前,判断所述第一像素中是否存在第二像素,所述第二像素为所述第一像素中位于所述第二成熟果实区域的几何中心的像素;
执行模块17,具体用于若所述第二成熟果实区域内各像素中存在所述第一像素,且所述第一像素中存在所述第二像素,则根据所述第一像素获得所述线结构光区域,且控制所述电机停止驱动所述线结构光发生器沿竖直方向移动。
进一步的,识别模块12具体包括:
第一判断单元121,用于判断所述第一图像内各像素中是否存在满足所述待处理果实的成熟果实颜色特征的像素,若是,则根据满足所述待处理果实的成熟果实颜色特征的像素获得待选成熟果实区域;
第二判断单元122,用于判断所述待选成熟果实区域的像素数量是否大于预设噪声区域的像素数量,若是,则将所述待选成熟果实区域作为所述第一图像中的成熟果实区域。
进一步的,第一处理模块13,具体用于通过对所述第一图像中的成熟果实区域进行轮廓处理,获得所述第一成熟果实区域。
本实施例提供的果实识别定位的装置,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
基于上述实施例提供的果实识别定位的装置,本发明还提供了一种果实识别定位的系统。图3为本发明实施例提供的果实识别定位的系统的结构示意图;图4为本发明实施例提供的果实识别定位的系统中线结构发生器固定件的结构示意图。结合图3和图4所示,本实施例的系统包括果实识别和定位的设备和控制器,其中,控制器包括本发明任意实施例所提供的果实识别和定位的装置,果实识别和定位的设备包括支撑柱10、摄像头20、摄像头固定件30、移动单元40、线结构光发生器50、线结构光发生器固定件60;其中,支撑柱10竖直设置,支撑柱10可以为具有用于容纳丝杆的内腔的多种柱形结构;摄像头20水平设置在摄像头固定件30的一端,且摄像头固定件30的另一端设置在支撑柱30上,摄像头20将采集的待处理果实的当前图像发送至控制器;移动单元40包括电机41、丝杆和滑块43,丝杆图中未示出,电机41设置在支撑柱10的顶部,丝杆竖直设置在支撑柱10的内腔,且丝杆一端与电机41的输出轴连接,滑块43设置在丝杆上;线结构光发生器50水平设置在线结构发生器固定件60的一端,线结构发生器固定件60的另一端与滑块43固定连接,线结构光发生器50用于接收控制器发送的控制信号向待处理果实的方向发出具有预设颜色的水平线结构光;电机41用于接收控制器发送的控制信号驱动丝杆转动,并通过滑块43和线结构发生器固定件60驱动线结构光发生器50沿竖直方向移动,以使得水平线结构光沿竖直方向移动,且接收控制器发送的控制信号停止驱动线结构光发生器50沿竖直方向移动。
进一步,优选的是,支撑柱10具体可以包括壳体11和基柱12,壳体11与基柱12通过沿竖直方向间隔设置的多个U形卡13固定连接,壳体11与基柱12之间形成沿竖直方向用于容纳丝杆的内腔,壳体11上设置有用于容纳滑块43沿竖直方向移动的滑槽,滑槽图中未示出,滑槽可以增加滑块43移动的稳定性,优选的是,在滑槽的两槽边均设置有密封条,密封条图中未示出,用以防止灰尘进入。
进一步,优选的是,支撑柱10还可包括底座15,底座15设置在壳体11和基柱12的底部,用于增加支撑柱10与地面的接触面积,增加稳定性。
进一步,优选的是,基柱12的一侧面还设置有侧竖槽14,摄像头固定件30的另一端通过连接件固定设置在侧竖槽14上,以使得在松开连接件后,摄像头固定件30的另一端可以沿侧竖槽14移动,调整摄像头20的竖直位置。
进一步,优选的是,摄像头固定件30的一端设置有调整孔31,摄像头20通过连接件和调整孔31与摄像头固定件30的一端固定连接,以使得在松开连接件后,摄像头20可沿调整孔31前后移动,调整摄像头20的前后位置。
进一步的,优选的是,线结构发生器固定件60的一端设置有具有环形凹槽62的平台61,线结构光发生器50的底部插设于环形凹槽62中,且线结构光发生器50可沿环形凹槽62的中心轴线转动,以调整线结构光发生光的角度。
本实施例提供的果实识别定位的系统,只需对单个摄像机在相同位置采集待处理果实的当前图像进行识别,获得待处理果实的成熟果实区域,以及通过对成熟果实区域进行水平线结构光的颜色特征匹配,获得成熟果实区域中的线结构光区域,并根据线结构光区域中像素的图像坐标,获得成熟果实的空间坐标,由于无需进行不同摄像机位于不同角度位置拍摄的图像之间的特征匹配,降低了空间定位的失败率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。