CN107711079A - 草莓采摘机器人及草莓采摘方法 - Google Patents
草莓采摘机器人及草莓采摘方法 Download PDFInfo
- Publication number
- CN107711079A CN107711079A CN201711099431.8A CN201711099431A CN107711079A CN 107711079 A CN107711079 A CN 107711079A CN 201711099431 A CN201711099431 A CN 201711099431A CN 107711079 A CN107711079 A CN 107711079A
- Authority
- CN
- China
- Prior art keywords
- strawberry
- steering wheel
- image
- harvesting
- picker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Harvesting Machines For Specific Crops (AREA)
Abstract
本发明提供一种草莓采摘机器人及草莓采摘方法。草莓采摘机器人包括位移装置、传动装置和采摘装置。位移装置在田间移动时,采摘装置检测到附近的草莓,位移装置停止移动。传动装置中的底部舵机、中部舵机和顶部舵机在驱动力的作用下通过第一连接块和第二连接块实现不同方位、不同角度的转动,进而将采摘装置传送至不同的位置,以便于采摘装置采摘位于采摘机器人不同方位的草莓。采摘装置到达待采摘草莓处后,夹取壳体在采摘驱动电机、丝杠和活动推杆等的共同作用下夹取草莓。本发明提供的草莓采摘机器人结构精度高、传动精度高、采摘效率高,且不伤果。草莓采摘方法能够实现草莓图像处理以及精确定位草莓,从而通过草莓采摘机器人高精度摘取草莓。
Description
技术领域
本发明涉及机电控制技术领域,尤其涉及一种草莓采摘机器人及草莓采摘方法。
背景技术
草莓属多年生草本,外观呈心形,鲜美红嫩,果肉多汁,含有特殊浓郁的水果芳香,因而广泛受到大家喜爱。草莓还具有润肺生津、健脾和胃、利尿消肿等功效,因而具有较好的药用价值。
目前,我国草莓种植方式主要有垄作式和高架式两种,其中,垄作式为主要的种植方式。垄作式的草莓种植一般为在土壤耕作层筑起垄台和垄沟,并将草莓种植在垄台上。草莓成熟时,为保证草莓的外观品质和营养价值,果农必须弯腰采摘。长时间弯腰采摘容易使得果农身体不适,且采摘效率低下。为提高采摘效率及减少人力劳动强度,提出采用草莓采摘机器人代替人力采摘。如日本研制出单循环用时11.5s、采摘成功率为41.3%的草莓采摘机器人;徐丽明、张铁中等人针对垄作式草莓种植的自动化采摘设备进行了研究;中国农业大学应用草莓图像彩色模型的特定通道进行定位,研制桥架式机器人。
现有采摘机器人采用不同的定位方法对草莓位置进行定位。目前,通常使用的方法为激光探距定位法。该方法通过激光光源发出的激光对草莓位置进行定位。然而,激光探距定位法难以实现探距垂直面上的精确定位,进而导致精确度不高。另外,在实际应用中,各种情况不同,且情况复杂,现有机器人的定位算法在设计时未能充分考虑各种情况,导致算法中存在遗漏,进一步降低机器人的定位精度,最终导致草莓的采摘率低。
发明内容
本发明提供一种草莓采摘机器人及草莓采摘方法,以解决现有草莓采摘机器人采摘精度低的问题。
本发明提供一种草莓采摘机器人,包括位移装置、传动装置和采摘装置;其中,
所述传动装置包括传动支架,位于所述传动支架顶部的底部舵机,位于所述底部舵机上方的中部舵机,以及位于所述中部舵机上方的顶部舵机;
所述底部舵机与所述中部舵机通过第一连接块相连,所述中部舵机与所述顶部舵机通过第二连接块相连;
所述传动支架位于所述位移装置上;
所述采摘装置包括采摘支架,位于所述采摘支架底部的采摘驱动电机,均位于所述采摘支架顶部相对设置的两个活动杆和两个夹取壳体,以及位于所述采摘支架内部的丝杠和活动推杆;
所述活动杆和所述夹取壳体相应固定连接,且所述活动杆和所述夹取壳体的连接处与所述采摘支架同轴铰接;
两个所述夹取壳体的开口处相对设置;
所述丝杠分别连接所述采摘驱动电机和所述活动推杆;所述活动推杆还活动连接两个所述活动杆;
所述采摘支架位于所述顶部舵机上;
所述夹取壳体上设置有光电传感器和图像采集器。
优选地,所述底部舵机在所述传动支架上360°旋转;
所述第一连接块在所述底部舵机上-80~80°旋转;
所述中部舵机在所述第一连接块上-80~80°旋转;
所述第二连接块在所述中部舵机上360°旋转;
所述顶部舵机在所述第二连接块上-80~80°旋转;
所述采摘支架在所述顶部舵机上-120~120°旋转。
优选地,所述传动装置还包括传动底板和传动转轴,所述传动支架与所述传动底板通过所述传动转轴相连;所述传动支架在所述传动底板上竖直移动。
优选地,所述采摘装置还包括固定轴和套环;
所述丝杠上设置有契块,所述契块上设置所述活动推杆;
所述固定轴贯穿所述契块,且所述固定轴与所述采摘驱动电机固定连接;
所述套环固定设置在所述活动杆上,且所述套环活动套设在所述活动推杆上。
优选地,所述位移装置包括履带式车盘或线性滑台。
本发明提供一种草莓采摘方法,所述方法包括:
草莓采摘机器人中的图像采集器采集草莓图像;
通过颜色空间转换法、图像分割法识别所述草莓图像;
获取所述草莓的质心,结合识别后的所述草莓图像定位草莓位置;
控制所述草莓采摘机器人根据所述草莓位置采摘草莓。
优选地,所述通过颜色空间转换法、图像分割法识别所述草莓图像包括:
将所述草莓图像的RGB颜色模型中的每一个点转化为HSV中的一个点,以建立HSV颜色模型;
设定绿色区域的H门限值;
根据所述H门限值将所述HSV颜色模型进行H分割,得到识别后的草莓图像。
优选地,所述获取所述草莓的质心,结合识别后的所述草莓图像定位草莓位置包括:
根据所述草莓图像获取所述草莓的质心坐标;
获取光电传感器与所述草莓之间的距离;
根据所述质心坐标和所述距离确定所述草莓位置。
优选地,所述方法还包括对识别后的所述草莓图像去噪和/或图像填充处理。
优选地,所述草莓采摘机器人中的图像采集器采集草莓图像还包括:控制草莓采摘机器人避障式移动到待采摘草莓附近。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明实施例提供一种草莓采摘机器人及草莓采摘方法,其中,该草莓采摘机器人包括位移装置、传动装置和采摘装置。位移装置能够带动传动装置和采摘装置在地面上移动,以将传动装置和采摘装置带动到不同的位置,进而通过传动装置和采摘装置采摘草莓。传动装置包括传动支架、底部舵机、中部舵机和顶部舵机,其中,传动支架设置在位移装置上。底部舵机、中部舵机和顶部舵机在驱动力的作用下通过第一连接块和第二连接块实现不同方位、不同角度的转动,进而能够将采摘装置传送至不同的位置,以便于采摘装置采摘位于采摘机器人不同方位的草莓。采摘装置包括采摘支架、采摘驱动电机、活动杆、夹取壳体、丝杠和活动推杆,其中,采摘支架位于顶部舵机上。草莓采摘机器人在位移装置移动的过程中,通过夹取壳体上的光电传感器和图像采集器采集草莓图像,并对草莓图像进行处理,并定位草莓后,控制传动装置将采摘装置传动到待采摘草莓附近。当采摘装置到达待采摘草莓附近时,采摘驱动电机转动,进而带动丝杠旋转。丝杠旋转能够使得位于丝杠上的活动推杆向下移动,进而带动两个活动杆和两个夹取壳体围绕采摘支架同轴旋转,且两个夹取壳体相向运动。由于两个夹取壳体的开口处相对设置,当两个夹取壳体相向运动时,两个夹取壳体闭合,夹断草莓的果柄,实现草莓采摘。本发明提供的草莓采摘机器人通过位移装置、传动装置和采摘装置的共同合作实现草莓采摘,其中,传动装置动作灵活,传动精度高,能够快速实现采摘装置的传动;采摘装置结构紧凑、精确度高,不伤果,且采摘效率高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的草莓采摘机器人的结构示意图;
图2为本发明实施例提供的履带式车盘的结构示意图;
图3为本发明实施例提供的线性滑台的结构示意图;
图4为本发明实施例提供的传动装置的立体结构示意图;
图5为本发明实施例提供的传动装置的主视图;
图6为本发明实施例提供的采摘装置的立体结构示意图;
图7为本发明实施例提供的采摘装置的主视图;
图8为本发明实施例提供的拍摄的原始草莓图像;
图9为本发明实施例提供的RGB颜色模型;
图10为本发明实施例提供的HSV颜色模型;
图11为本发明实施例提供的HSV颜色模型分割后的草莓图像;
图12为本发明实施例提供的草莓图像去噪处理和图像填充处理后的效果图;
符号表示:1-位移装置;
11-履带式车盘,111-车盘机架,1111-上底盘,1112-下底盘,1113-制动手柄,112-履带,113-驱动轮,114-拖链轮,115-导轮,116-支重轮;
12-线性滑台;121-滑台支架,122-旋转轴,123-滑块,124-导向轴,125-固定座;
2-传动装置,21-传动支架,22-底部舵机,23-中部舵机,24-顶部舵机,25-第一连接块,26-第二连接块,27-传动底板,28-传动转轴、29-应变片;
3-采摘装置,31-采摘支架,32-采摘驱动电机,33-活动杆,34-夹取壳体,35-丝杠,36-活动推杆,37-光电传感器,38-图像采集器,39-固定轴,310-套环,311-契块,312-连杆,313-加热丝。
具体实施方式
请参考附图1,附图1示出了本发明实施例提供的草莓采摘机器人的结构示意图。由附图1可知,本发明实施例提供的草莓采摘机器人包括位移装置1、传动装置2和采摘装置3。其中,位移装置1为草莓采摘机器人的位置移动机构,在田间地面上行走。传动装置2设置在位移装置1上,为传动采摘装置3的部件。传动装置2能够在位移装置上360°旋转,进而将采摘装置3传送到不同的方位以及不同的位置处。采摘装置3位于传动装置2上,用于摘取待采摘草莓。位移装置1在田间行走时,采摘装置3检测到附件有草莓时,位移装置1停止行走,传动装置2根据采摘装置3的判断,将采摘装置3送至待采摘草莓附近,由采摘装置3采摘。
具体地,在本发明实施例中,位移装置1包括履带式车盘11或线性滑台12。请参考附图2,附图2示出了本发明实施例提供的履带式车盘11的结构示意图。由附图2可知,履带式车盘11包括车盘机架111,以及位于车盘机架111上对称设置的履带112。车盘机架111为履带式车盘11的基础构架,起到支撑作用,其中,车盘机架111包括上底盘1111、下底盘1112和制动手柄1113,且上底盘1111和下底盘1112固定连接,制动手柄1113与上底盘1111相连。对称设置的履带112设置分别位于下底盘1112的两端,并与地面相接触。为便于履带式车盘11的行走,履带112为环形履带。
进一步,为防止履带112与地面之间打滑,履带112中与地面相接处的一面设置有防滑滑筋。履带112的内部设置有均与履带112相接触的驱动轮113、拖链轮114以及导轮115。驱动轮113在驱动力的作用下主动旋转,进而带动履带112旋转前行。拖链轮114以及导轮115均为帮助履带112完成旋转的作用。为防止履带112在传动时上紧下松而导致上底盘1111处的履带112下垂,本发明实施例中,履带式车盘11还包括支重轮116,且支重轮116设置在环形履带的中间。制动手柄1113用于发生失控等意外情况时,通过人工按压制动手柄1113便能迫使履带式车盘11停止前行。
草莓采摘田地为凹凸不平的垄田时,履带式车盘11能够有效行进,且适应性强。但若路况太差,履带式车盘11容易引起机械震荡,长期使用,则会导致传动装置2造成一定的损坏,影响采摘机器人的性能和使用寿命。
目前,部分地区草莓种植已实现智能大棚化,大棚内地面平整,因而可以采用长行程的线性滑台12实现传动装置2的移动,以提高采摘效率。请参考附图3,附图3示出了本发明实施例提供的线性滑台12的结构示意图。由附图3可知,线性滑台12包括滑台支架121和旋转轴122。滑台支架121为线性滑台12的基础之架,起到支撑作用,通常位于地面上。旋转轴122设置在滑台支架121上。旋转轴122上还设置有滑块123。滑块123的内部有内螺纹,且滑块123的内螺纹与旋转轴122上的外螺纹相对应。当旋转轴122在驱动力的作用下发生旋转时,旋转轴122的旋转带动滑块123在旋转轴122上滑动,进而通过滑块123的滑动实现线性滑台12带动传动装置2运动。
进一步,为防止滑块123在滑动的过程中偏离旋转轴122,滑台支架121上还设置有导向轴124,且导向轴124贯穿滑块123。滑块123在导向轴124的导向作用下随着旋转轴122的转动而滑动。更进一步,为防止旋转轴122发生变形和位移,滑台支架121的端部还设置有固定座125,且旋转轴122通过固定座125固定到滑台支架121上。
履带式车盘11和线性滑台12仅为本发明实施例提供的位移装置1的两种具体实施例,位移装置1还可以采用其他装置,只要能够实现位置移动即可。
请参考附图4、5,附图4、5分别示出了本发明实施例提供的传动装置2的立体结构示意图以及主视图。由附图4、5可知,传动装置2包括传动支架21、底部舵机22、中部舵机23和顶部舵机24。
具体地,传动支架21为支撑传动装置2中其他部件的装置,位于传动装置2的底端。传动支架21固定设置在履带式车盘11的上底盘1111上或线性滑台12的滑块123上,以通过履带式车盘11或线性滑台12的移动,实现传动装置2的位置变化。
传动支架21的顶部设置有底部舵机22。底部舵机22能够在传动支架21旋转,且底部舵机22的旋转角度为360°。底部舵机22的上方设置有中部舵机23,且底部舵机22和中部舵机23通过第一连接块25相连接。第一连接块25能够在底部舵机22上发生一定角度的旋转,进而带动中部舵机23旋转。在本发明实施例中,第一连接块25的旋转角度为-90~90°,较优选角度为-80~80°,其中,0°线的基准为竖直方向。
同样的,中部舵机23能够在第一连接块25上发生一定角度的旋转,进而带动上方顶部舵机24的传动。在本发明实施例中,中部舵机23的旋转角度为-100~100°,较优选角度为-80~80°。中部舵机23的上方设置有顶部舵机24,且中部舵机23和顶部舵机24通过第二连接块26相连接。与第一连接块25相同的,第二连接块26能够在中部舵机23上发生一定角度的旋转,进而带动顶部舵机24旋转。在本发明实施例中,第二连接块26的旋转角度为360°,因而第二连接块26能够实现全方位的旋转,以带动顶部舵机24朝向不同的方向。
顶部舵机24能够在第二连接块26上发生一定角度的旋转。在本发明实施例中,顶部舵机24的旋转角度为-100~100°,较优选角度为-80~80°。顶部舵机24的端部设置采摘机构3的采摘支架31,且采摘支架31能够在顶部舵机24发生一定角度的旋转,以摘取不同方位的草莓。在本发明实施例中,采摘支架31的旋转角度为-120~120°。
上述实施例提供的传动装置2仅能在一定高度位置处,将采摘机构3传动到传动装置2的不同方位处,而不能实现上下方向的传动。由此,本发明实施例提供的传动装置2还包括传动底板27和传动转轴28。传动底板27位于履带式车盘11的上底盘1111上或线性滑台12的滑块123上,以通过位移装置1的位移移动带动传动装置2移动。传动底板27上设置传动转轴28,且传动转轴28上设置传动支架21,由此传动底板27与传动支架21之间形成一定的空间。该空间内可以设置驱动传动装置2传动的电机。传动底板27上设置多个传动转轴28,且传动转轴28沿传动底板27的周向均匀分布。传动支架21能够沿传动转轴28实现上下方向的移动,从而实现传动装置2的上下移动。
进一步,为防止传动装置2在移动的过程中碰触到障碍物或人而导致的采摘机器人损坏或人受伤,传动装置2的不同部位处还设置有应变片29,如中部舵机23、顶部舵机24的机身上。应变片29能够感知到传动装置2的受力情况,进而使得传动装置2中的各部件及时调整位置,实现传动装置2的准确定位,同时还能够保护果实。
当位移装置1移动到待采摘草莓附近并停止移动时,传动支架21能够在驱动控制程序的控制下实现上下方向的移动,进而确定采摘高度。采摘高度确定后,底部舵机22、中部舵机23、顶部舵机24、第一连接块25和第二连接块26的共同作用下将采摘装置3送至待采摘草莓处。本发明实施例提供的传动装置2能够通过传动支架21、底部舵机22、中部舵机23、顶部舵机24、第一连接块25和第二连接块26实现六自由度的空间传递,且动作灵活、工作空间大、占地面积小、精确度高,减少人力成本。
请参考附图6、7,附图6、7分别示出了本发明实施例提供的采摘装置3的立体结构示意图以及主视图。由附图6、7可知,采摘装置3包括采摘支架31、采摘驱动电机32、活动杆33、夹取壳体34、丝杠35和活动推杆36。
具体地,采摘支架31为采摘装置3的框架结构,用于支撑采摘装置3的其他部件。采摘支架31设置在顶部舵机24的端部,或与采摘支架31固定连接的底板设置在顶部舵机24的端部,如图6所示。在本发明实施例中,为便于采摘装置3其他部件的设置,采摘支架31设置为U型,但这并不限制采摘支架31的其他结构。采摘驱动电机32为采摘装置3的驱动部件,设置在采摘支架31,且设置在U型采摘支架31的底端,以通过采摘驱动电机32连接采摘支架31的两个侧壁,具体如图7所示。
采摘支架31的内部设置有丝杠35和活动推杆36。丝杠35与采摘驱动电机32相连接,以通过采摘驱动电机32的转动带动丝杠35发生旋转。活动推杆36连接到丝杠35上,以通过丝杠35的旋转带动活动推杆36移动。在本发明实施例中,活动推杆36通过契块311设置在丝杠35上。
进一步,采摘支架31的内部还设置有固定轴39,且固定轴39贯穿契块311后设置在采摘驱动电机32。固定轴39对契块311的滑动具有导向作用,以使得契块311仅能沿一定的方向在丝杠35上发生位移,提高契块311滑动时的稳定性以及精度。
采摘支架31的顶端相对设置两个活动杆33以及相对设置两个夹取壳体34。活动杆33为带动夹取壳体34夹取草莓的部件。夹取壳体34为夹取草莓的部件。夹取壳体34的一端开口、内部中空,且两个夹取壳体34的开口处相对设置,以便于夹取壳体34夹取草莓后放置草莓。夹取壳体34的开口处中远离采摘驱动电机32的侧边设置有加热丝313。加热丝313能够在夹取草莓时瞬间切断草莓的果柄,进而防止黏连以及草莓果树的切口处感染细菌。夹取壳体34的内部及外部均设置有柔性材料,如海绵,进而能够保证无论在接近或是采摘时不会造成伤果。
夹取壳体34在设置时,通过连杆312设置在采摘支架31上。设置在采摘支架31同一顶端处的活动杆33与连杆312固定连接,且活动杆33与连杆312的连接处与采摘支架31同轴铰接。活动杆33与连杆312之间的夹角可以根据不同的采摘情况具体设置。当活动杆33沿采摘支架31的顶端旋转时,由于活动杆33与连杆312固定连接,因而夹取壳体34也沿着采摘支架31的顶端发生相应角度的旋转。当两个活动杆33均向采摘驱动电机32旋转时,两个夹取壳体34也向采摘驱动电机32方向旋转,进而夹取草莓。
活动杆33的旋转通过与活动推杆36相连接而实现。具体地,活动杆33的一端与采摘支架31铰接,另一端固定设置有套环310。套环310活动套设在活动推杆36上,由此,通过活动推杆36的上下移动带动套环310在活动推杆36上滑动,进而带动活动杆33的上下移动。由于活动推杆36还与设置在丝杠35上的契块311相连接,因而为便于活动推杆36的连接,在本发明实施例中,活动推杆36优选为T型结构。
进一步,夹取壳体34上还设置有光电传感器37和图像采集器38。光电传感器37用于检测采摘装置3距离草莓的位置,进而判断采摘装置3是否到达待采摘草莓附近。图像采集器38用于采集草莓的图像信息。在本发明实施例中,图像采集器38可以采用摄像机或照相机等采集图像的设备。光电传感器37将采集到的位置信息以及图像采集器38采集到的图像信息上传至控制系统,由控制系统控制传动装置2和采摘装置3到达待采摘草莓处,进而实现草莓采摘。
本发明实施例提供的采摘装置使用的具体过程为:当光电传感器37和图像采集器38对草莓定位后,采摘驱动电机32转动,带动丝杠35旋转,丝杠35的旋转使得契块311在固定轴39的导向作用下向采摘驱动电机32方向直线移动。契块311的直线移动使得位于契块311上的活动推杆36也向采摘驱动电机32方向移动。活动推杆36向采摘驱动电机32方向移动使得两个套环310相向运动,进而使得两个活动杆33沿采摘支架31的顶端向驱动电机32方向轴向旋转。活动杆33的轴向旋转,带动夹取壳体34也向驱动电机32方向轴向旋转,进而两个夹取壳体34开口处闭合。夹取壳体34开口处的加热丝313夹断草莓的果柄,实现草莓采摘。采摘后的草莓放置固定位置后,采摘驱动电机32反向转动,最终使得两个夹取壳体34张开,等待下次草莓采取。
本发明实施例提供的采摘装置结构简单、紧凑,具有精确地控制精度以及适当的夹紧力,进而能够不伤果,且保证采摘机器人及人身的安全性。
本发明实施例提供的草莓采摘机器人的具体工作过程为:位移装置1在田间移动,移动的过程中,光电传感器37和图像采集器38检测草莓是否能够摘取。若草莓能够摘取,则控制位移装置1移动到草莓附近。位移装置1停止移动后,控制传动支架21、底部舵机22、中部舵机23、顶部舵机24、第一连接块25和第二连接块26的旋转角度和竖直空间的高度,将采摘装置3传送至待采摘草莓处。光电传感器37检测到采摘装置3已到达待采摘草莓处后,控制传动装置2停止移动,并控制采摘驱动电机32转动,进而通过夹取壳体34夹取待采摘草莓。本发明实施例提供的草莓采摘机器人通过位移装置1、传动装置2和采摘装置3能够实现位于草莓采摘机器人附近不同方位处草莓的采摘。同时,本发明实施例提供的草莓采摘机器人结构精度高、传动精度高、采摘效率高,且不伤果。
本发明实施例还提供一种草莓采摘方法,该采摘方法基于本发明实施例提供的草莓采摘机器人。本发明实施例提供的草莓采摘方法具体包括:
S01:草莓采摘机器人中的图像采集器采集草莓图像。
草莓采摘机器人在草莓田地中移动的过程中,位于夹取壳体34上的图像采集器38采集草莓的图片信息,并将图像采集器38采集到的草莓图像上传至控制系统。
S02:通过颜色空间转换法、图像分割法识别所述草莓图像。
控制系统接收到草莓图像后,对草莓图像进行判断、识别、定位,进而确定该草莓是否采摘以及该草莓的具体位置,由此,对于草莓的识别至关重要。草莓采摘时,处于采摘期的草莓呈现为亮红色,与根茎叶的绿色背景形成明显对比,由此,通过草莓图像的色彩特征能够识别、定位草莓。由于绿色为亮红色草莓的背景颜色,因而绿色可以作为草木、树木图像分割的重要依据。
如图8所示,图8中的草莓为在实验环境下通过摄像头拍摄到的草莓图像。由图8可知,该草莓图像中红色和绿色区别明显,能够通过草莓图像的色彩特征分析识别该草莓。通常采集到的草莓图像的格式为RGB图像。由于RGB图像无法用单一的参数对图像进行分割,因而需要对图像进行转换。通常情况下,会将RGB图像转换为灰度图像。但RGB图像转换为灰度图像后,则会极大损失图像的色彩特征,而本发明实施例中则需要通过图像的色彩特征识别、定位草莓,因此,不能将RGB图像转换为灰度图像。在本发明实施例中,将RGB图像转换为HSV图像,提高颜色划分的精度,进而直接划定绿色区间,即H的门限值,其中,H表示颜色。
RGB图像转换为HSV图像的具体过程为:
根据草莓图像的RGB图像建立RGB颜色模型,其中,RGB颜色模型空间中的每一个点均通过R、G和B三个分量参数表示。将RGB颜色模型中的每一个点根据下述公式转化为HSV中的点,进而建立HSV颜色模型。建立的RGB颜色模型及HSV颜色模型请分别参考附图9、10。
RGB颜色模型中的每一个点转化为HSV颜色模型中的点的公式为:
max=max(R,G,B);
min=min(R,G,B);
V=max(R,G,B);
S=(max-min)/max:
ifR=max,H=(G-B)/(max-min)*60;
ifG=max,H=120+(B-R)/(max-min)*60;
ifB=max,H=240+(R-G)/(max-min)*60;
ifH<;0,H=H+360。
将草莓图像的RGB图像转化为HSV颜色模型后,设定绿色区域,即设定H的门限值。本发明实施例中,设定绿色区域的H区间为120±10°。H值位于该绿色区间内的点即被判定为绿色像素点。实际采摘草莓的过程中,果实处存在绿叶。若不提取绿色像素点,那么绿叶部分被判定为果实部分,后续的草莓定位时则会定位偏离,降低定位精度。为提高草莓定位精度,设定绿色区域后,提取绿色区域中的绿色像素点。提取绿色区域中绿色像素点的提取可以采用MATLAB图像处理工具实现。绿色像素点提取后,通过OpenCV直接调用函数即可完成图像分割。HSV颜色模型分割后的草莓图像请参考附图11。
理想情况下,图像采集器38采集到的图像中,草莓、绿叶等相互分开,互不干扰,因而无需进行下一步处理,便可识别草莓图像,进而做出判断。但在实际应用中,草莓、绿叶等是间隔或是相互遮挡,此时获得的草莓图像中草莓的精度低,无法做出准确判断,由此,还需要对转换后的草莓图像进行去噪处理和/或图像填充处理。
影响草莓精度判断的因素大致有两类。其一,背景区域被判定为目标,在视觉上表现为散点的噪声,且均散落于草莓图像区域以外。其二,目标由于光照等原因被误判为背景,在视觉上表现为草莓图像内部存在黑洞。对于第一种影响因素的解决方法为采用中值滤波法滤除噪声。由于形态学闭运算法能够在将图像膨胀后,在填充物体内部的细小孔洞、连接邻近物体以及平滑边界的同时不明显改变面积,因而对于第二种影响因素的解决方法为采用形态学闭运算法处理,且处理后对图像进行孔洞填充。若孔洞填充后,仍存在散点,则采用中值滤波法滤除散点。如附图12所示,为附图11采用去噪处理和图像填充处理后的效果图。从附图12中能够看出,去噪处理和图像填充处理后,图像中的草莓处没有明显的散点。
S03:获取所述草莓的质心,结合识别后的所述草莓图像定位草莓位置。
假定实际采摘环境中草莓的质量分布均匀,可以结合处理后的草莓图像计算草莓的质心坐标,实现草莓在二维平面内的坐标。质心坐标的计算公式为:
其中,μ(x,y,z)为物体密度,μ(x,y,z)dσ为物体质量,x、y为图像中各点的水平和垂直位置参数。
通过草莓图像能够获取草莓的质心坐标后,还需要获取夹取壳体34距离草莓的位置,进而具体实现草莓位置的定位。夹取壳体34与草莓之间的距离通过光电传感器37实现。具体地,光电传感器37包括两个,即光电传感器37A和光电传感器37B。光电传感器37A用于监测草莓采摘机器人的移动;而光电传感器37B用于判断采摘装置3是否到达待采摘草莓处。图像采集器38采集草莓的图像信息时,光电传感器37A沿直线方向测量到草莓的距离。当草莓采摘机器人与草莓之间的距离大于光电传感器37A的光电传感测量范围时,草莓采摘机器人则一直沿移动方向前进,直至草莓落入光电传感器37A的光电传感测量范围内。当光电传感器37A检测到草莓时,草莓采摘机器人的移动速度减慢,直至移动到光电传感器37B的光电传感测量范围内时,草莓采摘机器人停止移动。此时,光电传感器37B监测到的数据为光电传感器37B与草莓之间的距离,即得到草莓定位的第三个数据。根据计算得到的草莓质心坐标以及得到的光电传感器37B与草莓之间的距离确定待采摘草莓的准确位置。
进一步,若草莓采摘机器人的移动方向内没有草莓,则草莓采摘机器人最终会因碰到障碍物而改变移动方向,进而采集下一方向的图像以及草莓定位。在本发明实施例中,检测草莓采摘机器人是否会碰到障碍物的部件为设置在传动装置2不同部位的应变片29。
更进一步,为防止误摘未成熟的草莓,还需要对待采摘草莓进行筛选。在本发明实施例中,通过草莓的形状进行筛选,即通过草莓图像的面积进行筛选。如设定草莓图像中草莓的面积,当检测到大于该面积时,则判定该草莓成熟,实施采摘动作;否则,判定该草莓未成熟,则不实施采摘动作。
S04:控制所述草莓采摘机器人根据所述草莓位置采摘草莓。
确定待采摘草莓位置后,控制系统控制传动装置2传动,以将采摘装置3送至待采摘草莓处。传动装置2传动的过程中,位于中部舵机23、顶部舵机24以及第一连接块25等处的应变片29能够检测到传动装置2中各部件的受力情况。当检测到受力异常时,控制系统会分析受力情况,从而反方向移动传动装置2中各部件一段距离,然后恢复工作,以达到避障的目的。传动装置2将采摘装置3送至待采摘草莓处后,控制系统控制采摘驱动电机32转动,进而通过夹取壳体34夹取草莓。
本发明实施例提供的草莓采摘方法通过将采集到的草莓图像由RGB模型转换为HSV模型,能够有效避免色彩特征的损失,极大提高草莓的辨识度。同时,图像去噪处理以及图像填充能够增加图像的辨识度,进而使得草莓质心坐标的计算更加准确,草莓位置定位精确。通过本发明实施例提供的草莓采摘机器人和草莓采摘方法能够使得草莓的采摘效率提高32.5%,大大降低草莓采摘成本。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的呼叫方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于……实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种草莓采摘机器人,其特征在于,包括位移装置(1)、传动装置(2)和采摘装置(3);其中,
所述传动装置(2)包括传动支架(21),位于所述传动支架(21)顶部的底部舵机(22),位于所述底部舵机(22)上方的中部舵机(23),以及位于所述中部舵机(23)上方的顶部舵机(24);
所述底部舵机(22)与所述中部舵机(23)通过第一连接块(25)相连,所述中部舵机(23)与所述顶部舵机(24)通过第二连接块(26)相连;
所述传动支架(21)位于所述位移装置(1)上;
所述采摘装置(3)包括采摘支架(31),位于所述采摘支架(31)底部的采摘驱动电机(32),均位于所述采摘支架(31)顶部相对设置的两个活动杆(33)和两个夹取壳体(34),以及位于所述采摘支架(31)内部的丝杠(35)和活动推杆(36);
所述活动杆(33)和所述夹取壳体(34)相应固定连接,且所述活动杆(33)和所述夹取壳体(34)的连接处与所述采摘支架(31)同轴铰接;
两个所述夹取壳体(34)的开口处相对设置;
所述丝杠(35)分别连接所述采摘驱动电机(32)和所述活动推杆(36);所述活动推杆(36)还活动连接两个所述活动杆(33);
所述采摘支架(31)位于所述顶部舵机(24)上;
所述夹取壳体(34)上设置有光电传感器(37)和图像采集器(38)。
2.根据权利要求1所述的草莓采摘机器人,其特征在于,
所述底部舵机(22)在所述传动支架(21)上360°旋转;
所述第一连接块(25)在所述底部舵机(22)上-80~80°旋转;
所述中部舵机(23)在所述第一连接块(25)上-80~80°旋转;
所述第二连接块(26)在所述中部舵机(23)上360°旋转;
所述顶部舵机(24)在所述第二连接块(26)上-80~80°旋转;
所述采摘支架(31)在所述顶部舵机(24)上-120~120°旋转。
3.根据权利要求1所述的草莓采摘机器人,其特征在于,所述传动装置(2)还包括传动底板(27)和传动转轴(28),所述传动支架(21)与所述传动底板(27)通过所述传动转轴(28)相连;所述传动支架(21)在所述传动底板(27)上竖直移动。
4.根据权利要求1所述的草莓采摘机器人,其特征在于,所述采摘装置(3)还包括固定轴(39)和套环(310);
所述丝杠(35)上设置有契块(311),所述契块(311)上设置所述活动推杆(36);
所述固定轴(39)贯穿所述契块(311),且所述固定轴(39)与所述采摘驱动电机(32)固定连接;
所述套环(310)固定设置在所述活动杆(33)上,且所述套环(310)活动套设在所述活动推杆(36)上。
5.根据权利要求1所述的草莓采摘机器人,其特征在于,所述位移装置(1)包括履带式车盘(11)或线性滑台(12)。
6.一种草莓采摘方法,其特征在于,所述方法包括:
如权利要求1-5中任意一项所述的草莓采摘机器人中的图像采集器采集草莓图像;
通过颜色空间转换法、图像分割法识别所述草莓图像;
获取所述草莓的质心,结合识别后的所述草莓图像定位草莓位置;
控制所述草莓采摘机器人根据所述草莓位置采摘草莓。
7.根据权利要求6所述的草莓采摘方法,其特征在于,所述通过颜色空间转换法、图像分割法识别所述草莓图像包括:
将所述草莓图像的RGB颜色模型中的每一个点转化为HSV中的一个点,以建立HSV颜色模型;
设定绿色区域的H门限值;
根据所述H门限值将所述HSV颜色模型进行H分割,得到识别后的草莓图像。
8.根据权利要求6所述的草莓采摘方法,其特征在于,所述获取所述草莓的质心,结合识别后的所述草莓图像定位草莓位置包括:
根据所述草莓图像获取所述草莓的质心坐标;
获取光电传感器与所述草莓之间的距离;
根据所述质心坐标和所述距离确定所述草莓位置。
9.根据权利要求6所述的草莓采摘方法,其特征在于,所述方法还包括对识别后的所述草莓图像去噪和/或图像填充处理。
10.根据权利要求6所述的草莓采摘方法,其特征在于,所述草莓采摘机器人中的图像采集器采集草莓图像还包括:控制草莓采摘机器人避障式移动到待采摘草莓附近。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711099431.8A CN107711079A (zh) | 2017-11-09 | 2017-11-09 | 草莓采摘机器人及草莓采摘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711099431.8A CN107711079A (zh) | 2017-11-09 | 2017-11-09 | 草莓采摘机器人及草莓采摘方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107711079A true CN107711079A (zh) | 2018-02-23 |
Family
ID=61214197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711099431.8A Withdrawn CN107711079A (zh) | 2017-11-09 | 2017-11-09 | 草莓采摘机器人及草莓采摘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107711079A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108513806A (zh) * | 2018-05-28 | 2018-09-11 | 重庆交通大学 | 橘子采摘机 |
CN108718683A (zh) * | 2018-06-05 | 2018-11-02 | 浙江工贸职业技术学院 | 一种采摘器 |
CN108781762A (zh) * | 2018-04-10 | 2018-11-13 | 河海大学文天学院 | 一种高效草莓采摘机器人及采摘方法 |
CN108834556A (zh) * | 2018-06-29 | 2018-11-20 | 上海电力学院 | 一种草莓自动识别采摘机 |
CN109220225A (zh) * | 2018-10-22 | 2019-01-18 | 湖北理工学院 | 一种全自动水果采摘装置 |
CN109392460A (zh) * | 2018-10-30 | 2019-03-01 | 西安交通大学 | 全自动龙门式草莓采摘机及其采摘方法 |
CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
CN110547092A (zh) * | 2018-06-04 | 2019-12-10 | 田林睿 | 一种基于Kmeans算法的自动化草莓采摘方法 |
CN110999636A (zh) * | 2019-11-12 | 2020-04-14 | 青岛大学 | 一种草莓夹剪 |
CN111011003A (zh) * | 2019-11-12 | 2020-04-17 | 青岛大学 | 一种草莓采摘系统 |
CN112021016A (zh) * | 2020-09-07 | 2020-12-04 | 江苏农林职业技术学院 | 草莓疏花疏果系统 |
WO2021018854A1 (en) * | 2019-07-31 | 2021-02-04 | Noronn As | Method of controlling a robotic harvesting device |
CN113099848A (zh) * | 2021-06-04 | 2021-07-13 | 山东农业大学 | 一种采摘机器人高效采放运综合平台及使用方法 |
CN116098047A (zh) * | 2023-02-16 | 2023-05-12 | 昆明理工大学 | 一种蔬菜培养方法和系统 |
-
2017
- 2017-11-09 CN CN201711099431.8A patent/CN107711079A/zh not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108781762B (zh) * | 2018-04-10 | 2021-04-13 | 河海大学文天学院 | 一种高效草莓采摘机器人及采摘方法 |
CN108781762A (zh) * | 2018-04-10 | 2018-11-13 | 河海大学文天学院 | 一种高效草莓采摘机器人及采摘方法 |
CN108513806A (zh) * | 2018-05-28 | 2018-09-11 | 重庆交通大学 | 橘子采摘机 |
CN110547092A (zh) * | 2018-06-04 | 2019-12-10 | 田林睿 | 一种基于Kmeans算法的自动化草莓采摘方法 |
CN108718683A (zh) * | 2018-06-05 | 2018-11-02 | 浙江工贸职业技术学院 | 一种采摘器 |
CN108834556A (zh) * | 2018-06-29 | 2018-11-20 | 上海电力学院 | 一种草莓自动识别采摘机 |
CN109220225A (zh) * | 2018-10-22 | 2019-01-18 | 湖北理工学院 | 一种全自动水果采摘装置 |
CN109392460A (zh) * | 2018-10-30 | 2019-03-01 | 西安交通大学 | 全自动龙门式草莓采摘机及其采摘方法 |
CN110122073A (zh) * | 2019-05-28 | 2019-08-16 | 江苏大学 | 一种基于机器视觉的草莓采摘机器人 |
WO2021018854A1 (en) * | 2019-07-31 | 2021-02-04 | Noronn As | Method of controlling a robotic harvesting device |
CN111011003A (zh) * | 2019-11-12 | 2020-04-17 | 青岛大学 | 一种草莓采摘系统 |
CN110999636A (zh) * | 2019-11-12 | 2020-04-14 | 青岛大学 | 一种草莓夹剪 |
CN112021016A (zh) * | 2020-09-07 | 2020-12-04 | 江苏农林职业技术学院 | 草莓疏花疏果系统 |
CN113099848A (zh) * | 2021-06-04 | 2021-07-13 | 山东农业大学 | 一种采摘机器人高效采放运综合平台及使用方法 |
CN116098047A (zh) * | 2023-02-16 | 2023-05-12 | 昆明理工大学 | 一种蔬菜培养方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107711079A (zh) | 草莓采摘机器人及草莓采摘方法 | |
US11304374B2 (en) | Selective automated blossom thinning | |
CN109115776A (zh) | 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置 | |
CN109699300B (zh) | 一种智能柑橘采摘机的控制系统及其控制方法 | |
CN107567823A (zh) | 智能采茶机器人 | |
JP4013351B2 (ja) | 果実収穫用ロボット | |
CN107006218A (zh) | 茶叶仿生采摘指 | |
CN108064560A (zh) | 基于Kinect景深相机的水果自动采摘系统及方法 | |
CN115316129B (zh) | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 | |
CN108811766A (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
CN107736276B (zh) | 智能无人蜂蜜采收机及其控制方法 | |
Asimopoulos et al. | Autonomous vehicle for saffron harvesting | |
WO2022222822A1 (zh) | 一种基于非平行放置摄像头的黄蜀葵花识别及定位方法和设备 | |
CN114982479A (zh) | 一种智能化全地形荔枝采摘机器人及采摘方法 | |
CN116686545B (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
CN207544065U (zh) | 履带式蜂蜜全程自动采收机器 | |
CN113812262A (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
CN211240896U (zh) | 一种视觉定位的仿生蛇嘴采摘机构和无人机采收装置 | |
CN210093992U (zh) | 一种山楂采摘机器人 | |
CN104731097A (zh) | 一种美国白蛾幼虫网幕喷药机器人局部运动控制方法 | |
CN114600641B (zh) | 基于图像识别技术的草莓采摘机及其采摘方法 | |
CN114711029B (zh) | 一种视觉定位的大串香蕉果梳落梳采摘方法及装置 | |
Hu et al. | Design and experiment of a new citrus harvesting robot | |
CN207410813U (zh) | 草莓采摘机器人 | |
CN109937707A (zh) | 一种园林式水果采摘机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180223 |
|
WW01 | Invention patent application withdrawn after publication |