CN111579271B - 一种果实模拟采摘、转运智能小车组 - Google Patents
一种果实模拟采摘、转运智能小车组 Download PDFInfo
- Publication number
- CN111579271B CN111579271B CN202010640990.0A CN202010640990A CN111579271B CN 111579271 B CN111579271 B CN 111579271B CN 202010640990 A CN202010640990 A CN 202010640990A CN 111579271 B CN111579271 B CN 111579271B
- Authority
- CN
- China
- Prior art keywords
- picking
- transfer
- vehicle
- fruits
- steering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 218
- 238000012546 transfer Methods 0.000 claims abstract description 318
- 230000007246 mechanism Effects 0.000 claims description 96
- 210000000078 claw Anatomy 0.000 claims description 54
- 238000003306 harvesting Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 26
- 230000003993 interaction Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 239000002420 orchard Substances 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 240000007651 Rubus glaucus Species 0.000 claims description 3
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 3
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/008—Subject matter not provided for in other groups of this subclass by doing functionality tests
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
- G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种果实模拟采摘、转运智能小车组。采摘车包括采摘车架、采摘超声波测距模块、红外循迹模块、第一采摘光电开关、第二采摘光电开关、OPENMV摄像头、采摘装置、采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块；转运车包括转运车架、转运超声波测距模块、转运光电开关、电磁铁、转运货舱、转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块。本发明的智能小车组功能上分工明确，采摘车用于果实的识别采摘，转运车用于果实的转运存储，为未来可自动采摘、转运果实的智能农业设备提供了一种可行设计方式。同时，本智能小车组模型也符合当下部分高校比赛要求，并为学校实践教学提供一种参考。
Description
技术领域
本发明属于农业果实采摘机械技术领域，具体涉及一种果实模拟采摘、转运智能小车组，为未来可自动采摘、转运果实的智能农业设备提供了一种可行设计方式。
背景技术
随着无人驾驶技术的发展，诸多智能网联汽车的踪影已或多或少进入人们的视界，而无人驾驶技术不仅在生活出行及交通运输方面有着巨大前景，在智能农业领域也同样可期。现阶段，在农业领域，许多国家都在大力推进智能农业技术的发展，诸多专业人士致力于研发各种农业自动化智能车辆、设备。其中，农业果园的果实采摘与转运设备的研发设计便是一个有着重要意义的突破方向。目前，具有自动行驶、果实识别、智能采摘、自动转运等功能的果实采摘设备还未见报道。
发明内容
针对上述技术问题，本发明的目的是提供一种果实模拟采摘、转运智能小车组，具备循迹行驶、果实识别定位、自动采摘、双车交互与果实转运等功能，符合未来智能农业设备的功能需求。
为了实现上述目的，本发明提供了如下技术方案：
一种果实模拟采摘、转运智能小车组，包括能够自主交互的采摘车和转运车，所述采摘车和转运车在模拟果园的矩形检测场地中进行道具果实模拟采摘、转运，所述检测场地四周设有挡板，检测场地内设置道具树，道具树上设置道具果实；检测场地地面预铺设有黑色引导线。
所述采摘车包括采摘车架、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12、OPENMV摄像头30、采摘装置、采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块。
所述采摘车架包括采摘车底盘7、前端板9、后端板8、左侧板1和收获板6；所述前端板9、后端板8和左侧板1分别竖直地固接在采摘车底盘7的前端、后端和左侧；所述左侧板1的下部设有通过转运门舵机18控制开闭的转运门3；所述收获板6呈“凸”字状，小端朝向左侧板1且向下倾斜地靠近转运门3的下边缘；收获板6过盈配合地安装前端板9和后端板8之间。
所述左侧板1的上部和中部分别设有第一横梁2和第二横梁4。
所述采摘车底盘7和收获板6均自中心处向右边缘设有一个相互对应的树干槽38；所述树干槽38的尾部为半圆状槽，用于容纳道具树树干；树干槽38的中部为直槽，槽口呈扩大状。
所述采摘车底盘7上设有四个麦克纳姆轮14，麦克纳姆轮14通过联轴器与采摘车轮驱动电机的动力输出轴连接，采摘车轮驱动电机通过采摘车轮电机驱动模块控制。
所述OPENMV摄像头30通过高度可调的摄像头安装杆31安装在左侧板1的第一横梁2上。
所述红外循迹模块13包括五个红外传感器，五个红外传感器垂直于采摘车底盘7同直线等间距地固接在采摘车底盘7的前端，红外传感器的探测头朝向地面，用于检测场地中预铺设的黑色引导线。
所述采摘超声波测距模块5包括两个超声波传感器，两个超声波传感器前后间隔地固接在左侧板1的下部，两个超声波传感器发射的超声波束朝向采摘车的车体之外，主方向垂直于左侧板1且平行于采摘车底盘7。
所述第一采摘光电开关11和第二采摘光电开关12相互垂直地设置在采摘车底盘7上，其中，第一采摘光电开关11位于采摘车底盘7的树干槽38的长度方向的轴线上；第二采摘光电开关12位于过采摘车底盘7的树干槽38的半圆状槽与直槽的连接处的轴线上。
所述采摘装置包括六个位于收获板6上方的采摘机构，每个采摘机构均包括机械爪36、机械爪驱动舵机35、水平移动舵机34、齿轮37、齿条框32和竖直移动舵机33；竖直移动舵机33的水平设置的动力输出轴通过固连件与齿条框32固接，竖直移动舵机33的动力输出轴往复旋转带动齿条框32沿竖直方向进行上下往复移动；所述齿轮37啮合在齿条框32上的水平齿条上；水平移动舵机34的动力输出轴与齿轮37固接；所述机械爪驱动舵机35固接在水平移动舵机34上，机械爪驱动舵机35的动力输出轴与机械爪36的传动机构连接，控制机械爪36的开合。
所述采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块安装在采摘车底盘7上；所述采摘电源模块与采摘车轮驱动电机、采摘车轮电机驱动模块、红外寻迹模块13、采摘超声波测距模块5、第一采摘光电开关11、第二采摘光电开关12、转运门舵机18、OPENMV摄像头30、采摘蓝牙主机、采摘主控制器和采摘装置的竖直移动舵机33、水平移动舵机34和机械爪驱动舵机35连接；所述采摘主控制器分别与采摘蓝牙主机、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12、转运门舵机18、OPENMV摄像头30、采摘装置的竖直移动舵机33、水平移动舵机34、机械爪驱动舵机35和采摘车轮电机驱动模块连接，接收并处理采摘蓝牙主机、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12和OPENMV摄像头30发送的数据，并向采摘蓝牙主机、转运门舵机18、采摘装置的竖直移动舵机33、水平移动舵机34、机械爪驱动舵机35和采摘车轮电机驱动模块发出控制指令。
所述转运车包括转运车架、转运超声波测距模块、转运光电开关15、电磁铁23、转运货舱17、转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块。
所述转运车架包括水平布置通过支撑柱自上而下依次连接的顶板19、中间板20和底板22；所述底板22上设有一对行进轮21，行进轮21通过联轴器与转运车轮驱动电机的动力输出轴连接，转运车轮驱动电机通过转运车轮电机驱动模块控制。
所述转运货舱17通过固接在底板22前端的电磁铁23与转运车架磁力连接。
所述转运超声波测距模块包括一对沿转运车行进方向前后间隔地固接在中间板20左侧的转运车左侧超声波传感器16、一对沿转运车行进方向前后间隔地固接在中间板20右侧的转运车右侧超声波传感器39和一个垂直于转运车行进方向固接在中间板20后端的转运车后侧超声波传感器40；转运车左侧超声波传感器16的超声波束主方向平行于中间板20且朝向转运车的左侧，转运车右侧超声波传感器39的超声波束主方向平行于中间板20且朝向转运车右侧，转运车后侧超声波传感器40产生的超声波束主方向平行于中间板20且面朝向转运车后侧。
所述转运光电开关15沿转运车行进方向固接在顶板19的前端，用于在与采摘车交互时，实时监测与采摘车之间的相对位置关系。
所述转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块安装在底板22上；所述转运电源模块与转运车轮电机驱动模块、转运超声波测距模块、转运光电开关15、转运主控制器、转运蓝牙从机和电磁铁23的继电器连接；所述转运主控制器分别与转运蓝牙从机、转运超声波测距模块、转运光电开关15、电磁铁23的继电器和转运车轮电机驱动模块连接；接收并处理转运蓝牙从机、转运超声波测距模块和转运光电开关15的数据，并向转运蓝牙从机、电磁铁23的继电器和转运车轮电机驱动模块发出控制指令。
所述收获板6上设有一对呈“八”字形布置包括相对的大口端和小口端的的果实挡板10，且两个果实挡板10的小口端朝向转运门3。
所述机械爪驱动舵机35的动力输出轴与水平移动舵机34的动力输出轴呈90°夹角。
所述采摘装置的六个采摘机构分别为：第一采摘机构24、第二采摘机构25、第三采摘机构26、第四采摘机构27、第五采摘机构28和第六采摘机构29。
前端板9上由上而下设有第六采摘机构29和第五采摘机构28；后端板8上由上而下设有第三采摘机构26和第四采摘机构27；左侧板1上由上而下设有第一采摘机构24和第二采摘机构25；其中，第一采摘机构24布置在第一横梁2上，第二采摘机构25布置在第二横梁4上。
其中，第一采摘机构24和第二采摘机构25的机械爪36的夹持端朝向采摘车内侧，且平行于采摘车底盘7；第三采摘机构26、第四采摘机构27、第五采摘机构28和第六采摘机构29的机械爪36的夹持端竖直向上，且垂直于采摘车底盘7。
转运车与采摘车交互时，转运车从采摘车的左侧靠近采摘车，使转运货舱17与采摘车的转运门3下方的左侧板1贴合。
转运蓝牙从机与采摘蓝牙主机进行密码配对，设定相同波特率，设置相适应的停止位、校验位等通信配置。
所述采摘主控制器和转运主控制器均为树莓派3b+。
一种果实模拟采摘、转运方法，包括如下步骤：
S1、车身位姿调整和循迹行驶
采摘车和转运车在检测场地中进行道具果实模拟采摘、转运；检测场地为矩形场地，场地四周由四块挡板围起；检测场地用于模拟果园，场地内设置道具树；道具树上设置道具果实；道具果实有红绿两种颜色，红色道具果实表示成熟果实，成熟果实是采摘车的采摘目标；绿色道具果实表示未成熟果实，未成熟果实采摘车不进行采摘；地面预铺设有黑色引导线；采摘车起点、终点以及两车交互地点均位于黑色引导线上；
采摘车的采摘主控制器根据采摘超声波测距模块5的两个超声波传感器所测距离差，以及红外循迹模块13的各红外传感器检测到的黑色引导线的电平信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机调整采摘车车身位姿，使黑色引导线位于正中间红外传感器的正下方，确保采摘车精准的循迹行驶；
S2、道具树定位
当采摘车行驶经过道具树时，采摘主控制器根据第一采摘光电开关11的电平变化信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机工作，使采摘车向道具树方向移动，进而使道具树进入采摘车底盘7和收获板6的树干槽38中；当采摘主控制器接收到第二采摘光电开关12的电平变化信号时，采摘主控制器向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机停止，完成道具树定位；
S3、图像采集处理及果实定位
完成道具树定位后，采摘车的采摘主控制器向OPENMV摄像头30发送指令，OPENMV摄像头30采集道具树的原始2D俯视图并完成对原始2D俯视图进行图像处理，先识别出图中成熟果实的平面位置，然后计算OPENMV摄像头30与所识别出的成熟果实之间的距离，确定成熟果实的深度位置信息，进而确定成熟果实的空间位置；
S4、果实采摘
识别出道具树上成熟果实的空间位置后，将识别结果发送给采摘主控制器，由采摘主控制器向采摘装置中与成熟果实的位置相应的采摘机构发送指令，驱动该采摘机构的竖直移动舵机33和水平移动舵机34在竖直方向和水平方向上调整机械爪36的位置，使机械爪36对准成熟果实；然后驱动机械爪驱动舵机35使机械爪36将成熟果实抓紧；再驱动竖直移动舵机33和水平移动舵机34完成摘取动作；最后驱动机械爪驱动舵机35使机械爪36将成熟果实松开；随后，成熟果实掉落在收获板6上，并滚落至转运门3处；采摘车完成对一棵道具树的果实采摘后，重复步骤S1至S4调整车身位姿继续循迹行驶进行下一棵道具树的果实采摘；
果实采摘过程中，采摘主控制器可根据识别结果调整车身位姿，使采摘装置的采摘机构与成熟果实的位置相对应；
S5、两车交互转运
采摘过程中，采摘车的OPENMV摄像头30实时采集收获板6上的果实信息，当果实数目或图片内果实面积超过设定阈值时，判定需要进行果实转运，采摘主控制器控制采摘车向预先设定交互地点循迹行驶，并通过采摘蓝牙主机向转运车的转运蓝牙从机发送“出发”信号，通知转运车到达预先设定交互地点进行果实转运；
转运车的转运蓝牙从机收到“出发”信号后，转运车的转运主控制器根据转运超声波测距模块的近挡板一侧的转运车左侧超声波传感器16或转运车右侧超声波传感器39所测距离差向转运车轮电机驱动模块发送指令，控制各转运车轮驱动电机调整转运车车身位姿，使车身与场地挡板平行，从而获得转运车在场地的横/纵坐标X/Y，此时转运车后侧超声波传感器40测得场地纵/横坐标Y/X，进而保证转运车准确地到达预先设定交互地点；转运车到达预先设定交互地点后，通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“就位”信号；
采摘车的采摘蓝牙主机收到“就位”信号后，采摘主控制器控制采摘车调整车身位姿，使左侧板1与转运车的转运货舱17贴合，此时转运车的转运光电开关15被完全遮挡；转运车的转运主控制器通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“转运”信号，采摘车的采摘蓝牙主机收到“转运”信号后，采摘主控制器控制转运门舵机18打开转运门3，收获板6上的果实由于重力作用滚落至转运车的转运货舱17内；转运过程中，采摘主控制器通过OPENMV摄像头30实时采集收获板6上果实信息，确认果实完成转运后，关闭转运门3，控制采摘车继续进行采摘作业或行驶至终点，同时，通过采摘蓝牙主机向转运车的转运蓝牙从机发送“结束”信号；转运车的转运蓝牙从机收到“结束”信号后，转运主控制器控制转运车到达储藏果实区域，然后，转运主控制器控制电磁铁23断电，使转运货舱17与车体分离后，转运车返回交互地点等待下次转运或行驶至终点。
所述步骤S3中，图像采集处理及果实定位步骤如下：
S3.1、采用双边滤波对原始2D俯视图P1进行平滑处理，得到平滑处理后的图片P2，使原始2D俯视图中的物体在保持较高的边界清晰度的同时有效去除噪声；
S3.2、将平滑处理后的图片P2的颜色空间转化为HSV形式，将H、S、V三通道的颜色阈值设置为红色对应区间构建掩膜，得到掩膜图片P3；然后将平滑处理后的图片P2与掩膜图片P3进行位运算，得到二值化图片P4，二值化图片P4内白色区域对应平滑处理后的图片P2中的红色果实区域，黑色区域为其他区域；
S3.3、对二值化图片P4使用霍夫圆环变换，找出图片内的所有圆形；求取各圆形像素面积，因成熟果实大小基本固定，摄像头俯视高度固定，设定圆形面积阈值范围S1～S2，储存记录符合面积阈值范围的圆形的面积、圆心位置信息，此时可以得到成熟果实的平面位置信息；
S3.4、通过如下公式计算OPENMV摄像头30的镜头与现实成熟果实成像层平面之间的距离L2：
式中，R2为现实成熟果实的半径，W1为OPENMV摄像头30采集到的整张图片二分之一的像素宽，β为OPENMV摄像头30的镜头中心与整张图片宽度的夹角的二分之一或OPENMV摄像头30的镜头中心与图片对应的现实世界宽度的夹角的二分之一，R1为图片内成熟果实的半径；其中，R2、W1、tanβ为定值；
S3.5、结合步骤S3.3得到成熟果实的平面位置信息以及步骤S3.4得到OPENMV摄像头30的镜头与现实成熟果实成像层平面之间的距离L2，确定成熟果实空间位置。
所述步骤S5中，当开启转运门3～5秒后，为防止果实卡在果实挡板10或转运门3上，采摘车会小距离、快速的完成前进，左移，后退，右移动作，达到车身抖动效果，使可能被卡住的果实能顺利地滚落至转运车的转运货舱17内。
与现有技术相比，本发明的有益效果在于：
本发明的智能小车组功能上分工明确，采摘车用于果实的识别采摘，转运车用于果实的转运存储。两车综合多传感器信息，环境感知全面且定位精准，为未来可自动采摘、转运果实的智能农业设备提供了一种可行设计方式。同时，本智能小车组模型也符合当下部分高校比赛要求，并为学校实践教学提供一种参考。
本发明的采摘车根据道具树及果实分布特点，将颜色识别、平面定位、深度定位方法组合应用于果实定位，可对果实位置进行简单有效的定位。
本发明将采摘空间进行合理划分，在每个空间设计相应的采摘机构，通过图像识别获得的果实位置信息，调整负责相应空间的采摘机构到达果实位置实行采摘，提高了采摘效率，简化采摘难度。
附图说明
图1为本发明果实模拟采摘、转运智能小车组的采摘车的立体结构示意图一；其中，箭头方向为采摘车循迹前进行驶方向；
图2为本发明果实模拟采摘、转运智能小车组的采摘车的立体结构示意图二；其中，箭头方向为采摘车循迹前进行驶方向；
图3为本发明果实模拟采摘、转运智能小车组的采摘车的前视局部结构示意图；
图4为本发明果实模拟采摘、转运智能小车组的采摘车的底视结构示意图；
图5为图1省略了OPENMV摄像头30和采摘装置的结构示意图；
图6为本发明果实模拟采摘、转运智能小车组的采摘机构的结构示意图；
图7本发明果实模拟采摘、转运智能小车组的转运车的立体结构示意图；其中，箭头方向为转运车前进行驶方向；
图8为本发明果实模拟采摘、转运智能小车组的转运车与采摘车进行果实转运时交互状态示意图；
图9为本发明果实模拟采摘、转运智能小车组的OPENMV摄像头30的镜头与现实成熟果实成像层平面之间的距离原理示意图。
其中的附图标记为：
1左侧板 2第一横梁
3转运门 4第二横梁
5采摘超声波测距模块 6收获板
7采摘车底盘 8后端板
9前端板 10果实挡板
11第一采摘光电开关 12第二采摘车光电开关
13红外循迹模块 14麦克纳姆轮
15转运光电开关 16转运车左侧超声波传感器
17转运货舱 18转运门舵机
19顶板 20中间板
21行进轮 22底板
23电磁铁 24第一采摘机构
25第二采摘机构 26第三采摘机构
27第四采摘机构 28第五采摘机构
29第六采摘机构 30OPENMV摄像头
31摄像头安装杆 32齿条框
33竖直移动舵机 34水平移动舵机
35机械爪驱动舵机 36机械爪
37齿轮 38树干槽
39转运车右侧超声波传感器 40转运车后侧超声波传感器
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
一种果实模拟采摘、转运智能小车组，包括能够自主交互的采摘车和转运车。所述采摘车和转运车在检测场地中进行道具果实模拟采摘、转运。检测场地为2.44m×2.44m的矩形场地，场地四周由四块150mm高的挡板围起。检测场地用于模拟果园，场地内设置道具树。道具树上设置道具果实。道具果实有红绿两种颜色，红色道具果实表示成熟果实，成熟果实是采摘车的采摘目标；绿色道具果实表示未成熟果实，未成熟果实采摘车不进行采摘。地面预铺设有黑色引导线。采摘车起点、终点以及两车交互地点均位于黑色引导线上。
如图1、图2和图3所示，所述采摘车包括采摘车架、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12、OPENMV摄像头30、采摘装置、采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块。
所述采摘车架包括采摘车底盘7、前端板9、后端板8、左侧板1和收获板6；所述前端板9、后端板8和左侧板1分别竖直地固接在采摘车底盘7的前端、后端和左侧；所述左侧板1的下部设有通过转运门舵机18控制开闭的转运门3；所述收获板6呈“凸”字状，小端朝向左侧板1且向下倾斜地靠近转运门3的下边缘；收获板6过盈配合地安装前端板9和后端板8之间。
所述左侧板1的上部和中部分别设有第一横梁2和第二横梁4。
所述收获板6上设有一对呈“八”字形布置包括相对的大口端和小口端的的果实挡板10，且两个果实挡板10的小口端朝向转运门3，用于将收获后的果实向转运门3方向聚拢。
所述采摘车底盘7和收获板6均自中心处向右边缘设有一个相互对应的用于容纳道具树树干的树干槽38。所述树干槽38的长度为150mm，尾部为半圆状槽，用于容纳道具树树干；树干槽38的中部为直槽，槽口呈扩大状。
所述采摘车底盘7上设有四个麦克纳姆轮14，麦克纳姆轮14通过联轴器与采摘车轮驱动电机的动力输出轴连接，采摘车轮驱动电机通过采摘车轮电机驱动模块控制，通过调节控制四个采摘车轮驱动电机输出的转矩和方向组合，实现采摘车完成前进、后退、左右平移、向左、向右任意角度原地旋转等多种行进运动。
所述OPENMV摄像头30通过高度可调的摄像头安装杆31安装在左侧板1的第一横梁2上。
如图4所示，所述红外循迹模块13包括五个红外传感器，五个红外传感器垂直于采摘车底盘7同直线等间距地固接在采摘车底盘7的前端，红外传感器的探测头朝向地面，用于检测场地中预铺设的黑色引导线。红外传感器检测到黑色引导线时会有电平变化，由红外传感器电平的变化来判断采摘车与黑色引导线的相对位置，进而通过麦克纳姆轮调整自身姿态，使黑色引导线位于正中间红外传感器的正下方，确保采摘车精准的循迹行驶。
所述采摘超声波测距模块5包括两个超声波传感器，两个超声波传感器前后间隔地固接在左侧板1的下部，两个超声波传感器发射的超声波束朝向采摘车的车体之外，主方向垂直于左侧板1且平行于采摘车底盘7，每个超声波传感器测量与场地四周的挡板的距离，将两个超声波传感器所测与场地四周的挡板的距离差作为采摘车车身位姿调整的依据。
如图5所示，所述第一采摘光电开关11和第二采摘光电开关12相互垂直地设置在采摘车底盘7上，其中，第一采摘光电开关11位于采摘车底盘7的树干槽38的长度方向的轴线上；第二采摘光电开关12位于过采摘车底盘7的树干槽38的半圆状槽与直槽的连接处的轴线上，第一采摘光电开关11和第二采摘光电开关12用于辅助判断采摘车与道具树的相对位置关系。
如图1和图6所示，所述采摘装置包括六个采摘机构，分别为：第一采摘机构24、第二采摘机构25、第三采摘机构26、第四采摘机构27、第五采摘机构28和第六采摘机构29。
前端板9上由上而下设有第六采摘机构29和第五采摘机构28。后端板8上由上而下设有第三采摘机构26和第四采摘机构27。
左侧板1上由上而下设有第一采摘机构24和第二采摘机构25。其中，第一采摘机构24布置在第一横梁2上，第二采摘机构25布置在第二横梁4上。
所述采摘装置的六个采摘机构位于收获板6上方。
每个采摘机构均包括机械爪36、机械爪驱动舵机35、水平移动舵机34、齿轮37、齿条框32和竖直移动舵机33。其中，第一采摘机构24和第二采摘机构25的机械爪36的夹持端朝向采摘车内侧，且平行于采摘车底盘7；第三采摘机构26、第四采摘机构27、第五采摘机构28和第六采摘机构29的机械爪36的夹持端竖直向上，且垂直于采摘车底盘7。
第一采摘机构24和第二采摘机构25的竖直移动舵机33固接在左侧板1上。第三采摘机构26和第四采摘机构27的竖直移动舵机33固接在后端板8上。第五采摘机构28和第六采摘机构29的竖直移动舵机33固接在前端板9上。
竖直移动舵机33的水平设置的动力输出轴通过固连件与齿条框32固接，竖直移动舵机33的动力输出轴往复旋转带动齿条框32沿竖直方向进行上下往复移动。所述齿轮37啮合在齿条框32上的水平齿条上。水平移动舵机34的动力输出轴与齿轮37固接；所述机械爪驱动舵机35固接在水平移动舵机34上，机械爪驱动舵机35的动力输出轴与机械爪36的传动机构连接，控制机械爪36的开合。所述机械爪驱动舵机35的动力输出轴与水平移动舵机34的动力输出轴呈90°夹角。
所述采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块安装在采摘车底盘7上(附图中未示出)。所述采摘电源模块与采摘车轮驱动电机、采摘车轮电机驱动模块、红外寻迹模块13、采摘超声波测距模块5、第一采摘光电开关11、第二采摘光电开关12、转运门舵机18、OPENMV摄像头30、采摘蓝牙主机、采摘主控制器和采摘装置的竖直移动舵机33、水平移动舵机34和机械爪驱动舵机35连接。所述采摘主控制器分别与采摘蓝牙主机、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12、转运门舵机18、OPENMV摄像头30、采摘装置的竖直移动舵机33、水平移动舵机34、机械爪驱动舵机35和采摘车轮电机驱动模块连接，接收并处理采摘蓝牙主机、采摘超声波测距模块5、红外循迹模块13、第一采摘光电开关11、第二采摘光电开关12和OPENMV摄像头30发送的数据，并向采摘蓝牙主机、转运门舵机18、采摘装置的竖直移动舵机33、水平移动舵机34、机械爪驱动舵机35和采摘车轮电机驱动模块发出控制指令。
如图7所示，所述转运车包括转运车架、转运超声波测距模块、转运光电开关15、电磁铁23、转运货舱17、转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块。
所述转运车架包括水平布置通过支撑柱自上而下依次连接的顶板19、中间板20和底板22。所述底板22上设有一对行进轮21，行进轮21通过联轴器与转运车轮驱动电机的动力输出轴连接，转运车轮驱动电机通过转运车轮电机驱动模块控制。
所述转运货舱17通过固接在底板22前端的电磁铁23与转运车架磁力连接。通过继电器控制电磁铁23通断电，来实现转运车架与转运货舱17的连接与分离。
所述转运超声波测距模块包括一对沿转运车行进方向前后间隔地固接在中间板20左侧的转运车左侧超声波传感器16、一对沿转运车行进方向前后间隔地固接在中间板20右侧的转运车右侧超声波传感器39和一个垂直于转运车行进方向固接在中间板20后端的转运车后侧超声波传感器40。转运车左侧超声波传感器16的超声波束主方向平行于中间板20且朝向转运车的左侧，转运车右侧超声波传感器39的超声波束主方向平行于中间板20且朝向转运车右侧，转运车后侧超声波传感器40产生的超声波束主方向平行于中间板20且面朝向转运车后侧。左侧超声波传感器16和右侧超声波传感器39中的每个超声波传感器测量与场地四周的挡板的距离，分别将左侧、右侧的两个超声波传感器所测与场地四周的挡板的距离差作为采摘车车身位姿调整的依据，用于实现转运车车身位置和姿态的调整，使车身与场地挡板平行，从而获得转运车在场地的横/纵坐标X/Y，此时转运车后侧超声波传感器40测得场地纵/横坐标Y/X，进而保证转运车准确地到达预先设定交互地点。
所述转运光电开关15沿转运车行进方向固接在顶板19的前端，用于在与采摘车交互时，实时监测与采摘车之间的相对位置关系。
所述转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块安装在底板22上。所述转运电源模块与转运车轮电机驱动模块、转运超声波测距模块、转运光电开关15、转运主控制器、转运蓝牙从机和电磁铁23的继电器连接。所述转运主控制器分别与转运蓝牙从机、转运超声波测距模块、转运光电开关15、电磁铁23的继电器和转运车轮电机驱动模块连接；接收并处理转运蓝牙从机、转运超声波测距模块和转运光电开关15的数据，并向转运蓝牙从机、电磁铁23的继电器和转运车轮电机驱动模块发出控制指令。
转运蓝牙从机与采摘蓝牙主机进行密码配对，设定相同波特率，设置相适应的停止位、校验位等通信配置。
所述采摘主控制器和转运主控制器均为树莓派3b+。
如图7所示，转运车与采摘车交互时，转运车从采摘车的左侧靠近采摘车，使转运货舱17与采摘车的转运门3下方的左侧板1贴合。
本发明的工作过程如下：
S1、车身位姿调整和循迹行驶
采摘车和转运车在检测场地中进行道具果实模拟采摘、转运。检测场地为2.44m×2.44m的矩形场地，场地四周由四块150mm高的挡板围起。检测场地用于模拟果园，场地内设置道具树。道具树上设置道具果实。道具果实有红绿两种颜色，红色道具果实表示成熟果实，成熟果实是采摘车的采摘目标；绿色道具果实表示未成熟果实，未成熟果实采摘车不进行采摘。地面预铺设有黑色引导线。采摘车起点、终点以及两车交互地点均位于黑色引导线上。
采摘车的采摘主控制器根据采摘超声波测距模块5的两个超声波传感器所测距离差，以及红外循迹模块13的各红外传感器检测到的黑色引导线的电平信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机调整采摘车车身位姿，使黑色引导线位于正中间红外传感器的正下方，确保采摘车精准的循迹行驶。
S2、道具树定位
当采摘车行驶经过道具树时，采摘主控制器根据第一采摘光电开关11的电平变化信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机工作，使采摘车向道具树方向移动，进而使道具树进入采摘车底盘7和收获板6的树干槽38中；当采摘主控制器接收到第二采摘光电开关12的电平变化信号时，采摘主控制器向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机停止，完成道具树定位。因检测场地信息及果实信息为已知条件，可对检测场地及道具树位置建立坐标，每次完成道具树定位的同时，根据道具树与采摘车的相对位置关系，可辅助完成采摘车在检测场地内的位置更新。
S3、图像采集处理及果实定位
完成道具树定位后，采摘车的采摘主控制器向OPENMV摄像头30发送指令，OPENMV摄像头30采集道具树的原始2D俯视图并完成对原始2D俯视图进行图像处理，先识别出图中成熟果实的平面位置，然后计算OPENMV摄像头30与所识别出的成熟果实之间的距离，确定成熟果实的深度位置信息，进而确定成熟果实的空间位置。
S4、果实采摘
识别出道具树上成熟果实的空间位置后，将识别结果发送给采摘主控制器，由采摘主控制器向采摘装置中与成熟果实的位置相应的采摘机构发送指令，驱动该采摘机构的竖直移动舵机33和水平移动舵机34在竖直方向和水平方向上调整机械爪36的位置，使机械爪36对准成熟果实；然后驱动机械爪驱动舵机35使机械爪36将成熟果实抓紧；再驱动竖直移动舵机33和水平移动舵机34完成摘取动作。最后驱动机械爪驱动舵机35使机械爪36将成熟果实松开。随后，成熟果实掉落在收获板6上，并滚落至转运门3处；采摘车完成对一棵道具树的果实采摘后，重复步骤S1至S4调整车身位姿继续循迹行驶进行下一棵道具树的果实采摘。
果实采摘过程中，采摘主控制器可根据识别结果调整车身位姿，使采摘装置的采摘机构与成熟果实的位置相对应。
S5、两车交互转运
采摘过程中，采摘车的OPENMV摄像头30实时采集收获板6上的果实信息，当果实数目或图片内果实面积超过设定阈值时，判定需要进行果实转运，采摘主控制器控制采摘车向预先设定交互地点循迹行驶，并通过采摘蓝牙主机向转运车的转运蓝牙从机发送“出发”信号，通知转运车到达预先设定交互地点进行果实转运。
转运车的转运蓝牙从机收到“出发”信号后，转运车的转运主控制器根据转运超声波测距模块的近挡板一侧的转运车左侧超声波传感器16或转运车右侧超声波传感器39所测距离差向转运车轮电机驱动模块发送指令，控制各转运车轮驱动电机调整转运车车身位姿，使车身与场地挡板平行，从而获得转运车在场地的横/纵坐标X/Y，此时转运车后侧超声波传感器40测得场地纵/横坐标Y/X，进而保证转运车准确地到达预先设定交互地点；转运车到达预先设定交互地点后，通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“就位”信号。
采摘车的采摘蓝牙主机收到“就位”信号后，采摘主控制器控制采摘车调整车身位姿，使左侧板1与转运车的转运货舱17贴合，如图8所示，此时转运车的转运光电开关15被完全遮挡；转运车的转运主控制器通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“转运”信号，采摘车的采摘蓝牙主机收到“转运”信号后，采摘主控制器控制转运门舵机18打开转运门3，收获板6上的果实由于重力作用滚落至转运车的转运货舱17内；转运过程中，采摘主控制器通过OPENMV摄像头30实时采集收获板6上果实信息，确认果实完成转运后，关闭转运门3，控制采摘车继续进行采摘作业或行驶至终点，同时，通过采摘蓝牙主机向转运车的转运蓝牙从机发送“结束”信号；转运车的转运蓝牙从机收到“结束”信号后，转运主控制器控制转运车到达储藏果实区域，然后，转运主控制器控制电磁铁23断电，使转运货舱17与车体分离后，转运车返回交互地点等待下次转运或行驶至终点。
所述步骤S3中，图像采集处理及果实定位步骤如下：
S3.1、采用双边滤波对原始2D俯视图P1进行平滑处理，得到平滑处理后的图片P2，使原始2D俯视图中的物体在保持较高的边界清晰度的同时有效去除噪声。具体地，所述双边滤波同时使用空间高斯权重和灰度值相似性高斯权重。空间高斯权重，以2D图片某一像素点为中心点，其邻近区域像素的高斯加权平均值作为该点值，可以起到去除噪声作用；灰度值相似性高斯权重，灰度值相似性高斯函数确保只有与中心像素灰度值相近的才会被用来做模糊运算，所以边界像素点不会被当做噪声被模糊处理。
S3.2、将平滑处理后的图片P2的颜色空间转化为HSV(Hue,Saturation,Value)形式，将H、S、V三通道的颜色阈值设置为红色对应区间构建掩膜，得到掩膜图片P3；然后将平滑处理后的图片P2与掩膜图片P3进行位运算，得到二值化图片P4，二值化图片P4内白色区域对应平滑处理后的图片P2中的红色果实区域，黑色区域为其他区域。
但是二值化图片P4中往往还会存在些许白点噪声。为进一步消除二值化图片中存在的白色噪声像素点，对其进行腐蚀和膨胀的形态学操作。腐蚀操作可以进一步消除图片内白色噪声，但会有损图片内果实白色区域面积，膨胀可以抵消腐蚀操作对果实白色区域的影响。故进行腐蚀膨胀操作，进一步消除图片内白点噪声。
S3.3、对二值化图片P4使用霍夫圆环变换，找出图片内的所有圆形。求取各圆形像素面积，因成熟果实大小基本固定，摄像头俯视高度固定，设定圆形面积阈值范围(S1～S2)，储存记录符合面积阈值范围的圆形的面积、圆心位置信息。此时可以得到成熟果实的平面位置信息；
S3.4、通过如下公式计算OPENMV摄像头30的镜头与现实成熟果实成像层平面之间的距离L2：
式中，R2为现实成熟果实的半径，W1为OPENMV摄像头30采集到的整张图片二分之一的像素宽，β为OPENMV摄像头30的镜头中心与整张图片宽度的夹角的二分之一或OPENMV摄像头30的镜头中心与图片对应的现实世界宽度的夹角的二分之一，R1为图片内成熟果实的半径；其中，R2、W1、tanβ为定值；计算原理如图9所示：OPENMV摄像头30的镜头与图片成像层之间的距离为L1；图片所对应的现实世界宽度为2W2；OPENMV摄像头30的镜头中心与图片内成熟果实的夹角为2α，与现实成熟果实的夹角也是2α。
得:
得:
其中，R2、W1、tanβ为定值，故可设为常数K，得
得知成熟果实离OPENMV摄像头30实际距离L2与图像中果实半径R1成反比，只需标定一次，求取常数K就可以在成熟果实距离估算中反复。通过颜色识别及果实在图片中的位置判定步骤得到的圆形面积信息，可计算R1，进而估算L2，得到成熟果实深度位置信息。
S3.5、结合步骤S3.3得到成熟果实的平面位置信息以及步骤S3.4得到OPENMV摄像头30的镜头与现实成熟果实成像层平面之间的距离L2，确定成熟果实空间位置。
所述步骤S5中，当开启转运门3～5秒后，为防止果实卡在果实挡板10或转运门3上，采摘车会小距离、快速的完成前进，左移，后退，右移动作，达到车身抖动效果，使可能被卡住的果实能顺利地滚落至转运车的转运货舱17内。
Claims (8)
1.一种果实模拟采摘、转运智能小车组，包括能够自主交互的采摘车和转运车，所述采摘车和转运车在模拟果园的矩形检测场地中进行道具果实模拟采摘、转运，所述检测场地四周设有挡板，检测场地内设置道具树，道具树上设置道具果实；检测场地地面预铺设有黑色引导线；
其特征在于：
所述采摘车包括采摘车架、采摘超声波测距模块(5)、红外循迹模块(13)、第一采摘光电开关(11)、第二采摘光电开关(12)、OPENMV摄像头(30)、采摘装置、采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块；
所述采摘车架包括采摘车底盘(7)、前端板(9)、后端板(8)、左侧板(1)和收获板(6)；所述前端板(9)、后端板(8)和左侧板(1)分别竖直地固接在采摘车底盘(7)的前端、后端和左侧；所述左侧板(1)的下部设有通过转运门舵机(18)控制开闭的转运门(3)；所述收获板(6)呈“凸”字状，小端朝向左侧板(1)且向下倾斜地靠近转运门(3)的下边缘；收获板(6)过盈配合地安装前端板(9)和后端板(8)之间；
所述左侧板(1)的上部和中部分别设有第一横梁(2)和第二横梁(4)；
所述采摘车底盘(7)和收获板(6)均自中心处向右边缘设有一个相互对应的树干槽(38)；所述树干槽(38)的尾部为半圆状槽，用于容纳道具树树干；树干槽(38)的中部为直槽，槽口呈扩大状；
所述采摘车底盘(7)上设有四个麦克纳姆轮(14)，麦克纳姆轮(14)通过联轴器与采摘车轮驱动电机的动力输出轴连接，采摘车轮驱动电机通过采摘车轮电机驱动模块控制；
所述OPENMV摄像头(30)通过高度可调的摄像头安装杆(31)安装在左侧板(1)的第一横梁(2)上；
所述红外循迹模块(13)包括五个红外传感器，五个红外传感器垂直于采摘车底盘(7)同直线等间距地固接在采摘车底盘(7)的前端，红外传感器的探测头朝向地面，用于检测场地中预铺设的黑色引导线；
所述采摘超声波测距模块(5)包括两个超声波传感器，两个超声波传感器前后间隔地固接在左侧板(1)的下部，两个超声波传感器发射的超声波束朝向采摘车的车体之外，主方向垂直于左侧板(1)且平行于采摘车底盘(7)；
所述第一采摘光电开关(11)和第二采摘光电开关(12)相互垂直地设置在采摘车底盘(7)上，其中，第一采摘光电开关(11)位于采摘车底盘(7)的树干槽(38)的长度方向的轴线上；第二采摘光电开关(12)位于过采摘车底盘(7)的树干槽(38)的半圆状槽与直槽的连接处的轴线上；
所述采摘装置包括六个位于收获板(6)上方的采摘机构，每个采摘机构均包括机械爪(36)、机械爪驱动舵机(35)、水平移动舵机(34)、齿轮(37)、齿条框(32)和竖直移动舵机(33)；竖直移动舵机(33)的水平设置的动力输出轴通过固连件与齿条框(32)固接，竖直移动舵机(33)的动力输出轴往复旋转带动齿条框(32)沿竖直方向进行上下往复移动；所述齿轮(37)啮合在齿条框(32)上的水平齿条上；水平移动舵机(34)的动力输出轴与齿轮(37)固接；所述机械爪驱动舵机(35)固接在水平移动舵机(34)上，机械爪驱动舵机(35)的动力输出轴与机械爪(36)的传动机构连接，控制机械爪(36)的开合；
所述采摘主控制器、采摘蓝牙主机、采摘车轮电机驱动模块和采摘电源模块安装在采摘车底盘(7)上；所述采摘电源模块与采摘车轮驱动电机、采摘车轮电机驱动模块、红外循迹模块(13)、采摘超声波测距模块(5)、第一采摘光电开关(11)、第二采摘光电开关(12)、转运门舵机(18)、OPENMV摄像头(30)、采摘蓝牙主机、采摘主控制器和采摘装置的竖直移动舵机(33)、水平移动舵机(34)和机械爪驱动舵机(35)连接；所述采摘主控制器分别与采摘蓝牙主机、采摘超声波测距模块(5)、红外循迹模块(13)、第一采摘光电开关(11)、第二采摘光电开关(12)、转运门舵机(18)、OPENMV摄像头(30)、采摘装置的竖直移动舵机(33)、水平移动舵机(34)、机械爪驱动舵机(35)和采摘车轮电机驱动模块连接，接收并处理采摘蓝牙主机、采摘超声波测距模块(5)、红外循迹模块(13)、第一采摘光电开关(11)、第二采摘光电开关(12)和OPENMV摄像头(30)发送的数据，并向采摘蓝牙主机、转运门舵机(18)、采摘装置的竖直移动舵机(33)、水平移动舵机(34)、机械爪驱动舵机(35)和采摘车轮电机驱动模块发出控制指令；
所述转运车包括转运车架、转运超声波测距模块、转运光电开关(15)、电磁铁(23)、转运货舱(17)、转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块；
所述转运车架包括水平布置通过支撑柱自上而下依次连接的顶板(19)、中间板(20)和底板(22)；所述底板(22)上设有一对行进轮(21)，行进轮(21)通过联轴器与转运车轮驱动电机的动力输出轴连接，转运车轮驱动电机通过转运车轮电机驱动模块控制；
所述转运货舱(17)通过固接在底板(22)前端的电磁铁(23)与转运车架磁力连接；
所述转运超声波测距模块包括一对沿转运车行进方向前后间隔地固接在中间板(20)左侧的转运车左侧超声波传感器(16)、一对沿转运车行进方向前后间隔地固接在中间板(20)右侧的转运车右侧超声波传感器(39)和一个垂直于转运车行进方向固接在中间板(20)后端的转运车后侧超声波传感器(40)；转运车左侧超声波传感器(16)的超声波束主方向平行于中间板(20)且朝向转运车的左侧，转运车右侧超声波传感器(39)的超声波束主方向平行于中间板(20)且朝向转运车右侧，转运车后侧超声波传感器(40)产生的超声波束主方向平行于中间板(20)且面朝向转运车后侧；
所述转运光电开关(15)沿转运车行进方向固接在顶板(19)的前端，用于在与采摘车交互时，实时监测与采摘车之间的相对位置关系；
所述转运车轮电机驱动模块、转运主控制器、转运蓝牙从机和转运电源模块安装在底板(22)上；所述转运电源模块与转运车轮电机驱动模块、转运超声波测距模块、转运光电开关(15)、转运主控制器、转运蓝牙从机和电磁铁(23)的继电器连接；所述转运主控制器分别与转运蓝牙从机、转运超声波测距模块、转运光电开关(15)、电磁铁(23)的继电器和转运车轮电机驱动模块连接；接收并处理转运蓝牙从机、转运超声波测距模块和转运光电开关(15)的数据，并向转运蓝牙从机、电磁铁(23)的继电器和转运车轮电机驱动模块发出控制指令；
所述收获板(6)上设有一对呈“八”字形布置包括相对的大口端和小口端的果实挡板(10)，且两个果实挡板(10)的小口端朝向转运门(3)；
所述机械爪驱动舵机(35)的动力输出轴与水平移动舵机(34)的动力输出轴呈90°夹角。
2.根据权利要求1所述的果实模拟采摘、转运智能小车组，其特征在于：所述采摘装置的六个采摘机构分别为：第一采摘机构(24)、第二采摘机构(25)、第三采摘机构(26)、第四采摘机构(27)、第五采摘机构(28)和第六采摘机构(29)；
前端板(9)上由上而下设有第六采摘机构(29)和第五采摘机构(28)；后端板(8)上由上而下设有第三采摘机构(26)和第四采摘机构(27)；左侧板(1)上由上而下设有第一采摘机构(24)和第二采摘机构(25)；其中，第一采摘机构(24)布置在第一横梁(2)上，第二采摘机构(25)布置在第二横梁(4)上；
其中，第一采摘机构(24)和第二采摘机构(25)的机械爪(36)的夹持端朝向采摘车内侧，且平行于采摘车底盘(7)；第三采摘机构(26)、第四采摘机构(27)、第五采摘机构(28)和第六采摘机构(29)的机械爪(36)的夹持端竖直向上，且垂直于采摘车底盘(7)。
3.根据权利要求1所述的果实模拟采摘、转运智能小车组，其特征在于：转运车与采摘车交互时，转运车从采摘车的左侧靠近采摘车，使转运货舱(17)与采摘车的转运门(3)下方的左侧板(1)贴合。
4.根据权利要求1所述的果实模拟采摘、转运智能小车组，其特征在于：转运蓝牙从机与采摘蓝牙主机进行密码配对，设定相同波特率，设置相适应的停止位和校验位。
5.根据权利要求1所述的果实模拟采摘、转运智能小车组，其特征在于：所述采摘主控制器和转运主控制器均为树莓派3b+。
6.一种如权利要求1-5任一项所述的智能小车组的果实模拟采摘、转运方法，其特征在于：包括如下步骤：
S1、车身位姿调整和循迹行驶
采摘车和转运车在检测场地中进行道具果实模拟采摘、转运；检测场地为矩形场地，场地四周由四块挡板围起；检测场地用于模拟果园，场地内设置道具树；道具树上设置道具果实；道具果实有红绿两种颜色，红色道具果实表示成熟果实，成熟果实是采摘车的采摘目标；绿色道具果实表示未成熟果实，未成熟果实采摘车不进行采摘；地面预铺设有黑色引导线；采摘车起点、终点以及两车交互地点均位于黑色引导线上；
采摘车的采摘主控制器根据采摘超声波测距模块(5)的两个超声波传感器所测距离差，以及红外循迹模块(13)的各红外传感器检测到的黑色引导线的电平信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机调整采摘车车身位姿，使黑色引导线位于正中间红外传感器的正下方，确保采摘车精准的循迹行驶；
S2、道具树定位
当采摘车行驶经过道具树时，采摘主控制器根据第一采摘光电开关(11)的电平变化信号，向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机工作，使采摘车向道具树方向移动，进而使道具树进入采摘车底盘(7)和收获板(6)的树干槽(38)中；当采摘主控制器接收到第二采摘光电开关(12)的电平变化信号时，采摘主控制器向采摘车轮电机驱动模块发送指令，控制各采摘车轮驱动电机停止，完成道具树定位；
S3、图像采集处理及果实定位
完成道具树定位后，采摘车的采摘主控制器向OPENMV摄像头(30)发送指令，OPENMV摄像头(30)采集道具树的原始2D俯视图并完成对原始2D俯视图进行图像处理，先识别出图中成熟果实的平面位置，然后计算OPENMV摄像头(30)与所识别出的成熟果实之间的距离，确定成熟果实的深度位置信息，进而确定成熟果实的空间位置；
S4、果实采摘
识别出道具树上成熟果实的空间位置后，将识别结果发送给采摘主控制器，由采摘主控制器向采摘装置中与成熟果实的位置相应的采摘机构发送指令，驱动该采摘机构的竖直移动舵机(33)和水平移动舵机(34)在竖直方向和水平方向上调整机械爪(36)的位置，使机械爪(36)对准成熟果实；然后驱动机械爪驱动舵机(35)使机械爪(36)将成熟果实抓紧；再驱动竖直移动舵机(33)和水平移动舵机(34)完成摘取动作；最后驱动机械爪驱动舵机(35)使机械爪(36)将成熟果实松开；随后，成熟果实掉落在收获板(6)上，并滚落至转运门(3)处；采摘车完成对一棵道具树的果实采摘后，重复步骤S1至S4调整车身位姿继续循迹行驶进行下一棵道具树的果实采摘；
果实采摘过程中，采摘主控制器可根据识别结果调整车身位姿，使采摘装置的采摘机构与成熟果实的位置相对应；
S5、两车交互转运
采摘过程中，采摘车的OPENMV摄像头(30)实时采集收获板(6)上的果实信息，当果实数目或图片内果实面积超过设定阈值时，判定需要进行果实转运，采摘主控制器控制采摘车向预先设定交互地点循迹行驶，并通过采摘蓝牙主机向转运车的转运蓝牙从机发送“出发”信号，通知转运车到达预先设定交互地点进行果实转运；
转运车的转运蓝牙从机收到“出发”信号后，转运车的转运主控制器根据转运超声波测距模块的近挡板一侧的转运车左侧超声波传感器(16)或转运车右侧超声波传感器(39)所测距离差向转运车轮电机驱动模块发送指令，控制各转运车轮驱动电机调整转运车车身位姿，使车身与场地挡板平行，从而获得转运车在场地的横/纵坐标X/Y，此时转运车后侧超声波传感器(40)测得场地纵/横坐标Y/X，进而保证转运车准确地到达预先设定交互地点；转运车到达预先设定交互地点后，通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“就位”信号；
采摘车的采摘蓝牙主机收到“就位”信号后，采摘主控制器控制采摘车调整车身位姿，使左侧板(1)与转运车的转运货舱(17)贴合，此时转运车的转运光电开关(15)被完全遮挡；转运车的转运主控制器通过转运蓝牙从机向采摘车的采摘蓝牙主机发送“转运”信号，采摘车的采摘蓝牙主机收到“转运”信号后，采摘主控制器控制转运门舵机(18)打开转运门(3)，收获板(6)上的果实由于重力作用滚落至转运车的转运货舱(17)内；转运过程中，采摘主控制器通过OPENMV摄像头(30)实时采集收获板(6)上果实信息，确认果实完成转运后，关闭转运门(3)，控制采摘车继续进行采摘作业或行驶至终点，同时，通过采摘蓝牙主机向转运车的转运蓝牙从机发送“结束”信号；转运车的转运蓝牙从机收到“结束”信号后，转运主控制器控制转运车到达储藏果实区域，然后，转运主控制器控制电磁铁(23)断电，使转运货舱(17)与车体分离后，转运车返回交互地点等待下次转运或行驶至终点。
7.根据权利要求6所述的果实模拟采摘、转运方法，其特征在于：所述步骤S3中，图像采集处理及果实定位步骤如下：
S3.1、采用双边滤波对原始2D俯视图P1进行平滑处理，得到平滑处理后的图片P2，使原始2D俯视图中的物体在保持较高的边界清晰度的同时有效去除噪声；
S3.2、将平滑处理后的图片P2的颜色空间转化为HSV形式，将H、S、V三通道的颜色阈值设置为红色对应区间构建掩膜，得到掩膜图片P3；然后将平滑处理后的图片P2与掩膜图片P3进行位运算，得到二值化图片P4，二值化图片P4内白色区域对应平滑处理后的图片P2中的红色果实区域，黑色区域为其他区域；
S3.3、对二值化图片P4使用霍夫圆环变换，找出图片内的所有圆形；求取各圆形像素面积，因成熟果实大小基本固定，摄像头俯视高度固定，设定圆形面积阈值范围S1～S2，储存记录符合面积阈值范围的圆形的面积、圆心位置信息，此时可以得到成熟果实的平面位置信息；
S3.4、通过如下公式计算OPENMV摄像头(30)的镜头与现实成熟果实成像层平面之间的距离L2：
式中，R2为现实成熟果实的半径，W1为OPENMV摄像头(30)采集到的整张图片二分之一的像素宽，β为OPENMV摄像头(30)的镜头中心与整张图片宽度的夹角的二分之一或OPENMV摄像头(30)的镜头中心与图片对应的现实世界宽度的夹角的二分之一，R1为图片内成熟果实的半径；其中，R2、W1、tanβ为定值；
S3.5、结合步骤S3.3得到成熟果实的平面位置信息以及步骤S3.4得到OPENMV摄像头(30)的镜头与现实成熟果实成像层平面之间的距离L2，确定成熟果实空间位置。
8.根据权利要求6所述的果实模拟采摘、转运方法，其特征在于：所述步骤S5中，当开启转运门3～5秒后，为防止果实卡在果实挡板(10)或转运门(3)上，采摘车会小距离、快速的完成前进，左移，后退，右移动作，达到车身抖动效果，使可能被卡住的果实能顺利地滚落至转运车的转运货舱(17)内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640990.0A CN111579271B (zh) | 2020-07-06 | 2020-07-06 | 一种果实模拟采摘、转运智能小车组 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640990.0A CN111579271B (zh) | 2020-07-06 | 2020-07-06 | 一种果实模拟采摘、转运智能小车组 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111579271A CN111579271A (zh) | 2020-08-25 |
| CN111579271B true CN111579271B (zh) | 2024-05-17 |
Family
ID=72111317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010640990.0A Active CN111579271B (zh) | 2020-07-06 | 2020-07-06 | 一种果实模拟采摘、转运智能小车组 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111579271B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102211B (zh) * | 2020-11-18 | 2021-02-02 | 南京农业大学 | 一种基于温度和图像的作物胁迫预警系统及预警方法 |
| CN112720432A (zh) * | 2021-01-18 | 2021-04-30 | 石家庄铁道大学 | 一种物流机器人及其抓取方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN103749094A (zh) * | 2013-12-16 | 2014-04-30 | 西北农林科技大学 | 一种猕猴桃果实采摘机器人及采摘方法 |
| CN108834576A (zh) * | 2018-06-07 | 2018-11-20 | 华南农业大学 | 一种基于双目视觉的柑橘采摘机器人及其实现方法 |
| CN109566092A (zh) * | 2019-01-24 | 2019-04-05 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人控制系统 |
| CN109588111A (zh) * | 2019-01-24 | 2019-04-09 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人及其工作方法 |
| CN212275260U (zh) * | 2020-07-06 | 2021-01-01 | 中国农业大学 | 一种果实模拟采摘、转运智能小车组 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017357645B2 (en) * | 2016-11-08 | 2022-11-10 | Dogtooth Technologies Limited | A robotic fruit picking system |
-
2020
- 2020-07-06 CN CN202010640990.0A patent/CN111579271B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN103749094A (zh) * | 2013-12-16 | 2014-04-30 | 西北农林科技大学 | 一种猕猴桃果实采摘机器人及采摘方法 |
| CN108834576A (zh) * | 2018-06-07 | 2018-11-20 | 华南农业大学 | 一种基于双目视觉的柑橘采摘机器人及其实现方法 |
| CN109566092A (zh) * | 2019-01-24 | 2019-04-05 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人控制系统 |
| CN109588111A (zh) * | 2019-01-24 | 2019-04-09 | 西北农林科技大学 | 一种用于竞赛的果实收获机器人及其工作方法 |
| CN212275260U (zh) * | 2020-07-06 | 2021-01-01 | 中国农业大学 | 一种果实模拟采摘、转运智能小车组 |
Non-Patent Citations (1)
| Title |
|---|
| 草莓采摘位置机器视觉与激光辅助定位方法;张凯良 等;农业机械学报;20100430;第41卷(第04期);第151-156页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111579271A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111579271B (zh) | 一种果实模拟采摘、转运智能小车组 | |
| CN103413313B (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
| CN106863259B (zh) | 一种轮式多机械手智能捡球机器人 | |
| CN102614641B (zh) | 智能一体化捡网球机器人 | |
| CN109532522A (zh) | 一种基于3d视觉技术的汽车无人充电系统及其使用方法 | |
| CN112248835B (zh) | 一种充电机械臂控制方法和系统 | |
| CN110928301A (zh) | 一种检测微小障碍的方法、装置及介质 | |
| CN107403454A (zh) | 一种立体停车场车辆位置参数和尺寸参数测量系统及方法 | |
| CN111813114A (zh) | 智能小车视觉导航方法 | |
| CN106680290A (zh) | 狭窄空间的多功能检测车 | |
| CN106584451A (zh) | 一种基于视觉导航的变电站自动构图机器人及方法 | |
| CN107315410A (zh) | 一种机器人自动排障方法 | |
| CN109471434A (zh) | 一种新型的变量喷雾路径规划自主导航系统及方法 | |
| CN116686545B (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
| CN209776188U (zh) | 一种基于3d视觉技术的汽车无人充电系统 | |
| CN111142524A (zh) | 一种垃圾捡拾机器人、方法、装置及存储介质 | |
| Mandelbaum et al. | Real-time stereo processing, obstacle detection, and terrain estimation from vehicle-mounted stereo cameras | |
| Ismail et al. | Vision-based system for line following mobile robot | |
| Jun et al. | Autonomous driving system design for formula student driverless racecar | |
| CN108835809A (zh) | 一种基于ros的智能跟随行李箱及其控制方法 | |
| WO2021238000A1 (zh) | 机器人沿边工作方法、系统，机器人及可读存储介质 | |
| CN212275260U (zh) | 一种果实模拟采摘、转运智能小车组 | |
| CN211565903U (zh) | 一种教学竞赛用智能物流搬运机器人 | |
| CN111746728A (zh) | 一种基于强化学习的新型水上清洁机器人及控制方法 | |
| CN118385157A (zh) | 一种基于深度学习和自适应抓取的视觉分类垃圾自动分拣系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |