CN110271006A - 机械臂视觉引导方法及装置 - Google Patents
机械臂视觉引导方法及装置 Download PDFInfo
- Publication number
- CN110271006A CN110271006A CN201910654059.5A CN201910654059A CN110271006A CN 110271006 A CN110271006 A CN 110271006A CN 201910654059 A CN201910654059 A CN 201910654059A CN 110271006 A CN110271006 A CN 110271006A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- operation object
- mechanical arm
- determining
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 26
- 238000013135 deep learning Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 abstract 8
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种农业机器人的机械臂视觉引导方法及装置。所述方法包括：获取作业对象与障碍物的RGB信息以及3D点云信息；根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；根据所述机械臂的运动路径引导所述机械臂作业。所述方法及装置避免了机械臂与障碍物的碰撞，提高了农业机器人的作业效率。
Description
技术领域
本发明涉及农业技术领域，具体涉及一种农业机器人的机械臂视觉引导方法及装置。
背景技术
农业机器人可以在复杂环境下完成农作物的施肥、授粉、喷药以及采摘等功能。农业机器人的使用可以改善农业作业条件，提高劳动生产率和作业质量，降低人类的劳动强度。
但是目前农业机器人在作业过程中常用的“手眼协调”方法具有明显不足：
现有的机械臂视觉引导系统和方法大都是针对工业环境，而农业作业环境复杂，现有的视觉引导系统和方法无法直接应用到农业生产环境中。
现有的视觉引导系统首先提取作业对象的纹理、颜色或者形状，然后对作业对象进行识别。然而，由于农业环境中的作物叶片存在互相遮挡的现象，容易导致现有的视觉系统识别不到作业对象的问题，无法精准引导机械臂作业。
进一步地，现有的视觉引导系统只能完成作业对象的识别与定位，不能快速实时完成作业对象与障碍物的区分，不能精确规划出机械臂安全移动的空间，使得机械臂在移动过程中碰到障碍物。或者障碍物遮挡3D相机，从而影响识别与定位。
另外，现有的机械臂视觉引导方法首先由远景视觉系统对作业对象完成识别和定位，然后引导机械臂和执行末端完成相应动作。但远景视觉系统通常在距离作业对象较远的位置进行探测，这会造成视野范围内目标过多、处理过程较为复杂且耗时较长、识别率降低、定位精度不高。
进一步地，现有的机械臂视觉引导系统通常通过远景相机判定视野范围内是否存在作业对象，然后引导机械臂靠近作业对象，再由近景相机完成作业对象的实时识别与定位，从而引导机械臂和执行末端完成相应动作。这样会存在远景、近景相机的坐标匹配问题，并需要由远景相机、机械臂和近景相机连贯无误配合实现作业。现有的机械臂视觉引导系统过程繁琐、延时较大且作业效率低。
因此，如何提供一种农业机器人的机械臂视觉引导系统和方法，已解决上述技术问题中的至少一种，具有十分重要的意义。
发明内容
针对现有技术中的缺陷，一方面，本发明实施例提供一种农业机器人的机械臂视觉引导方法，包括：
获取作业对象与障碍物的RGB信息以及3D点云信息；
根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
根据所述机械臂的运动路径引导所述机械臂作业。
在一个实施例中，所述根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别包括：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
在一个实施例中，所述根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标包括：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
在一个实施例中，所述根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径包括：
根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
另一方面，本发明实施例还提供一种农业机器人的机械臂视觉引导装置，包括：
获取模块，用于获取作业对象与障碍物的RGB信息以及3D点云信息；
确定模块，用于根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
路径模块，用于根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
引导模块，用于根据所述机械臂的运动路径引导所述机械臂作业。
在一个实施例中，所述确定模块具体用于：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
在一个实施例中，所述确定模块具体用于：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
在一个实施例中，所述路径模块具体用于：
根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
另一方面，本发明实施例还提供一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如上所述的方法。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上所述的方法。
本发明实施例提供的农业机器人的机械臂视觉引导方法及装置，由于获取了作业对象与障碍物的RGB信息以及3D点云信息，并由此确定作业对象与障碍物的三维坐标，从而确定机械臂的运动路径，因此避免了机械臂与障碍物的碰撞，提高了农业机器人的作业效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一实施例的农业机器人的机械臂视觉引导方法的流程示意图；
图2为应用了本发明实施例提供的农业机器人的机械臂视觉引导方法的视觉引导系统的结构示意图；
图3为图2中的视觉引导系统运行时的流程示意图；
图4根据本发明一实施例的农业机器人的机械臂视觉引导装置的结构示意图；
图5为根据本发明一实施例的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的农业机器人的机械臂视觉引导方法的流程图。如图1所示，本发明实施例提供的农业机器人的机械臂视觉引导方法包括：
S1、获取作业对象与障碍物的RGB信息以及3D点云信息；
需要说明的是，RGB指的是Red(红)、Green(绿)以及Blue(蓝)，即颜色标准。而3D点云即三维点云。
在一个实施例中，采用了3D相机实时采集作业对象与障碍物的RGB信息以及3D点云信息。
可以理解的是，本发明实施例中所指的作业对象可以是例如需要浇水、施肥或施粉的对象，例如花朵、果实或嫩芽等。
本发明实施例中所指的障碍物可以是阻碍农业机器人正常工作的物体，例如大棚中的栏杆、农业机器人的导轨或作物的枝干等。
S2、根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
其中，所述根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别包括：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
在一个实施例中，作业对象的尺寸小于100mm×100mm，叶片较多且遮挡严重。因此采用了3D相机实时采集作业对象与障碍物的RGB信息以及3D点云信息。其中，获取的RGB信息视野张角为55°×45°，分辨率为640×480。
首先对RGB信息进行去模糊化处理得到较为清晰的图像，再使用滤波算法对图像进行滤波处理以过滤图像噪声，最后进行图像增强处理以突出作业对象和障碍物的颜色信息，从而方便深度学习网络对作业对象和障碍物的特征提取。
在一个实施例中，使用了YOLOV3深度学习网络对作业对象与障碍物进行了目标检测，该深度学习网络兼顾作业对象和障碍物类别检测和实时性要求，可区分作业对象和障碍物的类别，并且可在获取的图像中对作业对象和障碍物进行目标框选。将带有标签的训练集进行训练，得到带有标签的输出图像。
使用该深度学习网络训练得到的分类精度达到99％以上，目标框选精度达到95％以上，实时性可以达到每秒10帧以上。
当然，本发明实施例还可根据实际需求使用其他类型的深度学习网络确定所述作业对象与所述障碍物的类别，本发明对此不做限定。
进一步地，所述根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标包括：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
在一个实施例中，使用了3D相机实时获取作业对象和障碍物的3D点云信息，其中，获取的3D点云信息视野张角为55°×45°，分辨率是640×480，X、Y、Z(轴)的分辨率小于1mm，最小检测深度小于10mm。
对于采集到的3D点云信息，采用了基于点云的特征学习网络框架pointCNN。
具体地，首先使用体素网格将数据转化为体积表示。再将得到的3D点云信息上的每一个点进行MLP训练，即点间权重共享。其中，每个点被“投影”到一个1024维空间。
为了实现点云信息的最佳排序，使用了max-pool函数对点云信息进行处理，得到一个1x 1024的全局特征。最后使用非线性分类器训练这些特征点，从而获取所述作业对象与所述障碍物的三维坐标。
需要说明的是，对于点云的旋转问题，该实施例使用了T-net网络方法。
最终，该实施例的数据集的训练结果精度达到95％以上，实时性可以达到每秒10帧左右。
当然，本发明实施例还可根据实际需求使用其他类型的深度学习网络确定所述作业对象与所述障碍物的三维坐标，本发明对此不做限定。
S3、根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
在一个实施例中，步骤S3具体包括：
S31、根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
S32、根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
S4、根据所述机械臂的运动路径引导所述机械臂作业。
在确定所述机械臂的运动路径后，即可引导所述机械臂对作业对象进行作业。
本发明实施例提供的农业机器人的机械臂视觉引导方法，由于获取了作业对象与障碍物的RGB信息以及3D点云信息，并由此确定作业对象与障碍物的三维坐标，从而确定机械臂的运动路径，因此避免了机械臂与障碍物的碰撞，提高了农业机器人的作业效率。
此外，本发明实施例提供的农业机器人的机械臂视觉引导方法还使用了深度学习方法对获取的作业对象与障碍物的RGB信息以及3D点云信息进行训练，从而提高识别精度，因此解决了现有技术中存在的作物叶片存在互相遮挡的现象，容易导致视觉系统识别不到作业对象的问题。
下面以一应用了本发明实施例提供的农业机器人的机械臂视觉引导方法的视觉引导系统为例，进一步说明本发明实施例提供的农业机器人的机械臂视觉引导方法。
如图2所示，所述视觉引导系统包括3D摄像头1、机械臂2以及执行机构3。
如图3所示，所述视觉引导系统的工作流程如下：
S101、3D摄像头1获取作业对象与障碍物的RGB信息以及3D点云信息；
S102、所述视觉引导系统的控制器(未示出)根据作业对象与障碍物的RGB信息，确定作业对象与障碍物的类别；根据作业对象与障碍物的3D点云信息，确定作业对象与障碍物的三维坐标；
S103、控制器根据作业对象与障碍物的类别，以及作业对象与障碍物的三维坐标，确定机械臂2的运动路径；
S104、机械臂2根据确定的运动路径向植株4靠近；
若在靠近植株4的过程中，机械臂2未与障碍物碰撞，则流程进入步骤S105；
若机械臂2与障碍物碰撞，则流程返回到步骤S101；
S105、3D摄像头1获取植株4的图像信息，控制器根据植株4上作业对象的生长周期情况，对植株进行子区域的划分，并确定各子区域的作业优先级；
在该实施例中，各子区域的作业优先级为从植株4的上部到下部依次递减。
当然，优先级的顺序还可以是从植株4的上部到下部依次递增，或从植株4的左部到右部依次递增，或者根据植株4各部位与机械臂的距离的远近依次递减等。具体的优先级确定依据可以根据实际需要进行调整，本发明实施例对此不作限定。
S106、机械臂2移动至相应的子区域，3D摄像头1对其视角范围内的作业对象进行空间定位；控制器根据作业对象与机械臂2的执行机构3的距离确定作业顺序，并根据作业顺序控制执行机构3对作业对象进行作业，直至完成该子区域内的所有作业对象的作业；
S107、控制器判断是否完成对所有子区域的作业；
若是，则流程进入步骤S108；否则重复步骤S106；
S108、进行下一植株的作业。
本发明实施例提供的视觉引导系统，除了具有上述各实施例提供的方法的技术效果外，还通过将远景识别定位及子区域的划分与近景识别定位结合，实现了远近景的快速连续逐次逼近，大大提高了农业机器人的作业效率和精度。因此本发明实施例提供的视觉引导系统可实现复杂环境下视觉系统的高精度识别、定位和路径规划。
另一方面，本发明实施例还提供一种农业机器人的机械臂视觉引导装置，如图4所示，所述装置包括获取模块1、确定模块2、路径模块3以及引导模块4。
所述获取模块1用于获取作业对象与障碍物的RGB信息以及3D点云信息；
在一个实施例中，所述获取模块1可以是3D相机。
所述确定模块2用于根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
所述路径模块3用于根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
所述引导模块4用于根据所述机械臂的运动路径引导所述机械臂作业。
在一个实施例中，所述确定模块2具体用于：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
在一个实施例中，所述确定模块2还具体用于：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
在一个实施例中，所述路径模块3具体用于：
根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
本发明实施例提供的农业机器人的机械臂视觉引导装置，由于获取了作业对象与障碍物的RGB信息以及3D点云信息，并由此确定作业对象与障碍物的三维坐标，从而确定机械臂的运动路径，因此避免了机械臂与障碍物的碰撞，提高了农业机器人的作业效率。
此外，本发明实施例提供的农业机器人的机械臂视觉引导装置还使用了深度学习方法对获取的作业对象与障碍物的RGB信息以及3D点云信息进行训练，从而提高识别精度，因此解决了现有技术中存在的作物叶片存在互相遮挡的现象，容易导致视觉系统识别不到作业对象的问题。
另一方面，本发明实施例还提供一种电子设备，如图5所示。所述电子设备可以包括：处理器(Processor)410、通信接口(Communication Interface)420、存储器(Memory)430和通信总线(Bus)440，其中，所述处理器410，所述通信接口420，所述存储器430通过所述通信总线440完成相互间的通信。所述处理器410可以调用存储在所述存储器430上并可在所述处理器410上运行的计算机程序，以执行上述各实施例提供的农业机器人的机械臂视觉引导方法，例如包括：
获取作业对象与障碍物的RGB信息以及3D点云信息；根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；根据所述机械臂的运动路径引导所述机械臂作业。
此外，所述存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
获取作业对象与障碍物的RGB信息以及3D点云信息；根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；根据所述机械臂的运动路径引导所述机械臂作业。
以上所述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明技术方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种农业机器人的机械臂视觉引导方法，其特征在于，包括：
获取作业对象与障碍物的RGB信息以及3D点云信息；
根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
根据所述机械臂的运动路径引导所述机械臂作业。
2.根据权利要求1所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别包括：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
3.根据权利要求1所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标包括：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
4.根据权利要求1至3任一项所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径包括：
根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
5.一种农业机器人的机械臂视觉引导装置，其特征在于，包括：
获取模块，用于获取作业对象与障碍物的RGB信息以及3D点云信息；
确定模块，用于根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；
路径模块，用于根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；
引导模块，用于根据所述机械臂的运动路径引导所述机械臂作业。
6.根据权利要求5所述的农业机器人的机械臂视觉引导装置，其特征在于，所述确定模块具体用于：
依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；
使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。
7.根据权利要求5所述的农业机器人的机械臂视觉引导装置，其特征在于，所述确定模块具体用于：
使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；
使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；
对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。
8.根据权利要求5至7任一项所述的农业机器人的机械臂视觉引导装置，其特征在于，所述路径模块具体用于：
根据植株上的所述作业对象的生长信息，对植株进行子区域划分；
根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。
9.一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，其特征在于，所述处理器调用所述程序指令，以执行如权利要求1至4任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910654059.5A CN110271006A (zh) | 2019-07-19 | 2019-07-19 | 机械臂视觉引导方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910654059.5A CN110271006A (zh) | 2019-07-19 | 2019-07-19 | 机械臂视觉引导方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110271006A true CN110271006A (zh) | 2019-09-24 |
Family
ID=67964982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910654059.5A Pending CN110271006A (zh) | 2019-07-19 | 2019-07-19 | 机械臂视觉引导方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110271006A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112297011A (zh) * | 2020-10-29 | 2021-02-02 | 久瓴(上海)智能科技有限公司 | 农林机器人避障方法、装置、计算机设备和存储介质 |
| CN112991527A (zh) * | 2021-02-08 | 2021-06-18 | 追创科技(苏州)有限公司 | 目标对象的躲避方法及装置、存储介质、电子装置 |
| CN113093746A (zh) * | 2021-03-31 | 2021-07-09 | 上海三一重机股份有限公司 | 作业机械环境感知方法、装置、系统及作业机械 |
| CN114148596A (zh) * | 2021-11-12 | 2022-03-08 | 湖北中烟工业有限责任公司 | 一种基于视觉引导的全自动拆膜机 |
| CN116058176A (zh) * | 2022-11-29 | 2023-05-05 | 西北农林科技大学 | 一种基于双相机组合定位的果蔬采摘机械臂控制系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273688A (zh) * | 2008-05-05 | 2008-10-01 | 江苏大学 | 柑橘采摘机器人的柔性采摘装置和方法 |
| US20150306767A1 (en) * | 2014-04-24 | 2015-10-29 | Toyota Jidosha Kabushiki Kaisha | Motion limiting device and motion limiting method |
| CN106845412A (zh) * | 2017-01-20 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| US20180056516A1 (en) * | 2016-08-31 | 2018-03-01 | Seiko Epson Corporation | Robot, robot control device, and robot system |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108226883A (zh) * | 2017-11-28 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 测试毫米波雷达性能的方法、装置及计算机可读存储介质 |
| CN208117852U (zh) * | 2018-04-20 | 2018-11-20 | 杭州蓝芯科技有限公司 | 一种自动拣货机器人 |
| CN108834576A (zh) * | 2018-06-07 | 2018-11-20 | 华南农业大学 | 一种基于双目视觉的柑橘采摘机器人及其实现方法 |
| CN108908334A (zh) * | 2018-07-20 | 2018-11-30 | 汕头大学 | 一种基于深度学习的智能抓取系统及方法 |
| CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
| CN109748027A (zh) * | 2019-03-11 | 2019-05-14 | 杭州蓝芯科技有限公司 | 一种物料箱自动拣选机器人及其控制方法 |
| CN109948514A (zh) * | 2019-03-15 | 2019-06-28 | 中国科学院宁波材料技术与工程研究所 | 基于单目标三维重建的工件快速识别与定位方法 |
| CN109978949A (zh) * | 2019-03-26 | 2019-07-05 | 南开大学 | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 |
| CN110009741A (zh) * | 2019-06-04 | 2019-07-12 | 奥特酷智能科技(南京)有限公司 | 一种在Unity中生成环境点云地图的方法 |
-
2019
- 2019-07-19 CN CN201910654059.5A patent/CN110271006A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273688A (zh) * | 2008-05-05 | 2008-10-01 | 江苏大学 | 柑橘采摘机器人的柔性采摘装置和方法 |
| US20150306767A1 (en) * | 2014-04-24 | 2015-10-29 | Toyota Jidosha Kabushiki Kaisha | Motion limiting device and motion limiting method |
| US20180056516A1 (en) * | 2016-08-31 | 2018-03-01 | Seiko Epson Corporation | Robot, robot control device, and robot system |
| CN106845412A (zh) * | 2017-01-20 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| CN108226883A (zh) * | 2017-11-28 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 测试毫米波雷达性能的方法、装置及计算机可读存储介质 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN208117852U (zh) * | 2018-04-20 | 2018-11-20 | 杭州蓝芯科技有限公司 | 一种自动拣货机器人 |
| CN108834576A (zh) * | 2018-06-07 | 2018-11-20 | 华南农业大学 | 一种基于双目视觉的柑橘采摘机器人及其实现方法 |
| CN108908334A (zh) * | 2018-07-20 | 2018-11-30 | 汕头大学 | 一种基于深度学习的智能抓取系统及方法 |
| CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
| CN109748027A (zh) * | 2019-03-11 | 2019-05-14 | 杭州蓝芯科技有限公司 | 一种物料箱自动拣选机器人及其控制方法 |
| CN109948514A (zh) * | 2019-03-15 | 2019-06-28 | 中国科学院宁波材料技术与工程研究所 | 基于单目标三维重建的工件快速识别与定位方法 |
| CN109978949A (zh) * | 2019-03-26 | 2019-07-05 | 南开大学 | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 |
| CN110009741A (zh) * | 2019-06-04 | 2019-07-12 | 奥特酷智能科技(南京)有限公司 | 一种在Unity中生成环境点云地图的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 叶敏: "《基于运动行为的荔枝采摘机器人夹切容错设计》", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112297011A (zh) * | 2020-10-29 | 2021-02-02 | 久瓴(上海)智能科技有限公司 | 农林机器人避障方法、装置、计算机设备和存储介质 |
| CN112991527A (zh) * | 2021-02-08 | 2021-06-18 | 追创科技(苏州)有限公司 | 目标对象的躲避方法及装置、存储介质、电子装置 |
| CN112991527B (zh) * | 2021-02-08 | 2022-04-19 | 追觅创新科技(苏州)有限公司 | 目标对象的躲避方法及装置、存储介质、电子装置 |
| CN113093746A (zh) * | 2021-03-31 | 2021-07-09 | 上海三一重机股份有限公司 | 作业机械环境感知方法、装置、系统及作业机械 |
| CN113093746B (zh) * | 2021-03-31 | 2024-01-23 | 上海三一重机股份有限公司 | 作业机械环境感知方法、装置、系统及作业机械 |
| CN114148596A (zh) * | 2021-11-12 | 2022-03-08 | 湖北中烟工业有限责任公司 | 一种基于视觉引导的全自动拆膜机 |
| CN116058176A (zh) * | 2022-11-29 | 2023-05-05 | 西北农林科技大学 | 一种基于双相机组合定位的果蔬采摘机械臂控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110271006A (zh) | 机械臂视觉引导方法及装置 | |
| Tang et al. | Recognition and localization methods for vision-based fruit picking robots: A review | |
| SepúLveda et al. | Robotic aubergine harvesting using dual-arm manipulation | |
| Chen et al. | Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology | |
| Barth et al. | Design of an eye-in-hand sensing and servo control framework for harvesting robotics in dense vegetation | |
| CN102800083B (zh) | 基于双目视觉网格划分匹配算法的农作物喷雾定位方法 | |
| Bac et al. | Stem localization of sweet-pepper plants using the support wire as a visual cue | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| Correll et al. | SwisTrack: A tracking tool for multi-unit robotic and biological systems | |
| Ringdahl et al. | Evaluation of approach strategies for harvesting robots: Case study of sweet pepper harvesting: Category:(5) | |
| Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
| CN117021059B (zh) | 采摘机器人及其果实定位方法、装置、电子设备及介质 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| CN107300100A (zh) | 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法 | |
| Menon et al. | NBV-SC: Next best view planning based on shape completion for fruit mapping and reconstruction | |
| CN111340834A (zh) | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 | |
| Li et al. | Identification of the operating position and orientation of a robotic kiwifruit pollinator | |
| CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
| CN116652951B (zh) | 一种非结构化大作业空间的机器人视觉定位方法及装置 | |
| CN117707194A (zh) | 无人设备的飞行作业方法、装置、无人设备及存储介质 | |
| CN113920020B (zh) | 一种基于深度生成模型的人体点云实时修复方法 | |
| US11931890B2 (en) | Human-robot guiding system for agricultural objects detection in unstructured and noisy environment by integrated laser and vision | |
| Lin et al. | Drone Stereo Vision for Radiata Pine Branch Detection and Distance Measurement: Integrating SGBM and Segmentation Models | |
| Shamshiri et al. | An overview of visual servoing for robotic manipulators in digital agriculture | |
| CN112008730A (zh) | 一种基于固态面阵激光雷达的太阳位置识别与规避方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190924 |