CN117021059B - 采摘机器人及其果实定位方法、装置、电子设备及介质 - Google Patents
采摘机器人及其果实定位方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN117021059B CN117021059B CN202311296030.7A CN202311296030A CN117021059B CN 117021059 B CN117021059 B CN 117021059B CN 202311296030 A CN202311296030 A CN 202311296030A CN 117021059 B CN117021059 B CN 117021059B
- Authority
- CN
- China
- Prior art keywords
- fruit
- positioning
- image acquisition
- image
- fruit tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 481
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000009826 distribution Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本发明提供一种采摘机器人及其果实定位方法、装置、电子设备及介质，属于智慧农业技术领域，该机器人包括机器人本体，机器人本体包括处理器；机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；机器人本体包括多个机械臂；每个机械臂周围对应安装有一个第一图像采集模块，各个第一图像采集模块不与对应的机械臂互相干涉；机器人本体的基座位置安装第二图像采集模块，用于确定基座坐标系；处理器基于获取各个第一图像采集模块采集作业区域中对应子区域的果树图像和基座坐标系，确定作业区域的全局果实定位分布信息，控制各个机械臂进行协同作业。本发明可以提高果实定位的精度和范围，也大幅提升了机器人的果实采摘效率。
Description
技术领域
本发明涉及智慧农业技术领域，尤其涉及一种采摘机器人及其果实定位方法、装置、电子设备及介质。
背景技术
在农业劳动力短缺背景下，机器人采摘是果蔬产业发展的迫切需求。关于采摘机器人的果实信息获取方法和系统，研究者们开展了大量的研究工作，取得了积极进展。
现有采摘机器人系统较为常见的是采用单一视觉传感器，通过深度学习技术、传统机器视觉技术等手段对果实进行识别和定位，来指导采摘机器人作业。随着作业任务的不断增加，集成多个机械臂和末端执行机构的采摘机器人受到了越来越多的关注。
多臂采摘机器人机构数量较多、作业范围较大且各臂间易发生互相干涉，提前获取果实分布情况对于控制和规划尤为关键，对采摘效率影响较大。然而，现有多臂采摘机器人主要还是采用单一视觉传感器方案，将视觉传感器安装于距离作业面较远的位置上，由于感测距离较远，导致果实定位偏差较大，机器人的采摘效率并不高。
发明内容
本发明提供一种采摘机器人及其果实定位方法、装置、电子设备及介质，用以解决现有技术中多臂采摘机器人的果实定位偏差较大，采摘效率并不高的缺陷。
本发明提供一种采摘机器人，包括：
机器人本体，所述机器人本体包括处理器；所述机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；所述机器人本体包括多个机械臂；
每个机械臂周围对应安装有一个所述第一图像采集模块，各个所述第一图像采集模块不与对应的机械臂互相干涉；所述机器人本体的基座位置安装所述第二图像采集模块，用于确定基座坐标系；
所述处理器用于基于获取各个所述第一图像采集模块采集作业区域中对应子区域的果树图像和所述基座坐标系，确定所述作业区域的全局果实定位分布信息，并根据所述全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业。
根据本发明提供的一种采摘机器人，所述机器人本体包括机身主架以及安装在所述机身主架上的多个连杆；
每个所述连杆上至少安装两个机械臂，每个所述连杆上安装有每个机械臂对应的第一图像采集模块，每个所述第一图像采集模块位于对应的机械臂的末端关节附近。
根据本发明提供的一种采摘机器人，所述机械臂为伸缩式机械臂；各个所述第一图像采集模块安装在对应的所述伸缩式机械臂的靠近手爪的一侧，每个所述第一图像采集模块的拍摄视角的中轴线与所述伸缩式机械臂的伸缩方向一致。
本发明还提供一种应用于上述任一所述的采摘机器人的果实定位方法，包括：
获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；
利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；
基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
根据本发明提供的一种果实定位方法，所述基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点，包括：
利用点云聚类算法，对每个所述果树图像中各个果实的三维点云进行聚类计算，确定每个所述果树图像中各个果实的表面特征点；
根据每个所述果树图像中各个果实的二维包围框信息，生成每个所述果树图像中各个果实对应的三维视锥体以及视锥体中心线；
基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点。
根据本发明提供的一种果实定位方法，所述基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点，包括：
针对每个所述果树图像中的各个果实，构建以所述表面特征点为球心，目标长度为半径的球体；所述目标长度是基于所述表面特征点对应的深度值确定的；
确定每个所述果树图像中的各个果实对应的视锥体中心线穿过其对应的球体的两个交点；
从每个所述果树图像中的各个果实对应的所述两个交点中确定离拍摄焦点距离大的交点为每个所述果树图像中的各个果实的定位坐标点。
根据本发明提供的一种果实定位方法，所述基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息，包括：
将每个所述果树图像中各个果实的定位坐标点转换到所述基座坐标系下，得到每个所述果树图像中各个果实在所述基座坐标系下的定位坐标点；
根据所述基座坐标系下各个果实的定位坐标点，确定相邻果实之间的定位坐标点对，并确定所述基座坐标系下各所述定位坐标点对之间的距离；
确定所述距离小于目标阈值的目标定位坐标点对，并从各所述目标定位坐标点对中剔除其中一个定位坐标点；
根据所述基座坐标系下保留的各个定位坐标点，生成所述作业区域的全局果实定位分布信息。
本发明还提供一种果实定位装置，包括：
输出模块，用于获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；
定位模块，用于利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；
处理模块，用于基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述果实定位方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述果实定位方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述果实定位方法。
本发明提供的采摘机器人及其果实定位方法、装置、电子设备及介质，通过将多个图像采集模块设定在多臂采摘机器人本体上进行多视角图像采集，利用处理器将采集的各个视角的图像统一转换到机器人的基座坐标系下，同步获得作业区域内所有采摘目标的视觉信息，生成与机器人作业空间范围尺寸相匹配的全局果实定位分布信息，有利于各个机械臂可以高效协同作业，既可以实现在作业区域较近距离进行果实精准检测，获取较大范围内的果实信息，又可以提高果实定位的精度和范围，有利于大幅提升机器人的果实采摘效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的采摘机器人的结构示意图之一；
图2是本发明提供的采摘机器人的结构示意图之二；
图3是本发明提供的采摘机器人的结构示意图之三；
图4是本发明提供的果实定位方法的流程示意图；
图5是本发明提供的果实定位装置的结构示意图；
图6是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合图1-图6描述本发明的采摘机器人及其果实定位方法、装置、电子设备及介质。
图1是本发明提供的采摘机器人的结构示意图之一，如图1所示，该采摘机器人可以包括：
机器人本体100，机器人本体100包括处理器101；机器人本体100上安装有多个第一图像采集模块200，包括第一图像采集模块1、第一图像采集模块2、…、第一图像采集模块n，和一个第二图像采集模块300；机器人本体包括多个机械臂；n表示第一图像采集模块200的数量，且n大于1；
每个机械臂周围对应安装有一个第一图像采集模块200，各个第一图像采集模块200不与对应的机械臂互相干涉；机器人本体1的基座位置安装第二图像采集模块300，用于确定基座坐标系；
处理器101用于基于获取各个第一图像采集模块200采集作业区域中对应子区域的果树图像和基座坐标系，确定作业区域的全局果实定位分布信息，并根据全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业。
具体地，在本发明的实施例中，图像采集模块具体可以采用基于不同测距原理的彩色深度相机，如基于结构光技术、基于双目视觉立体匹配技术或基于飞行时间等多种类型彩色深度相机（也可以称为立体视觉相机），用于获取作业区域内的果树图像，果树图像可以包括彩色图像以及果树作业面的深度图像。
本发明实施例所描述的第一图像采集模块指的是用于采集果树采摘作业区域中各子区域的果树图像的图像采集模块。
本发明实施例所描述的第二图像采集模块指的是用于确定机器人的基座坐标系，并辅助对各个第一图像采集模块定标的图像采集模块。
需要说明的是，基座坐标系（Base Coordinates）也称为机器人坐标系，它是以机器人安装基座为基准，用来描述机器人本体运动的虚拟笛卡尔直角坐标系。
本发明实施例所描述的全局果实定位分布信息指的是由所有第一图像采集模块的拍摄范围所融合覆盖的整个采摘作业区域，在全局尺度上的果实定位分布情况。
本发明实施例所描述的局部果实定位分布信息指的是通过对整个作业区域的全局果实定位分布信息进行分割后，确定各个机械臂所负责采摘的子区域范围所对应的果实定位分布情况。
在本发明的实施例中，机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块，每个机械臂周围对应安装有一个第一图像采集模块，每个第一图像采集模块可以辅助对应的机械臂进行果实采摘作业。
其中，各个第一图像采集模块的安装角度可根据具体的作业实际情况灵活调节，调节的原则是：确保不与机械臂本体干涉且视线不被机械臂本体所遮挡。
图2是本发明提供的采摘机器人的结构示意图之二，如图2所示，机器人本体100还包括机身主架102以及分层安装在机身主架102上的多个连杆103；
每个连杆103上至少安装两个机械臂104，每个连杆103上安装有每个机械臂104对应的第一图像采集模块200，每个第一图像采集模块200位于对应的机械臂104的末端关节附近。
可选地，还可以在机身主架102上安装果实收集传送带105，用于对机械臂104采摘的果实进行收集。根据实际作业需求，还可以将第一图像采集模块200安装在果实收集传送带105侧面靠近机械臂104末端关节的位置处。
可以理解的是，机器人本体还可以包括移动平台，机身主架的底部与该移动平台进行固接，如可以通过螺栓连接，用于将机器人灵活地移动到作业区域位置。
具体地，在本发明的实施例中，采摘机器人本体的机身主架可以采用门框式结构，通过设置多层连杆，支撑机械臂驱动机构以及多个图像采集模块的安装及固接。
其中，每个连杆上至少安装两个机械臂，也就是说，可以根据实际果树的尺寸进行适应性调整，对于大范围的作业区域，也可以在每个连杆上安装两个以上的机械臂，本发明对此不做具体限定。
其中，在每个连杆上，在各个机械臂的末端关节附近安装有对应的第一图像采集模块。
需要说明的是，本发明实施例中，机械臂可以采用直角坐标型机械臂，各第一图像采集模块也可以安装与机器人末端关节附近的其他装置上，且图像采集视线方向与伸缩臂的伸缩方向成一定角度。
图3是本发明提供的采摘机器人的结构示意图之三，如图3所示，机械臂104可以采用伸缩式机械臂；各个第一图像采集模块200安装在对应的伸缩式机械臂104的靠近手爪的一侧，每个第一图像采集模块200的拍摄视角的中轴线与伸缩式机械臂的伸缩方向一致。
本发明实施例的采摘机器人，通过采用伸缩式机械臂，并按照第一图像采集模块的拍摄视角的中轴线与伸缩式机械臂的伸缩方向一致进行安装，可以有效降低机械臂作业时对图像采集模块拍摄的影响，同时方便机械臂不用调整采摘角度，及时进行果实采摘，有利于提高采摘效率。
继续参照图2，在本发明的实施例中，第二图像采集模块可以安装在机身主架上的基座位置，用于确定机器人的基座坐标系，对各个第一图像采集模块进行标定。
本发明实施例的采摘机器人，通过采用主架结构进行制造，结构简单，方便各个图像采集模块及机械臂的安装，耗费材料少，可以节省制造成本，有利于节能减排。
在本发明的实施例中，机器人本体的基座位置安装第二图像采集模块，通过测量第二图像采集模块的位姿矩阵，可以确定出基座坐标系。由此，通过第二图像采集模块可以对各个第一图像采集模块的图像进行坐标系标定，以将各个第一图像采集模块的图像转换到统一的基座坐标系中，便于各个图像进行融合处理，获取作业区域的全局果实分布信息。
在本发明的实施例中，各个图像采集模块分别与处理器进行电连接，处理器可以获取到各个第一图像采集模块采集作业区域中对应子区域的果树图像，以及获取基座坐标系，并可以对各个第一图像采集模块采集的果树图像进行坐标系标定，将各个果树图像统一转换到基座坐标系下进行表示。
更具体地，在本发明的实施例中，对多个第一图像采集模块进行标定的具体方法包括：
首先，观察多个第一图像采集模块（如立体视觉相机）所采集到的果树图像。通过控制多个机械臂的位置，调节多个第一图像采集模块对果树的观察位置，选取一组或者几组能够覆盖较大视场范围的观测位，确保作业空间内所有果实均位于各视场范围内，避免视觉盲区的出现；其次，在机器人基座固定位置安装一个第二图像采集模块D1，如图2所示，并手动测量该固定位置安装的第二图像采集模块与机器人基座坐标系的位姿矩阵。
然后，将标定板放置在所有第一图像采集模块的视野范围内，获取所有第一图像采集模块拍摄到的标定板RGB彩色图像，运行相机外部姿态参数标定算法，可以获取到各个第一图像采集模块与标定板的相对位姿关系~/>，并进一步求取各个第一图像采集模块与第二图像采集模块间的位姿关系/>~/>。
最后，再结合第二图像采集模块与标定板的位姿关系，通过下述公式可以获得A1~An各个第一图像采集模块与基座坐标系的位姿变换矩阵/>，即：
=/>；
式中，An表示第n个第一图像采集模块的坐标系；D表示第二图像采集模块的坐标系；B表示基座坐标系；board表示标定板坐标系。
进一步地，在本发明的实施例中，处理器可以基于获取的各个第一图像采集模块采集作业区域中对应视角上子区域的果树图像和基座坐标系，利用彩色图像和深度图像中各果实的深度信息进行点云投射，通过上述标定关系，可以获得作业区域内所有采摘目标在基座坐标系下的视觉信息，并通过对各个采摘目标的定位中心点计算，确定作业区域的全局果实定位分布信息，从而可以根据全局果实定位分布信息确定各个机械臂对应作业子区域中的局部果实定位分布信息，控制各个机械臂进行协同作业，采摘作业区域中的果实。
在本发明的实施例中，通过用多个相机在设定位置进行图像采集，可同步获得作业区域内所有采摘目标的视觉信息。经过目标定位以及坐标变换，得出所有的果实坐标，提高作业规划性能。相较于单一相机远距离的远距离观测，在安装上更易实现，且近距离观察有助于提高测量精度。同时，相较于单一相机不断移动来获取果实全局信息的方案，本发明实施例的方案不需要相机的反复移动，能够同步获取作业区域所有果实的全局分布信息，更具有时效性。另外，本发明实施例中多个视觉单元的检测结果能够起到相互校验的作用，因此可有效降低误检情况的发生。
在一些实施例中，各个第一图像采集模块完成图像采集后，各个第一图像采集模块可以通过有线连接、WIFI或4G/5G等通讯方式，将采集的果树图像发送给内设处理器的图像处理模块，如图形边缘计算芯片、图形工作站、图形服务器等，通过基于机器学习的图像识别、检测和分割等一系列算法，完成对果实目标的识别和定位。由于使用了多个图像采集模块，单一计算机难以同时完成控制规划和图形推理工作，需要配置多个图形推理装置，形成分布式方案。
可选地，在本实施例中，如采用4个立体视觉相机进行图像采集，根据系统对实时性的需要，可配置1~4个独立图形处理计算机来分摊图形计算压力。对图形计算资源的分配，考虑图形处理单元（GPU）和中央处理单元（CPU）的平衡，从而提高多个来源的图形计算效率。可采用如下方案：（1）1个独立图形计算单元处理2个立体视觉相机采集的图像信息，1个主控计算机处理另外2个立体视觉相机采集的图像信息；（2）2个独立图形计算单元分别处理1个立体视觉相机采集的图像信息，1个主控计算机处理2个立体视觉相机采集的图像信息；（3）1个主控计算机处理4个立体视觉相机采集的图像信息。上述集中方案可达到不同的应用效果，在具体应用结合性能和成本综合考虑。
在本实施例中，通过灵活配置图形计算资源，不依赖于单一的计算机图形处理，将任务分配至多个边缘计算平台，减轻主控系统压力，有助于节约硬件成本。
本发明实施例的采摘机器人，通过将多个图像采集模块设定在多臂采摘机器人本体上进行多视角图像采集，利用处理器将采集的各个视角的图像统一转换到机器人的基座坐标系下，同步获得作业区域内所有采摘目标的视觉信息，生成与机器人作业空间范围尺寸相匹配的全局果实定位分布信息，有利于各个机械臂可以高效协同作业，既可以实现在作业区域较近距离进行果实精准检测，获取较大范围内的果实信息，又可以提高果实定位的精度和范围，有利于大幅提升机器人的果实采摘效率。
图4是本发明提供的果实定位方法的流程示意图，如图4所示，可以理解的是，该方法可以应用于上述任一种采摘机器人中，其执行主体为采摘机器人中的处理器，该方法包括：步骤410，步骤420和步骤430。
步骤410，获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个果树图像输入至预设目标检测模型，得到预设目标检测模型输出的每个果树图像中各个果实的二维包围框信息和掩膜区域；
步骤420，利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个果树图像中各个果实的三维点云，并基于每个果树图像中各个果实的三维点云和二维包围框信息，确定每个果树图像中各个果实的定位坐标点；
步骤430，基于将每个果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定作业区域的全局果实定位分布信息。
具体地，本发明实施例所描述的二维包围框信息指的是利用目标检测算法对每个果树图像中各个果实进行目标检测，输出的完整包围果实目标的二维边框信息。
需要说明的是，预设目标检测模型可以是基于深度卷积神经网络模型构建的，例如YOLOv4网络模型，其包含一个共享的编码网络和两个承担不同任务的解码网络。其中，编码网络由负责特征提取的主干网络（Backbone）和收集不同阶段特征图的颈部网络（Neck）所构成；一个解码网络是由用于预测果实遮挡类型和完整二维包围框的目标检测头部网络（Detect Head）构成，另一个解码网络则由用于分割果实可见部分像素掩膜的实例分割头部网络（Segment Head）构成。
在本发明的实施例中，多机械臂采摘机器人移动至作业位点后，机器人主控系统发送启动指令，控制多臂机构到达设定观测位置。到达观测位置后，步骤410中，所有第一图像采集模块同时采集作业区域中对应子区域的果树图像，包括果树作业面的彩色图像以及深度图像，并将各个果树图像发送给处理器进行图像处理。处理器在获取各个第一图像采集模块采集的果树图像后，先将采集到的各个果树图像输入至预设目标检测模型中，预设目标检测模型将对果树图像中彩色图像上的果实目标进行图像分割，获得各个果实的掩膜区域以及二维包围框信息。
进一步地，在本发明的实施例中，步骤420中，利用各个果树图像的深度图像中各个果实的图像深度信息，确定各果实的掩膜像素区域的深度值，结合已知的相机内部成像模型参数，计算生成掩膜区域的三维点云，得到每个果树图像中各个果实的三维点云。同时，结合前述预设目标检测模型所输出的各个果实的二维包围框信息，通过计算每个果树图像中各个果实的三维点云和二维包围框信息的空间几何位置关系，估计出每个果树图像中各个果实的质心位置，从而得到每个果树图像中各个果实的定位坐标点。
进一步地，在本发明的实施例中，步骤430中，通过将每个果树图像中各个果实的定位坐标点转换到基座坐标系下，得到基座坐标系下的作业区域中所有果实的定位坐标点，基于此转换结果，在基座坐标系下处理重叠交错视野内的果实定位结果，对多个视觉采集视野中的同一果实目标进行剔除，避免规划过程的重复，最终生成作业区域的全局果实定位分布信息。
本发明实施例的采摘机器人的果实定位方法，通过将多个图像采集模块设定在多臂采摘机器人本体上进行多视角图像采集，并将采集的各个视角的图像统一转换到机器人的基座坐标系下，同步获得作业区域内所有采摘目标的视觉信息，生成与机器人作业空间范围尺寸相匹配的全局果实定位分布信息，确保各个机械臂可以高效协同作业，既可以实现在作业区域较近距离进行果实精准检测，获取较大范围内的果实信息，又可以提高果实定位的精度和范围，大幅提升了机器人的果实采摘效率。
基于上述实施例的内容，作为一种可选的实施例，基于每个果树图像中各个果实的三维点云和二维包围框信息，确定每个果树图像中各个果实的定位坐标点，包括：
利用点云聚类算法，对每个果树图像中各个果实的三维点云进行聚类计算，确定每个果树图像中各个果实的表面特征点；
根据每个果树图像中各个果实的二维包围框信息，生成每个果树图像中各个果实对应的三维视锥体以及视锥体中心线；
基于每个果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个果树图像中各个果实的定位坐标点。
具体地，本发明实施例所描述的表面特征点指的是用于描述果实表面特征的点。
在本发明的实施例中，在得到每个果树图像中各个果实的三维点云信息后，利用点云聚类以及滤波方法，对各个果实的三维点云进行聚类计算，求取点云质心，即得到每个果树图像中各个果实的表面特征点。
进一步地，在本发明的实施例中，根据每个果树图像中各个果实的二维包围框信息，利用几何光学原理，结合图像的拍摄焦点，进一步生成拍摄焦点到果实二维包围框光学路径上的三维视椎体，以及穿过二维包围框的视椎体中心线。
进一步地，在本发明的实施例中，基于每个果树图像中各个果实对应的视锥体中心线以及表面特征点之间的空间几何关系，计算出每个果树图像中各个果实的定位坐标点。
本发明实施例的方法，通过利用图像点云聚类计算来估计果实表面特征点位置，并结合光学视锥体的方法，从几何成像原理层面计算推理出各个果实的质心，实现对各个果实的识别定位，这对于果园中常见的果实受遮挡的场景具有较好的性能，可以大幅降低异物遮挡对果实定位的影响，提高了算法针对果实质心位置估计的精度。
基于上述实施例的内容，作为一种可选的实施例，基于每个果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个果树图像中各个果实的定位坐标点，包括：
针对每个果树图像中的各个果实，构建以表面特征点为球心，目标长度为半径的球体；目标长度是基于表面特征点对应的深度值确定的；
确定每个果树图像中的各个果实对应的视锥体中心线穿过其对应的球体的两个交点；
从每个果树图像中的各个果实对应的两个交点中确定离拍摄焦点距离大的交点为每个果树图像中的各个果实的定位坐标点。
具体地，在本发明的实施例中，针对每个果树图像中的各个果实，构建一个以表面特征点为球心，目标长度为半径的球体。其中，目标长度可以通过下述公式计算得到，即：
；
其中，表示完整的果实二维包围框在图像平面U轴上的边长；/>表示表面特征点所对应的深度值；/>表示相机在U轴上的比例因子；/>为目标长度，即是果实的半径。
随后，确定后，便可以构建一个以表面特征点/>为球心，/>为半径的球体。并求取每个果树图像中的各个果实对应的视锥体中心线穿过其对应球体的两个交点。
最后，从每个果树图像中的各个果实对应的两个交点中确定离拍摄焦点距离大的交点作为果实球体质心，即得到每个果树图像中的各个果实的定位坐标点。
本发明实施例的方法，通过考虑果实表面特征点与果实球体质心在几何空间上的关系，根据果实表面特征点位置求解果实球体质心，可以提高果实质心位置估计的精度，提高果实定位识别的准确率。
基于上述实施例的内容，作为一种可选的实施例，基于将每个果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定作业区域的全局果实定位分布信息，包括：
将每个果树图像中各个果实的定位坐标点转换到基座坐标系下，得到每个果树图像中各个果实在基座坐标系下的定位坐标点；
根据基座坐标系下各个果实的定位坐标点，确定相邻果实之间的定位坐标点对，并确定基座坐标系下各定位坐标点对之间的距离；
确定距离小于目标阈值的目标定位坐标点对，并从各目标定位坐标点对中剔除其中一个定位坐标点；
根据基座坐标系下保留的各个定位坐标点，生成作业区域的全局果实定位分布信息。
具体地，本发明实施例所描述的定位坐标点对指的是在同一基座坐标系下的所有果实定位坐标点中，取相邻两个定位坐标点所形成的点对。
本发明实施例所描述的目标阈值指的是预先设定的距离阈值，其可以用于判定相邻两个定位坐标点是否为同一重复的定位坐标点。该阈值的选取可根据实际情况灵活调节。
进一步地，在本发明的实施例中，在得到不同摄像视野下作业区域中各个果实的三维定位坐标点后，再通过前述确定好的相机外部位姿参数信息/>，将每个果树图像中各个果实的定位坐标点转换到统一的基座坐标系下，从而得到基座坐标系下作业区域中各个果实的定位坐标点/>。
为了剔除不同图像采集模块下，对同一果实目标的重复定位信息，在变换后筛选全部果实的定位坐标位置。
具体来说，根据基座坐标系下各个果实的定位坐标点，获取所有相邻果实之间的定位坐标点对，并计算出基座坐标系下各定位坐标点对之间的距离。将距离过于相近的果实定位坐标点进行判断，设定目标阈值，确定出距离小于目标阈值/>的目标定位坐标点对，并从目标定位坐标点对中剔除重复目标，即剔除目标定位坐标点对中的一个定位坐标点，从而可以根据基座坐标系下保留的各个定位坐标点，生成作业区域的全局果实定位分布信息，获得作业区域下完整的果实坐标分布，完成对大范围采摘作业区域中所有果实的精准定位。
本发明实施例的方法，通过将每个果树图像中各个果实的定位坐标点转换到基座坐标系下，处理重叠交错视野内的重复目标，对多个不同采集视野中的同一果实目标进行剔除，从而避免后续作业规划过程的重复，提高了机器人对采摘作业区域中所有果实全局定位结果的准确率，有利于提高多臂机器人的采摘效率。
下面对本发明提供的果实定位装置进行描述，下文描述的果实定位装置与上文描述的果实定位方法可相互对应参照。
图5是本发明提供的果实定位装置的结构示意图，如图5所示，该装置可以应用于上述任一种采摘机器人中，该装置包括：
输出模块510，用于获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；
定位模块520，用于利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；
处理模块530，用于基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
本实施例所述的果实定位装置可以用于执行上述果实定位方法实施例，其原理和技术效果类似，此处不再赘述。
本发明实施例的采摘机器人的果实定位装置，通过将多个图像采集模块设定在多臂采摘机器人本体上进行多视角图像采集，并将采集的各个视角的图像统一转换到机器人的基座坐标系下，同步获得作业区域内所有采摘目标的视觉信息，生成与机器人作业空间范围尺寸相匹配的全局果实定位分布信息，确保各个机械臂可以高效协同作业，既可以实现在作业区域较近距离进行果实精准检测，获取较大范围内的果实信息，又可以提高果实定位的精度和范围，大幅提升了机器人的果实采摘效率。
图6是本发明提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（processor）610、通信接口（Communications Interface）620、存储器（memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各方法所提供的果实定位方法，该方法包括：获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的果实定位方法，该方法包括：获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的果实定位方法，该方法包括：获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种果实定位方法，其特征在于，应用于采摘机器人，包括：
所述采摘机器人包括机器人本体，所述机器人本体包括处理器；所述机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；所述机器人本体包括多个机械臂；
每个机械臂周围对应安装有一个所述第一图像采集模块，各个所述第一图像采集模块不与对应的机械臂互相干涉；所述机器人本体的基座位置安装所述第二图像采集模块，用于确定基座坐标系；
所述处理器用于基于获取各个所述第一图像采集模块采集作业区域中对应子区域的果树图像和所述基座坐标系，确定所述作业区域的全局果实定位分布信息，并根据所述全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业；
所述果实定位方法包括：
获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；
利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；
基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息；
其中，所述基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息，包括：
获取各个所述第一图像采集模块与标定板的相对位姿关系，并求取各个所述第一图像采集模块与所述第二图像采集模块间的位姿关系；
结合所述第二图像采集模块与所述标定板的位姿关系，确定各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵；
利用各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵，将每个所述果树图像中各个果实的定位坐标点转换到所述基座坐标系下，得到每个所述果树图像中各个果实在所述基座坐标系下的定位坐标点；
根据所述基座坐标系下各个果实的定位坐标点，确定相邻果实之间的定位坐标点对，并确定所述基座坐标系下各所述定位坐标点对之间的距离；
确定所述距离小于目标阈值的目标定位坐标点对，并从各所述目标定位坐标点对中剔除其中一个定位坐标点；
根据所述基座坐标系下保留的各个定位坐标点，生成所述作业区域的全局果实定位分布信息；
其中，所述基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点，包括：
利用点云聚类算法，对每个所述果树图像中各个果实的三维点云进行聚类计算，确定每个所述果树图像中各个果实的表面特征点；
根据每个所述果树图像中各个果实的二维包围框信息，生成每个所述果树图像中各个果实对应的三维视锥体以及视锥体中心线；
基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点；
其中，所述基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点，包括：
针对每个所述果树图像中的各个果实，构建以所述表面特征点为球心，目标长度为半径的球体；所述目标长度是基于所述表面特征点对应的深度值确定的；
确定每个所述果树图像中的各个果实对应的视锥体中心线穿过其对应的球体的两个交点；
从每个所述果树图像中的各个果实对应的所述两个交点中确定离拍摄焦点距离大的交点为每个所述果树图像中的各个果实的定位坐标点；
其中，所述目标长度可以通过下述公式计算得到，即：
；
其中，表示果实二维包围框在图像平面U轴上的边长；/>表示所述表面特征点所对应的深度值；/>表示相机在所述U轴上的比例因子；/>表示所述目标长度；
其中，各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵是通过下述公式来确定的：
；
式中，An表示第n个第一图像采集模块的坐标系；D表示第二图像采集模块的坐标系；B表示基座坐标系；board表示标定板坐标系；表示各个第一图像采集模块与基座坐标系的位姿变换矩阵；/>表示各个第一图像采集模块与标定板的相对位姿关；/>表示第二图像采集模块与标定板的位姿关系；/>表示第二图像采集模块与机器人基座坐标系的位姿矩阵。
2.根据权利要求1所述的果实定位方法，其特征在于，所述机器人本体包括机身主架以及安装在所述机身主架上的多个连杆；
每个所述连杆上至少安装两个机械臂，每个所述连杆上安装有每个机械臂对应的第一图像采集模块，每个所述第一图像采集模块位于对应的机械臂的末端关节附近。
3.根据权利要求1所述的果实定位方法，其特征在于，所述机械臂为伸缩式机械臂；各个所述第一图像采集模块安装在对应的所述伸缩式机械臂的靠近手爪的一侧，每个所述第一图像采集模块的拍摄视角的中轴线与所述伸缩式机械臂的伸缩方向一致。
4.一种果实定位装置，其特征在于，应用于采摘机器人，包括：
所述采摘机器人包括机器人本体，所述机器人本体包括处理器；所述机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；所述机器人本体包括多个机械臂；
每个机械臂周围对应安装有一个所述第一图像采集模块，各个所述第一图像采集模块不与对应的机械臂互相干涉；所述机器人本体的基座位置安装所述第二图像采集模块，用于确定基座坐标系；
所述处理器用于基于获取各个所述第一图像采集模块采集作业区域中对应子区域的果树图像和所述基座坐标系，确定所述作业区域的全局果实定位分布信息，并根据所述全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业；
所述处理器包括输出模块、定位模块和处理模块；
所述输出模块，用于获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；
所述定位模块，用于利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；
所述处理模块，用于基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息；
其中，所述处理模块具体用于：
获取各个所述第一图像采集模块与标定板的相对位姿关系，并求取各个所述第一图像采集模块与第二图像采集模块间的位姿关系；所述第二图像采集模块，用于确定所述基座坐标系；
结合所述第二图像采集模块与所述标定板的位姿关系，确定各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵；
利用各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵，将每个所述果树图像中各个果实的定位坐标点转换到所述基座坐标系下，得到每个所述果树图像中各个果实在所述基座坐标系下的定位坐标点；
根据所述基座坐标系下各个果实的定位坐标点，确定相邻果实之间的定位坐标点对，并确定所述基座坐标系下各所述定位坐标点对之间的距离；
确定所述距离小于目标阈值的目标定位坐标点对，并从各所述目标定位坐标点对中剔除其中一个定位坐标点；
根据所述基座坐标系下保留的各个定位坐标点，生成所述作业区域的全局果实定位分布信息；
其中，所述定位模块具体用于：
利用点云聚类算法，对每个所述果树图像中各个果实的三维点云进行聚类计算，确定每个所述果树图像中各个果实的表面特征点；
根据每个所述果树图像中各个果实的二维包围框信息，生成每个所述果树图像中各个果实对应的三维视锥体以及视锥体中心线；
基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点；
其中，所述定位模块具体还用于：
针对每个所述果树图像中的各个果实，构建以所述表面特征点为球心，目标长度为半径的球体；所述目标长度是基于所述表面特征点对应的深度值确定的；
确定每个所述果树图像中的各个果实对应的视锥体中心线穿过其对应的球体的两个交点；
从每个所述果树图像中的各个果实对应的所述两个交点中确定离拍摄焦点距离大的交点为每个所述果树图像中的各个果实的定位坐标点；
其中，所述目标长度可以通过下述公式计算得到，即：
；
其中，表示果实二维包围框在图像平面U轴上的边长；/>表示所述表面特征点所对应的深度值；/>表示相机在所述U轴上的比例因子；/>表示所述目标长度；
其中，各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵是通过下述公式来确定的：
；
式中，An表示第n个第一图像采集模块的坐标系；D表示第二图像采集模块的坐标系；B表示基座坐标系；board表示标定板坐标系；表示各个第一图像采集模块与基座坐标系的位姿变换矩阵；/>表示各个第一图像采集模块与标定板的相对位姿关；/>表示第二图像采集模块与标定板的位姿关系；/>表示第二图像采集模块与机器人基座坐标系的位姿矩阵。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述果实定位方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述果实定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296030.7A CN117021059B (zh) | 2023-10-09 | 2023-10-09 | 采摘机器人及其果实定位方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296030.7A CN117021059B (zh) | 2023-10-09 | 2023-10-09 | 采摘机器人及其果实定位方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117021059A CN117021059A (zh) | 2023-11-10 |
| CN117021059B true CN117021059B (zh) | 2024-02-06 |
Family
ID=88635818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311296030.7A Active CN117021059B (zh) | 2023-10-09 | 2023-10-09 | 采摘机器人及其果实定位方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117021059B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117644520A (zh) * | 2024-01-29 | 2024-03-05 | 北京市农林科学院智能装备技术研究中心 | 多臂机器人采摘任务规划方法、装置、电子设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101285676A (zh) * | 2008-06-10 | 2008-10-15 | 北京航空航天大学 | 一种基于一维靶标的多视觉传感器全局校准方法 |
| CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
| CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
| CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
| CN106600654A (zh) * | 2017-01-24 | 2017-04-26 | 浙江四点灵机器人股份有限公司 | 一种大视角的深度相机拼接装置及拼接方法 |
| CN108470165A (zh) * | 2018-03-22 | 2018-08-31 | 常州大学 | 一种采摘机器人果实视觉协同搜索方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| CN109684941A (zh) * | 2018-12-07 | 2019-04-26 | 华南农业大学 | 一种基于matlab图像处理荔枝果实采摘区域划分方法 |
| EP3628995A1 (de) * | 2018-09-26 | 2020-04-01 | Göpel electronic GmbH | Kalibriervorlage und kalibrierverfahren zum geometrischen kalibrieren einer vielzahl von kameras eines kamera-arrays |
| CN113519272A (zh) * | 2021-08-17 | 2021-10-22 | 华南农业大学 | 基于视觉识别的仿生蜈蚣爪结构小果实采摘机器人 |
| CN115589845A (zh) * | 2022-08-25 | 2023-01-13 | 四川天启智能科技有限公司（Cn） | 一种智能采棉机器人及其采棉作业路径规划方法 |
| CN116079734A (zh) * | 2023-02-01 | 2023-05-09 | 中国科学院宁波材料技术与工程研究所 | 一种基于双视觉检测的协作机器人的装配控制系统及方法 |
-
2023
- 2023-10-09 CN CN202311296030.7A patent/CN117021059B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101285676A (zh) * | 2008-06-10 | 2008-10-15 | 北京航空航天大学 | 一种基于一维靶标的多视觉传感器全局校准方法 |
| CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
| CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
| CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
| CN106600654A (zh) * | 2017-01-24 | 2017-04-26 | 浙江四点灵机器人股份有限公司 | 一种大视角的深度相机拼接装置及拼接方法 |
| CN108470165A (zh) * | 2018-03-22 | 2018-08-31 | 常州大学 | 一种采摘机器人果实视觉协同搜索方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| EP3628995A1 (de) * | 2018-09-26 | 2020-04-01 | Göpel electronic GmbH | Kalibriervorlage und kalibrierverfahren zum geometrischen kalibrieren einer vielzahl von kameras eines kamera-arrays |
| CN109684941A (zh) * | 2018-12-07 | 2019-04-26 | 华南农业大学 | 一种基于matlab图像处理荔枝果实采摘区域划分方法 |
| CN113519272A (zh) * | 2021-08-17 | 2021-10-22 | 华南农业大学 | 基于视觉识别的仿生蜈蚣爪结构小果实采摘机器人 |
| CN115589845A (zh) * | 2022-08-25 | 2023-01-13 | 四川天启智能科技有限公司（Cn） | 一种智能采棉机器人及其采棉作业路径规划方法 |
| CN116079734A (zh) * | 2023-02-01 | 2023-05-09 | 中国科学院宁波材料技术与工程研究所 | 一种基于双视觉检测的协作机器人的装配控制系统及方法 |
Non-Patent Citations (5)
| Title |
|---|
| Occluded Apple Fruit Detection and Localization with a Frustum-Based Point-Cloud-Processing Approach for Robotic Harvesting;Tao Li等;REMOTE SENSING;第14卷(第3期);1-18 * |
| Tao L.等.A multi-arm robot system for efficient apple harvesting: Perception, task plan and control.Computers and Electronics in Agriculture.2023,第21卷1-20. * |
| 一种重叠视场的多相机系统外参标定方法及仿真;张南等;第21届中国系统仿真技术及其应用学术年会论文集;116-120 * |
| 冯青春等.苹果四臂采摘机器人系统设计与试验.农业工程学报.2023,第39卷(第13期),25-33. * |
| 苹果四臂采摘机器人系统设计与试验;冯青春等;农业工程学报;第39卷(第13期);25-33 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117021059A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110587600B (zh) | 基于点云的带电作业机器人自主路径规划方法 | |
| Lili et al. | Development of a tomato harvesting robot used in greenhouse | |
| CN111602517B (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN117021059B (zh) | 采摘机器人及其果实定位方法、装置、电子设备及介质 | |
| CN114061486B (zh) | 面向飞机大型蒙皮曲面的自动化测量装置及其测量方法 | |
| CN111679291A (zh) | 基于三维激光雷达的巡检机器人目标定位配置方法 | |
| CN109255302A (zh) | 目标物识别方法及终端、移动装置控制方法及终端 | |
| CN108550141A (zh) | 一种基于深度视觉信息的运动车斗自动识别与定位方法 | |
| CN109872355B (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
| CN113276106A (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN110702028B (zh) | 一种果园树干三维检测定位方法及装置 | |
| CN111178138B (zh) | 基于激光点云和双目视觉的配网导线作业点检测方法及装置 | |
| Kim et al. | As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| Li et al. | Development and field evaluation of a robotic harvesting system for plucking high-quality tea | |
| Zhang et al. | A fast detection and grasping method for mobile manipulator based on improved faster R-CNN | |
| Li et al. | Identification of the operating position and orientation of a robotic kiwifruit pollinator | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
| CN116439018A (zh) | 一种七自由度水果采摘机器人及其采摘方法 | |
| CN115686073A (zh) | 一种基于无人机的输电线路巡检控制方法及系统 | |
| CN113920020B (zh) | 一种基于深度生成模型的人体点云实时修复方法 | |
| Chandra et al. | Garbage detection and path-planning in autonomous robots | |
| KR20220089463A (ko) | 피킹 로봇을 위한 비젼 분석 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |