CN116619388B - 一种基于主动视觉策略的视点规划方法及其采摘系统 - Google Patents

一种基于主动视觉策略的视点规划方法及其采摘系统 Download PDF

Info

Publication number
CN116619388B
CN116619388B CN202310860465.3A CN202310860465A CN116619388B CN 116619388 B CN116619388 B CN 116619388B CN 202310860465 A CN202310860465 A CN 202310860465A CN 116619388 B CN116619388 B CN 116619388B
Authority
CN
China
Prior art keywords
picking
viewpoint
point
space
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310860465.3A
Other languages
English (en)
Other versions
CN116619388A (zh
Inventor
张东波
易涛
罗江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202310860465.3A priority Critical patent/CN116619388B/zh
Publication of CN116619388A publication Critical patent/CN116619388A/zh
Application granted granted Critical
Publication of CN116619388B publication Critical patent/CN116619388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于主动视觉策略的视点规划方法及其采摘系统，该方法包括：获取采摘系统拍摄的采摘图像并确定采摘点区域；构建三维体素地图以及离散空间；生成若干候选视点，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点；最后基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上相机视点。其中，本发明以一种全新的技术思路以及技术手段来实现视点规划，引入空间遮挡率来评估遮挡，从而引导采摘机器臂对理想观测视点的预测，从源头上解决遮挡问题，提高采摘成功率，所述方法在葡萄采摘应用中效果显著，克服了果梗在高度遮挡环境下面临的采摘技术障碍。

Description

一种基于主动视觉策略的视点规划方法及其采摘系统
技术领域
本发明属于机械臂采摘控制技术领域，具体涉及一种基于主动视觉策略的视点规划方法及其采摘系统。
背景技术
理想情况下，机器人采摘作业过程可以简要的概括为先由视觉系统对采摘点进行定位，再根据定位信息对机器人进行运动规划，最后通过视觉伺服系统控制作业机构进行采摘作业。但是，现实情况是机器人采摘作业是在高度遮挡的环境下进行，果叶和枝干的遮挡将导致机器人的视觉系统无法从当前视角下找到采摘点位置，进而导致整个采摘作业过程无法完成。所以，解决遮挡问题成为采摘机器人提高采摘成功率优先要解决的问题。
发明专利《面向采摘机器人的遮挡和重叠果实识别方法》(公开号：CN114882498A)公开了一种面向采摘机器人的遮挡和重叠果实识别方法，提出Dense-TRH-YOLO模型，使用深度学习的方法增加对遮挡物的识别精度。这类方法在部分遮挡的情况下能取得一定效果，但是葡萄这类型水果有其特殊的采摘情况，采摘点不作用在果实上而是在目标较小的果梗，大多数情况下果叶对果梗的遮挡覆盖率能达到100％，所以研究图像的识别和定位算法从已有图像的基础上提高识别和定位成功率无法根本上解决高度遮挡的问题。
不同于从已有图像的基础上提高识别成功率的解决遮挡问题常规思路，主动视点规划方法从采集图像的源头入手，根据已有的分析结果和当前任务的需求，控制摄像机的运动，并且从合适的视角获取相应的图像。目前采摘机器人基于遮挡空间的主动视点规划方法的研究还很少，尤其是相机的理想观测视角预测模型还不明朗。为了实现机器人的自主采摘行为，迫切需要对该内容展开研究。
发明内容
本发明的目的是解决采摘技术中高度遮挡带来的采摘成功率有待提高的技术问题，提供一种基于主动视觉策略的视点规划方法及其采摘系统。其中，本发明所述方法不同于常规技术思路，即从已有图像的基础上提高识别成功率来解决遮挡问题，而是从视觉规划出发，引入空间遮挡率实现视点预测，进而通过机械臂控制相机移动，得到更佳的视角，即能够观察到果梗，进而获取对应的图像，提高采摘系统的采摘成功率。
为此，本发明提供下述技术方案：
一方面，本发明提供的一种基于主动视觉策略的视点规划方法，包括以下步骤：
步骤1：获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域；
步骤2：构建所述采摘点区域的三维体素地图以及离散空间；
步骤3：生成若干候选视点(在葡萄周围产生n个候选视点，优选候选视点包含上一次预测的理想观测视点)，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点；
其中，所述离散空间用于近似替代所述采摘点区域，所述空间遮挡率是用离散空间中离散点被当前所述三维体素地图的遮挡占比来表示空间的遮挡；
步骤4：基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点；其中，判断当前视点是否满足采摘要求，若不满足，依据步骤2-步骤4继续更新深度相机对应视点，直至满足采摘要求，再进行采摘。
进一步优选，所述空间遮挡率按照如下公式确定：
SC(M,V)＝OccludePoint(M,V)/QT*100％
式中，SC(M,V)表示在当前的三维体素地图M下候选视点V的空间遮挡率，OccludePoint(M,V)表示从候选视点V向离散空间内所有离散点发射光线，被当前的三维体素地图M遮挡的离散点数；QT为所述离散空间中的离散点数。
进一步优选，基于空间遮挡率的打分函数如下所示：
score(V)＝[SC(M,Vinit)-SC(M,V)]e-λ·L(V.p,Vcurrent.p)
式中，score(V)为候选视点V的得分，SC(M,V)和SC(M,Vinit)分别表示在当前的三维体素地图M下候选视点V和当前采摘动作的初始视点Vinit的空间遮挡率；L(V.p,Vcurrent.p)表示候选视点V所在位置距离当前视点Vcurrent所在位置的欧几里得距离，p是在世界坐标系∑xoy下xyz坐标表示的位置，λ为预设的常数，e为自然底数。需要说明的是，Vcurrent表示视点，加入p后，Vcurrent.p表示该视点Vcurrent在世界坐标系∑xoy下xyz坐标表示的位置。
进一步优选，所述离散空间是以所述采摘点区域的中心点Q作为中心点，并定义相邻离散点之间的间距σ后构建的，其中，所述离散空间中的离散点数QT满足：
QT＝(2*[|Xw-XP|/σ]+1)*(2*[|Yw-YP|/σ]+1)*(2*[|Zw-ZP|/σ]+1)
其中，中心点Q在世界坐标系∑xoy下的坐标表示为：Q(Xw,Yw,Zw)，Xw,Yw,Zw为中心点Q在x,y,z方向上的坐标值，(XP,YP,ZP)为采摘点区域的顶点P在世界坐标系∑xoy下的坐标，XP,YP,ZP为顶点P在x,y,z方向上的坐标值，σ为离散空间内相邻两点间距。
进一步优选，步骤4中基于所述理想观测视点，控制所述采摘系统的机械臂移动的过程如下：
首先，确定所述理想观测视点与当前采摘动作规划的所有视点中距离最近的视点位置Vnear.p，其中，以Vpre_goal.p表示所述理想观测视点的位置；
其次，以Vnear.p为起点，Vpre_goal.p为终点确定两者之间的距离d，若距离d大于设定的步长StepSize，选取Vnear.p与Vpre_goal.p连线上步长StepSize位置处的点作为机械臂下一个移动位置Vnew.p；当d小于或等于步长StepSize时，选取Vpre_goal.p视点的位置作为机械臂下一个移动位置Vnew.p；以及计算出视点的欧拉角Vnew.α,Vnew.β,Vnew.γ；
最后，通过控制机械臂移动深度相机至视点Vnew.p位置，深度相机姿态为：[Vnew.α,Vnew.β,Vnew.γ]。
进一步优选，所述候选视点的表示为：
Views＝[V1,V2,...,Vn-1,Vpre_goal]
其中，Vpre_goal为上一次预测的理想观测视点，n-1个候选视点V1,V2,...,Vn-1中部分视点先通过全局随机采样，再按照下述公式确定候选视点坐标，剩余部分视点以Vpre_goal为球心，在R为半径的球形区域内进行随机均匀采样。
进一步优选，步骤1中基于所述采摘图像进行图像处理确定采摘点区域的过程如下：
首先，将所述采摘图像输入Mask_RCNN网络进行分割，得到采摘目标和采摘梗的分类结果、检测框和分割结果；
然后，基于采摘目标区域的质心点、深度相机的内外参确定采摘点区域的中心点Q；
其次，基于检测框的宽度以及采摘点区域的中心点Q，确定采摘点区域，其中，以中心点Q为中心，边长为1.5w的立体区域作为采摘点区域，w为检测框的宽度。
二方面，本发明提供一种基于上述主动视点规划方法的采摘系统，至少包括：机械臂、移动平台基座、夹爪、深度相机以及控制器；
其中，所述机械臂的首端安装在所述移动平台基座上，所述机械臂的末端设有夹爪和深度相机，所述控制器与所述机械臂的控制元件连接，用于控制所述机械臂动作；
所述控制器中载入或调用所述主动视点规划方法的计算机程序，以生成控制指令控制所述机械臂动作，从而调整机械臂上深度相机的位置，直至满足采摘要求，再进行采摘。
三方面，本发明提供一种基于上述主动视点规划方法的系统，包括：
照片获取模块，用于获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域；
构图模块，用于构建所述采摘点区域的三维体素地图以及离散空间；
视点规划模块，用于生成若干候选视点，并基于空间遮挡率的打分函数计算每个候选视点的得分，并基于得分高低从所述候选视点中选择理想观测视点；
其中，所述离散空间用于近似替代所述采摘点区域，所述空间遮挡率是用离散空间中离散点被当前的所述三维体素地图的遮挡占比来表示空间的遮挡；
控制模块，用于基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点；其中，判断当前视点是否满足采摘要求，若不满足，依托构图模块、视点规划模块以及控制模块继续更新深度相机对应视点，直至满足采摘要求，再进行采摘。
四方面，本发明提供一种电子终端，其至少包括：一个或多个处理器；以及存储了一个或多个计算机程序的存储器；其中，所述处理器调用所述计算机程序以执行：
一种基于主动视觉策略的视点规划方法的步骤。
五方面，本发明提供一种计算机可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以执行：
一种基于主动视觉策略的视点规划方法的步骤。
有益效果
与现有方法相比，本发明的优点有：
1.本发明技术方案提供了一种基于主动视觉策略的视点规划方法，不同于从已有图像的基础上提高识别成功率的解决遮挡问题的常规思路，引入空间遮挡率量化遮挡情况，进而基于空间遮挡率实现视点预测，以一种全新的技术思路以及技术手段进行视点规划，得到更符合采摘需求的视点，降低遮挡，从源头上解决遮挡问题，提高采摘成功率。
2.本发明技术方案为了实现视点规划，提出了利用空间遮挡率构建打分函数，从而对空间遮挡情况进行量化，得到更加准确的遮挡评估，从而提高了视点规划准确率。其中，基于空间遮挡率预测理想观测视角方法相比于获取最大信息增益预估理想观测视角的方法，计算更加简单，运算时间更短，效率更高。
3.本发明进一步的优选方案中，即使得到了理想观测视点，也未直接将机械臂移动到预测的视角，而是以随机扩展树的方式向理想观测视点方向移动，充分考虑在开始阶段存在三维体素图不完善导致的空间遮挡率与实际存在误差。
综上，本发明技术方案以一种全新的技术思路来解决采摘过程存在的遮挡问题，且本发明所述方法在葡萄采摘中更是表现突出，克服了现有技术中因为葡萄果梗较小，葡萄叶片繁茂带来的高度遮挡问题，有效保证串型葡萄的果梗在果叶高度遮挡的情况下通过改变观测视角来提高采摘的成功率。
附图说明
图1为本发明实施例提供的主动视点规划方法的系统框架图；
图2为本发明实施例提供的采摘点区域示意图；
图3为三维体素建图前的遮挡示意图；
图4是三维体素图后的遮挡示意图；
图5为基于采摘点局部区域快速建图后的效果示意图。
具体实施方式
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
本发明技术方案提供的基于主动视觉策略的视点规划方法，应用于采摘系统/采摘机器人上，用于实现采摘。下面将结合实施例对本发明做进一步的说明，下述实施例以应用于葡萄采摘为例进行说明，应当理解，在不脱离本发明构思的基础上，也可以应用本发明技术方案至其他串型果实采摘或相似类别的采摘。
实施例1：
如图1所示，本发明实施例1使用的采摘系统至少包含机械臂、移动平台基座、夹爪、深度相机以及控制器；其中，优选6自由度机械臂，机械臂的首端安装在移动平台基座上，机械臂的末端设有夹爪和深度相机，深度相机用于获取实时的图像信息以及深度信息，以供后续构建采摘点区域的三维体素地图。控制器与所述机械臂的控制元件连接，用于控制所述机械臂动作，其中，控制器内载入或调用主动视点规划方法对应的计算机程序，以生成控制指令控制机械臂动作，从而带动深度相机移动，转换视点，使得深度相机可以拍摄到更适合采摘控制的图像，即遮挡更少，至少可以看到果梗。
本实施例中，上述采摘系统具备采摘作业灵活以及感知信息丰富的优势，利用深度相机，不仅能够获取目标葡萄的颜色信息，还能获取对应的深度数据，有利于机器人从三维空间上感知采摘点区域的遮挡情况，从而引导机械臂执行遮挡规避动作。应当理解，6自由度的机械臂、移动平台基座、夹爪、深度相机以及控制器等均为本领域的常用元器件，本发明对其具体型号不进行具体的约束，其中，控制器内载入或调用的计算机程序对应的主动视点规划方法将在下文进行具体陈述。
实施例2：
本实施例提供的一种基于主动视觉策略的视点规划方法，其通过递进式的调整视点位置，使其不断逼近理想视点位置，最终使得采摘系统能够观察到果梗，提高采摘成功率，该主动视点规划方法包括以下步骤：
步骤1：获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域。
本实施例通过深度相机获取采摘图像后优先利用Mask_RCNN网络进行图像分割处理。如图2所示，通过Mask_RCNN网络对葡萄果实和果梗进行分割；基于葡萄生长特点预估采摘点区域的位置。其中，具体实现过程如下：
S11：将所述采摘图像输入Mask_RCNN网络进行分割，得到采摘葡萄和果梗的分类结果、检测框和分割结果。
其中，Mask_RCNN网络结构由三部分组成：骨干网络使用ResNet-101来提取图像的特征，FPN网络来融合这些特征，RPN使用卷积层滑动窗口来扫描特征图中的锚框。由于Mask_RCNN网络是现有网络，因此对其构造不进行具体的陈述。本实施例技术方案预先利用葡萄图像进行网络训练，该Mask_RCNN网络的输入数据是深度相机采集的采摘图像，即RGB彩色图像，输出为葡萄和果梗的类别、检测框，分割区域。应当理解，若是本发明技术方案应用于其他植物时，输出为果实和果梗的类别、检测框、分割区域。
S12：基于采摘目标区域的质心点、相机的内外参确定采摘点区域的中心点Q。
Mask_RCNN网络生成了目标葡萄的形态，进而根据图像质心矩的定义，在像素坐标系∑uov中，葡萄质心点PC(uc,vc)由以下公式给出：
uc＝Σuf(u,v)/Σf(u,v)
vc＝Σvf(u,v)/Σf(u,v)
式中，u,v表示图像坐标系下的像素坐标；f(u,v)表示二值图像在(u,v)处的像素值。
由于葡萄串重力的作用，使得葡萄在没有其他支撑物干扰的情况下通常是垂直下坠而悬挂于空中，因而果梗常位于葡萄质心正上方。葡萄轮廓的顶点为T(ut,vt)，Mask_RCNN网络输出检测框的宽为w，考虑到夹剪作业机构的作业空间裕度，在像素坐标系∑uov下定义果梗所在的感兴趣区域(图2中虚线框区域)的中心坐标D(uc,vt-3*w/8)。三维体素地图是在∑xoy下构建，要将∑uov中的D点转化到∑xoy下得到采摘点区域中心点Q。坐标转化的过程中需要使用D点的深度Zd，但是由于果叶的遮挡无法从深度相机直接获取，根据葡萄生长特点，本发明技术方案使用葡萄质心测量的深度Zc和葡萄赤道半径r近似估计Zd：
Zd＝Zc+r
采摘点区域中心点在∑xoy下的坐标Q(Xw,Yw,Zw)由以下公式给出：
式中，K2为深度相机的外参数，K1为深度相机的内参数，分别如下：
其中，f为相机焦距；dx和dy为像元尺寸；cu和cv为深度图像中心坐标；R和t分别为相机坐标系相对于世界坐标系∑xoy的旋转矩阵和平移矩阵。
确定采摘点区域中心点Q后，本实施例以Q为中心，边长为1.5w的立体区域S作为采摘点区域。需要说明的是，上述技术方案是本发明实施例的优选方式但不是唯一方式，其他可行的实施例中，能够从采摘图像中提取采摘点区域的技术方案也落入本发明的保护范围。
步骤2：构建所述采摘点区域的三维体素地图以及离散空间。其中，本实施例优选构建基于八叉树的三维体素地图，八叉树中每个节点代表一个立方体(通常称为体素)所包含的空间，一个体积被递归地细分为八个子体积，直到达到一个给定的最小体素尺寸。其中，本发明技术方案从当前视点获取深度图像，再将深度图像转化为点云数据，然后根据光线投射算法计算每个点云被占用的体素和被占用的概率，当被占用的概率大于预设阈值(视为经验值，依据精度需求可以适应性调整)，认为该体素被占用，最后更新八叉树的状态，实现三维体素地图构建。由于三维体素地图以及点云被占用的体素和概率计算均为现有技术，因此本发明对其不进行详细陈述。
其中，为了提高构图速度，本发明提出建立深度图像像素与采摘点区域S之间的投影关系得到采摘点区域S在深度图像上的投影，进而只依据采摘点区域S内的点云数据进行构图，降低点云数据的输入。即将采摘点区域的8个顶点投影到深度图像平面中，并将对应投影点按序连接，其外轮廓的平面多边形记为PG，如图3和图4所示为建图前后对比效果示意图。
关于离散空间：本发明引入空间遮挡率SC用于评估遮挡，其目的在于引导采摘机器人对理想观测视点的预测。它的核心思想是采用一个离散空间近似替代采摘点区域，在需要评估的采样视角发射光线到离散空间的每一个离散点，根据离散点被当前三维体素地图遮挡占比来表示空间的遮挡。因此离散空间的构建尤为重要，其中，本发明选取采摘点区域中心Q作为离散空间的中心点，并定义离散空间相邻两点间距为σ，采摘点区域的一个顶点坐标P。考虑到三维体素地图是基于采摘点区域构建，所以离散空间应该在采摘点空间区域内，同时离散点的密集度反映了离散空间与采摘点区域相似程度，需要在有限的空间中最大限度的增加离散点。综合上述两个因素，离散空间中的离散点数QT满足：
QT＝(2*[|Xw-XP|/σ]+1)*(2*[|Yw-YP|/σ]+1)*(2*[|Zw-ZP|/σ]+1)
其中，中心点Q在世界坐标系∑xoy下的坐标表示为：Q(Xw,Yw,Zw)；(XP,YP,ZP)为采摘点区域的顶点P在世界坐标系∑xoy下的坐标。
基于三维体素地图以及离散空间，一个视点对应的空间遮挡率表示为：
SC(M,V)＝OccludePoint(M,V)/QT*100％
式中，SC(M,V)表示在当前的三维体素地图M下候选视点V的空间遮挡率，OccludePoint(M,V)表示从候选视点V向离散空间内所有离散点发射光线，被当前的三维体素地图M遮挡的离散点数；QT为所述离散空间中的离散点数。如图5所示，图中部分离散点表示三维体素地图对离散点未遮挡，部分离散点表示被遮挡。
步骤3：生成若干候选视点，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点。
本发明提出空间遮挡率的目的是构建以空间遮挡率为基础视点规划器，视点规划器的输出是深度相机的视角，定义为v＝[pT,α,β,γ]T∈R6。它由深度相机位置p＝[x,y,z]T∈R3，围绕x轴旋转的滚转角α，围绕y轴旋转的俯仰角β，围绕z轴旋转的偏航角γ组成，对应下文欧拉角Vnew.α,Vnew.β,Vnew.γ。本实施例中，视点规划器优选以快速扩展随机树算法(RRT)为基础，为了加速RRT算法的搜索过程，采用空间遮挡率预测理想视角的方法，形成了空间遮挡率快速扩展随机树算法(SC-RRT)。具体包含如下步骤：
S31：生成候选视点Views＝[V1,V2,...,Vn-1,Vpre_goal]。其中，在葡萄周围产生n个候选视点，优选候选视点包含上一次预测的理想观测视点。本实施例中，n-1个候选视点V1,V2,...,Vn-1中部分视点先通过全局随机采样，再按照下述公式确定候选视点坐标，剩余部分视点以Vpre_goal为球心，在R为半径的球形区域内进行随机均匀采样，具体如下：
一方面，为了保证采摘点区域和葡萄尽可能的在视野内，使用候选视点位置Vi.p和葡萄质心位置得到相机视点的方向向量并计算候选视点Vi的欧拉角，使得葡萄质心始终位于视野的中心。因为候选视点Vi的欧拉角是根据候选视点位置Vi.p计算得到，所以生成候选视点随机采样时只需要考虑视角的位置Vi.p。在以采摘点区域中心Q为球心的球坐标系下，定义全局随机采样点坐标其中,r∈[Rmin,Rmax]，Rmin表示深度相机可以测量的最小深度，Rmax表示机械臂可以到达的最大半径。θ∈[60°,150°]，/>转化到∑xoy，Vi.p由以下式子给出：
Vi.p.z＝Q.z+rcosθ
二方面，剩下的候选视点在以Vpre_goal.p为球心，R1为半径的球形区域内部进行随机均匀采样，数学表达式为：
||Vi.p-Vpre_goal.p||≦R1
其他可行的实施例中，可以采取其他随机采样方式或其他方式来构建候选视点。
S32：利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点。其中，本发明根据根据最大限度降低空间遮挡率原则定义了打分函数，如下：
score(V)＝[SC(M,Vinit)-SC(M,V)]e-λ·L(V.p,Vcurrent.p)
式中，score(V)为得分，SC(M,V)和SC(M,Vinit)分别表示在当前的三维体素地图M下候选视点V和当前采摘动作的初始视点Vinit的空间遮挡率；L(V.p,Vcurrent.p)表示候选视点V所在位置距离当前视点Vcurrent所在位置的欧几里得距离，p是在世界坐标系∑xoy下xyz坐标表示的位置，e为自然底数，λ为预设的常数，常数λ用于衡量机器人运动成本相对于预期遮挡降低的重要性，较小的λ优先考虑的是空间遮挡率的下降，而λ→∞意味着运动是如此昂贵以至于选择了最短的路径。λ是正数常量，通过实验确定大小。
本实施例以得分最高的候选视点作为理想观测视点，其他可行的实施例中，以分数越高，为理想观测视点的概率越大的准则选择理想观测视点的技术方案也落入本发明的保护范围。
步骤4：基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点。其中，判断当前视点是否满足采摘要求，若不满足，依据步骤2-步骤4继续更新深度相机对应视点，直至满足采摘要求，再进行采摘。如本实施例中采摘要求是至少能够看到果梗，其他可行的实施例中，还可以在看到果梗的基础上进一步提高视觉要求，如遮挡更少。
本实施例未直接将机械臂移动到预测的理想观测视点，而是以随机扩展树的方式向理想观测视点方向移动，充分考虑在开始阶段存在采摘点区域建图不完善导致的空间遮挡率与实际存在误差。优先基于快速扩展随机树RRT算法按照下述过程控制机械臂：
首先，确定所述理想观测视点与当前采摘动作规划的所有视点中距离最近的视点位置Vnear.p，其中，以Vpre_goal.p表示所述理想观测视点的位置；其次，以Vnear.p为起点，Vpre_goal.p为终点确定两者之间的距离d，若距离d大于设定的步长StepSize，选取Vnear.p与Vpre_goal.p连线上步长StepSize位置处的点作为机械臂下一个移动位置Vnew.p；当d小于或等于步长StepSize时，选取Vpre_goal.p视点的位置作为机械臂下一个移动位置Vnew.p；以及计算出欧拉角Vnew.α,Vnew.β,Vnew.γ；最后，通过控制机械臂移动深度相机至视点Vnew.p位置，深度相机姿态为：[Vnew.α,Vnew.β,Vnew.γ]。
综上，本发明技术方案有效保证串型葡萄的果梗在果叶高度遮挡的情况下通过改变观测视角来提高采摘的成功率。本发明为了使得机器人能更好的理解采摘点区域的遮挡，提出一种新颖的基于采摘点局部区域快速三维体素建图方法。该方法通过建立深度图像像素与采摘点区域S之间的投影关系得到区域S在深度图像上的投影，建图过程中只计算区域内的点云数据从而降低点云数据的输入加快建图过程。对于理想观测视点的预测，本发明提出一个空间遮挡率的概念，通过包含空间遮挡率的打分函数对目标葡萄周围随机产生n个候选视点进行评估，选取最大限度降低空间遮挡率的候选视点作为理想观测视点，应用RRT算法计算下一个观测视点。本发明提出的基于空间遮挡率的主动视点规划方法能有效降低采摘点区域的空间遮挡率，提高采摘作业的成功率。
实施例3：
本实施例提供一种基于上述主动视点规划方法的系统，包括：
照片获取模块，用于获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域；
构图模块，用于构建所述采摘点区域的三维体素地图以及离散空间；
视点规划模块，用于生成若干候选视点，并基于空间遮挡率的打分函数计算每个候选视点的得分，并基于得分高低从所述候选视点中选择理想观测视点；
其中，所述离散空间用于近似替代所述采摘点区域，所述空间遮挡率是用离散空间中离散点被当前的所述三维体素地图遮挡占比来表示空间的遮挡；
控制模块，用于基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点；其中，判断当前视点是否满足采摘要求，若不满足，依托构图模块、视点规划模块以及控制模块继续更新深度相机对应视点，直至满足采摘要求，再进行采摘。
应当理解，各个模块的实现过程可以参照前述方法的内容陈述，上述功能模块的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例4：
本发明提供一种电子终端，其至少包括：一个或多个处理器；以及存储了一个或多个计算机程序的存储器；其中，所述处理器调用所述计算机程序以执行：一种基于主动视觉策略的视点规划方法的步骤。
具体执行：
步骤1：获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域。
步骤2：构建所述采摘点区域的三维体素地图以及离散空间。
步骤3：生成若干候选视点，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点。
步骤4：基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上相机获取的视点。其中，判断当前视点是否满足采摘要求，若不满足，依据步骤2-步骤4继续更新深度相机对应视点，直至满足采摘要求，再控制机械臂上的夹爪进行采摘。
各个步骤的具体实现过程请参照前述方法的阐述。
其中，存储器可能包含高速RAM存储器，也可能还包括非易失性除颤器，例如至少一个磁盘存储器。
如果存储器、处理器独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构总线，外部设备互联总线或扩展工业标准体系结构总线等。所述总线可以分为地址总线、数据总线、控制总线等。
可选的，在具体实现上，如果存储器、处理器集成在一块芯片上，则存储器、处理器可以通过内部接口完成相互之间的通信。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)或图形处理器(GPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例5：
本发明提供一种计算机可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以执行：一种基于主动视觉策略的视点规划方法的步骤。
具体执行：
步骤1：获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域。
步骤2：构建所述采摘点区域的三维体素地图以及离散空间。
步骤3：生成若干候选视点，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点。
步骤4：基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上相机的位置，即获取的视点。其中，判断当前视点是否满足采摘要求，若不满足，依据步骤2-步骤4继续更新深度相机对应视点，直至满足采摘要求，再控制机械臂上的夹爪进行采摘。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (9)

1.一种基于主动视觉策略的视点规划方法，其特征在于：包括以下步骤：
步骤1：获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域；
步骤2：构建所述采摘点区域的三维体素地图以及离散空间；
步骤3：生成若干候选视点，并利用基于空间遮挡率的打分函数计算每个候选视点的得分，再以得分高低为依据从所述候选视点中选择理想观测视点，得分越高，为理想观测视点的概率越大；
其中，所述离散空间用于近似替代所述采摘点区域，所述空间遮挡率是用离散空间中离散点被当前所述三维体素地图遮挡占比来表示空间的遮挡；
步骤4：基于所述理想观测视点，控制采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点；其中，判断当前视点是否满足采摘要求，若不满足，依据步骤2-步骤4继续更新深度相机对应视点，直至满足采摘要求，再进行采摘；
其中，基于空间遮挡率的打分函数如下所示：
score(V)＝[SC(M,Vinit)-SC(M,V)]e-λ·L(V.p,Vcurrent.p)
式中，score(V)为候选视点V的得分，SC(M,V)和SC(M,Vinit)分别表示在当前的三维体素地图M下候选视点V和当前采摘动作的初始视点Vinit的空间遮挡率；L(V.p,Vcurrent.p)表示候选视点V所在位置距离当前视点Vcurrent所在位置的欧几里得距离，p是在世界坐标系∑xoy下xyz坐标表示的位置，λ为预设的常数，e为自然底数。
2.根据权利要求1所述的方法，其特征在于：所述空间遮挡率按照如下公式确定：
SC(M,V)＝OccludePoint(M,V)/QT*100％
式中，SC(M,V)表示在当前的三维体素地图M下候选视点V的空间遮挡率，OccludePoint(M,V)表示从候选视点V向离散空间内所有离散点发射光线，被当前的三维体素地图M遮挡的离散点数；QT为所述离散空间中的离散点数。
3.根据权利要求1所述的方法，其特征在于：所述离散空间是以所述采摘点区域的中心点Q作为中心点，并定义相邻离散点之间的间距σ后构建的，其中，所述离散空间中的离散点数QT满足：
QT＝(2*[|Xw-XP|/σ]+1)*(2*[|Yw-YP|/σ]+1)*(2*[|Zw-ZP|/σ]+1)
其中，中心点Q在世界坐标系∑xoy下的坐标表示为：Q(Xw,Yw,Zw)，Xw,Yw,Zw为中心点Q在x,y,z方向上的坐标值，(XP,YP,ZP)为采摘点区域的顶点P在世界坐标系∑xoy下的坐标，XP,YP,ZP为顶点P在x,y,z方向上的坐标值，σ为离散空间内相邻两点间距。
4.根据权利要求1所述的方法，其特征在于：步骤4中基于所述理想观测视点，控制所述采摘系统的机械臂移动的过程如下：
首先，确定所述理想观测视点与当前采摘动作规划的所有视点中距离最近的视点位置Vnear.p，其中，以Vpre_goal.p表示所述理想观测视点的位置；
其次，以Vnear.p为起点，Vpre_goal.p为终点确定两者之间的距离d，若距离d大于设定的步长StepSize，选取Vnear.p与Vpre_goal.p连线上步长StepSize位置处的点作为机械臂下一个移动位置Vnew.p；当d小于或等于步长StepSize时，选取Vpre_goal.p视点的位置作为机械臂下一个移动位置Vnew.p；以及计算出视点的欧拉角Vnew.α,Vnew.β,Vnew.γ；
最后，通过控制机械臂将深度相机移动至视点位置Vnew.p，相机姿态为：[Vnew.α,Vnew.β,Vnew.γ]。
5.根据权利要求1所述的方法，其特征在于：步骤1中基于所述采摘图像进行图像处理确定采摘点区域的过程如下：
首先，将所述采摘图像输入Mask_RCNN网络进行分割，得到采摘目标和采摘梗的分类结果、检测框和分割结果；
然后，基于采摘目标区域的质心点、深度相机的内外参确定采摘点区域的中心点Q；
最后，基于检测框的宽度以及采摘点区域的中心点Q，确定采摘点区域，其中，以中心点Q为中心，边长为1.5w的立体区域作为采摘点区域，w为检测框的宽度。
6.一种基于权利要求1-5任一项所述方法的采摘系统，其特征在于：至少包括：机械臂、移动平台基座、夹爪、深度相机以及控制器；
其中，所述机械臂的首端安装在所述移动平台基座上，所述机械臂的末端设有夹爪和深度相机，所述控制器与所述机械臂的控制元件连接，用于控制所述机械臂动作；
所述控制器中载入或调用基于主动视觉策略的视点规划方法的计算机程序，以生成控制指令控制所述机械臂动作，从而调整机械臂上深度相机的位置，直至满足采摘要求，再进行采摘。
7.一种基于权利要求1-5任一项所述方法的系统，其特征在于：包括：
照片获取模块，用于获取采摘系统拍摄的采摘图像，并基于所述采摘图像进行图像处理确定采摘点区域；
构图模块，用于构建所述采摘点区域的三维体素地图以及离散空间；
视点规划模块，用于生成若干候选视点，并基于空间遮挡率的打分函数计算每个候选视点的得分，并基于得分高低从所述候选视点中选择理想观测视点，得分越高，为理想观测视点的概率越大；
其中，所述离散空间用于近似替代所述采摘点区域，所述空间遮挡率是用离散空间中离散点被当前的所述三维体素地图的遮挡占比来表示空间的遮挡；
控制模块，用于基于所述理想观测视点，控制所述采摘系统的机械臂移动，从而调整机械臂上深度相机获取的视点；其中，判断当前视点是否满足采摘要求，若不满足，依托构图模块、视点规划模块以及控制模块继续更新深度相机对应视点，直至满足采摘要求，再进行采摘。
8.一种电子终端，其特征在于：至少包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以执行：
权利要求1-5任一项所述方法的步骤。
9.一种计算机可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以执行：
权利要求1-5任一项所述方法的步骤。
CN202310860465.3A 2023-07-13 2023-07-13 一种基于主动视觉策略的视点规划方法及其采摘系统 Active CN116619388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310860465.3A CN116619388B (zh) 2023-07-13 2023-07-13 一种基于主动视觉策略的视点规划方法及其采摘系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310860465.3A CN116619388B (zh) 2023-07-13 2023-07-13 一种基于主动视觉策略的视点规划方法及其采摘系统

Publications (2)

Publication Number Publication Date
CN116619388A CN116619388A (zh) 2023-08-22
CN116619388B true CN116619388B (zh) 2024-03-01

Family

ID=87613777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310860465.3A Active CN116619388B (zh) 2023-07-13 2023-07-13 一种基于主动视觉策略的视点规划方法及其采摘系统

Country Status (1)

Country Link
CN (1) CN116619388B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042077A (ko) * 2018-10-12 2020-04-23 한국생산기술연구원 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN112947433A (zh) * 2021-02-03 2021-06-11 中国农业大学 一种果园移动机器人及其自主导航方法
CN114355981A (zh) * 2022-01-06 2022-04-15 中山大学 一种四旋翼无人机自主探索建图的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017357645B2 (en) * 2016-11-08 2022-11-10 Dogtooth Technologies Limited A robotic fruit picking system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042077A (ko) * 2018-10-12 2020-04-23 한국생산기술연구원 작물의 숙도 판별 장치, 방법 및 그 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
CN112947433A (zh) * 2021-02-03 2021-06-11 中国农业大学 一种果园移动机器人及其自主导航方法
CN114355981A (zh) * 2022-01-06 2022-04-15 中山大学 一种四旋翼无人机自主探索建图的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
View planning in robot active vision: A survey of systems, algorithms, and applications;Rui Zeng;《Computational Visual Media》;全文 *
Viewpoint Planning for Fruit Size and Position Estimation;Tobias Zaenker;《 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;全文 *
复杂曲面零件面结构光扫描视点规划;任明阳;《中国光学（中英文）》;全文 *

Also Published As

Publication number Publication date
CN116619388A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Park et al. Pix2pose: Pixel-wise coordinate regression of objects for 6d pose estimation
US20210042929A1 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
Krull et al. Learning analysis-by-synthesis for 6D pose estimation in RGB-D images
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN112740269B (zh) 一种目标检测方法及装置
CN110688947B (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN111832513A (zh) 基于神经网络的实时足球目标检测方法
CN111738261A (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN113034581B (zh) 基于深度学习的空间目标相对位姿估计方法
US11138464B2 (en) Image processing device, image processing method, and image processing program
Thalhammer et al. Pyrapose: Feature pyramids for fast and accurate object pose estimation under domain shift
Sharma et al. Compositional and scalable object slam
CN112990101B (zh) 基于机器视觉的面部器官定位方法及相关设备
CN114830177A (zh) 电子设备和用于控制该电子设备的方法
CN116012387A (zh) 一种面向室内场景三维语义分割的虚拟视图选择方法和装置
CN111507340A (zh) 一种基于三维点云数据的目标点云数据提取方法
CN116619388B (zh) 一种基于主动视觉策略的视点规划方法及其采摘系统
JP6922605B2 (ja) ３次元物体検出装置、ロボット、及びプログラム
Bagi et al. Leveraging smart devices for scene text preserved image stylization: a deep gaming approach
US20160282876A1 (en) Moving object controller, moving object control method, and integrated circuit
CN111198563A (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN113034675B (zh) 一种场景模型构建方法、智能终端及计算机可读存储介质
JP2023081310A (ja) サイズが混在する対象物をパレットから取り出すためのアルゴリズム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant