CN108470165B - 一种采摘机器人果实视觉协同搜索方法 - Google Patents
一种采摘机器人果实视觉协同搜索方法 Download PDFInfo
- Publication number
- CN108470165B CN108470165B CN201810240802.8A CN201810240802A CN108470165B CN 108470165 B CN108470165 B CN 108470165B CN 201810240802 A CN201810240802 A CN 201810240802A CN 108470165 B CN108470165 B CN 108470165B
- Authority
- CN
- China
- Prior art keywords
- fruit
- view
- small
- robot
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000007 visual effect Effects 0.000 title claims abstract description 9
- 238000013459 approach Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000002420 orchard Substances 0.000 claims abstract description 7
- 239000012636 effector Substances 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种采摘机器人果实视觉协同搜索方法，该方法采用大、小双视场视觉采集系统，其中大视场摄像机安置在机器人移动平台上，用来对果园果树进行全局成像，并对图像进行显著性区域提取，而后利用目标似然度来衡量果实似然目标，去除小区域后由此确定大视场图像中果实目标的大致区域，同时引导机器人靠近果树；小视场摄像机安置在机器人末端执行器所在机械臂上，建立大、小视场图像坐标系，视场图像坐标系与世界坐标系之间的映射关系；在从大视场当前图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上，小视场摄像机区域成像，以此协同搜索果实。该方法类同人眼目标搜索，可避免机器人盲目无序搜索，为后续果实精确识别奠定基础。
Description
技术领域
本发明涉及采摘机器人目标搜索技术领域，尤其是对果实的视觉搜索。
背景技术
在采摘机器人进入果园作业时，其工作的首要任务是果实的搜索。所谓果实搜索是指采摘机器人工作过程中搜寻果实区域以待进一步识别的过程。在国内外现有文献中，果实搜索方法只在采摘机器人其他相关技术文献方面有所涉及，比如Jiménez AR等人在果实识别研究中通过红外激光测距传感器来搜索检测非结构环境中的球形目标物体，但该方法实时性差，成本高。李占坤等人在实时避障算法研究中，基于单目视觉设定了四种不同路径用来搜索果实，但由于路径固定，适应性欠佳。总得来说目前还没有一个较为适当的果实搜索方法，使得采摘机器人能够实现果实的有效搜索进而进一步识别。
发明内容
本发明的目的是：提供一种采摘机器人果实搜索方法，使得采摘机器人通过大、小视觉图像处理系统由粗到精协同逐步搜索果实，为进一步对其精确识别定位奠定基础。实现本发明的技术方案包括如下内容：
(1)采用大、小双视场视觉采集系统，其中大视场摄像机安置在采摘机器人移动平台上，可水平左右160度、垂直上下36度旋转，用来对果树进行全局成像，引导机器人靠近果树；小视场摄像机以Eye-in-hand方式固定在采摘机器人的末端执行器所在机械臂上，用于对所靠近果树区域成像。
(2)大视场摄像机作业时旋转搜寻果园果树果实全域的垂直左方或者右方边界，以图像中果实全域左方或者右方边界不变为基准，以距离中心水平线最近果实区域的大小变化为衡量，引导机器人靠近果树。
(3)大视场图像果实信息的获取采用基于DCT系数稀疏编码的方法进行显著性区域提取，而后以目标似然度来衡量果实似然目标，似然目标通过计算显著图像与视场图像的颜色直方图反向投影图像计算得出，去除小区域后由此确定大视场图像中果实目标的大致区域。
(4)机器人靠近果树后，对大视场当前图像中的大致果实区域进行编号，并将编号结果连同各区域所包含范围信息传输给控制系统。
(5)小视场摄像机在从大视场当前图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上，以当前小视场摄像机位置为起点，机械臂运动代价最小为准则由控制系统引导小视场摄像机区域成像，从而完成果实的协同搜索。
(6)引导小视场成像还需建立小视场图像坐标系与大视场图像坐标系，大、小视场图像坐标系与世界坐标系之间的映射关系。
本发明的有益效果：对于果实采摘机器人来说，该发明方法能够引导机器人有的放矢进入果园，避免盲目无序地搜寻果实，节约整体采摘时间，为推动果实采摘机器人的实用化起到重要作用。
附图说明
图1为采摘机器人果实视觉协同示意流程图；
图2大视场图像采集示例图；
图3大视场图像所选边界及衡量区域示意图；
图4小视场图像采集示例图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的描述。本发明以苹果为例进行说明，但本发明同样适用于其他果实。
在图像目标搜索过程中，人们往往开始对图像显著性区域以及区域中的似然目标给予更多的关注。对于采摘机器人来说，以安置在其运动平台上的大视场摄像机来采集果园果树全局图像，如图2。大视场摄像机作业时首先旋转搜寻果园果树果实全域的垂直左方或者右方边界，以图像中果实全域左方或者右方边界不变为基准，以距离中心水平线最近果实区域的大小变化为衡量(如图3，黑线为边界线，蓝圈为果实区域)，引导机器人靠近果树；靠近果树后，对当前图像中的大致果实区域进行编号，并将编号结果连同各区域所包含范围信息传输给控制系统。其间果实信息的获取采用基于DCT系数稀疏编码的方法进行显著性区域提取，而后对于区域中的似然目标以目标似然度来衡量，不同于目标识别的精确检测，它给出的是场景中与目标相似的区域比例，通过计算显著图像与视场图像的颜色直方图反向投影图像计算得出，由此确定大视场图像中果实目标的大致区域。
小视场摄像机以Eye-in-hand方式固定在采摘机器人的末端执行器所在机械臂上，建立小视场图像坐标系与大视场图像坐标系，大、小视场图像坐标系与世界坐标系之间的映射关系。当机器人靠近果树后，小视场摄像机在从当前大视场图像中获得的果实目标搜索区域信息以及坐标系映射关系基础上，以当前小视场摄像机位置为起点，机械臂运动代价最小为准则由控制系统引导小视场摄像机区域成像(如图4)，从而完成果实的协同搜索。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (1)
1.一种采摘机器人果实视觉协同搜索方法，其特征在于：采用大、小双视场视觉采集系统，其中大视场摄像机安置在采摘机器人移动平台上，用来对果树进行全局成像，引导机器人靠近果树，所述大视场摄像机可水平左右160 度、垂直上下36度旋转；小视场摄像机以Eye-in-hand方式安置在采摘机器人的末端执行器所在机械臂上，用于对所靠近果树区域成像；
所述方法具体包括如下步骤：
（1）作业时大视场摄像机首先搜寻果园果树果实全域的垂直左方或者右方边界，以图像中果实全域左方或者右方边界不变为基准，以距离中心水平线最近果实区域的大小变化为衡量，引导机器人靠近果树；
（2）机器人靠近果树后，对当前大视场图像中的大致果实区域进行编号，并将编号结果连同各大致果实区域所包含范围信息传输给控制系统；其间，大致果实区域及各大致果实区域所包含的范围信息的获取采用DCT系数稀疏编码的方法进行显著性区域提取，而后以目标似然度来衡量果实似然目标，通过计算显著图像与视场图像的颜色直方图反向投影图像计算得出，去除小区域后由此确定大视场图像中大致果实区域；
（3）建立小视场图像坐标系与大视场图像坐标系，大、小视场图像坐标系与世界坐标系之间的映射关系，当获取大致果实区域后，小视场摄像机再从大视场当前图像中获得的各大致果实区域所包含范围信息及坐标系之间映射关系的基础上，以当前小视场摄像机位置为起点，机械臂运动代价最小为准则由控制系统引导小视场摄像机区域成像，从而完成果实的协同搜索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240802.8A CN108470165B (zh) | 2018-03-22 | 2018-03-22 | 一种采摘机器人果实视觉协同搜索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810240802.8A CN108470165B (zh) | 2018-03-22 | 2018-03-22 | 一种采摘机器人果实视觉协同搜索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108470165A CN108470165A (zh) | 2018-08-31 |
| CN108470165B true CN108470165B (zh) | 2021-11-30 |
Family
ID=63264688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810240802.8A Active CN108470165B (zh) | 2018-03-22 | 2018-03-22 | 一种采摘机器人果实视觉协同搜索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108470165B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852186B (zh) * | 2019-10-22 | 2023-05-23 | 华南农业大学 | 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统 |
| CN111602517B (zh) * | 2020-05-28 | 2021-09-24 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| CN115004949B (zh) * | 2022-07-25 | 2023-08-29 | 嘉应学院 | 基于图像识别的高效水果采摘装置 |
| CN117021059B (zh) * | 2023-10-09 | 2024-02-06 | 北京市农林科学院智能装备技术研究中心 | 采摘机器人及其果实定位方法、装置、电子设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN105706637A (zh) * | 2016-03-10 | 2016-06-29 | 西北农林科技大学 | 一种可自主导航的履带式多机械臂苹果采摘机器人 |
-
2018
- 2018-03-22 CN CN201810240802.8A patent/CN108470165B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN105706637A (zh) * | 2016-03-10 | 2016-06-29 | 西北农林科技大学 | 一种可自主导航的履带式多机械臂苹果采摘机器人 |
Non-Patent Citations (1)
| Title |
|---|
| Vision-based control of robotic manipulator for citrus harvesting;S.S. Mehta等;《Computers and Electronics in Agriculture》;20140331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108470165A (zh) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108470165B (zh) | 一种采摘机器人果实视觉协同搜索方法 | |
| Si et al. | Location of apples in trees using stereoscopic vision | |
| Luo et al. | Vision-based extraction of spatial information in grape clusters for harvesting robots | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| EP3825903A1 (en) | Method, apparatus and storage medium for detecting small obstacles | |
| CN111496770A (zh) | 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法 | |
| CN109344687B (zh) | 基于视觉的障碍物检测方法、装置、移动设备 | |
| Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
| CN109445453A (zh) | 一种基于OpenCV的无人机实时压缩跟踪方法 | |
| CN109828267A (zh) | 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法 | |
| CN111598172A (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
| CN110110687A (zh) | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 | |
| CN112528979A (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| Hu et al. | Recognition and localization of strawberries from 3D binocular cameras for a strawberry picking robot using coupled YOLO/Mask R-CNN | |
| Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
| Fahn et al. | A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot | |
| CN117325170A (zh) | 基于深度视觉导引机械臂抓取硬盘架的方法 | |
| CN111932617A (zh) | 一种对规则物体实现实时检测定位方法和系统 | |
| CN114800615A (zh) | 基于多源感知的机器人实时调度系统及方法 | |
| Yang et al. | A novel object detection and localization approach via combining vision with LiDAR sensor | |
| KR101668649B1 (ko) | 주변 환경 모델링 방법 및 이를 수행하는 장치 | |
| Ding et al. | Obstacles Detection Algorithm in Forest based on Multi-sensor Data Fusion. | |
| CN102629317B (zh) | 农田微弱导航信息的图像检测方法及系统 | |
| CN111783580A (zh) | 基于人腿检测的行人识别方法 | |
| Chen et al. | Object recognition and localization based on kinect camera in complex environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180831 Assignee: Shandong Hongde Yuheng Information Technology Co.,Ltd. Assignor: CHANGZHOU University Contract record no.: X2023980051060 Denomination of invention: A visual collaborative search method for fruit picking robots Granted publication date: 20211130 License type: Common License Record date: 20231209 |