CN105783819B - 一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 - Google Patents
一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 Download PDFInfo
- Publication number
- CN105783819B CN105783819B CN201610137982.8A CN201610137982A CN105783819B CN 105783819 B CN105783819 B CN 105783819B CN 201610137982 A CN201610137982 A CN 201610137982A CN 105783819 B CN105783819 B CN 105783819B
- Authority
- CN
- China
- Prior art keywords
- seedling
- rgb
- stick together
- horizontal plane
- depth data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RGB‑D的自动移栽“苗情‑作业效果”复合检测方法，取苗爪将苗坨夹拔出穴盘后，由RGB‑D相机同步获得坐标对应的深度与颜色信息，并转换为苗坨坐标系下的对应深度与颜色数据。将根据预定取出位确定的高度和圆周范围之外的背景与相邻数据快速剔除，进而根据深度逐次完成对苗坨的有无和完整性检测，从而判断是否顺利取出苗坨和苗坨是否受到损伤。而后根据颜色差异将取苗爪剔除，再自上至下检测苗株顶端，逐次完成苗株有无和高度的检测，从而判断是否缺苗和是否为壮苗。本发明避免了复杂背景和重叠遮挡影响，解决了高实时“苗情‑作业效果复合检测”关键问题，方法简单快速，可满足穴盘苗自动移栽的实时监测需要。
Description
所属技术领域
本发明涉及农业机器人领域，特别涉及一种基于RGB-D的自动移栽“苗情-作业效果”复合检测方法。
背景技术
在穴盘苗移栽中常常面临育苗穴盘的秧苗生长不齐情况，缺苗和缺陷苗普遍存在，同时移栽过程也会引起苗株与苗坨的破损。育苗盘的缺苗将导致“抓空”和“漏栽”，而缺陷苗和移栽破损则导致钵苗移栽后出苗不齐、生长状况不良，从而影响产量并造成农业资源的浪费。为此，在穴盘苗自动移栽中加入监测系统，引导和辅助移栽装备作业，对保证移栽质量和效率、提高全苗率和生长一致性水平具有重要的意义，成为自动移栽的关键技术之一。国内外对穴盘苗移栽中的监控问题展开了大量研究。
在技术手段上，利用侧装光电传感器仅能进行苗的“有无”检测，但无法获取更多信息和满足可靠性要求。而多数研究集中于基于可见光图像进行苗株监测上。但是，从可见光图像基于颜色差异进行作物分割会受到自然场景内复杂背景的严重影响，更对叶片重叠或越界问题无法提供满意的解决方案，各类基于可见光图像的改进算法与立体视觉均仅对特定叶片和重叠、越界较轻情况有效，而在叶片繁茂和严重跨界重叠时出现很大误差，其适应性、稳健性和实时性均无法满足自动移栽的实时可靠监控要求。目前发达国家荷兰Visser、TTA、Flier等公司的自动移栽装备产品所配备的视觉监测系统，亦明确仅在苗株不覆盖临近穴孔时才能有效，因而严重限制了其推广和广泛应用。
在监测环节上，已有研究集中于对“取前”盘内的和“栽后”的苗株状态检测，基于苗株形态参数进行育苗盘内的缺苗与缺陷苗判定，或生长盘内的苗株生长质量检测。上述检测方式存在明显的不足：
(1)首先，在穴盘或生长区域内，多株苗共存，其植株互相交叉遮挡，无论从侧面或顶部进行检测，均会受到复杂背景和重叠遮挡的严重影响，对检测造成极大困难；
(2)均仅对苗株进行检测，而无法对苗坨的完整性等做出检测和判断，因而无法实现对移栽作业效果的评定和反馈。
发明内容
针对现有穴盘苗自动移栽中的监测技术不足，本发明提供一种基于RGB-D的自动移栽“苗情-作业效果”复合检测方法,实现对苗情和作业效果的复合检测评估。
为了解决以上技术问题，本发明采用的具体技术方案包括以下步骤：
步骤一，取苗爪(1)从穴盘(7)内夹拔苗坨(2)上升，苗坨(2)离开穴盘(7)并使苗坨(2)的上表面中心到达取出位A；
步骤二，RGB-D相机(3)对在取出位A的被夹持状态的苗坨(2)和苗株(6)进行探测，视场内包括取苗爪(1)、苗株(6)、苗坨(2)和背景，RGB-D相机(3)同步获取视场内按RGB-D相机坐标系(4)一一对应的深度数据和颜色数据；
步骤三，将RGB-D相机坐标系(4)转换为苗坨坐标系(5)，进而将按RGB-D相机坐标系(4)一一对应的深度数据和颜色数据转换为按苗坨坐标系(5)一一对应的深度数据和颜色数据；
步骤四，在苗坨坐标系(5)内，以取出位A为苗坨坐标系(5)的原点，设定下水平面E1和上水平面E2，其中下水平面E1为z＝-z0-⊿z，其中z0为完整苗坨(2)的高度，⊿z为考虑苗坨(2)高度误差、移栽机构定位误差等的安全量；其中上水平面E2为z＝zmax+⊿z，其中zmax为苗株(6)的统计最大高度；
将下水平面E1和上水平面E2范围之外的深度数据和颜色数据同步去除，从而缩减有效数据量和去除冗余背景信息的干扰；
步骤五，在苗坨坐标系(5)内，设定与苗坨(2)同中心线的竖直圆柱面B，竖直圆柱面B的直径为Lmax+2⊿L，将竖直圆柱面B之外的深度数据和颜色数据同步去除，从而进一步缩减有效数据量和去除冗余周围信息的干扰，而仅剩余取苗爪(1)和被夹持的苗坨(2)与苗株(6)这三个对象的深度数据和颜色数据；其中Lmax为苗株(6)的统计最大叶片展幅，⊿L为考虑苗坨(2)展幅误差、移栽机构定位误差等的展幅安全量；
步骤六，在苗坨坐标系(5)内，进一步在去除冗余信息的深度数据和颜色数据，针对从下水平面E1到取出位A的高度范围内的苗坨(2)的深度数据，检测是否有苗坨(2)，从而判断取苗爪(1)是否顺利取到苗坨(2)；
步骤七，如顺利取到苗坨(2)，则进行苗坨(2)边缘轮廓的快速分割提取，根据苗坨(2)的形状和尺寸确定苗坨(2)是否完整，从而判断取出过程中苗坨2是否受到损伤；
步骤八，在去除冗余信息的深度数据和颜色数据内，针对从上水平面E2到取出位A的高度范围内的颜色数据，根据颜色特征去除取苗爪(1)的颜色数据，同时根据坐标对应性将取苗爪(1)的深度数据同步去除；
步骤九，在去除取苗爪(1)的从上水平面E2到取出位A的高度范围内的深度数据内，检测是否存在坐标最高点T，如存在坐标最高点T则为苗株(6)的顶部，如检测不到坐标最高点T则表示该苗坨(2)缺苗；
步骤十，以坐标最高点T到取出位A的距离完成苗株(6)的高度测量，实现是否壮苗的判断。
本发明具有有益效果。本发明将RGB-D的“色彩-深度”高速同步检测手段与取出位置“苗-坨复合检测”有机结合，有效避免了在穴盘或生长区域内检测的复杂背景和重叠遮挡影响，并逐次实现“无坨、坨损、无苗、壮苗”几大特征的检测判断，从而解决了高实时“苗情-作业效果复合检测”关键问题，方法简单快速，实时性与实用性强。
附图说明
图1为本发明的方法流程图。
图2为基于RGB-D的穴盘苗自动移栽复合检测场景示意图。
图中：1.取苗爪，2.苗坨，3.RGB-D相机，4.RGB-D相机坐标系，5.苗坨坐标系，6.苗株，7.穴盘。
具体实施方式
下面结合附图和具体实施例，对本发明的技术方案做进一步详细说明。
图1展示了本发明的方法流程图。
如图1和图2，本发明的具体识别定位实施过程如下：
(1)取苗爪1从穴盘7内夹拔苗坨2上升，苗坨2离开穴盘7并使苗坨2的上表面中心到达取出位A；
(2)RGB-D相机3对在取出位A的被夹持状态的苗坨2和苗株6进行探测，视场内包括取苗爪1、苗株6、苗坨2和背景，RGB-D相机3同步获取视场内按RGB-D相机坐标系4一一对应的深度数据和颜色数据；
(3)将RGB-D相机坐标系4转换为苗坨坐标系5，进而将按RGB-D相机坐标系4一一对应的深度数据和颜色数据转换为按苗坨坐标系5一一对应的深度数据和颜色数据；
(4)在苗坨坐标系5内，以取出位A为苗坨坐标系5的原点，设定下水平面E1和上水平面E2，其中下水平面E1为z＝-z0-⊿z，其中z0为完整苗坨2的高度，⊿z为考虑苗坨2高度误差、移栽机构定位误差等的安全量；其中上水平面E2为z＝zmax+⊿z，其中zmax为苗株6的统计最大高度；
将下水平面E1和上水平面E2范围之外的深度数据和颜色数据同步去除，从而缩减有效数据量和去除冗余背景信息的干扰；
(5)在苗坨坐标系5内，设定与苗坨2同中心线的竖直圆柱面B，竖直圆柱面B的直径为Lmax+2⊿L，将竖直圆柱面B之外的深度数据和颜色数据同步去除，从而进一步缩减有效数据量和去除冗余周围信息的干扰，而仅剩余取苗爪1和被夹持的苗坨2与苗株6这三个对象的深度数据和颜色数据；其中Lmax为苗株6的统计最大叶片展幅，⊿L为考虑苗坨2展幅误差、移栽机构定位误差等的展幅安全量；
(6)在苗坨坐标系5内，进一步在去除冗余信息的深度数据和颜色数据，针对从下水平面E1到取出位A的高度范围内的苗坨2的深度数据，检测是否有苗坨2，从而判断取苗爪1是否顺利取到苗坨2；
(7)如顺利取到苗坨2，则进行苗坨2边缘轮廓的快速分割提取，根据苗坨2的形状和尺寸确定苗坨2是否完整，从而判断取出过程中苗坨2是否受到损伤；
(8)在去除冗余信息的深度数据和颜色数据内，针对从上水平面E2到取出位A的高度范围内的颜色数据，根据颜色特征去除取苗爪1的颜色数据，同时根据坐标对应性将取苗爪1的深度数据同步去除；
(9)在去除取苗爪1的从上水平面E2到取出位A的高度范围内的深度数据内，检测是否存在坐标最高点T，如存在坐标最高点T则为苗株6的顶部，如检测不到坐标最高点T则表示该苗坨2缺苗；
(10)以坐标最高点T到取出位A的距离完成苗株6的高度测量，实现是否壮苗的判断。
本发明的有益效果是：将RGB-D的“色彩-深度”高速同步检测手段与取出位置“苗-坨复合检测”有机结合，有效避免了在穴盘或生长区域内检测的复杂背景和重叠遮挡影响，并逐次实现“无坨、坨损、无苗、壮苗”几大特征的检测判断，从而解决了高实时“苗情-作业效果复合检测”关键问题，方法简单快速，实时性与实用性强。
Claims (1)
1.一种基于RGB-D的自动移栽“苗情-作业效果”复合检测方法，其特征在于包括以下步骤：
步骤一，取苗爪(1)从穴盘(7)内夹拔苗坨(2)上升，苗坨(2)离开穴盘(7)并使苗坨(2)的上表面中心到达取出位A；
步骤二，RGB-D相机(3)对在取出位A的被夹持状态的苗坨(2)和苗株(6)进行探测，视场内包括取苗爪(1)、苗株(6)、苗坨(2)和背景，RGB-D相机(3)同步获取视场内按RGB-D相机坐标系(4)一一对应的深度数据和颜色数据；
步骤三，将RGB-D相机坐标系(4)转换为苗坨坐标系(5)，进而将按RGB-D相机坐标系(4)一一对应的相机深度数据和相机颜色数据转换为按苗坨坐标系(5)一一对应的深度数据和颜色数据；
步骤四，在苗坨坐标系(5)内，以取出位A为苗坨坐标系(5)的原点，设定下水平面E1和上水平面E2，其中下水平面E1为z＝-z0-⊿z，其中z0为完整苗坨(2)的高度，⊿z为考虑苗坨(2)高度误差、移栽机构定位误差等的高度安全量；其中上水平面E2为z＝zmax+⊿z，其中zmax为苗株(6)的统计最大高度；
将下水平面E1和上水平面E2范围之外的深度数据和颜色数据同步去除，从而缩减有效数据量和去除冗余背景信息的干扰；
步骤五，在苗坨坐标系(5)内，设定与苗坨(2)同中心线的竖直圆柱面B，竖直圆柱面B的直径为Lmax+2⊿L，将竖直圆柱面B之外的深度数据和颜色数据同步去除，从而进一步缩减有效数据量和去除冗余周围信息的干扰，而仅剩余取苗爪(1)和被夹持的苗坨(2)与苗株(6)这三个对象的深度数据和颜色数据；其中Lmax为苗株(6)的统计最大叶片展幅，⊿L为考虑苗坨(2)展幅误差、移栽机构定位误差等的展幅安全量；
步骤六，在苗坨坐标系(5)内，进一步在去除冗余信息的深度数据和颜色数据，针对从下水平面E1到取出位A的高度范围内的苗坨(2)的深度数据，检测是否有苗坨(2)，从而判断取苗爪(1)是否顺利取到苗坨(2)；
步骤七，如顺利取到苗坨(2)，则进行苗坨(2)边缘轮廓的快速分割提取，根据苗坨(2)的形状和尺寸确定苗坨(2)是否完整，从而判断取出过程中苗坨2是否受到损伤；
步骤八，在去除冗余信息的深度数据和颜色数据内，针对从上水平面E2到取出位A的高度范围内的颜色数据，根据颜色特征去除取苗爪(1)的颜色数据，同时根据坐标对应性将取苗爪(1)的深度数据同步去除；
步骤九，在去除取苗爪(1)的从上水平面E2到取出位A的高度范围内的深度数据内，检测是否存在坐标最高点T，如存在坐标最高点T则为苗株(6)的顶部，如检测不到坐标最高点T则表示该苗坨(2)缺苗；
步骤十，以坐标最高点T到取出位A的距离完成苗株(6)的高度测量，实现是否壮苗的判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610137982.8A CN105783819B (zh) | 2016-03-10 | 2016-03-10 | 一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610137982.8A CN105783819B (zh) | 2016-03-10 | 2016-03-10 | 一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105783819A CN105783819A (zh) | 2016-07-20 |
| CN105783819B true CN105783819B (zh) | 2018-01-02 |
Family
ID=56392589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610137982.8A Active CN105783819B (zh) | 2016-03-10 | 2016-03-10 | 一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105783819B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919901A (zh) * | 2017-01-20 | 2017-07-04 | 江苏大学 | 一种株上球形果实识别的深度球截线方法 |
| CN110319887B (zh) * | 2019-08-01 | 2023-09-22 | 农业农村部南京农业机械化研究所 | 油菜移栽田间作业质量在线监测系统及其监测方法 |
| CN110741790B (zh) * | 2019-09-10 | 2021-08-03 | 江苏大学 | 一种基于深度相机的穴盘苗多爪移栽-分选的处理方法 |
| CN114916318B (zh) * | 2022-05-30 | 2023-05-02 | 华南农业大学 | 一种搭载在无人机上的水果自动采收装置及其控制方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3906215A1 (de) * | 1989-02-28 | 1990-08-30 | Robert Prof Dr Ing Massen | Automatische klassifikation von pflaenzlingen |
| JPH07318330A (ja) * | 1994-05-30 | 1995-12-08 | Kubota Corp | 作物検出装置 |
| JP2003018904A (ja) * | 2001-07-06 | 2003-01-21 | Iseki & Co Ltd | 苗移植機の苗植付深さ制御装置 |
| KR20070047747A (ko) * | 2007-04-17 | 2007-05-07 | 이종현 | 참취 이식 재배방법 |
| CN102511229B (zh) * | 2011-12-08 | 2013-09-04 | 浙江大学 | 辅助机器视觉穴盘幼苗质量检测的间苗装置 |
| CN102954762B (zh) * | 2012-10-26 | 2015-03-18 | 浙江理工大学 | 基于机器视觉的嫁接苗外部特征测量方法及系统 |
| CN103090794B (zh) * | 2013-01-18 | 2015-09-30 | 北京农业信息技术研究中心 | 穴盘种苗质量检测装置 |
| CN104322187B (zh) * | 2014-10-23 | 2016-03-02 | 江苏大学 | 一种穴盘苗图像采集装置和方法 |
-
2016
- 2016-03-10 CN CN201610137982.8A patent/CN105783819B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105783819A (zh) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105783819B (zh) | 一种基于rgb‑d的自动移栽“苗情‑作业效果”复合检测方法 | |
| CN201600330U (zh) | 成熟菠萝识别与定位系统 | |
| CN109284771A (zh) | 一种番茄生长模型判定方法及装置 | |
| CN104949981A (zh) | 一种棉花五真叶期自动检测方法及系统 | |
| CN111462058B (zh) | 一种水稻有效穗快速检测方法 | |
| CN104704990B (zh) | 一种石榴树电子化自动采摘方法 | |
| CN103778628A (zh) | 田间开放环境下的叶片病害程度获取方法及系统 | |
| CN110286092A (zh) | 一种作物生长趋势分析系统 | |
| CN107655888A (zh) | 一种应用于根盒土壤中水稻根系二维图像采集装置 | |
| CN108038706A (zh) | 一种药材溯源系统 | |
| CN112464759A (zh) | 一种半自动移栽机的钵苗病害监测-剔苗系统与方法 | |
| CN110741790B (zh) | 一种基于深度相机的穴盘苗多爪移栽-分选的处理方法 | |
| CN103440648A (zh) | 农作物冠层整齐度的自动测量方法及装置 | |
| CN107464232B (zh) | 一种无人插秧机栽插质量的图像检测方法 | |
| CN104504736A (zh) | 一种识别大田作物长势监控图像中绿色植物的方法及系统 | |
| CN103598049A (zh) | 一种改善水蜜桃果实着色的套袋方法 | |
| CN219555637U (zh) | 一种用于水培叶菜种苗移栽且营养液回收的装置 | |
| CN107169940A (zh) | 基于电子识别的单株梨树产量获取方法 | |
| CN110064601B (zh) | 一种蔬菜嫁接用苗检测分级系统和分级方法 | |
| CN204392827U (zh) | 一种纸筒苗移栽器 | |
| CN103266079B (zh) | 一种海带种质分离的方法 | |
| CN211275520U (zh) | 一种育苗检测装置 | |
| CN112673858B (zh) | 一种基于机器视觉的穴盘种苗低损移植方法 | |
| CN207105309U (zh) | 一种基于石材纹理智能检测的石材加工装置 | |
| CN214918298U (zh) | 一种基于vr眼镜的茶叶除杂生产线及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |