CN103295018B - 一种枝叶遮挡果实精确识别方法 - Google Patents
一种枝叶遮挡果实精确识别方法 Download PDFInfo
- Publication number
- CN103295018B CN103295018B CN201310188344.5A CN201310188344A CN103295018B CN 103295018 B CN103295018 B CN 103295018B CN 201310188344 A CN201310188344 A CN 201310188344A CN 103295018 B CN103295018 B CN 103295018B
- Authority
- CN
- China
- Prior art keywords
- fruit
- branches
- leaves
- image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种枝叶遮挡果实精确识别方法，具体包括图像采集步骤；目标对象提取步骤，该步骤对采集的图像进行处理，提取出图像中的果实及枝叶；目标对象深度计算步骤；果实被枝叶严重遮挡区域确定步骤；果实被枝叶严重遮挡区域修复步骤，该步骤用来实现被枝叶严重遮挡区域内的果实修复；果实边缘被枝叶遮挡区域修复步骤，该步骤用来实现果实边缘被枝叶遮挡区域的修复；果实形心及深度坐标计算步骤，该步骤通过对果实区域内所有像素点坐标求均值来获取其形心坐标，其深度也通过计算该区域深度均值来获取。该方法对于苹果、柑橘等类果实采摘机器人来说，能够实现对枝叶遮挡果实的精确识别。
Description
技术领域
本发明涉及一种枝叶遮挡果实精确识别方法，特别涉及一种对苹果、柑橘等类枝叶遮挡果实的精确识别方法。
背景技术
对于采摘机器人来说，由于自然工作环境非结构化的特点，存在很多影响果实精确识别的因素，其中枝叶遮挡是主要因素之一。采摘机器人能否具备果实精确识别能力，与果实信息的完备与否有重要关系。枝叶遮挡果实，顾名思义，就是从视觉传感器图像采集方向看去由果实树枝和叶子所造成的果实遮挡，它又分为果实边缘被枝叶遮挡和果实被枝叶遮挡分割成两块或多块即被枝叶严重遮挡果实两类。被枝叶严重遮挡果实必须要完成修复后才能进行识别，不然就会出现同一果实多个拟合识别圆的错误现象。如何很好地解决枝叶遮挡这种常见生长形态果实的精确识别问题现已成为推动采摘机器人实用化亟待解决的关键问题之一。
发明内容
针对现有技术中枝叶遮挡果实识别方法中存在的上述问题，本发明提供一种枝叶遮挡果实精确识别方法，首先修复果实被枝叶严重遮挡区域，然后修复被枝叶遮挡的果实边缘区域，使得采摘机器人实现对枝叶遮挡果实的精确识别，期望能够推动采摘机器人的实用化进程。
本发明的技术方案是：
一种枝叶遮挡果实精确识别方法，具体包括以下步骤：
1）图像采集步骤：基于双目视觉实时采集果实图像。
2）目标对象提取步骤：首先采用自适应维纳滤波方法图像预处理；其次采用基于颜色特征的动态阈值层层剥离分割方法将预处理图像中的无用信息去除；然后采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶，其中纹理特征的提取采用Contourlet变换方法。分割后图像中的分割碎片则采用基于纹理特征的消噪方法去除，最后采用水平最小外接矩形法将图像中所有的连通区域框定，提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞。
3）目标对象深度计算步骤：基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。
4）果实被枝叶严重遮挡区域确定步骤：首先通过几何计算方法快速检测该连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内（取该深度距离下树枝径宽范围）有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，在此基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。
5）果实被枝叶严重遮挡区域修复步骤：采用Criminisi修复算法，修复过程采用更具灵活性的分块策略，并依据修复区域的宽度来自适应调整修复点邻域和样本块尺寸；在进行最佳匹配样本块的搜索时，通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率。
6）果实边缘被枝叶遮挡修复步骤在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。
7）果实形心及深度坐标计算步骤：通过对果实区域内所有像素点坐标求均值来获取其形心坐标，其深度也通过计算该区域深度均值来获取。
本发明的有益效果是：
本发明一种枝叶遮挡果实精确识别方法对于苹果、柑橘等类果实采摘机器人来说，能够实现对枝叶遮挡果实的精确识别。
附图说明
图1为本发明一种枝叶遮挡果实精确识别方法的总流程图；
图2为本发明中目标对象提取步骤的流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明一种枝叶遮挡果实精确识别方法的总流程如图1所示，具体包括如下步骤：
(1)图像采集步骤
图像的采集基于双目视觉系统，除了后续提取出目标对象的二维信息外，还要获取目标对象的深度信息。
(2)目标对象提取步骤
该步骤实施流程如图2所示。首先自然环境下光照的多变性，严重影响着图像的分割效果，因此本步骤采用自适应维纳滤波方法图像预处理，以消除强光、弱光等不同光照条件下所采集图像中的噪声干扰。
图像中除了果实、枝叶信息之外，还可能有天空，果园地膜（果园为了保墒蓄水，提高果实着色指数，通常会覆盖地膜）等无用信息，而天空又与果树枝叶相互交错在一起，所以本步骤采用基于颜色特征的动态阈值层层剥离分割方法先将其从预处理图像中去除。
尽管图像中果实、枝叶之间存在较大的颜色差别，但当目标与背景颜色相似时，仅利用颜色特征无法完整地将果实目标分割出来，会出现所谓的过分割或者欠分割现象，因此本步骤采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶。这里纹理特征的提取采用Contourlet变换的方法。通过利用Contourlet变换高频子带系数矩阵，选取高频子带各方向的梯度能量作为特征向量。梯度能量能够很好地表征纹理图像的内在连续性。
分割后图像中不可避免地会存在分割碎片，所以本步骤对分割出来的果实、树枝和树叶图像采用基于纹理特征的消噪（对于目标图像来说，非目标信息都可称为噪声）方法，以保证目标信息的纯粹性。
分割后的图像中不可避免地还会存在不同程度的孔洞现象，传统的数学形态学孔洞填充方法由于孔径大小不一其运算次数需要人工干预，因此本步骤根据后续图像处理的实际情况首先采用水平最小外接矩形法将图像中所有的连通区域框定，然后提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞。
(3)目标对象深度计算步骤
果实图像中可能有些目标果实位置已经超出了采摘机器人的作业深度，没必要再进行后续处理，因此本步骤基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。
(4)果实被枝叶严重遮挡区域确定步骤
首先通过几何计算方法快速检测该连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内（取该深度距离下树枝径宽范围）有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，该范围不满足遮挡修复的要求。注意到果实被枝叶严重遮挡区域一般呈现不规则长条状，因此，本步骤在前述确定的遮挡区域大致范围的基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。所谓扩散碰撞，就是设想非目标点按一定规则沿多方向进行扩散直至碰撞到目标点，否则直至到达区域边界停止，然后统计各个方向的碰撞情况，设定阈值从而确定非目标点是否真实位于遮挡区域。
(5)果实被枝叶严重遮挡区域修复步骤
果实被枝叶严重遮挡区域就修复面积而言属于较大区域的图像修复，传统的基于偏微分方程修复方法只能对较小破损区域有较好的修复效果，对于较大区域的修复容易造成模糊，所以本步骤采用在时间和视觉上均优于传统修复方法的Criminisi算法。Criminisi算法是基于样本块的图像修复算法，由于该算法采用了块匹配搜索策略，所以它受块的形状、大小的影响，进而影响到图像的修复速度和修复效果，因此本步骤采用更具灵活性的分块策略，不固定于大多数所采用的正方形分块；果实被枝叶严重遮挡区域一般呈现不规则长条状，粗细不一，因此本步骤依据遮挡区域（修复区域）的宽度来自适应调整修复点邻域和样本块尺寸，以提高修复的精度。Criminisi算法是基于块修复的，其修复实质是最佳匹配样本块的复制。果实生长方向是随机的，因此在进行最佳匹配样本块的搜索时，本步骤通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率，防止错误匹配的发生，进而有效改善修复效果。
(6)果实边缘被枝叶遮挡修复步骤
果实边缘被枝叶遮挡区域形状多变，比较复杂，精确区域难以确定，应用上述果实被枝叶严重遮挡区域修复方法适用性有限，恐不能获得完好的修复效果。以往也有基于Spline轮廓差值匹配和形态学填充操作来重建完整目标果实，这种方法适用于形状比较规则的遮挡区域修复，而对于形状不确定的果实边缘被枝叶遮挡区域不适合。本步骤在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。
(7)果实形心及深度坐标计算步骤
待所有的操作完成后，由于果实形状规整，通过对区域内所有像素点坐标求均值来获取其形心坐标，其深度也可通过计算该区域深度均值来获取。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种枝叶遮挡果实精确识别方法，具体包括以下步骤：
(1)图像采集步骤：基于双目视觉实时采集果实图像；
(2)目标对象提取步骤：对采集的图像进行处理，提取出图像中的果实及枝叶；
所述步骤(2)中首先采用自适应维纳滤波方法图像预处理；其次采用基于颜色特征的动态阈值层层剥离分割方法将预处理图像中的无用信息去除；然后采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶，其中纹理特征的提取采用Contourlet变换方法；分割后图像中的分割碎片则采用基于纹理特征的消噪方法去除，最后采用水平最小外接矩形法将图像中所有的连通区域框定，提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞；
(3)目标对象深度计算步骤：对目标对象区域采用组合匹配及深度校正模型来获取其深度信息；
(4)果实被枝叶严重遮挡区域确定步骤：用来完成果实被枝叶严重遮挡区域的确定；
(5)果实被枝叶严重遮挡区域修复步骤：用来实现被枝叶严重遮挡区域内的果实修复；
(6)果实边缘被枝叶遮挡区域修复步骤：用来实现果实边缘被枝叶遮挡区域的修复；
(7)果实形心及深度坐标计算步骤：通过对果实区域内所有像素点坐标求均值来获取其形心坐标，其深度也通过计算该区域深度均值来获取。
2.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(3)中基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。
3.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(4)中首先通过几何计算方法快速检测步骤(2)中所述连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，在此基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。
4.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(5)中采用Criminisi修复算法，修复过程采用更具灵活性的分块策略，并依据修复区域的宽度来自适应调整修复点邻域和样本块尺寸；在进行最佳匹配样本块的搜索时，通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率。
5.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(6)中在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310188344.5A CN103295018B (zh) | 2013-05-21 | 2013-05-21 | 一种枝叶遮挡果实精确识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310188344.5A CN103295018B (zh) | 2013-05-21 | 2013-05-21 | 一种枝叶遮挡果实精确识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103295018A CN103295018A (zh) | 2013-09-11 |
| CN103295018B true CN103295018B (zh) | 2016-04-13 |
Family
ID=49095847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310188344.5A Active CN103295018B (zh) | 2013-05-21 | 2013-05-21 | 一种枝叶遮挡果实精确识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103295018B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503639B (zh) * | 2013-09-30 | 2016-01-27 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
| CN103886561B (zh) * | 2014-04-09 | 2017-05-24 | 武汉科技大学 | 基于数学形态学的Criminisi图像修复方法 |
| CN105844264B (zh) * | 2015-05-19 | 2019-03-22 | 北京林业大学 | 一种基于受力的油用牡丹果实图像的识别方法 |
| CN105719282B (zh) * | 2016-01-16 | 2018-06-08 | 常州大学 | 一种果园红色苹果图像果实枝叶区域获取方法 |
| CN105701829B (zh) * | 2016-01-16 | 2018-05-04 | 常州大学 | 一种套袋绿色果实图像分割方法 |
| CN108182688B (zh) * | 2018-01-19 | 2019-03-19 | 广州市派客朴食信息科技有限责任公司 | 一种食物图像分割方法 |
| CN108549924B (zh) * | 2018-04-19 | 2021-08-03 | 浙江工业大学 | 一种用于植物群体虚拟仿真的植株碰撞检测方法 |
| CN109544572B (zh) * | 2018-11-19 | 2023-07-25 | 常州大学 | 一种果园图像中近大果实目标的获取方法 |
| CN110033487A (zh) * | 2019-02-25 | 2019-07-19 | 上海交通大学 | 基于深度联想感知算法的受遮挡蔬果采收方法 |
| CN110246100B (zh) * | 2019-06-11 | 2021-06-25 | 山东师范大学 | 一种基于角度感知块匹配的图像修复方法和系统 |
| CN110519515B (zh) * | 2019-08-28 | 2021-03-19 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN114271103A (zh) * | 2022-01-25 | 2022-04-05 | 杭州津禾生物科技有限公司 | 一种基于人工智能识别的蔬果采摘机器人系统及结构 |
| CN114902872B (zh) * | 2022-04-26 | 2023-04-21 | 华南理工大学 | 一种机器人采摘果实的视觉引导方法 |
| CN117928565B (zh) * | 2024-03-19 | 2024-05-31 | 中北大学 | 一种复杂遮挡环境下的偏振导航定向方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4761177B2 (ja) * | 2001-06-21 | 2011-08-31 | 独立行政法人農業・食品産業技術総合研究機構 | 果実の検出方法 |
| CN102682286A (zh) * | 2012-04-16 | 2012-09-19 | 中国农业大学 | 基于激光视觉系统的采摘机器人果实识别方法 |
| CN102831398A (zh) * | 2012-07-24 | 2012-12-19 | 中国农业大学 | 基于深度图像的树上苹果识别方法 |
-
2013
- 2013-05-21 CN CN201310188344.5A patent/CN103295018B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4761177B2 (ja) * | 2001-06-21 | 2011-08-31 | 独立行政法人農業・食品産業技術総合研究機構 | 果実の検出方法 |
| CN102682286A (zh) * | 2012-04-16 | 2012-09-19 | 中国农业大学 | 基于激光视觉系统的采摘机器人果实识别方法 |
| CN102831398A (zh) * | 2012-07-24 | 2012-12-19 | 中国农业大学 | 基于深度图像的树上苹果识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于纹理合成的数字图像修复技术研究";黄淑兵;《万方数据企业知识服务平台》;20110920;第3章第12页第2-3段、第18页第2段、第19页最后一段、第26页倒数第二段及图3-1 * |
| "苹果采摘机器人视觉测量与避障控制研究";吕继东;《万方数据企业知识服务平台》;20130426;第3章第26页第1段、第4章第37页第1段、第39页最后一段最后一行、第43页最后一段、第53页第1-3段、第6章第93页第2段、以及图4.3、图4.17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103295018A (zh) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103295018B (zh) | 一种枝叶遮挡果实精确识别方法 | |
| CN103310218B (zh) | 一种重叠遮挡果实精确识别方法 | |
| CN103279762B (zh) | 一种自然环境下果实常见生长形态判定方法 | |
| CN107038446B (zh) | 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 | |
| CN103336946B (zh) | 一种基于双目立体视觉的成簇状番茄识别方法 | |
| CN102254319B (zh) | 一种多层次分割的遥感影像变化检测方法 | |
| CN104318546A (zh) | 一种基于多尺度分析的温室田间植物叶片边缘提取方法及其系统 | |
| CN103177257A (zh) | 一种鸡腿菇图像识别方法与分级方法 | |
| CN105675625A (zh) | 一种梯度迭代阈值分割的水果表面缺陷检测方法 | |
| CN111932506B (zh) | 一种提取图像中非连续直线的方法 | |
| CN103914836A (zh) | 基于机器视觉的农田机械导航线提取算法 | |
| CN106447673A (zh) | 一种非均匀光照条件下的芯片引脚提取方法 | |
| CN115731257A (zh) | 基于图像的叶片形态信息提取方法 | |
| CN106650663A (zh) | 建筑物真伪变化的判定方法及含此方法的伪变化去除方法 | |
| CN103714342A (zh) | 基于二值图像形状特征的航拍绝缘子串自动定位方法 | |
| CN103971369A (zh) | 视网膜图像的视盘定位方法 | |
| CN106803259B (zh) | 一种流水作业平台烟条自动视觉检测与计数方法 | |
| CN109544572B (zh) | 一种果园图像中近大果实目标的获取方法 | |
| Zhang | Target extraction of fruit picking robot vision system | |
| Lv et al. | Method to acquire regions of fruit, branch and leaf from image of red apple in orchard | |
| CN107437254B (zh) | 一种果园邻接重叠形态果实判别方法 | |
| Mohammed Amean et al. | Automatic plant branch segmentation and classification using vesselness measure | |
| CN108229327B (zh) | 一种基于背景重建的车道线检测方法、装置与系统 | |
| CN109559299B (zh) | 一种双果重叠果实的分离方法 | |
| Zhang et al. | A leaf vein detection scheme for locating individual plant leaves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201223 Address after: Building 7, no.8-2, Dutou street, Daitou Town, Liyang City, Changzhou City, Jiangsu Province Patentee after: Liyang Chang Technology Transfer Center Co.,Ltd. Address before: Gehu Lake Road Wujin District 213164 Jiangsu city of Changzhou province No. 1 Patentee before: CHANGZHOU University |
|
| TR01 | Transfer of patent right |