CN107437254B - 一种果园邻接重叠形态果实判别方法 - Google Patents
一种果园邻接重叠形态果实判别方法 Download PDFInfo
- Publication number
- CN107437254B CN107437254B CN201710504815.7A CN201710504815A CN107437254B CN 107437254 B CN107437254 B CN 107437254B CN 201710504815 A CN201710504815 A CN 201710504815A CN 107437254 B CN107437254 B CN 107437254B
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- region
- transverse
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000002420 orchard Substances 0.000 title claims abstract description 12
- 238000009432 framing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012790 confirmation Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract 2
- 238000005286 illumination Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012850 discrimination method Methods 0.000 claims 2
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000000926 separation method Methods 0.000 abstract 1
- 238000005260 corrosion Methods 0.000 description 6
- 230000007797 corrosion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种果园邻接重叠形态果实判别方法，包括：图像采集：双目视觉实时采集果实图像；果实区域提取：提取左目图像中的所有果实区域；连通区域标记：对左目图像中果实区域进行框定标记；距离图生成：对图像中标记后的连通果实区域进行计算生成距离图；横纵投影图生成：对图像连通果实区域生成的距离图进行横向和纵向投影，获取横纵向投影图；形态预判：基于横纵向投影图中的峰点个数预判疑似重叠形态果实；形态确认：基于疑似重叠形态果实区域的深度信息确认是否为邻接重叠形态果实。该方法能够判别果园图像中的果实是否为邻接重叠形态果实，为后续采用不同的方法来处理不同形态(单个分离、邻接重叠、枝叶遮挡等)的果实提供依据。
Description
技术领域
本发明涉及一种果园不同生长形态果实的判别方法，尤其是对邻接重叠形态果实的判别。
背景技术
对于采摘机器人来说，由于自然工作环境非结构化的特点，存在很多影响果实精确识别的因素，其中果实邻接重叠遮挡是主要因素之一。果实邻接重叠遮挡就是从视觉传感器图像采集方向看去，两个或多个果实相互接靠重合致使后方果实部分被前方果实所遮挡。它是果实常见的生长形态，该生长形态的果实识别方法与分离无遮挡形态果实以及其他生长形态果实都是不同的，所以在识别之前应对其形态进行判别确认，以便采用相应方法来实现邻接重叠形态果实的精确识别。
发明内容
本发明的目的是：提供一种果园邻接重叠形态果实的判别方法，使得果实采摘机器人能够自动判别确认邻接重叠形态的果实，为进一步对其精确识别定位奠定基础。实现本发明的技术方案包括如下步骤：
(1)图像采集步骤：基于双目视觉传感器实时采集果实图像。
(2)果实区域提取步骤：首先基于图像熵来判断晴天采集图像的光照条件并据此采用模糊逻辑对光照条件不同区域进行权重分配，通过产生隶属函数且定义一组基于图像熵大小的模糊逻辑规则进行不同区域的加权来针对性的提高图像质量；而对于湿热雨雾状态下所采集果实图像，则根据图像退化机理采用马尔科夫随机场(MRF)模型的Retinex算法进行图像增强，而后通过CLAHE算法进行恢复校正来提高图像质量。接着采用基于相平衡模型的无监督多相图像快速分割方法来对图像质量提高后的果实图像进行分割。为了去除分割噪声、填充果实区域孔洞，还需进行小区域去除和孔洞填充操作，具体以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除；孔洞填充采用漫水填充算法实现。最后对图像再进行二值化运算，最终提取出二值化的果实区域。
(3)连通区域框定步骤：该步骤首先计算步骤(2)中保留的不同标记连通区域水平垂直方向上像素数的最大值，然后在不同标记连通区域以像素数最多的行列为长度和宽度画矩形，从而实现连通区域的最小水平框定。
(4)距离图生成步骤：以圆形结构元对框定区域二值化图像进行连续腐蚀操作；在腐蚀操作过程中，根据各个前景像素点到前景中心骨架像素点的距离，用欧氏距离公式计算出各个像素点的欧式距离值，设置为不同的灰度值，多次进行腐蚀操作，直到结构元与前景像素的交集为空，由此完成距离图的生成。
(5)横纵投影图生成步骤：利用距离图像的灰度值由外向内递增，在果实区域的中心达到最大的特点进行横向和纵向投影，获取横纵向投影图；横向投影图，是将每一行像素灰度累加值进行投影，投影值为纵坐标，图像像素行数为横坐标。纵向投影图，是将每一列像素灰度值累加进行投影，投影值为纵坐标，图像像素列数为横坐标。
(6)形态预判步骤：先对横纵向投影图中曲线采用移动平均法进行平滑，而后采用局部极值法提取横纵向投影图中的各个峰点，并要求峰值的最小高度不低于200；提取出横纵向投影图中的各个峰点数后，以最大峰点个数为依据，来预判该果实区域是否为重叠形态果实。
(7)形态确认步骤：根据左目图像疑似重叠形态果实区域来配准右目图像相应区域，而后获取该区域的深度信息，基于深度信息来最终确认该区域重叠形态果实是否为邻接重叠果实。
本发明的有益效果：
对于果实采摘机器人来说，该发明方法能够实现果园邻接重叠形态果实的判别，方便后续采用相应方法来实现该形态果实的精确识别，为推动果实采摘机器人的实用化起到重要作用。
附图说明
图1为果园邻接重叠形态果实判别总流程；
图2为果实区域图像；
图3为距离图像
图4为横纵投影效果图，其中：
图4(a)表示横向投影；图4(b)表示纵向投影。
图5为横纵投影曲线峰点图，其中：
图5(a)指出横向投影曲线的峰点；图5(b)表示纵向投影曲线的峰点。
具体实施方式
下面结合附图对本发明的实施方式做进一步的描述。本发明以苹果为例进行说明，但本发明同样适用于其他果实。
如图1所示，本发明提出的果园邻接重叠形态果实判别方法包括如下步骤：
(1)图像采集步骤
图像的采集基于双目视觉传感器，用作后续果实区域的提取。
(2)果实区域提取步骤
自然光照下光照过强或者过弱都会导致视觉系统所采集图像质量变差。研究发现当图像光照条件改变时图像熵也随着改变，因此对自然光照下的果实图像首先根据区域图像熵的大小来进行光照条件的判断，而后采用模糊逻辑对光照条件不同区域进行权重分配，通过产生隶属函数且定义一组基于图像熵大小的模糊逻辑规则进行不同区域的加权来提高图像质量。该方法能够有效提高过强或过弱光照条件下的图像质量，且不会对正常光照条件下的图像质量产生负面影响，更有利于后续不同光照条件下所采集果实图像的分割。
湿热气雾状态下，视觉系统所采集图像同样会出现不同程度的退化，导致图像质量变差，从而影响后续果实图像的分割效果。由于气雾不但影响图像的灰度均值，而且也影响图像的对比度和动态范围，所以单纯使用图像恢复技术或者图像增强技术来清晰化图像不能实现最佳效果，为此根据图像退化机理采用马尔科夫随机场(MRF)模型的Retinex算法进行图像增强，而后通过CLAHE算法进行恢复校正来提高湿热气雾下的果实图像质量。
对于上述图像质量提高后的图像采用基于相平衡模型的无监督多相图像快速分割方法进行分割。为了去除分割噪声、填充果实区域孔洞，还需进行小区域去除和孔洞填充操作，具体以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除；孔洞填充采用漫水填充算法实现。最后对图像再进行二值化运算，最终提取出二值化的果实区域，如图2所示。
(3)连通区域框定步骤
由于果实图像目标区域的复杂性，果实区域相互间既有水平、竖直投影遮挡，又有果实区域内果实间的遮挡，而所关心的是果实区域内果实间的遮挡，因此需要进行果实连通区域的框定，具体首先计算步骤(2)中保留的不同标记连通区域水平垂直方向上像素数的最大值，然后在不同标记连通区域以像素数最多的行列为长度和宽度画矩形，从而实现连通区域的最小水平框定。
(4)距离图生成步骤
以圆形结构元对框定区域二值化图像进行连续腐蚀操作；在腐蚀操作过程中，根据各个前景像素点到前景中心骨架像素点的距离，用欧氏距离公式计算出各个像素点的欧式距离值，设置为不同的灰度值，多次进行腐蚀操作，直到结构元与前景像素的交集为空，由此完成距离图的生成，如图3所示。
(5)横纵投影图生成步骤
利用距离图像的灰度值由外向内递增，在果实区域的中心达到最大的特点进行横向和纵向投影，获取横纵向投影图；横向投影图，是将每一行像素灰度累加值进行投影，投影值为纵坐标，图像像素行数为横坐标，如图4(a)。纵向投影图，是将每一列像素灰度值累加进行投影，投影值为纵坐标，图像像素列数为横坐标，如图4(b)。
(6)形态预判步骤
由于果实区域中果实外形不规则，从而导致横纵向投影图中的曲线曲曲折折，如果此时提取曲线峰点，会出现不对应于区域中果实个数的虚假峰点，为此先对横纵向投影图中曲线采用移动平均法进行平滑，而后采用局部极值法提取横纵向投影图中的各个峰点，并要求峰值的最小高度不低于200，如图5(a)和5(b)中米字星号为其峰点；提取出横纵向投影图中的各个峰点数后，以最大峰点个数为依据，来预判该果实区域是否为重叠形态果实。
(7)形态确认步骤
根据左目图像疑似重叠形态果实区域来配准右目图像相应区域，而后获取该区域的深度信息，基于深度信息来最终确认该区域重叠形态果实是否为邻接重叠果实。
以上实施方式仅用于说明本发明的技术方案，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明保护的范畴。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (4)
1.一种果园邻接重叠形态果实判别方法，其特征在于，包括以下步骤：
(1)图像采集步骤：基于双目视觉实时采集果园果实图像；
(2)果实区域提取步骤：对步骤(1)所采集左目图像进行处理，提取出图像中的所有果实区域；
(3)连通区域框定步骤：采用水平最小外接矩形法对左目图像中的果实区域进行框定标记；
(4)距离图生成步骤：对图像中各个果实区域利用欧式距离算法求取距离图像；
(5)横纵投影图生成步骤：对图像连通果实区域生成的距离图进行横向和纵向投影，获取横纵向投影图；
(6)形态预判步骤：提取横纵向投影图中的峰点，基于峰点个数对疑似重叠形态果实进行预判；
(7)形态确认步骤：获取疑似重叠形态果实区域的深度信息，基于深度信息确认是否为邻接重叠形态果实；
步骤(2)中：
首先基于图像熵来判断晴天采集图像的光照条件并据此采用模糊逻辑对光照条件不同区域进行权重分配，通过产生隶属函数且定义一组基于图像熵大小的模糊逻辑规则进行不同区域的加权来针对性的提高图像质量；对于湿热雨雾状态下所采集果实图像，则根据图像退化机理采用马尔科夫随机场模型的Retinex算法进行图像增强；
而后通过CLAHE算法进行恢复校正来提高图像质量；接着采用基于相平衡模型的无监督多相图像快速分割方法来对图像质量提高后的果实图像进行分割；为去除分割噪声、填充果实区域孔洞，进行小区域去除和孔洞填充操作；最终提取出二值化的果实区域；
步骤(5)中：利用距离图像的灰度值由外向内递增，在果实区域的中心达到最大的特点将其投影；横向投影图，是将每一行像素灰度累加值进行投影，投影值为纵坐标，图像像素行数为横坐标；纵向投影图，是将每一列像素灰度值累加进行投影，投影值为纵坐标，图像像素列数为横坐标；
步骤(6)中：提取横纵向投影图中的各个峰点数前，要先对横纵向投影图中曲线采用移动平均法进行平滑；
步骤(6)中采用局部极值法来提取横纵向投影图中的各个峰点，并要求峰值的最小高度不低于200；
步骤(6)中：提取出横纵向投影图中的各个峰点数后，以最大峰点个数为依据，来预判该果实区域是否为重叠形态果实。
2.根据权利要求1所述的一种果园邻接重叠形态果实判别方法，其特征在于，步骤(7)中：根据左目图像疑似重叠形态果实区域来配准右目图像相应区域，而后获取该区域的深度信息，基于深度信息来最终确认该区域重叠形态果实是否为邻接重叠果实。
3.根据权利要求1所述的一种果园邻接重叠形态果实判别方法，其特征在于，所述小区域去除具体以8邻域标记法对图像中的连通区域进行标记并统计总数，将小于最大连通区域1/12的小区域去除。
4.根据权利要求1所述的一种果园邻接重叠形态果实判别方法，其特征在于，所述孔洞填充采用漫水填充算法实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710504815.7A CN107437254B (zh) | 2017-06-28 | 2017-06-28 | 一种果园邻接重叠形态果实判别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710504815.7A CN107437254B (zh) | 2017-06-28 | 2017-06-28 | 一种果园邻接重叠形态果实判别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107437254A CN107437254A (zh) | 2017-12-05 |
| CN107437254B true CN107437254B (zh) | 2021-04-27 |
Family
ID=60459069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710504815.7A Active CN107437254B (zh) | 2017-06-28 | 2017-06-28 | 一种果园邻接重叠形态果实判别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107437254B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108262267B (zh) * | 2017-12-29 | 2019-10-18 | 北京农业智能装备技术研究中心 | 一种水果分选中的多果检测方法与装置 |
| CN109559299B (zh) * | 2018-11-19 | 2023-07-25 | 常州大学 | 一种双果重叠果实的分离方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310218A (zh) * | 2013-05-21 | 2013-09-18 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101726251A (zh) * | 2009-11-13 | 2010-06-09 | 江苏大学 | 基于支持向量机的苹果采摘机器人果实自动识别方法 |
| CN102194233B (zh) * | 2011-06-28 | 2012-08-15 | 中国农业大学 | 果园林间导航线提取方法 |
| JP6151562B2 (ja) * | 2013-05-24 | 2017-06-21 | 株式会社ブレイン | 物品識別システムとそのプログラム |
| CN103336946B (zh) * | 2013-06-17 | 2016-05-04 | 浙江大学 | 一种基于双目立体视觉的成簇状番茄识别方法 |
| CN105719282B (zh) * | 2016-01-16 | 2018-06-08 | 常州大学 | 一种果园红色苹果图像果实枝叶区域获取方法 |
-
2017
- 2017-06-28 CN CN201710504815.7A patent/CN107437254B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310218A (zh) * | 2013-05-21 | 2013-09-18 | 常州大学 | 一种重叠遮挡果实精确识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| 一种抗遮挡的红外多目标实时检测跟踪算法;龚卫国，王旭，李正浩;《仪器仪表学报》;20140424;第35卷(第3期);第535-542页 * |
| 图像处理之距离变换;gloomyfish;《CSDN》;20130515;第1页 * |
| 基于CLAHE和开闭运算的绿色苹果图像分割;王帆，吕继东，申根荣，马正年;《计算机测量与控制》;20170321;第141-145页 * |
| 基于图像熵的高动态范围场景的自动曝光算法;杨作廷，阮萍，翟波;《光子学报》;20130819;第42卷(第6期);第742-746页 * |
| 雾天图像清晰化技术的研究;赵宏宇;《中国博士学位论文全文数据库 信息科技辑》;20160315;第73-85页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107437254A (zh) | 2017-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325935B (zh) | 一种基于无人机图像的输电线路检测方法 | |
| CN109961049A (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN103839279A (zh) | 一种目标检测中基于vibe的粘连目标分割方法 | |
| CN109345554A (zh) | 一种基于rgb－d相机的粘连蘑菇视觉原位测量方法 | |
| CN107844683A (zh) | 一种数字pcr液滴浓度的计算方法 | |
| CN103473530A (zh) | 基于多视图和多模态特征的自适应动作识别方法 | |
| CN103295018A (zh) | 一种枝叶遮挡果实精确识别方法 | |
| CN104091175B (zh) | 一种基于Kinect深度信息获取技术的害虫图像自动识别方法 | |
| CN106887006B (zh) | 堆叠物体的识别方法、设备和机器分拣系统 | |
| CN112132153B (zh) | 基于聚类和形态学处理的番茄果实识别方法及系统 | |
| CN107437254B (zh) | 一种果园邻接重叠形态果实判别方法 | |
| Zhang et al. | Filtering photogrammetric point clouds using standard lidar filters towards dtm generation | |
| CN105678773B (zh) | 一种低对比度图像分割方法 | |
| CN105335960A (zh) | 结合边缘检测和分水岭算法的图像分割方法 | |
| CN103871089B (zh) | 一种基于融合的图像超像素网格化方法 | |
| CN105354547A (zh) | 一种结合纹理和彩色特征的行人检测方法 | |
| CN105260559B (zh) | 一种基于轮廓面积和轮廓细化的纸浆纤维形态参数计算方法 | |
| CN111597992B (zh) | 一种基于视频监控的场景物体异常的识别方法 | |
| CN102063726A (zh) | 一种运动目标分类方法和系统 | |
| CN105046264B (zh) | 一种基于可见光与激光雷达图像的稀疏地物分类与标示方法 | |
| CN114626445B (zh) | 基于光流网络与高斯背景建模的大坝白蚁视频识别方法 | |
| CN114419443A (zh) | 一种遥感影像耕地地块自动提取方法及系统 | |
| CN103886554B (zh) | 自动识别系统中的代码定位方法 | |
| CN113807309A (zh) | 一种基于深度学习的果园机械行走路线规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171205 Assignee: Shandong Hongde Yuheng Information Technology Co.,Ltd. Assignor: CHANGZHOU University Contract record no.: X2023980051060 Denomination of invention: A Method for Distinguishing Adjacent Overlapping Morphological Fruits in Orchards Granted publication date: 20210427 License type: Common License Record date: 20231209 |
|
| EE01 | Entry into force of recordation of patent licensing contract |