CN111369497B - 一种行走式树上果实连续计数方法及装置 - Google Patents

一种行走式树上果实连续计数方法及装置 Download PDF

Info

Publication number
CN111369497B
CN111369497B CN202010100310.6A CN202010100310A CN111369497B CN 111369497 B CN111369497 B CN 111369497B CN 202010100310 A CN202010100310 A CN 202010100310A CN 111369497 B CN111369497 B CN 111369497B
Authority
CN
China
Prior art keywords
fruit
fruits
image
tree
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010100310.6A
Other languages
English (en)
Other versions
CN111369497A (zh
Inventor
钱建平
吴文斌
查燕
史云
段玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Agricultural Resources and Regional Planning of CAAS
Original Assignee
Institute of Agricultural Resources and Regional Planning of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Agricultural Resources and Regional Planning of CAAS filed Critical Institute of Agricultural Resources and Regional Planning of CAAS
Priority to CN202010100310.6A priority Critical patent/CN111369497B/zh
Publication of CN111369497A publication Critical patent/CN111369497A/zh
Application granted granted Critical
Publication of CN111369497B publication Critical patent/CN111369497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明公开了一种行走式树上果实连续计数方法及装置，所述方法包括步骤：根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距和高度设定双目图像获取模块的位置；B、按照所确定同步行走滚轮行进速度移动双目图像获取模块，并且，C、利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；D、对获取的双侧果树图像进行图像处理与果实计数；E、行进至下一果树继续进行拍摄、图像处理和果实计数。利用本发明的树上果实连续计数方法及装置，能够实现树上果实的连续、准确计数。

Description

一种行走式树上果实连续计数方法及装置
技术领域
本发明属于农业自动化技术，特别是涉及到农业自动化中的智能图像处理和识别技术。
背景技术
随着人们生活水平的持续提高，水果在人们的日常生活中扮演着越来越重要的角色，另一方面，中国又是果品生产大国，因此国内的水果消耗量和生产量均位于世界前列。庞大的水果消耗量要求规模化的水果种植，但目前很多果园管理水平却相对落后，较多受到人工管理水平与自然气候的制约，因此每年果品产量存在很大的不稳定性，并进一步造成市场供应和果农收入的波动。如果种植户能够在水果，例如苹果的生长过程中通过一些相对简单的方法对苹果产量进行估测，并根据预估产量及时调整生产管理与销售策略，可有效节省生产资料投入，并提高种植户收入，达到经济与生态效益的双赢。
目前与产量预测相关的方法主要有三种：第一种是利用遥感技术，通过影像光谱信息分析NVDI等参数，预测大面积范围的农作物产量；第二种是通过专业生化检测设备，检测农作物生理指标、生长环境等与产量相关的因子，并分析生化因子与产量间的关系，建立产量估测模型；第三种是获取成熟期果树图像，利用图像识别技术进行果实计数进而达到产量估测的目的。相比于第一和第二种方法，第三种方法具有图像易获取、使用成本低、操作简单等优势，已成为发明的特点，例如如下所列举。
发明专利——一种枇杷果实识别方法(申请号/专利号：201910537538.9)公开了一种基于目标果实检测数据库与样本图像，对十四层卷积神经网络进行训练得到的检测模型对检测图像进行检测，来识别检测图像中枇杷果实的方法。
发明专利——一种基于RGB-D的树上果实快速识别定位方法(申请号/专利号：201610137746.6)公开了一种基于RGB-D的树上果实快速识别定位方法，利用RGB-D传感器获得坐标对应的深度与颜色信息的特点，自最近点开始进行深度球面的逐层切割，叶片及树枝的切割结果分别为非闭合曲线、直径较小的闭合曲线，予以去除；将剩余的果实闭合曲线生成深度和颜色点云的三维轮廓，从而完成成熟果实的识别与定位。
发明专利——一种果实识别方法及系统(申请号/专利号：201910506940.0)通过对待测图像的预处理，获取包括若干目标果实的初始轮廓图像；通过几何形态学方法对初始轮廓进行筛选，获取目标轮廓图像；通过迭代随机圆变换方法对所述目标轮廓图像进行处理，获取每一目标果实的圆心与半径及其在待测图像中的位置，即使目标果实间相互存在遮挡或者目标果实被叶片遮挡的情况下，也能准确有效的识别出目标果实。
但是，目前已有的果实计数方法多侧重于如何将果实从背景中剔除、如何解决遮挡等问题，但在实际应用中快速、连续对同一片果园不同果树上的果实进行计数已成为提高计数效率、增强准确率的关键。因此急需解决的问题如下：
1)由于果树生长的多方向性，单从一侧获取果树的图像，导致对单株果树产量估测存在较大误差；如分阶段从两侧获取图像，一方面效率低下，另一方面两次获取图像的中心点不一致易造成较多的重复识别或漏识别，数学处理上也较为复杂；
2)由于果树生长一般按一定的行距和株距规分布，若不能连续计数，既会影响效率，也因为果树间重叠和遗漏而影响准确性。
发明内容
为解决现有技术中由于果树生长的多方向性，单从一侧获取果树的图像，导致对单株果树产量估测存在较大误差；如分阶段从两侧获取图像，一方面效率低下，另一方面两次获取图像的中心点不一致易造成较多的重复识别或漏识别，数学处理上也较为复杂；且由于果树生长一般按一定的行距和株距规分布，若不能连续计数，既会影响效率，也会因为果树间重叠和遗漏而影响准确性的技术问题，本发明提出了一种行走式树上果实计数方法及装置，能够准确、连续地实现树上果实计数。
为了实现该技术效果，本发明采用了如下的技术方案。
一种行走式树上果实连续计数方法，包括步骤：
A、根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距和高度设定双目图像获取模块的位置；
B、按照所确定同步行走滚轮行进速度移动双目图像获取模块，并且，
C、利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
D、对获取的双侧果树图像进行图像处理与果实计数；
E、行进至下一果树继续进行拍摄、图像处理和果实计数。
相对于现有技术而言，本发明的核心之一在于通过果树两侧的双目图像获取模块，获取更为精确的果树双侧图像，避免只获取单侧的图像的精度差以及分别获得两次图像时的效率低，且由于中心点不一致易造成较多的重复识别或漏识别，数学处理上也较为复杂的技术问题。
单侧获取的图像，仅仅是一种二维图像，因此无论是对于枝叶的遮挡问题还是由于图像获取模块的精度问题，还是图像处理单元的误处理问题，都无法解决，而本发明中采用包括两个相对设立，而且水平高度相同的摄像单元的双目图像获取模块，因此能够全面解决这些技术问题。本发明中的双目图像获取模块，不是简单地照搬自然界的双目成像的原理，而是两个相对设置的相机(自然界的双目是同侧，仅仅是存在视角差)，因此更像是两个互相协作的智能设备，具体定位原理在后详述，因此这样的方式定位更加精确。
另外，使用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像，还能利用双侧的果树图像进行视差处理、深度检测等操作，具有应用灵活的优点。
另外，在两侧同时分别拍摄果树图像，还可以按照多幅的方式进行，例如两侧各同步拍摄多张，这样可以获得更多的相对视点，进一步提高计数的精度。
另外，本发明的核心效果之一在于可实现不同果树的连续计数，可有效提高果实计数的效率和准确度，便于实现规模化生产。
其中，所述对获取的双侧果树图像进行图像处理包括以下步骤：
D11、特征提取：根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
D12、图像分割：根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
D13、去噪处理：对所述二值化图像进行噪声去除处理；
D14、圆拟合分析：根据果实的形状特征将噪声去除后的图像进行圆拟合。
获得了双侧果树图像后，为了进行准确的果实计数，本发明中首先对于果树图像进行处理，将图像中的果实分离出来，形成接近果实形状的圆形区域。为此，本发明中采取独创的方法进行图像分割，并进行去噪处理，随后将噪声去除后的图像进行圆拟合，提高了识别精度。
另外，所述特征提取步骤包括：
D111、随机选择预定数量的果树，获取每棵果树的果树图像，在所述果树图像中绘制一条从图像左侧到右侧的水平线；
D112、接受用户输入，确定用户标示的所述水平线所经过的果实中心点；
D113、计算出果树图像中所有用户标示点处的红绿色比值和亮度值，并统计出所计算红绿色比值和亮度值的各自最大值与最小值，在所述红绿色比值和亮度值的各自最大值与最小值之间选择阈值；
D114、将所述阈值作为图像中区分果实和树体的像素分割阈值。
本发明中，结合图像RGB(红/绿/蓝)参数所确定的R/B值和HSV(色调/饱和度/亮度)参数中的V值，采用线剖面法进行特征提取，获取像素分割阈值。
经过实践检验，该分割方式具有准确度高且计算简单的特点，有利于实时、连续图像处理，经过合适选择的阈值，能够达到90％以上的准确度。
所述在所述红绿色比值和亮度值的各自最大值与最小值之间选择阈值，可以是根据概率分布状况选择数学期望值，也可以是经过是学习的方式选择阈值，即选择阈值后进行机器识别和人工核验，由获得的人工核验结果来确定选择阈值的优化方向，例如减小分割阈值后，能够提高机器识别率，则进一步减小分割阈值，直至出现拐点。
所述选择阈值后，还可以进一步根据识别状况调整所述选择阈值。
另外，所述去噪处理步骤包括：
D131、对于图像分割后的二值化图像中的一个以上白斑分别统计各白斑大小；
D132、对于尺寸小于预定阈值的白斑，进行形态学滤波，对所述白斑进行腐蚀运算，与黑色背景合并。
由于图像中果树其它部分R/B值和V值可能大于所取分割阈值，在二值化图像中也会呈现出不规则的白斑，但一般都不会太大。因此可以通过形态学滤波方法，对图像中小图斑进行腐蚀运算，与黑色背景合并，可达到消除噪声的目的，提高计数的精度。
另外，所述圆拟合分析包括以下步骤：
D141、通过边缘检测算法在经过去噪处理后的二值化图像中提取所有果实的果实边缘线；
D142、选择任一果实边缘线，选择所述果实边缘线的一点为边缘曲率计算起点；
D143、沿所述果实边缘线以固定步长进行连续采样，计算每个采样点的曲率；
D144、判断采样点的曲率是否满足预设边缘条件，如不满足，则返回步骤D142，重新选择起始点进行曲率计算，如满足，则执行步骤D145；
D145、将所述果实边缘线拟合生成圆，获取生成的拟合圆的半径和圆心；
D146、判断任意两个拟合生成圆的圆心和半径误差是否在误差阈值范围内，如果不是，则生成两个圆，如果是，则将所述两个拟合生成圆合并为一个圆。
由于三维空间中的果实投影到图像中会产生遮挡与重叠的现象，因此会产生将一个果实，例如苹果被识别成两个白斑或是将两个苹果识别成一个白斑的现象，需要进行圆拟合分析，减小白斑数量与果实真实数量间的误差。通过圆拟合分析后，可避免重叠与遮挡所产生的苹果数量漏计与多计现象，然后统计图像中生成圆的数量，即识别出的苹果数量。通常在图像中苹果边缘会呈现出规则的圆弧形状，而在被遮挡或重叠时，圆弧会出现凹陷、凸起等不规则的变化，因此本发明中通过计算二值化图像中白斑边缘曲率可修正计数误差。
为此，本发明中采取了圆拟合分析的方式，首先基于图像分割后的二值化图像，通过Canny边缘检测算子将图像中潜在的果实(例如苹果)边缘线提取出来，再随机选择任意边缘线，从任意点开始计算边缘曲率。沿边缘线，优选步长为5个像素点进行连续采样，当然也可以根据实际应用设定其他步长值，计算每个采样点处的曲率，再分析每个采样点处的曲率是否满足边缘条件，如满足，则认定是一条果实边缘，否则重新选择起始点进行曲率分析。
其中，所述判断采样点的曲率是否满足预设边缘条件为：
所述采样点的曲率绝对值小于最大曲率且大于最小曲率，其中所述最大曲率和最小曲率根据统计该类果实的曲率分布预定置信度的边界范围所确定；
所述采样点的曲率与相邻采样点的曲率之差的绝对值小于曲率最大容差，其中所述曲率最大容差根据统计该类果实的相邻点曲率差的概率分布所确定；
满足以上两个条件的采样点数目大于预设数目。
所述最大曲率、最小曲率和曲率最大容差参数都与果实的种类、生长阶段相关，因此本发明中的控制模块还可以具有数据库，所述数据库中存储有不同生长阶段以及不同果实的最大曲率、最小曲率和曲率最大容差参数，在进行本发明的行走式树上果实技术方法时，选择合适的参数组，能够提高计数的精度。
另外，所述果实计数包括以下步骤：
D21、根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定；
D22、根据双目图像获取模块的相对位置，将三维空间中的果实划分为两侧各自的果实；
D23、分别统计所述两侧各自的果实并求和，得到整株果实数目。
因为本发明中通过深度探测，将将三维空间中的果实划分为两侧各自的果实，剔除重复计数的果实，因此能够提高计数的精度，避免出现误差。
本发明的核心点之一在于提高果实的技术精度，现有技术中利用平面图像进行识别，容易受到多种因素的干扰，特别是离摄像头较远的果实，容易被误判，因此，本发明的技术方案中采用双目的图像获取，可以利用景深识别距离，排除与果树的中心距离过远的果子，这样可以排除果树背面的果子，可以避免一颗果树的重复计数。
其中，所述根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定包括：
以及，
其中，所述Xleft,Yleft，和Xright,Yright分别是双目图像获取模块中左右相机对于一果实的二维成像坐标，其中Yleft＝Yright＝Y，D为所述果实在左右相机所拍摄相片的X方向上的坐标偏差，B为左右相机的基线距离。
上式中，空间中果实P中心点在左右相机中的成像点Pleft＝(Xleft,Yleft),Pright＝(Xright,Yright)。将左右相机设置在同一水平高度上，则P在Y方向的坐标是相同的，即Yleft＝Yright＝Y。通过上式可消去f参数，得到所述果实在空间中的坐标——xc、yc和zc的数值。
本发明还包括一种行走式树上果实连续计数装置，包括位于待计数果树两侧的双目图像获取模块，所述双目图像获取模块包括分别设置于待计数果树两侧的左右相机；与所述双目图像获取模块分别通过纵向调节连杆连接的两个同步行走滚轮；连接两侧纵向调节连杆、双目图像获取模块和行走滚轮的横向调节连杆以及控制模块，其中，所述控制模块包括，
双目图像获取模块位置设置单元，用于根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距调整横向调节连杆，以调整两侧纵向调节连杆、双目图像获取模块和行走滚轮之间的间距，按照所确定高度调整纵向调节连杆，以调整所述双目图像获取模块的高度；
行走滚轮驱动单元，用于按照所确定同步行走滚轮行进速度移动双目图像获取模块、纵向调节连杆和横向调节连杆；
图像获取模块控制单元，用于利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
图像处理及计数组件，用于对获取的双侧果树图像进行图像处理与果实计数。
其中，所述图像处理及计数组件包括：
特征提取单元，用于根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
图像分割单元，用于根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
去噪处理单元，用于对所述二值化图像进行噪声去除处理；
圆拟合分析单元，用于根据果实的形状特征将噪声去除后的图像进行圆拟合。
附图说明
图1为根据本发明一具体实施方式中行走式树上果实连续计数装置的结构示意图。
图2为根据本发明一具体实施方式中行走式树上果实连续计数方法的流程示意图。
图3为根据本发明一具体实施方式中行走式树上果实连续计数方法中圆拟合分析的流程示意图。
图4为根据本发明一具体实施方式中行走式树上果实连续计数方法中进行果实坐标在三维空间中的坐标确定的步骤示意图。
具体实施方式
下面结合附图，对本发明作详细说明。
以下公开详细的示范实施例。然而，此处公开的具体结构和功能细节仅仅是出于描述示范实施例的目的。
然而，应该理解，本发明不局限于公开的具体示范实施例，而是覆盖落入本公开范围内的所有修改、等同物和替换物。在对全部附图的描述中，相同的附图标记表示相同的元件。
参阅附图，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的位置限定用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
同时应该理解，如在此所用的术语“和/或”包括一个或多个相关的列出项的任意和所有组合。另外应该理解，当部件或单元被称为“连接”或“耦接”到另一部件或单元时，它可以直接连接或耦接到其他部件或单元，或者也可以存在中间部件或单元。此外，用来描述部件或单元之间关系的其他词语应该按照相同的方式理解(例如，“之间”对“直接之间”、“相邻”对“直接相邻”等)。
图2为根据本发明一具体实施方式中行走式树上果实连续计数方法的流程示意图，如图所示，本发明具体实施方式中包括一种行走式树上果实连续计数方法，其包括步骤：
A、根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距和高度设定双目图像获取模块的位置；
B、按照所确定同步行走滚轮行进速度移动双目图像获取模块，并且，
C、利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
D、对获取的双侧果树图像进行图像处理与果实计数；
E、行进至下一果树继续进行拍摄、图像处理和果实计数。
本发明的核心之一在于通过果树两侧的双目图像获取模块，获取更为精确的果树双侧图像，避免只获取单侧的图像的精度差以及分别获得两次图像时的效率低，且由于中心点不一致易造成较多的重复识别或漏识别，数学处理上也较为复杂的技术问题。
另外，使用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像，还能利用双侧的果树图像进行视差处理、深度检测等操作，具有应用灵活的优点。
另外，在两侧同时分别拍摄果树图像，还可以按照多幅的方式进行，例如两侧各同步拍摄多张，这样可以获得更多的相对视点，进一步提高计数的精度。
另外，本发明的核心效果之一在于可实现不同果树的连续计数，可有效提高果实计数的效率和准确度，便于实现规模化生产。
现有技术中，例如采用静态摄像的方式获取图像，例如使用手机拍照后对于图像进行处理，对于图像处理过程中常常发生遗漏或重复的问题，例如树枝的遮挡、照相机的曝光阴暗区等，会让这些问题更加严重，而本申请中采用了同步摄像-同步计数处理的方法，当发现计数中出现较多的错误(例如图像中大量出现二值化后的轮廓圆拟合失败)，则可以重新拍照、补充拍照的方式，同步纠正误差，因此能够克服现有技术中的问题，提高准确度。
例如，根据矮化密植苹果园的株行距一般为2m*3m，树高一般为1.5m，因此例如可以设定纵向调节连杆高度(即双目图像获取模块的高度)设置为1.8m、横向调节连杆长度设置为3m；经前期测试，图像获取加上图像处理与计数的处理时间为5s，因此可以设定同步行走滚轮的速度为0.4m/s。
因此，本发明相对于现有技术而言，优势在于可以连续获取，可以双侧获取，拍照和行走装置可以通过设置，做好配合，既能提高本发明的连续计数的效率，也能保障准确度。
特别地，当一棵果树上的果实计数量明显少时，推测可能是由于双目图像获取模块拍摄的角度不佳的缘故，则控制模块也可驱动所述同步行走滚轮移动至另一拍摄位置重新拍摄，再次进行图像处理和果实计数，对于错误的果实计数量进行修正。
在本发明另一具体实施方式中，所述对获取的双侧果树图像进行图像处理包括以下步骤：
D11、特征提取：根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
D12、图像分割：根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
D13、去噪处理：对所述二值化图像进行噪声去除处理；
D14、圆拟合分析：根据果实的形状特征将噪声去除后的图像进行圆拟合。
获得了双侧果树图像后，为了进行准确的果实计数，本发明中首先对于果树图像进行处理，将图像中的果实分离出来，形成接近果实形状的圆形区域。为此，本发明中采取特定的方法进行图像分割，并进行去噪处理，随后将噪声去除后的图像进行圆拟合，提高了识别精度。
另外，在本发明另一具体实施方式中，所述特征提取步骤包括：
D111、随机选择预定数量的果树，获取每棵果树的果树图像，在所述果树图像中绘制一条从图像左侧到右侧的水平线；
D112、接受用户输入，确定用户标示的所述水平线所经过的果实中心点；
D113、计算出果树图像中所有用户标示点处的红绿色比值和亮度值，并统计出所计算红绿色比值和亮度值的各自最大值与最小值，在所述红绿色比值和亮度值的各自最大值与最小值之间选择阈值；
D114、将所述阈值作为图像中区分果实和树体的像素分割阈值。
本发明中，结合图像RGB参数所确定的R/B值和HSV参数中的V值，采用线剖面法进行特征提取，获取像素分割阈值。
经过实践检验，该分割方式具有准确度高且计算简单的特点，有利于实时连续图像处理，经过合适选择的阈值，能够达到准确度为90％以上。
所述在所述果树图像中绘制出的水平线，如果途径的果实数量过少(例如少于5个)，则可以重新自动调整水平线高度。或者接收用户对于水平线高度的调整操作的结果。
所述在所述红绿色比值和亮度值的各自最大值与最小值之间选择阈值，可以是根据概率分布状况选择数学期望值，也可以是经过是学习的方式选择阈值，即选择阈值后进行机器识别和人工核验，由获得的人工核验结果来确定选择阈值的优化方向，例如减小分割阈值后，能够提高机器识别率，则进一步减小分割阈值，直至出现拐点。
所述选择阈值后，还可以进一步根据识别状况调整所述选择阈值，例如发现识别错误率过高时，则重新调整选择阈值，或者调整确定选择阈值的方法。
对于图像分割而言，根据前期实验结果，图像中果实所在位置的像素R/B及V值一般会出现峰值(最大值)，与其它像素R/B值与V值存在明显差异，因此可在所述R/B值和V值各自的最大值与最小值间确定选择阈值，作为区分苹果和树体其它部分的像素分割阈值。根据以上步骤中获取的像素分割阈值，该方法对果树图像进行二值化处理，高于像素分割阈值的像素取值为1(白色)，低于像素分割阈值的像素取值为0(黑色)，将原始图像转化为黑色背景白色图斑的二值化图像。
另外，在本发明另一具体实施方式中，所述去噪处理步骤包括：
D131、对于图像分割后的二值化图像中的一个以上白斑分别统计各白斑大小；
D132、对于尺寸小于预定阈值的白斑，进行形态学滤波，对所述白斑进行腐蚀运算，与黑色背景合并。
由于图像中果树其它部分R/B值和V值可能大于所取分割阈值，在二值化图像中也会呈现出不规则的白斑，但一般都不会太大。因此可以通过形态学滤波方法，对图像中小图斑进行腐蚀运算，与黑色背景合并，可达到消除噪声的目的，提高计数的精度。
图3为根据本发明一具体实施方式中行走式树上果实连续计数方法中圆拟合分析的流程示意图。如图3所示，在本发明另一具体实施方式中，所述圆拟合分析包括以下步骤：
S301、通过边缘检测算法在经过去噪处理后的二值化图像中提取所有果实的果实边缘线；
S302、选择任一果实边缘线，确定所述果实边缘线的一点为边缘曲率计算起点；
S303、沿所述果实边缘线以固定步长进行连续采样，计算每个采样点的曲率；
S304、判断采样点的曲率是否满足预设边缘条件，如不满足，则返回步骤S302，重新选择起始点进行曲率计算，如满足，则执行步骤S305；
S305、将所述果实边缘线拟合生成圆，获取生成的拟合圆的半径和圆心；
D146、判断任意两个拟合生成圆的圆心和半径误差是否在误差阈值范围内，如果不是，则执行步骤S307，生成两个圆，如果是，则执行步骤S308，将所述两个拟合生成圆合并为一个圆。
由于三维空间中的果实投影到图像中会产生遮挡与重叠的现象，因此会产生将一个果实，例如苹果被识别成两个白斑或是将两个苹果识别成一个白斑的现象，需要进行圆拟合分析，减小白斑数量与果实真实数量间的误差。通过圆拟合分析后，可避免重叠与遮挡所产生的苹果数量漏计与多计现象，然后统计图像中生成圆的数量，即识别出的果实数量。通常在图像中果实边缘会呈现出规则的圆弧形状，而在被遮挡或重叠时，圆弧会出现凹陷、凸起等不规则的变化，通过计算二值化图像中白斑边缘曲率可修正计数误差。
因此本发明中采取了圆拟合分析的方式，首先基于图像分割后的二值化图像，通过Canny边缘检测算子将图像中潜在的果实边缘线提取出来，再随机选择任意边缘线，从任意点开始计算边缘曲率。沿边缘线，优选步长为5个像素点进行连续采样，也可以根据实际应用设定其他步长值，计算每个采样点处的曲率，再分析每个采样点处的曲率是否满足边缘条件，如满足，则认定是一条果实边缘，否则重新选择起始点进行曲率分析。
所述圆心和半径误差是否在误差阈值范围根据实验结果确定，例如选择5％-10％以下作为误差阈值范围。
其中，所述判断采样点的曲率是否满足预设边缘条件为：
所述采样点的曲率绝对值小于最大曲率且大于最小曲率，其中所述最大曲率和最小曲率根据统计该类果实的曲率分布预定置信度的边界范围所确定；
所述采样点的曲率与相邻采样点的曲率之差的绝对值小于曲率最大容差，其中所述曲率最大容差根据统计该类果实的相邻点曲率差的概率分布所确定；
满足以上两个条件的采样点数目大于预设数目。
其中，所述最大曲率和最小曲率根据统计该类果实的曲率分布预定置信度的边界范围为，例如确定概率密度分布在97.5％概率范围内的上限和下限值作为所述最大曲率和最小曲率。
所述曲率最大容差为概率分布在95以下的曲率差值作为曲率最大容差，也可以根据计数结果再选择最大曲率、最小曲率和曲率最大容差的参数值。
所述最大曲率、最小曲率和曲率最大容差参数都与果实的种类、生长阶段相关，因此本发明中的控制模块还可以具有数据库，所述数据库中存储有不同生长阶段以及不同果实的最大曲率、最小曲率和曲率最大容差参数，在进行本发明的行走式树上果实技术方法时，选择合适的参数组，能够提高计数的精度。
图4为根据本发明一具体实施方式中行走式树上果实连续计数方法中进行果实坐标在三维空间中的坐标确定的步骤示意图。如图4所示，所述果实计数包括以下步骤：
D21、根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定；
D22、根据双目图像获取模块的相对位置，将三维空间中的果实划分为两侧各自的果实；
D23、分别统计所述两侧各自的果实并求和，得到整株果实数目。
因为本发明中通过深度探测，将将三维空间中的果实划分为两侧各自的果实，剔除重复计数的果实，因此能够提高计数的精度，避免出现误差。
其中，所述根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定包括：
以及，
其中，所述Xleft,Yleft，和Xright,Yright分别是双目图像获取模块中左右相机对于一果实的二维成像坐标，其中Yleft＝Yright＝Y，D为所述果实在左右相机所拍摄相片的X方向上的坐标偏差，B为左右相机的基线距离。
上式中，空间中果实P中心点在左右相机中的成像点Pleft＝(Xleft,Yleft),Pright＝(Xright,Yright)。将左右相机设置在同一水平高度上，则P在Y方向的坐标是相同的，即Yleft＝Yright＝Y。通过上式可消去f参数，得到xc、yc和zc的数值。
确定果实的xc、yc和zc的数值后，剔除距离深度大于双目图像获取模块间距离一半的果实，保留下来的为单侧果实数量。例如根据前面设置的横向调节连杆长度设置为3m，则深度限值为1.5m，即深度距离小于等于1.5m的果实设别为本侧果实，大于1.5m的则舍弃(被认为是相对侧的果实)。
图1为根据本发明一具体实施方式中行走式树上果实连续计数装置的结构示意图。如图所示，与本发明的行走式树上果实连续计数方法相对应，本发明还包括一种行走式树上果实连续计数装置，包括位于待计数果树两侧的双目图像获取模块，所述双目图像获取模块包括分别设置于待计数果树两侧的左右相机；与所述双目图像获取模块分别通过纵向调节连杆连接的两个同步行走滚轮；连接两侧纵向调节连杆、双目图像获取模块和行走滚轮的横向调节连杆以及控制模块，其中，所述控制模块包括，
双目图像获取模块位置设置单元，用于根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距调整横向调节连杆，以调整两侧纵向调节连杆、双目图像获取模块和行走滚轮之间的间距，按照所确定高度调整纵向调节连杆，以调整所述双目图像获取模块的高度；
行走滚轮驱动单元，用于按照所确定同步行走滚轮行进速度移动双目图像获取模块、纵向调节连杆和横向调节连杆；
图像获取模块控制单元，用于利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
图像处理及计数组件，用于对获取的双侧果树图像进行图像处理与果实计数。
其中，所述图像处理及计数组件包括：
特征提取单元，用于根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
图像分割单元，用于根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
去噪处理单元，用于对所述二值化图像进行噪声去除处理；
圆拟合分析单元，用于根据果实的形状特征将噪声去除后的图像进行圆拟合。
因此，利用本发明的行走式树上果实连续计数方法和装置，能够实现技术效果包括：
(1)获取了更为精确的果树双侧图像，避免只获取单侧的果树图像的精度差以及分别获得两次图像时的效率低；
(2)使单幅果树图像尽可能完整包含目标果树且尽可能不包含其他果树；
(3)通过深度探测，剔除重复计数的果实，提高了精度；
(4)通过圆拟合分析的方式，可避免重叠与遮挡所产生的果实数量漏计与多计现象，然后统计图像中生成圆的数量，即可识别出的果实数量。
上述说明示出并描述了本发明的若干优选实施例，应当理解本发明并非局限于本说明书所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本说明书所述发明构想范围内通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种行走式树上果实连续计数方法，包括步骤：
A、 根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距和高度设定双目图像获取模块的位置；
B、按照所确定同步行走滚轮行进速度移动双目图像获取模块，并且，
C、利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
D、对获取的双侧果树图像进行图像处理与果实计数；
E、行进至下一果树继续进行拍摄、图像处理和果实计数。
2.根据权利要求1中所述的行走式树上果实连续计数方法，其特征在于，所述对获取的双侧果树图像进行图像处理包括以下步骤：
D11、特征提取：根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
D12、图像分割：根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
D13、去噪处理：对所述二值化图像进行噪声去除处理；
D14、圆拟合分析：根据果实的形状特征将噪声去除后的图像进行圆拟合。
3.根据权利要求2中所述的行走式树上果实连续计数方法，其特征在于，所述特征提取步骤包括：
D111、随机选择预定数量的果树，获取每棵果树的果树图像，在所述果树图像中绘制一条从图像左侧到右侧的水平线；
D112、接受用户输入，确定用户标示的所述水平线所经过的果实中心点；
D113、计算出果树图像中所有用户标示点处的红绿色比值和亮度值，并统计出各标示点中，所计算红绿色比值和亮度值的各自最大值与最小值，在所述红绿色比值和亮度值的各自最大值与最小值之间选择阈值；
D114、将所述阈值作为图像中区分果实和树体的像素分割阈值。
4.根据权利要求2中所述的行走式树上果实连续计数方法，其特征在于，所述去噪处理步骤包括：
D131、对于图像分割后的二值化图像中的一个以上白斑分别统计各白斑大小；
D132、对于尺寸小于预定阈值的白斑，进行形态学滤波，对所述白斑进行腐蚀运算，与黑色背景合并。
5.根据权利要求2中所述的行走式树上果实连续计数方法，其特征在于，所述圆拟合分析包括以下步骤：
D141、通过边缘检测算法在经过去噪处理后的二值化图像中提取所有果实的果实边缘线；
D142、选择任一果实边缘线，选择所述果实边缘线的一点为边缘曲率计算起点；
D143、沿所述果实边缘线以固定步长进行连续采样，计算每个采样点的曲率；
D144、判断采样点的曲率是否满足预设边缘条件，如不满足，则返回步骤D142，重新选择起始点进行曲率计算，如满足，则执行步骤D145;
D145、将所述果实边缘线拟合生成圆，获取生成的拟合圆的半径和圆心；
D146、判断任意两个拟合生成圆的圆心和半径误差是否在误差阈值范围内，如果不是，则生成两个圆，如果是，则将所述两个拟合生成圆合并为一个圆。
6.根据权利要求5中所述的行走式树上果实连续计数方法，其特征在于，所述判断采样点的曲率是否满足预设边缘条件为：
所述采样点的曲率绝对值小于最大曲率且大于最小曲率，其中所述最大曲率和最小曲率根据统计所述果实的曲率分布预定置信度的边界范围所确定；
所述采样点的曲率与相邻采样点的曲率之差的绝对值小于曲率最大容差，其中所述曲率最大容差根据统计所述果实的相邻点曲率差的概率分布所确定；
满足以上两个条件的采样点数目大于预设数目。
7.根据权利要求2中所述的行走式树上果实连续计数方法，其特征在于，所述果实计数包括以下步骤：
D21、根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定；
D22、根据双目图像获取模块的相对位置，将三维空间中的果实划分为两侧各自的果实；
D23、分别统计所述两侧各自的果实并求和，得到整株果实数目。
8.根据权利要求7中所述的行走式树上果实连续计数方法，其特征在于，所述根据双目视觉的方式，对双目图像获取模块获得的果实坐标进行三维空间中的坐标确定包括：
以及，
，
其中，所述Xleft, Yleft，和Xright, Yright 分别是双目图像获取模块中左右相机对于一果实的二维成像坐标，其中Yleft = Yright =Y，D为所述果实在左右相机所拍摄相片的X方向上的坐标偏差，B为左右相机的基线距离。
9.一种行走式树上果实连续计数装置，包括位于待计数果树两侧的双目图像获取模块，其中，
所述双目图像获取模块包括分别设置于待计数果树两侧的左右相机；
行走式树上果实连续计数装置还包括与所述双目图像获取模块分别通过纵向调节连杆连接的两个同步行走滚轮；
以及连接两侧纵向调节连杆、双目图像获取模块和行走滚轮的横向调节连杆以及控制模块，其中所述控制模块包括，
双目图像获取模块位置设置单元，用于根据果树高度和果园行距确定双目图像获取模块间的间距、双目图像获取模块的高度以及同步行走滚轮行进速度，按照所确定间距调整横向调节连杆，以调整两侧纵向调节连杆、双目图像获取模块和行走滚轮之间的间距，按照所确定高度调整纵向调节连杆，以调整所述双目图像获取模块的高度；
行走滚轮驱动单元，用于按照所确定同步行走滚轮行进速度移动双目图像获取模块、纵向调节连杆和横向调节连杆；
图像获取模块控制单元，用于利用双目图像获取模块按照相对两侧方向、相同水平高度位置处同时拍摄果树图像；
图像处理及计数组件，用于对获取的双侧果树图像进行图像处理与果实计数。
10.根据权利要求9中所述的行走式树上果实连续计数装置，其特征在于，所述图像处理及计数组件包括：
特征提取单元，用于根据果实的颜色特征提取用于在所述图像中区分果实和树体的像素分割阈值；
图像分割单元，用于根据所述像素分割阈值对所述果树图像进行二值化处理，得到表征果实和树体的二值化图像；
去噪处理单元，用于对所述二值化图像进行噪声去除处理；
圆拟合分析单元，用于根据果实的形状特征将噪声去除后的图像进行圆拟合。
CN202010100310.6A 2020-02-18 2020-02-18 一种行走式树上果实连续计数方法及装置 Active CN111369497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010100310.6A CN111369497B (zh) 2020-02-18 2020-02-18 一种行走式树上果实连续计数方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010100310.6A CN111369497B (zh) 2020-02-18 2020-02-18 一种行走式树上果实连续计数方法及装置

Publications (2)

Publication Number Publication Date
CN111369497A CN111369497A (zh) 2020-07-03
CN111369497B true CN111369497B (zh) 2023-10-10

Family

ID=71210965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010100310.6A Active CN111369497B (zh) 2020-02-18 2020-02-18 一种行走式树上果实连续计数方法及装置

Country Status (1)

Country Link
CN (1) CN111369497B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812703B (zh) * 2020-07-07 2022-09-09 山东省科学院海洋仪器仪表研究所 一种伽玛能谱背景计数方法
CN112233121A (zh) * 2020-10-16 2021-01-15 中国农业科学院农业资源与农业区划研究所 一种基于双目空间定位和智能分割的果实产量估算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200193A (zh) * 2014-08-05 2014-12-10 北京农业信息技术研究中心 一种果树产量估测方法及装置
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法
EP3579186A1 (fr) * 2018-06-06 2019-12-11 Iteka Procede et systeme pour la gestion d'une parcelle agricole

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200193A (zh) * 2014-08-05 2014-12-10 北京农业信息技术研究中心 一种果树产量估测方法及装置
CN104700404A (zh) * 2015-03-02 2015-06-10 中国农业大学 一种果实定位识别方法
EP3579186A1 (fr) * 2018-06-06 2019-12-11 Iteka Procede et systeme pour la gestion d'une parcelle agricole
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双侧图像识别的单株苹果树产量估测模型;钱建平;李明;杨信廷;吴保国;张勇;王衍安;;农业工程学报(11);第132-136页 *

Also Published As

Publication number Publication date
CN111369497A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
Li et al. Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots
Wang et al. Localisation of litchi in an unstructured environment using binocular stereo vision
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
Tong et al. Skewness correction and quality evaluation of plug seedling images based on Canny operator and Hough transform
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Nielsen et al. Vision-based 3D peach tree reconstruction for automated blossom thinning
CN105989601B (zh) 基于机器视觉的农业agv玉米行间导航基准线提取方法
CN102704215B (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN107748886B (zh) 一种基于深度相机的轨道式现代标准化果园信息感知系统
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN112614147B (zh) 一种基于rgb影像的作物苗期植株密度估算的方法及系统
CN110599507B (zh) 一种番茄识别定位方法及系统
KR101974638B1 (ko) 식물 영상 처리 장치 및 방법
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN109380146B (zh) 生猪自动测量装置和方法
CN114066842A (zh) 穗头数统计方法、系统、装置及存储介质
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
CN114067207A (zh) 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN115687850A (zh) 一种农田的灌溉需水量计算方法及装置
CN104992448A (zh) 机器人防损伤采摘葡萄的自动定位方法
CN114387343A (zh) 一种成簇平菇的菌柄采摘位置的检测方法
CN108734054B (zh) 无遮挡的柑橘果实图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant