CN113393421A - 一种果实评估方法、装置和巡视设备 - Google Patents
一种果实评估方法、装置和巡视设备 Download PDFInfo
- Publication number
- CN113393421A CN113393421A CN202110499315.5A CN202110499315A CN113393421A CN 113393421 A CN113393421 A CN 113393421A CN 202110499315 A CN202110499315 A CN 202110499315A CN 113393421 A CN113393421 A CN 113393421A
- Authority
- CN
- China
- Prior art keywords
- fruit
- depth
- boundary
- neural network
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 191
- 238000011156 evaluation Methods 0.000 title claims abstract description 25
- 238000007689 inspection Methods 0.000 title abstract description 6
- 230000007547 defect Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 230000002950 deficient Effects 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000002420 orchard Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于图像识别技术领域，提供了一种果实评估方法、装置和巡视设备。方法包括：通过深度相机采集待测深度图像；对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界；根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。本申请利用深度相机拍照采集图像，不需要参照物也能准确计算果实及其缺陷部分的实际尺寸，并利用像素分割将果实及其缺陷区域与其他图像区域区分开，可以在果实采摘前对果实的大小和缺陷占比进行估算，便于确定市场价格和销售计划，预测经济效益；识别精度高，效率高，节省人力和时间成本。
Description
技术领域
本申请属于图像识别技术领域，尤其涉及一种果实评估方法、装置和巡视设备。
背景技术
目前的果实分捡系统主要为采收后的分拣和果实分级评估，根据分拣的结果统计产量，才能够获得实际的经济效益。而在体果实分级主要依赖于人工，基于经验采用5点法抽样统计估算，非常耗费人力，而且效率低下，准确率不足。
随着图像技术的发展，目前有部分通过图像识别进行在体果实分级的研究，其基于参考对象(木尺等)的校准进行果实果径大小估算。这对参考对象有很严格的限制，比如：参考对象必须具有可测量单位，即参考对象的宽度和高度必须已知；根据目标物体的位置或其外观，可以轻松分辨出参考对象。这种方法不仅操作复杂，而且当目标物体与参考对象不是位于照片中的同一景深，那么参考对象就失去了参考价值，因为相机与目标物体距离不同，目标物体在照片中表现出的大小具有非常大的差异。在实际应用中效果并不理想。
发明内容
本申请实施例提供了一种果实评估方法、装置和巡视设备，可以在果实采摘前获知果实的大小和产量，便于确定市场价格和销售计划，预测经济效益。
第一方面，本申请实施例提供了一种果实评估方法，包括：
通过深度相机采集待测深度图像；
对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界；
根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
进一步的，对所述待测深度图像进行像素分割之前，还包括：
通过深度图像样本对神经网络进行训练，获得经训练的神经网络模型；
所述深度图像样本包括果实图像样本和缺陷部分图像样本；
所述对所述待测深度图像进行像素分割，包括：利用所述经训练的神经网络模型对所述待测深度图像进行像素级的语义分割。
具体的，根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比，包括：
对所述深度相机进行标定，获取所述深度相机的相机坐标系到世界坐标系的转换关系；
根据所述转换关系和所述果实边界计算得到每个果实的果实尺寸；
根据所述转换关系和所述缺陷部分边界，计算得到每个果实的缺陷部分尺寸；
根据每个果实的所述果实尺寸和所述缺陷部分尺寸，计算缺陷部分占比。
作为一种可能的实现方式，通过深度图像样本对神经网络进行训练，包括：
通过线性重定标将所述深度图像样本转化为RGB图像样本，通过所述RGB图像样本对神经网络进行训练，得到第一神经网络模型；
从所述深度图像样本中提取深度通道数据样本，通过所述深度通道数据样本对神经网络进行训练，得到第二神经网络模型。
相应的，利用所述经训练的神经网络模型对所述待测深度图像进行像素级的语义分割，包括：
通过线性重定标将所述待测深度图像转化为RGB图像；利用所述第一神经网络模型对所述RGB图像进行像素级的语义分割；
或，从所述待测深度图像中提取深度通道数据，利用所述第二神经网络模型对所述深度通道数据进行像素级的语义分割。
或者，利用所述经训练的神经网络模型模型对所述待测深度图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界，包括：
通过线性重定标将所述待测深度图像转化为RGB图像；利用所述第一神经网络模型对所述RGB图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第一识别结果；
以及，从所述待测深度图像中提取深度通道数据，利用所述第二神经网络模型对所述深度通道数据进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第二识别结果；
将所述第一识别结果与所述第二识别结果相互校验，和/或，将所述第一识别结果与所述第二识别结果融合。
其中，通过深度图像样本对神经网络进行训练，包括：
在所述深度图像样本中标注果实目标框和缺陷区域；
所述神经网络模型对所述果实目标框和所述缺陷区域进行特征提取和学习。
进一步的，测算得到每个果实的果实尺寸和缺陷部分占比之后，还包括：
根据所述果实尺寸和预设的尺寸阈值确定果实等级；
根据所述果实等级和所述缺陷部分占比估算产量。
第二方面，本申请实施例提供了一种果实评估装置，包括：
深度相机模块，用于采集待测深度图像；
神经网络模块，用于对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界；
尺寸计算模块，用于根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
第三方面，本申请实施例提供了一种巡视设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，还包括深度相机和移动装置；
所述移动装置用于驱动所述巡视设备到目的位置；
所述深度相机用于获取目的位置的深度图像并发送到所述处理器；
所述处理器执行所述计算机程序时实现如上所述的果实评估方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的果实评估方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在巡视设备上运行时，使得巡视设备执行上述第一方面中任一项所述的果实评估方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：通过对待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界，再根据所述果实边界和所述缺陷部分边界以及深度相机的工作原理，测算得到每个果实的实际果实尺寸和缺陷部分占比。本申请利用深度相机拍照采集图像，不需要参照物也能准确计算果实及其缺陷部分的实际尺寸，并利用像素分割将果实及其缺陷区域与其他图像区域区分开，可以在果实采摘前对果实的大小和缺陷占比进行估算，便于确定市场价格和销售计划，预测经济效益；识别精度高，效率高，节省人力和时间成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的果实评估方法的流程示意图；
图2是本申请另一实施例提供的果实评估方法的流程示意图；
图3是本申请一实施例提供的两种语义分割方式的架构示意图；
图4是本申请一实施例提供的分离聚合门控的网络结构示意图；
图5是本申请一实施例提供的果实评估装置的结构示意图；
图6是本申请另一实施例提供的巡视设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的果实评估方法适用于农业上对果树进行采摘前的果实分级和估产的场景，由一种果实评估装置来执行，所述装置由软件和硬件组成，整体或部分集成于无人机、无人车、巡视车等设备上。
图1是本实施例提供的果实评估方法的流程示意图。如图1所示，所述果实评估方法包括如下步骤：
S11，通过深度相机采集待测深度图像。
深度相机对果树拍照，由一张或多张待测深度图像表示一棵树的果实情况。
深度相机用于获取RGB-D深度图像(RGB&Depth Map，包含深度信息的RGB图像)，待测深度图像包括了深度数据，深度数据体现的是物体到深度相机的距离。
深度相机获取深度数据的方法包括结构光(Structured Light)法、双目立体视觉(Binocular Stereo Vision)法和光飞行时间(Time Of Flight，缩写TOF)法，通过这些方法的任一个，可获得深度图像上每个像素点的深度坐标。
结构光法通过近红外激光器将具有一定结构特征的光线投射到被摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线会因被摄物体的不同深度区域而产生不同的图像相位变化，将这种结构的变化换算成深度信息。结构光包括但不限于条纹结构光、格雷码编码结构光、散斑结构光等。
光飞行时间法通过测量光飞行时间来取得距离，具体而言就是通过给被摄物体连续发射激光脉冲，然后用传感器接收从被摄物体反射的光脉冲，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。
双目立体视觉法是机器视觉的一种重要形式，其基于视差原理并利用成像设备的两个摄像头从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。
采集待测深度图像之前，需要对深度相机进行内外参标定，以获得深度相机的相机坐标系到世界坐标系的转换关系，过程如下：
在深度相机前设置标定物并拍照，标定物上包括多个标记点，将每个标记点在图像上的(x,y)坐标和深度坐标结合，得到每个标记点在三维相机坐标系中的图像坐标；测量标记点之间、标记点与深度相机之间的实际距离，得到标记点在三维世界坐标系中的实际坐标；根据所述图像坐标与所述实际坐标，计算得到三维相机坐标系到三维世界坐标系的转换关系，通常以转换矩阵表示。
标定完成后，深度相机可在脱离标定物的情况下采集待测深度图像，并根据所述转换矩阵，由待测深度图像上的物体图像尺寸计算得到物体的实际尺寸。
S12，对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界。
通过深度图像样本对神经网络进行训练，获得经训练的神经网络模型；所述深度图像样本包括果实图像样本和缺陷部分图像样本。所有深度图像样本都经过严格的鉴别和分类，去除了重复、模糊的情况，样本质量得到保证。
为提高神经网络模型对图像的识别效果，在进行模型训练前，会对样本进行数据增强，使得模型的泛化能力和鲁棒性更好。数据增强方法包括但不限于对深度图像样本的随机抖动缩放，图片亮度、HSV(色调Hue，饱和度Saturation，明度Value)的改变，随机水平翻转和旋转等。
在所述深度图像样本中标注果实目标框和缺陷区域；缺陷区域包括但不限于病虫害的病斑和表面损伤。所述神经网络模型对所述果实目标框和所述缺陷区域进行特征提取和学习。
神经网络模型在图像或者视频方面具有非常卓越的特征提取能力，提取的特征能够用来做图像分类、目标检测、以及目标像素级分割，像素级分割可采用语义分割或者实例分割。常用神经网络模型包括深度神经网络模型和卷积神经网络模型等。
语义分割的核心是编码器-解码器结构，编码器是指基于深度学习的特征提取网络，包括但不限于CSPDarknet53、EfficientNet_B0-B7、Resnest50，以及MobileNet_V3、GhostNet、ShuffleNet_V2等。解码器的任务是将编码器学习到的识别特征语义，通过上采样，投影到像素空间上，得到密集分类。
本实施例中，利用经训练的深度神经网络模型对所述待测深度图像进行像素级的语义分割，可准确识别果实边界和果实的缺陷部分边界。
S13，根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
通过前述步骤对所述深度相机的标定，获取所述深度相机的相机坐标系到世界坐标系的转换关系；根据所述转换关系和所述果实边界计算得到每个果实的果实尺寸；根据所述转换关系和所述缺陷部分边界，计算得到每个果实的缺陷部分尺寸；根据每个果实的所述果实尺寸和所述缺陷部分尺寸，计算缺陷部分占比。
具体的，根据果实边界可获得果实在待测深度图像上的大小，结合所述转换关系，将图像上的果实大小转换为实际的果实尺寸；缺陷部分同理。缺陷部分占比通常为面积占比。
本实施例通过机器学习建模来对包含果实的图像进行识别，实现果实的在体评估，包括果实大小、果面损伤及缺陷程度；在此基础上，可对果实大小进行分级，辅助果园种植户快速计算出单株果树乃至整个果园的果实数量，指导农业生产实践，并可用于种植采收前准确预测并计算种植区的果实采收前的经济效益、产量，以及对果园管理水平做出评估，提高工作效率，同时避免了人工分级的主观差距。
在上述实施例的基础上对神经网络模型的图像识别过程进行优化，如图2所示，方法步骤如下：
S21，通过深度相机采集待测深度图像。
S22，通过深度图像样本对神经网络进行训练，获得经训练的神经网络模型。
通过线性重定标将所述深度图像样本转化为RGB图像样本，通过所述RGB图像样本对神经网络进行训练，得到第一神经网络模型。
将深度图像线性重定标转化为RGB图像具体为：使用三个通道对深度图像重新编码，这三个通道分别是水平视差(H)、对地高度(H)和表面法向量的角度(A)，这种编码方式称为HHA，是深度信息的一种表示方式；然后把HHA编码得到的3个通道数据线性重定标到0～255，转化为RGB图像。
或者，也可以从所述深度图像样本中提取深度通道数据样本，通过所述深度通道数据样本对神经网络进行训练，得到第二神经网络模型。
可根据识别精度的需要，选择训练第一神经网络模型和第二神经网络模型的其一或二者。
S23，利用所述经训练的神经网络模型对所述待测深度图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界。
通过线性重定标，将经过HHA编码的所述待测深度图像转化为RGB图像；利用所述第一神经网络模型对所述RGB图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第一识别结果。
从所述待测深度图像中提取深度通道数据，利用所述第二神经网络模型对所述深度通道数据进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第二识别结果。
若步骤S22中训练第一神经网络模型和第二神经网络模型的其中之一，则对应产生第一识别结果或第二识别结果；在果实特征明显或识别精度要求不高时，可选择使用其中一种神经网络模型获得相应的识别结果。
若步骤S22中训练了第一神经网络模型和第二神经网络模型，如图3所示，可将所述第一识别结果与所述第二识别结果相互校验，和/或，将所述第一识别结果与所述第二识别结果融合。校验融合后的识别结果更准确，精度更高。
所述第一识别结果与所述第二识别结果的校验与融合，可采用分离聚合门控来实现。如图4所示，分离聚合门为了确保特征信息在模态之间传播，执行了两个操作，分别是分离门功能和聚合门功能。分离门(如图4左边虚线框所示)是对每个单一模态的特征重新校准的模块。由于深度传感器的物理特性，深度信息会掺杂很多噪声信号，通过分离门网络先对噪声信号进行滤波，再利用RGB信息中的高置信度信息来滤除相同级别的异常深度信息。具体操作：先将两种模态的全局空间信息进行融合，再沿通道方向进行全局平均池化来实现交叉模态的注意力特征向量，最后利用交叉模态的注意力特征向量与各单一模态进行乘积来获得较低噪声的深度信息。聚合门(如图4右边虚线框所示)是跨模态的特征聚合模块。RGB信息和深度信息在空间中的各个位置上存在很强的互补性，聚合门网络通过空间注意力机制可以将这两种模态特征进行融合，增强目标特征的特征识别。
分离聚合门控可以帮助两种识别结果之间的特征能够更好地融合，有效地重新校准RGB特征，以及提取准确的深度信息，从而提升RGB-D语义分割上的性能。
S24，根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
S25，根据所述果实尺寸和所述缺陷部分占比，进行果实分级和产量估计。
针对不同的果实，根据果径的阈值范围预先划分等级(如特大果、大果、中果和小果)，判断所述果实尺寸属于哪个阈值范围，则归类为阈值范围相应的等级。通过既往收获果实的统计可知每个等级的单个果实的平均重量。
根据缺陷部分占比的阈值划分好坏果，结合果实的等级、平均重量和好坏，可预估单棵果树甚至整个果园的产量。
对应于上文实施例所述的果实评估方法，图5示出了本申请实施例提供的果实评估装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该装置包括：
深度相机模块，用于采集待测深度图像。
神经网络模块，用于对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界。
尺寸计算模块，用于根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
深度相机模块一般设置在无人机、自动导航车(Automated Guided Vehicle，AGV小车)、巡视车等可移动的巡视设备上，神经网络模块和尺寸计算模块可设置在巡视设备上，也可设置在于巡视设备通信连接的智能终端、服务器等设备上。
所述装置还包括估产模块，用于根据每个果实的果实尺寸和缺陷部分占比，对果实进行分级，并进一步地进行产量估计。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图6为本申请一实施例提供的巡视设备的结构示意图。如图6所示，该巡视设备包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，还包括深度相机和移动装置。
所述移动装置用于驱动所述巡视设备到目的位置；如无人机的飞行装置和无人车的动力装置等。
所述深度相机用于获取目的位置的深度图像并发送到所述处理器。
所述处理器执行所述计算机程序时实现如上实施例所述的果实评估方法。
在其他实施例中，巡视设备的处理器执行如路径规划、驱动控制等任务，所述巡视设备还包括无线通信装置，所述通信装置实现了巡视设备与服务器的通信连接，所述深度相机获取目的位置的深度图像后，通过无线通信装置发送到服务器，由服务器执行如上实施例所述的果实评估方法。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是巡视设备的内部存储单元，例如硬盘或内存。所述存储器在另一些实施例中也可以是所述巡视设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器还可以既包括所述巡视设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在果实评估装置上运行时，使得果实评估装置执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (11)
1.一种果实评估方法，其特征在于，包括：
通过深度相机采集待测深度图像；
对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界；
根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
2.如权利要求1所述的果实评估方法，其特征在于，对所述待测深度图像进行像素分割之前，还包括：
通过深度图像样本对神经网络进行训练，获得经训练的神经网络模型；
所述深度图像样本包括果实图像样本和缺陷部分图像样本；
所述对所述待测深度图像进行像素分割，包括：利用所述经训练的神经网络模型对所述待测深度图像进行像素级的语义分割。
3.如权利要求1所述的果实评估方法，其特征在于，根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比，包括：
对所述深度相机进行标定，获取所述深度相机的相机坐标系到世界坐标系的转换关系；
根据所述转换关系和所述果实边界计算得到每个果实的果实尺寸；
根据所述转换关系和所述缺陷部分边界，计算得到每个果实的缺陷部分尺寸；
根据每个果实的所述果实尺寸和所述缺陷部分尺寸，计算缺陷部分占比。
4.如权利要求2所述的果实评估方法，其特征在于，通过深度图像样本对神经网络进行训练，包括：
通过线性重定标将所述深度图像样本转化为RGB图像样本，通过所述RGB图像样本对神经网络进行训练，得到第一神经网络模型；
从所述深度图像样本中提取深度通道数据样本，通过所述深度通道数据样本对神经网络进行训练，得到第二神经网络模型。
5.如权利要求4所述的果实评估方法，其特征在于，利用所述经训练的神经网络模型对所述待测深度图像进行像素级的语义分割，包括：
通过线性重定标将所述待测深度图像转化为RGB图像；利用所述第一神经网络模型对所述RGB图像进行像素级的语义分割；
或，从所述待测深度图像中提取深度通道数据，利用所述第二神经网络模型对所述深度通道数据进行像素级的语义分割。
6.如权利要求4所述的果实评估方法，其特征在于，利用所述经训练的神经网络模型模型对所述待测深度图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界，包括：
通过线性重定标将所述待测深度图像转化为RGB图像；利用所述第一神经网络模型对所述RGB图像进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第一识别结果；
以及，从所述待测深度图像中提取深度通道数据，利用所述第二神经网络模型对所述深度通道数据进行像素级的语义分割，获得果实边界和果实的缺陷部分边界的第二识别结果；
将所述第一识别结果与所述第二识别结果相互校验，和/或，将所述第一识别结果与所述第二识别结果融合。
7.如权利要求2所述的果实评估方法，其特征在于，通过深度图像样本对神经网络进行训练，包括：
在所述深度图像样本中标注果实目标框和缺陷区域；
所述神经网络模型对所述果实目标框和所述缺陷区域进行特征提取和学习。
8.如权利要求1所述的果实评估方法，其特征在于，测算得到每个果实的果实尺寸和缺陷部分占比之后，还包括：
根据所述果实尺寸和预设的尺寸阈值确定果实等级；
根据所述果实等级和所述缺陷部分占比估算产量。
9.一种果实评估装置，其特征在于，包括：
深度相机模块，用于采集待测深度图像；
神经网络模块，用于对所述待测深度图像进行像素分割，获得果实边界和果实的缺陷部分边界；
尺寸计算模块，用于根据所述果实边界和所述缺陷部分边界，测算得到每个果实的果实尺寸和缺陷部分占比。
10.一种巡视设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，还包括深度相机和移动装置；
所述移动装置用于驱动所述巡视设备到目的位置；
所述深度相机用于获取目的位置的深度图像并发送到所述处理器；
所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110499315.5A CN113393421A (zh) | 2021-05-08 | 2021-05-08 | 一种果实评估方法、装置和巡视设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110499315.5A CN113393421A (zh) | 2021-05-08 | 2021-05-08 | 一种果实评估方法、装置和巡视设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113393421A true CN113393421A (zh) | 2021-09-14 |
Family
ID=77616966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110499315.5A Pending CN113393421A (zh) | 2021-05-08 | 2021-05-08 | 一种果实评估方法、装置和巡视设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393421A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626895A (zh) * | 2022-04-01 | 2022-06-14 | 西南大学 | 基于机器视觉的草莓估价方法及远程采摘控制系统 |
| CN116524195A (zh) * | 2023-06-20 | 2023-08-01 | 中国科学院深圳先进技术研究院 | 语义分割方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN106780594A (zh) * | 2016-12-09 | 2017-05-31 | 厦门大学 | 一种结合深度波尔兹曼机的三维对象检测方法 |
| US9965865B1 (en) * | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
| WO2018188270A1 (zh) * | 2017-04-14 | 2018-10-18 | 北京图森未来科技有限公司 | 一种图像语义分割方法及装置 |
| CN109271990A (zh) * | 2018-09-03 | 2019-01-25 | 北京邮电大学 | 一种针对rgb-d图像的语义分割方法及装置 |
| CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
| CN110334769A (zh) * | 2019-07-09 | 2019-10-15 | 北京华捷艾米科技有限公司 | 目标识别方法及装置 |
| CN111044522A (zh) * | 2019-12-14 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 缺陷检测方法、装置及终端设备 |
| CN112529948A (zh) * | 2020-12-25 | 2021-03-19 | 南京林业大学 | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 |
-
2021
- 2021-05-08 CN CN202110499315.5A patent/CN113393421A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN106780594A (zh) * | 2016-12-09 | 2017-05-31 | 厦门大学 | 一种结合深度波尔兹曼机的三维对象检测方法 |
| US9965865B1 (en) * | 2017-03-29 | 2018-05-08 | Amazon Technologies, Inc. | Image data segmentation using depth data |
| WO2018188270A1 (zh) * | 2017-04-14 | 2018-10-18 | 北京图森未来科技有限公司 | 一种图像语义分割方法及装置 |
| CN109271990A (zh) * | 2018-09-03 | 2019-01-25 | 北京邮电大学 | 一种针对rgb-d图像的语义分割方法及装置 |
| CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
| CN110334769A (zh) * | 2019-07-09 | 2019-10-15 | 北京华捷艾米科技有限公司 | 目标识别方法及装置 |
| CN111044522A (zh) * | 2019-12-14 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 缺陷检测方法、装置及终端设备 |
| CN112529948A (zh) * | 2020-12-25 | 2021-03-19 | 南京林业大学 | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 |
Non-Patent Citations (7)
| Title |
|---|
| CLAUDIO FREDES 等: "Fruit Image Segmentation by Combining Color and Depth Data", 《INTERNATIONAL CONFERENCE ON INFORMATION SYSTEM AND APPLIED MATHEMATICS (ICIAMATH)》, 31 January 2016 (2016-01-31), pages 1 - 21 * |
| XINHANG SONG 等: "Depth CNNs for RGB-D scene recognition: learning from scratch better than transferring from RGB-CNNs", 《ARXIV》, 31 December 2018 (2018-12-31), pages 1 - 7 * |
| 宋怀波 等: "果实目标深度学习识别技术研究进展", 《农业机械学报》, vol. 54, no. 1, 9 October 2022 (2022-10-09), pages 1 - 19 * |
| 张旭东 等: "基于双金字塔特征融合网络的RGB-D多类实例分割", 《控制与决策》, vol. 35, no. 7, 15 April 2019 (2019-04-15), pages 1561 - 1568 * |
| 李珣 等: "基于RGB-D图像的物体识别方法", 《西安工程大学学报》, vol. 35, no. 4, 25 August 2021 (2021-08-25), pages 55 - 70 * |
| 田玉宇: "复杂环境下苹果采摘机器人的目标识别算法", 《中国优秀硕士学位论文全文数据库 (农业科技辑)》, 15 August 2020 (2020-08-15), pages 044 - 111 * |
| 谭冲: "基于彩色-深度图像信息的室内场景语义分割研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 January 2021 (2021-01-15), pages 138 - 1653 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114626895A (zh) * | 2022-04-01 | 2022-06-14 | 西南大学 | 基于机器视觉的草莓估价方法及远程采摘控制系统 |
| CN116524195A (zh) * | 2023-06-20 | 2023-08-01 | 中国科学院深圳先进技术研究院 | 语义分割方法、装置、电子设备及存储介质 |
| CN116524195B (zh) * | 2023-06-20 | 2023-12-01 | 中国科学院深圳先进技术研究院 | 语义分割方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147706B (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
| US10480939B2 (en) | High speed stereoscopic pavement surface scanning system and method | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
| US20200026283A1 (en) | Autonomous route determination | |
| EP2798611B1 (en) | Camera calibration using feature identification | |
| CN111460922A (zh) | 共享车辆停放区域三维模型图像识别停放是否合理的系统 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
| CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
| CN104217208A (zh) | 目标检测方法和装置 | |
| CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN110197106A (zh) | 物件标示系统及方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN113393421A (zh) | 一种果实评估方法、装置和巡视设备 | |
| CN112508985B (zh) | 一种基于语义分割的slam回环检测改进方法 | |
| CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
| CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
| Sanberg et al. | Extending the stixel world with online self-supervised color modeling for road-versus-obstacle segmentation | |
| CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| CN113807309A (zh) | 一种基于深度学习的果园机械行走路线规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |