CN116977615B - 荔枝果梗识别定位方法及装置 - Google Patents

荔枝果梗识别定位方法及装置 Download PDF

Info

Publication number
CN116977615B
CN116977615B CN202310939569.3A CN202310939569A CN116977615B CN 116977615 B CN116977615 B CN 116977615B CN 202310939569 A CN202310939569 A CN 202310939569A CN 116977615 B CN116977615 B CN 116977615B
Authority
CN
China
Prior art keywords
litchi
image
interest
region
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310939569.3A
Other languages
English (en)
Other versions
CN116977615A (zh
Inventor
谭志平
唐宇
方明伟
邢诗曼
黄文轩
黄明浩
黄华盛
郭琪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202310939569.3A priority Critical patent/CN116977615B/zh
Publication of CN116977615A publication Critical patent/CN116977615A/zh
Application granted granted Critical
Publication of CN116977615B publication Critical patent/CN116977615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种荔枝果梗识别定位方法及装置，该方法包括：对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；根据待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，获取可采摘的荔枝果梗感兴趣区域；将可采摘的荔枝果梗感兴趣区域、待处理图像和待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；将荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；对分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定荔枝果梗骨骼图中采摘点的坐标和深度值。本发明提高荔枝果梗识别定位的准确性，从而提高荔枝采摘效率和果实质量。

Description

荔枝果梗识别定位方法及装置
技术领域
本发明涉及机器人采摘技术领域，尤其涉及一种荔枝果梗识别定位方法及装置。
背景技术
机器人采摘技术旨在解决人工采摘劳动力不足、成本高昂和效率低下等问题。荔枝作为一种具有商业价值的热带水果，其采摘过程对于保证果实的品质和减少损伤至关重要。然而，机器人采摘荔枝面临一些挑战。其中一个主要问题是如何准确识别和定位荔枝果梗。
果梗是连接果实和树枝的部分，其位置和形状变化较大，对采摘机器人的操作和策略产生直接影响。目前，针对果梗识别和定位问题，已经有一些研究使用计算机视觉技术进行了探索。然而，这些方法通常仅利用视觉图像信息进行果梗的检测和定位，而忽视了其他可能的信息来源，从而导致荔枝果梗识别定位的准确性较低。
发明内容
本发明提供一种荔枝果梗识别定位方法及装置，用以解决现有技术中荔枝果梗识别定位的准确性较低的缺陷，实现提高荔枝果梗识别定位的准确性。
本发明提供一种荔枝果梗识别定位方法，包括：
对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。
根据本发明提供的一种荔枝果梗识别定位方法，所述根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域的步骤包括：
在同一张所述待处理图像中每个荔枝果梗感兴趣区域与至少一个所述荔枝感兴趣区域存在交集的情况下，确定每个荔枝果梗感兴趣区域为所述可采摘的荔枝果梗感兴趣区域。
根据本发明提供的一种荔枝果梗识别定位方法，所述将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像的步骤包括：
将所述待处理图像和所述可采摘的荔枝果梗感兴趣区域作为可见光模态，进行二维卷积编码；
将基于所述待处理图像和所述深度图像得到的三维点云作为点云模态，进行核点卷积编码；
将所述可见光模态的二维卷积编码结果经过第一自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第一自注意力机制用于捕捉所述可见光模态下的自适应感受野，所述第一互注意机制和第二互注意机制均用于将所述可见光模态和点云模态进行空间对齐；
将所述点云模态的核点卷积编码结果经过第二自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第二自注意力机制用于捕捉所述点云模态下的自适应感受野；
基于多头注意力机制将第一互注意机制和第二互注意机制的输出进行融合，得到荔枝果梗图像。
根据本发明提供的一种荔枝果梗识别定位方法，所述预处理包括背景去噪、二值化处理和形态学开运算。
根据本发明提供的一种荔枝果梗识别定位方法，所述确定所述荔枝果梗骨骼图中采摘点的坐标的步骤包括：
确定所述荔枝果梗骨骼图在竖直方向上的三条等分线；
在所述三条等分线中的中间等分线与所述荔枝果梗骨骼图中的荔枝果梗主干存在交点的情况下，将所述中间等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线与所述荔枝果梗主干不存在交点，且最上一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最上一条等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线、最上一条等分线与所述荔枝果梗主干均不存在交点，且最下一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最下一条等分线对应交点的坐标作为所述采摘点的坐标。
根据本发明提供的一种荔枝果梗识别定位方法，所述采摘点的深度值的获取步骤包括：
根据所述采摘点的坐标，从所述深度图像中提取所述采摘点的原始深度值和所述荔枝果梗骨骼图对应的深度值列表；
去除所述深度值列表中的异常深度值后，确定所述深度值列表中的深度值的平均值，以及所述原始深度值与所述平均值之间差值的绝对值；
在所述绝对值大于预设阈值的情况下，将所述平均值作为所述采摘点的深度值；
在所述绝对值小于或等于所述预设阈值的情况下，将所述原始深度值作为所述采摘点的深度值。
本发明还提供一种荔枝果梗识别定位装置，包括：
检测模块，用于对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
筛选模块，用于根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
融合模块，用于将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
分割模块，用于将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
定位模块，用于对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述荔枝果梗识别定位方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述荔枝果梗识别定位方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述荔枝果梗识别定位方法。
本发明提供的荔枝果梗识别定位方法及装置，通过利用目标检测得到的荔枝果梗感兴趣区域、图像数据和深度图像，进行多模态信息融合，得到荔枝果梗更全面和丰富的特征信息，包括形态、颜色、纹理等，提高荔枝果梗识别的准确性，确保机器人能够准确定位果梗的位置，增强机器人在不同环境条件下的适应性和鲁棒性，从而提高荔枝采摘效率和果实质量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的荔枝果梗识别定位方法的流程示意图；
图2是本发明提供的荔枝果梗识别定位方法多模态信息融合的流程示意图；
图3是本发明提供的荔枝果梗识别定位装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的一种荔枝果梗识别定位方法，包括：
步骤101，对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
待处理图像为需要进行荔枝果梗识别定位的图像，可为RGB图像。
可采用RGB-D相机采集同时包含荔枝和荔枝果梗的RGB图像和深度图像。将深度图像的图像坐标转换到RGB图像的图像坐标系下，经过像素匹配得到RGB图像中各像素点对应的深度值。
可采用YOLOV8网络模型对RGB图像进行目标检测。在使用YOLOV8网络模型对RGB图像进行目标检测之前，可采用labelImg工具标注样本RGB图像中的荔枝感兴趣区域(RegionOf Interest，ROI)和荔枝果梗感兴趣区域。将标注后的样本RGB图像分为训练集和测试集。根据YOLOV8网络模型的预测结果与标注结果之间的差异，将YOLOV8网络模型的权重在创建的训练集上进行微调训练，将训练好的YOLOV8网络模型在测试集中验证荔枝感兴趣区域和荔枝果梗感兴趣区域的识别性能。
将待处理图像输入训练好的YOLOV8网络模型进行目标检测，输出的预测信息为box＝(x,y,w,h,id,prob)。其中(x，y)为检测框左上角的坐标，w和h分别为检测框的像素宽和高度，id为检测结果类别，id为0时检测结果类别为荔枝，id为1时检测结果类别为荔枝果梗，prob为目标检测结果置信度。
对待处理图像的检测结果可采用字典存储，字典中的元素分别为：
dict<ROIstems>∶{pid:(x,y,w,h)}
dict<ROIlitchi>∶{pid:(x,y,w,h)}
其中，pid为待处理图像的编号，将检测框(x,y,w,h)包围的区域定义为荔枝ROI或荔枝果梗ROI。
步骤102，根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
荔枝ROI和荔枝果梗ROI在YOLOV8网络模型的识别中相互独立，识别得到的荔枝ROI和荔枝果梗ROI可能存在数量和位置不对应。
可通过判定荔枝ROI和荔枝果梗ROI的连通关系，筛选可采摘的荔枝果梗ROI。
步骤103，将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
将原始采集的待处理图像、荔枝果梗ROI以及待处理图像对应的深度图像进行逐通道堆叠，将动态非结构化环境的纹理、轮廓等特征映射到高维语义空间，通过预训练的YOLOV8网络提取的特征，形成图像模态的高维输入，从而实现多模态信息的融合，得到融合后的荔枝果梗图像Istem。
荔枝果梗在颜色、纹理、形状和光学特性等方面与周围环境和果实自身存在差异，这些差异可以通过多模态信息的融合得到更全面和准确的果梗定位结果。
多模态信息可以包括图像、点云等不同类型的传感器数据，通过综合利用这些信息，可以获得更全面和准确的果梗特征。例如，图像信息可以提供果梗的形态和颜色特征，点云信息可以反映果梗的位置信息。通过将这些信息进行融合和处理，可以提高果梗识别和定位的准确性和鲁棒性，进而指导机器人进行精确的采摘动作。
无论是光线变化、遮挡还是果梗特征的差异，可以通过综合分析不同信息源的数据，提供更可靠的果梗识别和定位结果。
步骤104，将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
可将融合后的Istem输入到语义分割网络PSPNet模型中进行语义分割，得到分割后的果梗图像。
步骤105，对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图Bstems，并确定所述荔枝果梗骨骼图Bstems中采摘点的坐标和深度值。
本实施例对采摘点的坐标和深度值的确定方法不作限定。
本实施例通过利用目标检测得到的荔枝果梗感兴趣区域、图像数据和深度图像，进行多模态信息融合，得到荔枝果梗更全面和丰富的特征信息，包括形态、颜色、纹理等，提高荔枝果梗识别的准确性，确保机器人能够准确定位果梗的位置，增强机器人在不同环境条件下的适应性和鲁棒性，从而提高荔枝采摘效率和果实质量。
在上述实施例的基础上，本实施例中所述根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域的步骤包括：
在同一张所述待处理图像中每个荔枝果梗感兴趣区域与至少一个所述荔枝感兴趣区域存在交集的情况下，确定每个荔枝果梗感兴趣区域为所述可采摘的荔枝果梗感兴趣区域。
使用荔枝果实形态先验的区域关联算法来判定荔枝ROI和荔枝果梗ROI的连通关系，连通关系判定的具体流程如下：
步骤1，从字典dict<ROIstems>和dict<ROIlitchi>中提取pid相同的ROIstems和ROIlitchi；
步骤2，判定ROIstems和ROIlitchi是否存在交集，如果存在，则认为ROIstems为可采摘的荔枝果梗ROI；如不存在，则在字典中删掉对应的ROIstems和ROIlitchi；
步骤3，利用可采摘荔枝果梗的ROIstems信息，对其pid对应的RGB图像进行裁剪得到Istem，在深度图像上提取Istems对应的深度图Dstems，构建字典存储可采摘果梗数据：
dict<pick>:{pid:(Istems,Dstems)}。
在上述实施例的基础上，本实施例中所述将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像的步骤包括：
将所述待处理图像和所述可采摘的荔枝果梗感兴趣区域作为可见光模态，进行二维卷积编码；
将基于所述待处理图像和所述深度图像得到的三维点云作为点云模态，进行核点卷积编码；
将所述可见光模态的二维卷积编码结果经过第一自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第一自注意力机制用于捕捉所述可见光模态下的自适应感受野，所述第一互注意机制和第二互注意机制均用于将所述可见光模态和点云模态进行空间对齐；
将所述点云模态的核点卷积编码结果经过第二自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第二自注意力机制用于捕捉所述点云模态下的自适应感受野；
基于多头注意力机制将第一互注意机制和第二互注意机制的输出进行融合，得到荔枝果梗图像。
如图2所示，将原始采集的待处理图像和荔枝果梗ROI信息作为可见光模态，利用卷积网络进行二维卷积编码。
对于基于待处理图像和深度图像得到的原始三维点云图，使用PointNet核点卷积构建三维点云的局部感知与特征提取。
采用自注意机制捕捉单模态下的自适应感受野，通过互注意机制实现不同模态的空间对齐，基于多头注意力机制融合不同子空间的编码表征。
通过多尺度融合网络，实现非结构化环境下多尺度信息的融合，得到融合后的Istem。
在上述各实施例的基础上，本实施例中预处理包括背景去噪、二值化处理和形态学开运算。
本实施例对分割后的荔枝果梗图像可先进行背景去噪，然后进行二值化处理，得到二值化图像。
在二值化图像上采用形态学开运算得到完整的荔枝果梗图像。
在上述各实施例的基础上，本实施例中所述确定所述荔枝果梗骨骼图中采摘点的坐标的步骤包括：
确定所述荔枝果梗骨骼图在竖直方向上的三条等分线；
在所述三条等分线中的中间等分线与所述荔枝果梗骨骼图中的荔枝果梗主干存在交点的情况下，将所述中间等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线与所述荔枝果梗主干不存在交点，且最上一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最上一条等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线、最上一条等分线与所述荔枝果梗主干均不存在交点，且最下一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最下一条等分线对应交点的坐标作为所述采摘点的坐标。
在荔枝果梗骨骼图Bstems上计算采摘点的坐标，具体流程如下：
步骤1，利用dict<ROIstems>和dict<pick>的对应关系，在荔枝果梗骨骼图Bstem上建立坐标系，其中Bstems左上角为原点，坐标为(x,y)，水平向右为x轴，垂直向下为y轴，右下角坐标为(x+w,y+h)；
步骤2，在Bstems上沿y轴方向向下四等分图片，从上到下依次为1/4、1/2和3/4等分线，依次与荔枝果梗主干交于P1、P2、P3三点；
步骤3，如果P2点存在，取P2点为采摘点P；
步骤4，如果P2点不存在，取P1点为采摘点P；
步骤5，如果P1点不存在，取P3点为采摘点P。
在上述各实施例的基础上，本实施例中所述采摘点的深度值的获取步骤包括：
根据所述采摘点的坐标，从所述深度图像中提取所述采摘点的原始深度值和所述荔枝果梗骨骼图对应的深度值列表；
去除所述深度值列表中的异常深度值后，确定所述深度值列表中的深度值的平均值，以及所述原始深度值与所述平均值之间差值的绝对值；
在所述绝对值大于预设阈值的情况下，将所述平均值作为所述采摘点的深度值；
在所述绝对值小于或等于所述预设阈值的情况下，将所述原始深度值作为所述采摘点的深度值。
利用dict<ROIstems>和dict<pick>的对应关系，计算采摘点的深度值Dpick。具体流程如下：
步骤1，提取采摘点P的原始深度值Dori；
步骤2，提取果梗骨骼图Bstems对应的深度信息列表List<Dbstems>；
步骤3，在深度信息列表List<Dbstems>中采用孤立森林法删除列表中的异常深度值；
步骤4，计算深度信息列表中深度信息的平均值Davg；
步骤5，判断|Dori-Davg|≥50mm是否成立，
如果成立，取Davg为采摘点深度值Dpick；否则，取Dori为采摘点深度值。
下面对本发明提供的荔枝果梗识别定位装置进行描述，下文描述的荔枝果梗识别定位装置与上文描述的荔枝果梗识别定位方法可相互对应参照。
如图3所示，该装置包括检测模块301、筛选模块302、融合模块303、分割模块304和定位模块305，其中：
检测模块301用于对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
筛选模块302用于根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
融合模块303用于将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
分割模块304用于将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
定位模块305用于对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。
本实施例通过利用目标检测得到的荔枝果梗感兴趣区域、图像数据和深度图像，进行多模态信息融合，得到荔枝果梗更全面和丰富的特征信息，包括形态、颜色、纹理等，提高荔枝果梗识别的准确性，确保机器人能够准确定位果梗的位置，增强机器人在不同环境条件下的适应性和鲁棒性，从而提高荔枝采摘效率和果实质量。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行荔枝果梗识别定位方法，该方法包括：对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；根据待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，获取可采摘的荔枝果梗感兴趣区域；将可采摘的荔枝果梗感兴趣区域、待处理图像和待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；将荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；对分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定荔枝果梗骨骼图中采摘点的坐标和深度值。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的荔枝果梗识别定位方法，该方法包括：对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；根据待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，获取可采摘的荔枝果梗感兴趣区域；将可采摘的荔枝果梗感兴趣区域、待处理图像和待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；将荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；对分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定荔枝果梗骨骼图中采摘点的坐标和深度值。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的荔枝果梗识别定位方法，该方法包括：对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；根据待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，获取可采摘的荔枝果梗感兴趣区域；将可采摘的荔枝果梗感兴趣区域、待处理图像和待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；将荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；对分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定荔枝果梗骨骼图中采摘点的坐标和深度值。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种荔枝果梗识别定位方法，其特征在于，包括：
对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值；
所述根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域的步骤包括：
在同一张所述待处理图像中每个荔枝果梗感兴趣区域与至少一个所述荔枝感兴趣区域存在交集的情况下，确定每个荔枝果梗感兴趣区域为所述可采摘的荔枝果梗感兴趣区域；
所述将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像的步骤包括：
将所述待处理图像和所述可采摘的荔枝果梗感兴趣区域作为可见光模态，进行二维卷积编码；
将基于所述待处理图像和所述深度图像得到的三维点云作为点云模态，进行核点卷积编码；
将所述可见光模态的二维卷积编码结果经过第一自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第一自注意力机制用于捕捉所述可见光模态下的自适应感受野，所述第一互注意机制和第二互注意机制均用于将所述可见光模态和点云模态进行空间对齐；
将所述点云模态的核点卷积编码结果经过第二自注意力机制后，同时经过第一互注意机制和第二互注意机制进行处理；所述第二自注意力机制用于捕捉所述点云模态下的自适应感受野；
基于多头注意力机制将第一互注意机制和第二互注意机制的输出进行融合，得到荔枝果梗图像；
所述采摘点的深度值的获取步骤包括：
根据所述采摘点的坐标，从所述深度图像中提取所述采摘点的原始深度值和所述荔枝果梗骨骼图对应的深度值列表；
去除所述深度值列表中的异常深度值后，确定所述深度值列表中的深度值的平均值，以及所述原始深度值与所述平均值之间差值的绝对值；
在所述绝对值大于预设阈值的情况下，将所述平均值作为所述采摘点的深度值；
在所述绝对值小于或等于所述预设阈值的情况下，将所述原始深度值作为所述采摘点的深度值。
2.根据权利要求1所述的荔枝果梗识别定位方法，其特征在于，所述预处理包括背景去噪、二值化处理和形态学开运算。
3.根据权利要求1或2所述的荔枝果梗识别定位方法，其特征在于，所述确定所述荔枝果梗骨骼图中采摘点的坐标的步骤包括：
确定所述荔枝果梗骨骼图在竖直方向上的三条等分线；
在所述三条等分线中的中间等分线与所述荔枝果梗骨骼图中的荔枝果梗主干存在交点的情况下，将所述中间等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线与所述荔枝果梗主干不存在交点，且最上一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最上一条等分线对应交点的坐标作为所述采摘点的坐标；
在所述三条等分线中的中间等分线、最上一条等分线与所述荔枝果梗主干均不存在交点，且最下一条等分线与所述荔枝果梗主干存在交点的情况下，将所述最下一条等分线对应交点的坐标作为所述采摘点的坐标。
4.一种荔枝果梗识别定位装置，其特征在于，应用于权利要求1-3任一项所述的荔枝果梗识别定位方法，包括：
检测模块，用于对同时包含荔枝和荔枝果梗的待处理图像进行目标检测，获取所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域；
筛选模块，用于根据所述待处理图像中的荔枝感兴趣区域和荔枝果梗感兴趣区域之间的位置关系，从所述荔枝果梗感兴趣区域中获取可采摘的荔枝果梗感兴趣区域；
融合模块，用于将所述可采摘的荔枝果梗感兴趣区域、所述待处理图像和所述待处理图像对应的深度图像进行融合处理，得到荔枝果梗图像；
分割模块，用于将所述荔枝果梗图像输入到语义分割网络中，得到分割后的荔枝果梗图像；
定位模块，用于对所述分割后的荔枝果梗图像进行预处理后，基于细化算法提取荔枝果梗骨骼图，并确定所述荔枝果梗骨骼图中采摘点的坐标和深度值。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述荔枝果梗识别定位方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述荔枝果梗识别定位方法。
7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述荔枝果梗识别定位方法。
CN202310939569.3A 2023-07-27 2023-07-27 荔枝果梗识别定位方法及装置 Active CN116977615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310939569.3A CN116977615B (zh) 2023-07-27 2023-07-27 荔枝果梗识别定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310939569.3A CN116977615B (zh) 2023-07-27 2023-07-27 荔枝果梗识别定位方法及装置

Publications (2)

Publication Number Publication Date
CN116977615A CN116977615A (zh) 2023-10-31
CN116977615B true CN116977615B (zh) 2024-04-30

Family

ID=88477745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310939569.3A Active CN116977615B (zh) 2023-07-27 2023-07-27 荔枝果梗识别定位方法及装置

Country Status (1)

Country Link
CN (1) CN116977615B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN111666883A (zh) * 2020-06-08 2020-09-15 佛山科学技术学院 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN115018789A (zh) * 2022-06-02 2022-09-06 河南讯飞人工智能科技有限公司 果实检测方法、装置、电子设备和存储介质
CN115299245A (zh) * 2022-09-13 2022-11-08 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统
CN115330868A (zh) * 2022-08-11 2022-11-11 浙江工业大学 一种基于深度学习与深度信息融合的葡萄采摘方法
CN116188528A (zh) * 2023-01-10 2023-05-30 中国人民解放军军事科学院国防科技创新研究院 基于多阶段注意力机制的rgbt无人机目标跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN111666883A (zh) * 2020-06-08 2020-09-15 佛山科学技术学院 一种葡萄采摘机器人目标识别及果梗夹切点定位方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN115018789A (zh) * 2022-06-02 2022-09-06 河南讯飞人工智能科技有限公司 果实检测方法、装置、电子设备和存储介质
CN115330868A (zh) * 2022-08-11 2022-11-11 浙江工业大学 一种基于深度学习与深度信息融合的葡萄采摘方法
CN115299245A (zh) * 2022-09-13 2022-11-08 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统
CN116188528A (zh) * 2023-01-10 2023-05-30 中国人民解放军军事科学院国防科技创新研究院 基于多阶段注意力机制的rgbt无人机目标跟踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Method for Identifying Litchi Picking Position Based on YOLOv5 and PSPNet;Xiaokang Qi、Jingshi Dong、Yubin Lan、Hang Zhu；;Remote Sensing;第14卷(第9期);1-17 *
基于RGB-D相机的果树三维重构与果实识别定位;麦春艳;郑立华;孙红;杨玮;;农业机械学报(第S1期);40-45 *

Also Published As

Publication number Publication date
CN116977615A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111582294B (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
CN110599507B (zh) 一种番茄识别定位方法及系统
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN110852186A (zh) 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统
CN111161295A (zh) 一种菜品图像背景剥离方法
CN113793385A (zh) 鱼头鱼尾定位方法及装置
CN113723314A (zh) 一种基于YOLOv3算法的甘蔗茎节识别方法
CN114331961A (zh) 用于对象的缺陷检测的方法
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN116977615B (zh) 荔枝果梗识别定位方法及装置
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
Huang et al. Mango surface defect detection based on HALCON
CN115018789A (zh) 果实检测方法、装置、电子设备和存储介质
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
CN115034577A (zh) 一种基于虚实边缘匹配的机电产品漏装检测方法
CN114926635A (zh) 与深度学习方法相结合的多焦图像中目标分割方法
CN114998274A (zh) 对象的定位方法、装置、电子设备和可读存储介质
CN113723833A (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN113192022A (zh) 基于深度学习的病原孢子识别计数方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant