CN117501990A - 用于遮挡环境下水果自动采摘的定位和识别方法及系统 - Google Patents

用于遮挡环境下水果自动采摘的定位和识别方法及系统 Download PDF

Info

Publication number
CN117501990A
CN117501990A CN202311634959.6A CN202311634959A CN117501990A CN 117501990 A CN117501990 A CN 117501990A CN 202311634959 A CN202311634959 A CN 202311634959A CN 117501990 A CN117501990 A CN 117501990A
Authority
CN
China
Prior art keywords
image
target
target fruit
fruit
fruits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311634959.6A
Other languages
English (en)
Other versions
CN117501990B (zh
Inventor
熊亚
胡仕敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences filed Critical Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority to CN202311634959.6A priority Critical patent/CN117501990B/zh
Publication of CN117501990A publication Critical patent/CN117501990A/zh
Application granted granted Critical
Publication of CN117501990B publication Critical patent/CN117501990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种用于遮挡环境下水果自动采摘的定位和识别方法及系统，涉及图像处理技术领域。所述方法包括：基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像；所述完整图像为能够显现水果被遮挡部分的图像；基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘。本申请提供的用于遮挡环境下水果自动采摘的定位和识别方法及系统可以在耗费资源较少的情况下，实现遮挡水果的准确识别和快速采摘。

Description

用于遮挡环境下水果自动采摘的定位和识别方法及系统
技术领域
本申请涉及图像处理技术领域，尤其涉及一种用于遮挡环境下水果自动采摘的定位和识别方法及系统。
背景技术
随着智慧农业的发展，农业智能化成为发展的主题。实现水果采摘的机械化和自动化有利于解决农业生产中劳动力短缺、生产力低、生产成本高等问题，同时可以提高效率，节约人力成本。在进行水果自动采摘的过程中，采摘目标容易受到遮挡、重叠等的影响，使得对水果的检测和识别造成较大的误差，从而影响路径规划与机械臂操纵控制，因此水果遮挡问题成为水果自动采摘的重难点之一。而现有技术中对遮挡水果的自动采摘容易出现识别不准确、采摘速度慢、耗费资源多等问题。
发明内容
本申请提供一种用于遮挡环境下水果自动采摘的定位和识别方法及系统，可以在耗费资源较少的情况下，实现遮挡水果的准确识别和快速采摘。
第一方面，本申请实施例提供一种用于遮挡环境下水果自动采摘的定位和识别方法，包括：
基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像；所述完整图像为能够显现水果被遮挡部分的图像；
基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘。
在一个实施例中，基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像，包括：
对同步后的目标水果的RGB图像和X光图像进行融合，得到目标水果的融合图像；
将目标水果的融合图像输入识别模型，得到所述识别模型输出的目标水果的完整图像；
其中，所述识别模型是将目标水果的融合图像作为样本，将目标水果的融合图像对应的目标水果的完整图像作为标签进行训练得到的。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若未被遮挡或被部分遮挡，则将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，确定目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则基于RGB图像和X光图像的融合图像，确定目标水果的二维位置信息；
基于遮挡物的三维位置信息、目标水果的完整图像和目标水果的二维位置信息，进行目标水果的自动采摘。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则确定遮挡物的三维位置信息；
基于遮挡物的三维位置信息，去除遮挡物；
获取去除遮挡物后的目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
在一个实施例中，所述方法还包括：
在同一时刻采集目标水果的RGB图像和X光图像，得到时间同步的目标水果的RGB图像和X光图像。
在一个实施例中，所述方法还包括：
获取目标水果的RGB图像和X光图像对应的特征点；
基于目标水果的RGB图像和X光图像对应的特征点，确定目标水果的RGB图像和X光图像的单应性矩阵；
基于所述单应性矩阵，对目标水果的RGB图像和X光图像进行配准，得到空间同步的目标水果的RGB图像和X光图像。
第二方面，本申请实施例提供一种用于遮挡环境下水果自动采摘的定位和识别系统，包括：
一个或多个X射线发射器及其对应的X射线接收器，以及控制器；其中，目标水果位于X射线发射器及其对应的X射线接收器之间；
所述一个或多个X射线发射器及其对应的X射线接收器用于获取目标水果的X光图像；
所述控制器用于实现上述任一实施例所述用于遮挡环境下水果自动采摘的定位和识别方法。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法及系统，通过目标水果的RGB图像和X光图像来确定目标水果的完整图像，并基于目标水果的完整图像和位置信息进行自动采摘。该方法可以将RGB图像和X光图像进行优势互补，并结合目标水果的位置信息进行自动采摘，从而有利于实现遮挡水果的准确识别，而且本申请只需要对视场内的图像进行一次拍摄，将拍摄图像融合后就可以识别和定位，速度快，精度高，可以在耗费资源较少的情况下，实现遮挡水果的快速采摘。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的用于遮挡环境下水果自动采摘的定位和识别方法的流程示意图；
图2是本申请提供的水果自动采摘软硬件结合的示意图；
图3是本申请提供的未融合前的RGB灰度图；
图4是本申请提供的RGB图像和X光图像融合后的灰度图；
图5是本申请提供的水果自动采摘方法的具体步骤示意图；
图6是本申请提供的水果自动采摘方法理想效果图；
图7是本申请提供的用于遮挡环境下水果自动采摘的定位和识别系统的结构示意图。
具体实施方式
针对现有技术中对遮挡水果的自动采摘容易出现识别不准确、采摘速度慢、耗费资源多的问题，研究者们进行了多种探索，例如直接对图像识别的算法进行改进，对采集的RGB图像进行识别，在YOLOV5算法的基础上加入了Denseblock模块和Transformer模块，以此来提高对遮挡物的识别精度。此外，在遮挡识别的研究思路上，还形成了主动视觉法、形状补全法和多传感融合法等方法。例如，利用三维摄像机阵列和机器人从不同的角度获得多个视图，然后利用梯度上升的方法来视觉伺服到下一个最佳视图，并通过最佳视图进行识别。还可以采用单目相机从多视角获取水果图像，然后利用运动恢复结构(Structurefrom motion，SFM)和多目立体视觉(Multiple View Stereo，MVS)技术生成水果点云数据，并对水果直径进行估计，然后对遮挡水果进行补全。也可以利用两个双目相机获取水果的图像，然后对图像进行分割，利用算法对水果的中心点群进行定位。然后通过双目相机生成3D点云图，并将两个双目相机的点云数据进行拼接，获得更为完整的水果点云数据。
上述方法均存在一定的缺陷：直接利用二维图像，通过改进算法提升遮挡目标的检测精度，简单方便，速度快。但是算法的提升有限，只能对遮挡范围较小的目标进行识别，且容易出现漏检的情况。主动视觉法利用摄像机主动去寻找水果采摘的最佳位置，能在一定程度上解决水果遮挡的问题，但在实际应用中有较大的局限性。当利用单个相机去不断寻找最佳采摘位置时，耗费的时间较多，采摘速度非常慢；当采用多相机多视角同时拍摄寻找最佳视角时，耗费的资源较多，且由于需要进行大量的计算，速度提升较小，还会存在最佳视角预估不准的问题。利用单相机或多相机重建出遮挡水果的三维模型，通过预估水果的直径，再进行形状补全的方式可实现遮挡水果的识别，但这种方法常用于球状水果，其他非球状水果的形状补全较难实现。传感融合法可用的方案较多(例如：单相机加双目相机、双目相机和激光雷达、双目相机和红外相机等)，检测的效果较好，因此是目前研究的热点。本申请基于多传感融合法，利用RGB-D相机和X光扫描仪同时对水果进行数据采集，将获得的图像进行融合检测。
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法的流程示意图。参照图1，本申请实施例提供一种用于遮挡环境下水果自动采摘的定位和识别方法，其执行主体可以为电子设备，例如，可以为一个控制器，该方法可以包括：
步骤110、基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像；完整图像为能够显现水果被遮挡部分的图像；
步骤120、基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘。
本申请的方案和附图中所用的目标水果以更具有挑战性的小目标——草莓为例。在步骤110中，控制器可以获取要采摘的目标水果的RGB图像和X光图像(同X射线图像、X-ray图像)，并对目标水果的RGB图像和X光图像进行同步。基于同步后的目标水果的RGB图像和X光图像，控制器可以确定目标水果的完整图像。其中，完整图像可以是能够显现水果被遮挡部分的图像。
在步骤120中，控制器可以获取能够显现水果被遮挡部分的完整图像和目标水果的位置信息，基于目标水果的完整图像和位置信息，控制器可以识别并定位目标水果，然后进行目标水果的自动采摘。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过目标水果的RGB图像和X光图像来确定目标水果的完整图像，并基于目标水果的完整图像和位置信息进行自动采摘。该方法可以将RGB图像和X光图像进行优势互补，并结合目标水果的位置信息进行自动采摘，从而有利于实现遮挡水果的准确识别，而且本申请只需要对视场内的图像进行一次拍摄，将拍摄图像融合后就可以识别和定位，速度快，精度高，可以在耗费资源较少的情况下，实现遮挡水果的快速采摘。
在一个实施例中，基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像，包括：
对同步后的目标水果的RGB图像和X光图像进行融合，得到目标水果的融合图像；
将目标水果的融合图像输入识别模型，得到识别模型输出的目标水果的完整图像；
其中，识别模型是将目标水果的融合图像作为样本，将目标水果的融合图像对应的目标水果的完整图像作为标签进行训练得到的。
如图2所示，控制器可以对同步后的目标水果的RGB图像和X光图像进行融合。由于X光图像是灰度图，因此控制器可以先将RGB图像和X光图像进行灰度融合，然后再对RGB图像和X光图像进行彩色融合，得到目标水果的融合图像(图3是未融合前的RGB灰度图，图4是RGB和X-ray融合后的灰度图)。
控制器将目标水果的融合图像输入识别模型，可以得到识别模型输出的目标水果的完整图像。
可以将目标水果的融合图像作为样本，制作数据集，将目标水果的融合图像对应的目标水果的完整图像进行标注并作为标签，对初始模型进行训练，当初始模型满足预设条件时，可以得到识别模型。其中，预设条件可以是训练次数的限制或者正确率的限制，本申请对此不做具体限定。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过将RGB图像和X光图像进行融合从而可以得到目标水果的完整图像，RGB图像轮廓、细节、纹理等信息比较丰富，但对于遮挡部分的图像无法表示，X光具有穿透性，在遮挡的条件下，获取的图像依然能够将被遮挡部分的显示出来，然而X-ray图像的分辨率较低，图像的轮廓、细节信息较模糊，不利于直接进行识别。因此将RGB图像和X-ray图像进行融合可以实现优势互补，而且计算量小，耗费资源少，另外，通过识别模型进行完整图像的还原，可以进一步提高目标水果识别的效率和准确率。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若未被遮挡或被部分遮挡，则将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，确定目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
如图2、图5所示，通过RGB图像和X光图像的融合图像，可以判断目标水果被遮挡情况。在目标水果未被遮挡或者被部分遮挡的情况下，控制器可以获取目标水果的深度图像，利用深度图像的距离信息可以对目标水果进行三维定位，RGB图像和深度图像之间具有一定的对应关系，控制器可以将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，将两个图像中的目标的位置对齐，从而确定目标水果的三维位置信息。在目标水果不存在遮挡时，可以直接基于配准对齐的图像确定目标水果的三维位置信息；在目标水果存在部分遮挡时，可以通过目标水果未被遮挡部分的配准对齐的图像的深度信息确定目标水果的三维位置信息。具体的，可以基于目标水果的深度图像包含的深度信息将识别的目标水果的2D边界框生成3D边界框，获得目标水果的三维位置信息，从而对目标水果进行三维定位。基于识别到的目标水果的完整图像和获取的目标水果的三维位置信息(如图6所示)，可以进行目标水果的自动采摘。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，确定目标水果的三维位置，从而进行目标水果的自动采摘，可以实现目标水果的快速准确定位，保证了自动采摘步骤的顺利执行。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则基于RGB图像和X光图像的融合图像，确定目标水果的二维位置信息；
基于遮挡物的三维位置信息、目标水果的完整图像和目标水果的二维位置信息，进行目标水果的自动采摘。
如图5所示，控制器可以通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡，在判断目标水果被全遮挡的情况下，目标水果的三维位置难以获得。控制器可以对同步后的目标水果的RGB图像和X光图像进行融合，得到目标水果的融合图像，并基于目标水果的融合图像，确定目标水果的二维位置信息。控制器还可以获取遮挡物的三维位置信息。控制器基于遮挡物的三维位置信息、目标水果的完整图像和目标水果的二维位置信息，可以进行目标水果的自动采摘。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，基于遮挡物的三维位置信息和目标水果的二维位置信息来进行目标水果的自动采摘，即使在目标水果被全遮挡的情况下，依然可以实现目标水果的准确识别和快速定位，实现目标水果的快速自动采摘。
在一个实施例中，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则确定遮挡物的三维位置信息；
基于遮挡物的三维位置信息，去除遮挡物；
获取去除遮挡物后的目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
控制器可以通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡，在判断目标水果被全遮挡的情况下，目标水果的三维位置难以获得。控制器可以确定遮挡物的三维位置信息。当获取到遮挡物的三维位置信息后，可以基于遮挡物的三维位置信息去除遮挡物。例如，在水果采摘时，可以先到达遮挡物的位置，然后通过拨开枝叶等方法去除遮挡物。去除遮挡物后，可以将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，将两个图像中的目标的位置对齐，从而确定目标水果的三维位置信息。具体的，可以基于目标水果的深度图像包含的深度信息将识别的目标水果的2D边界框生成3D边界框，获得目标水果的三维位置信息，从而对目标水果进行三维定位。基于目标水果的完整图像和目标水果的三维位置信息，可以进行目标水果的自动采摘。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过去除遮挡物来获取目标水果的三维位置信息，然后进行目标水果的自动采摘，即使在目标水果被全遮挡的情况下，依然可以实现目标水果的准确识别和快速定位，实现目标水果的快速自动采摘。
在一个实施例中，水果自动采摘方法还包括：
在同一时刻采集目标水果的RGB图像和X光图像，得到时间同步的目标水果的RGB图像和X光图像。
实现了多传感器获取的异源数据之间的同步，才能进行数据融合。其中，时间同步是保证多传感器在相同时刻获取数据。本申请中利用硬件触发器，将RGB-D相机和X光扫描仪同时连接在一起，开始采集图像时，接通触发器，RGB-D相机和X光扫描仪在同一时刻采集目标水果的图像，从而得到时间同步的RGB-D相机采集的目标水果的RGB图像、深度图像和X光扫描仪采集的目标水果的X光图像。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过在同一时刻采集RGB图像和X光图像，从而获得时间同步的目标水果的RGB图像和X光图像，从而为RGB图像和X光图像的融合提供了必要的数据准备，保证了自动采摘步骤的顺利执行。
在一个实施例中，水果自动采摘方法还包括：
获取目标水果的RGB图像和X光图像对应的特征点；
基于目标水果的RGB图像和X光图像对应的特征点，确定目标水果的RGB图像和X光图像的单应性矩阵；
基于单应性矩阵，对目标水果的RGB图像和X光图像进行配准，得到空间同步的目标水果的RGB图像和X光图像。
实现了多传感器获取的异源数据之间的同步，才能进行数据融合。其中，空间同步主要是获取多传感器之间的相对位置关系，将其统一在同一坐标系之下。可以将RGB-D相机和X光扫描仪的相对位置固定，从不同的视角采集目标水果的多幅RGB图像和X射线图像。控制器可以利用角点检测算法找到RGB图像和X光图像对应的特征点，并基于目标水果的RGB图像和X光图像对应的特征点求取二者的单应性矩阵，并对多幅图像的单应性矩阵取平均值。然后利用该单应性矩阵对采集的水果的图像进行配准，最终获得空间同步(场景一样)的目标水果的RGB图像和X光图像。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别方法，通过对RGB图像和X光图像进行配准，可以获得空间同步的目标水果的RGB图像和X光图像，从而为RGB图像和X光图像的融合提供了必要的数据准备，保证了自动采摘步骤的顺利执行。
下面对本申请提供的用于遮挡环境下水果自动采摘的定位和识别系统进行描述，下文描述的用于遮挡环境下水果自动采摘的定位和识别系统与上文描述用于遮挡环境下水果自动采摘的定位和识别方法可相互对应参照。
图7是本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别系统的结构示意图。参照图7，本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别系统，可以包括：
一个或多个X射线发射器及其对应的X射线接收器，以及控制器；其中，目标水果位于X射线发射器及其对应的X射线接收器之间；
一个或多个X射线发射器及其对应的X射线接收器用于获取目标水果的X光图像；
控制器用于实现上述任一实施例的用于遮挡环境下水果自动采摘的定位和识别方法。
如图2、图7所示，用于遮挡环境下水果自动采摘的定位和识别系统主要包括一个或多个具有不同视角的RGB-D相机和一个或多个具有不同视角的X光扫描仪，图7示意了部署一个RGB-D相机和一个X光扫描仪的情况。水果自动采摘系统由支架、RGB-D相机、X光设备、机械臂、采摘机械手和控制器等部件组成。支架对整个硬件系统起到支撑作用，分别有左右支架和底部的支架。X光扫描仪由X光发射器和X光接收器组成，采摘的目标水果位于X光发射器和X光接收器之间。在采集数据之前，可通过调整相机的姿态让目标水果尽可能多的同时纳入X光扫描仪和RGB-D相机的拍摄视野内。采摘机械手固连在机械臂上，在目标水果的位置确定后，机械臂可以根据相应的路径规划算法移动位置使采摘机械手自动摘取目标水果。
一个或多个X射线发射器及其对应的X射线接收器用于获取目标水果(草莓)的X光图像，目标水果的RGB图像和X光图像用于确定目标水果的完整图像，目标水果的完整图像和目标水果的三维位置信息可以用于进行目标水果的自动采摘。
本申请实施例提供的用于遮挡环境下水果自动采摘的定位和识别系统，通过目标水果的RGB图像和X光图像来确定目标水果的完整图像，并基于目标水果的完整图像和位置信息进行自动采摘。该方法可以将RGB图像和X光图像进行优势互补，并结合目标水果的位置信息进行自动采摘，从而有利于实现遮挡水果的准确识别，而且本申请只需要对视场内的图像进行一次拍摄，将拍摄图像融合后就可以识别和定位，速度快，精度高，可以在耗费资源较少的情况下，实现遮挡水果的快速采摘。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
另外需要说明的是：本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，包括：
基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像；所述完整图像为能够显现水果被遮挡部分的图像；
基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘。
2.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，基于同步后的目标水果的RGB图像和X光图像，识别目标水果的完整图像，包括：
对同步后的目标水果的RGB图像和X光图像进行融合，得到目标水果的融合图像；
将目标水果的融合图像输入识别模型，得到所述识别模型输出的目标水果的完整图像；
其中，所述识别模型是将目标水果的融合图像作为样本，将目标水果的融合图像对应的目标水果的完整图像作为标签进行训练得到的。
3.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若未被遮挡或被部分遮挡，则将目标水果的深度图像与同步后的目标水果的RGB图像进行配准，确定目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
4.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则基于RGB图像和X光图像的融合图像，确定目标水果的二维位置信息；
基于遮挡物的三维位置信息、目标水果的完整图像和目标水果的二维位置信息，进行目标水果的自动采摘。
5.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，基于目标水果的完整图像和目标水果的位置信息，进行目标水果的自动采摘，包括：
通过RGB图像和X光图像的融合图像判断目标水果是否被全遮挡；
若全被遮挡，则确定遮挡物的三维位置信息；
基于遮挡物的三维位置信息，去除遮挡物；
获取去除遮挡物后的目标水果的三维位置信息；
基于目标水果的完整图像和目标水果的三维位置信息，进行目标水果的自动采摘。
6.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，所述方法还包括：
在同一时刻采集目标水果的RGB图像和X光图像，得到时间同步的目标水果的RGB图像和X光图像。
7.根据权利要求1所述的用于遮挡环境下水果自动采摘的定位和识别方法，其特征在于，所述方法还包括：
获取目标水果的RGB图像和X光图像对应的特征点；
基于目标水果的RGB图像和X光图像对应的特征点，确定目标水果的RGB图像和X光图像的单应性矩阵；
基于所述单应性矩阵，对目标水果的RGB图像和X光图像进行配准，得到空间同步的目标水果的RGB图像和X光图像。
8.一种用于遮挡环境下水果自动采摘的定位和识别系统，其特征在于，包括：
一个或多个X射线发射器及其对应的X射线接收器，以及控制器；其中，目标水果位于X射线发射器及其对应的X射线接收器之间；
所述一个或多个X射线发射器及其对应的X射线接收器用于获取目标水果的X光图像；
所述控制器用于实现上述权利要求1至7中任一项所述用于遮挡环境下水果自动采摘的定位和识别方法。
CN202311634959.6A 2023-11-30 2023-11-30 用于遮挡环境下水果自动采摘的定位和识别方法及系统 Active CN117501990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311634959.6A CN117501990B (zh) 2023-11-30 2023-11-30 用于遮挡环境下水果自动采摘的定位和识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311634959.6A CN117501990B (zh) 2023-11-30 2023-11-30 用于遮挡环境下水果自动采摘的定位和识别方法及系统

Publications (2)

Publication Number Publication Date
CN117501990A true CN117501990A (zh) 2024-02-06
CN117501990B CN117501990B (zh) 2024-06-07

Family

ID=89760737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311634959.6A Active CN117501990B (zh) 2023-11-30 2023-11-30 用于遮挡环境下水果自动采摘的定位和识别方法及系统

Country Status (1)

Country Link
CN (1) CN117501990B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205340A (zh) * 2014-12-03 2017-09-26 斯里国际 用于机器人收获的末端执行器
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘系统及方法
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN112197705A (zh) * 2020-10-16 2021-01-08 中国农业科学院农业资源与农业区划研究所 一种基于视觉和激光测距的果实定位方法
CN114612760A (zh) * 2022-01-12 2022-06-10 山东师范大学 一种遮挡环境下的果实检测方法及系统
CN115376125A (zh) * 2022-09-26 2022-11-22 安徽农业大学 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法
CN115984558A (zh) * 2022-12-27 2023-04-18 南京师范大学 一种遮挡环境下的目标分割补全及识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205340A (zh) * 2014-12-03 2017-09-26 斯里国际 用于机器人收获的末端执行器
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘系统及方法
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN112197705A (zh) * 2020-10-16 2021-01-08 中国农业科学院农业资源与农业区划研究所 一种基于视觉和激光测距的果实定位方法
CN114612760A (zh) * 2022-01-12 2022-06-10 山东师范大学 一种遮挡环境下的果实检测方法及系统
CN115376125A (zh) * 2022-09-26 2022-11-22 安徽农业大学 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法
CN115984558A (zh) * 2022-12-27 2023-04-18 南京师范大学 一种遮挡环境下的目标分割补全及识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪韬: "蔬果选采机器人自然场景理解的深度联想感知方法", 《农业科技辑》, no. 9, 30 September 2021 (2021-09-30), pages 044 - 15 *

Also Published As

Publication number Publication date
CN117501990B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
Si et al. Location of apples in trees using stereoscopic vision
US8180107B2 (en) Active coordinated tracking for multi-camera systems
CN108519102A (zh) 一种基于二次投影的双目视觉里程计算方法
CN113160327A (zh) 一种点云补全的实现方法和系统
CN113965721B (zh) 图像与深度传输监视系统的对齐方法
CN112419233A (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN106303409A (zh) 一种目标对象联合跟踪方法及目标对象联合跟踪装置
JP2020013560A (ja) 情報処理装置、情報処理方法、及びプログラム
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
EP4354401A1 (en) Method and system of detecting obstacle elements with a visual aid device
CN117501990B (zh) 用于遮挡环境下水果自动采摘的定位和识别方法及系统
CN111724432B (zh) 物体三维检测方法和装置
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
GB2569609A (en) Method and device for digital 3D reconstruction
CN116630931A (zh) 障碍物检测方法、系统、农业机械、电子设备和存储介质
JPH11248431A (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN112767452B (zh) 摄像机主动感知方法及系统
CN115880220A (zh) 多视角苹果成熟度检测方法
CN111829489B (zh) 一种视觉定位的方法及装置
CN111882601B (zh) 定位方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant