CN113021355A - 一种用于预测遮挡农作物摘取点的农业机器人作业方法 - Google Patents

一种用于预测遮挡农作物摘取点的农业机器人作业方法 Download PDF

Info

Publication number
CN113021355A
CN113021355A CN202110343991.3A CN202110343991A CN113021355A CN 113021355 A CN113021355 A CN 113021355A CN 202110343991 A CN202110343991 A CN 202110343991A CN 113021355 A CN113021355 A CN 113021355A
Authority
CN
China
Prior art keywords
point
neural network
crop
standard template
template data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110343991.3A
Other languages
English (en)
Other versions
CN113021355B (zh
Inventor
贾雪姣
冯漫迪
贾庆邻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Shanyudao Technology Co ltd
Original Assignee
Chongqing Zhengge Technology Innovation Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhengge Technology Innovation Service Co Ltd filed Critical Chongqing Zhengge Technology Innovation Service Co Ltd
Priority to CN202110343991.3A priority Critical patent/CN113021355B/zh
Publication of CN113021355A publication Critical patent/CN113021355A/zh
Application granted granted Critical
Publication of CN113021355B publication Critical patent/CN113021355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于预测遮挡农作物摘取点的农业机器人作业方法，包括对农作物的图像进行检测和识别，训练出能够识别出对应农作物的神经网络模型；将目标农作物图像输入训练好的神经网络模型中，对目标农作物进行识别及定位；将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵；根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘；融合和深度学习算法个三维点云配准，标准模板数据中的可行抓取点应映射至目标农作物上，从而引导农业机器人进行精确、高效地进行抓取作业。

Description

一种用于预测遮挡农作物摘取点的农业机器人作业方法
技术领域
本发明涉及机器人自动作业技术领域，特别是涉及一种用于预测遮挡农作物摘取点的农业机器人作业方法。
背景技术
在农业生产中，如苹果、梨等水果的采摘作业往往耗费大量的人力物力，同时农民长期从事重复作业很容易产生劳动损伤，给身体健康带来不可逆转的危害。
虽然在一些地区，对于水果的采摘已经开始采用农业机器人进行作业，但在农业机器人进行自主采摘的过程中，由于树叶、树干等遮挡物的存在，给以立体视觉引导的机器人作业系统带来了较高的复杂性和作业难度。并且，由于双目视觉系统采集的点云数据量较大，采用传统图像处理方法难以进行全面检测和实时计算，同时需要配备边缘计算芯片或者将数据发送到云端进行处理，这对于农业机器人这种价格低廉、追求高效高速作业的机构来讲是十分不合适的，因此，采用传统的图像处理方法处理双目视觉系统数据的对于农业机器人的实时性和高效性会造成负面影响。
发明内容
本发明提供一种用于预测遮挡农作物摘取点的农业机器人作业方法，以解决农业机器人在复杂场景下采摘点定位不准确、工作效率低的问题。
为解决上述问题，本发明提供一种用于预测遮挡农作物摘取点的农业机器人作业方法，具体包括以下步骤：
采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位；
提取目标农作物的特征点集合，将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵；
根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘。
进一步的，在所述步骤“采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位”前还包括以下步骤：
采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型。
进一步的，所述步骤“采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型”包括以下步骤：
采集若干农作物的图像，并将采集的图像分成训练集和测试集；
构建YOLO神经网络，设定特征参数和激活函数；
将训练集输入YOLO神经网络，并设定损失函数对YOLO神经网络进行迭代训练，得到训练后的神经网络模型；
利用测试集的测试结果对神经网络模型进行验证。
进一步的，所述YOLO神经网络包括多层卷积层和多层全连接层。
进一步的，所述激活函数包括线性激活函数和非线性激活函数，其中YOLO神经网络的最后输出层采用线性激活函数；
所述非线性激活函数的公式为：
f(x)＝max(x,ax)
其中，max为取最大值函数，x为某一像素点的坐标，a为常数；所述线性激活函数的公式为：
f(x)＝kx+a
其中，k和a均为常数，x为某一像素点的坐标。
所述损失函数的公式为：
Figure BDA0003000232750000031
其中，coorErr为YOLO神经网络识别到的预测数据与实际数据之间的坐标误差，iErr为预测数据与实际数据之间重叠尺度误差，claErr为预测数据与实际数据之间分类误差，s为某一图像的像素数量，i为整数。
进一步的，所述步骤“采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位”包括以下步骤：
采集目标农作物的图像，并对采集的图像进行标准化处理；
将处理后的图像输入训练好的神经网络模型进行目标农作物的识别，并得到目标农作物的位置区域。
进一步的，所述步骤“提取目标农作物的特征点集合，将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵”包括以下步骤：
设定基准坐标系；
提取目标农作物的点云数据形成特征点集合；
从特征点集合和标准模板数据集合中分别提取关键点，并计算关键点对应的特征描述子；
结合特征描述子在对应特征点集合和标准模板数据集合中的坐标位置，估计对应特征点集合和标准模板数据集合之间相对应的点对；
对估计的点对进行去噪处理，去除错误的点对，完成特征点集合和标准模板数据集合的粗配准；
采用最近点迭代算法对特征点集合和标准模板数据集合中的点云数据进行配准，得到两个点云数据之间的旋转矩阵和平移矩阵，完成精配准。
进一步的，所述步骤“对估计的点对进行去噪处理，去除错误的点对，完成特征点集合和标准模板数据集合的粗配准”基于采样一致性原理对点对进行去噪处理，具体包括以下步骤：
从特征点集合中选择若干个采样点，计算所述采样点中配对距离大于预设距离的点，并去除配对距离大于预设距离的采样点；
对于每一个采样点，在标准模板数据集合中找到对应的点并存入采样点集合中，得到采样点集合与标准模板数据集合Ps之间的对应关系；
根据采样点集合与标准模板数据集合的对应关系，计算采样点定义的刚体变换矩阵，进而计算点云的度量错误；
重复前述步骤，直到求得的度量错误满足预设最佳度量错误；并对最佳度量错误进行非线性局部优化。
进一步的，所述步骤“采用最近点迭代算法对特征点集合和标准模板数据集合中的点云数据进行配准，得到两个点云数据之间的旋转矩阵和平移矩阵，完成精配准”包括以下步骤：
在标准模板数据集合中找出与采样点集合对应的第一对应点集；
根据采样点集合与第一对应点集之间的对应关系，计算旋转矩阵和平移矩阵，进而求得误差函数；
对采样点集合基于求得的旋转矩阵和平移矩阵进行旋转和平移变换，得到第二对应点集；
计算第二对应点集与第一对应点集之间所有对应点对之间的平均距离，并进行迭代计算，直到满足收敛，完成特征点集合和标准模板数据集合的精配准。
进一步的，所述步骤“根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘”包括以下步骤：
将目标农作物的旋转矩阵和平移矩阵映射至三维空间位置中，得到目标农作物的空间位置和姿态；
根据目标农作物的空间位置和姿态，引导农业机器人进行农作物的采摘。
本发明基于深度学习算法，构建神经网络模型对农作物的图像进行处理和学习，在RGB颜色图中对目标农作物进行识别和定位，然后提取神经网络模型识别出来当前位置区域中的目标农作物的点云数据，将识别到的点云数据与神经网络模型中标准模板数据进行迭代配准，进而将标准模板数据中的可行抓取点应映射至目标农作物上，最后引导农业机器人进行抓取，能够有效提高作业精度和作业效率。
附图说明
图1为本发明的流程图。
图2为图1中步骤S1的流程图。
图3为图1中步骤S2的流程图。
图4为图1中步骤S3的流程图。
图5为图4中步骤S305的流程图。
图6为图4中步骤S306的流程图。
图7为图1中步骤S4的流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本发明一种用于预测遮挡农作物摘取点的农业机器人作业方法具体包括以下步骤：
S1：构建神经网络模型。
采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型。如图2所示，具体包括以下步骤：
S101：采集若干农作物的图像，并将采集的图像分成训练集和测试集。
具体的，分别从多个角度采集农作物在不同场景、不同时段下的若干图像，并将这些图像按比例分成训练集和测试集，所述训练集用于对神经网络模型进行训练，测试集用于对训练后的神经网络模型进行测试和验证，以得到训练后的神经网络模型在面对实际运用场景的泛化误差，便于对神经网络模型进行优化，提高神经网络模型的识别精度。在本实施方式中，采用深度摄像机来对农作物的图像进行采集，并将采集的图像按照8:2的比例分成训练集和测试集。
S102：构建YOLO神经网络，设定特征参数和激活函数。
具体的，所述YOLO神经网络包括多层卷积层和多层全连接层，其输入入口为416*416像素的图片，输出为包含置信度信息的包围盒，以便判断目标农作物被遮挡的概率。在本实施方式中，所述YOLO神经网络包括24个卷积层与2个全连接层，每一所述卷积层分别用于提取图像中农作物的不同的特征，两个全连接层分别用于预测图像中农作物的位置和农作物是否为被遮挡弄座位的概率值。然后设定需要识别的农作物的特征参数，如：颜色、形状、叶片等。
由于图像特征经过卷积层卷积运算后的输出为输入的线性组合，为使得不同的卷积层能够提取到图像中农作物的不同特征，需对其输出结果进行非线性处理，也即设定激活函数对卷积层进行激励，在输出中引入非线性的变换。所述激活函数包括线性激活函数和非线性激活函数，其中YOLO神经网络的最后输出层采用线性函数作为激活函数，由于卷积运算后的输出需要用于预测农作物的位置坐标，该位置坐标为一数值，而不仅仅是概率值，因此需要在最后输出层引入线性函数作为激活函数，而其他层均采用非线性函数作为激活函数。
在本实施方式中，所述非线性激活函数的公式为：
f(x)＝max(x,ax)
其中，max为取最大值函数，x为某一像素点的坐标，a为常数；所述线性激活函数的公式为：
f(x)＝kx+a
其中，k和a均为常数，x为某一像素点的坐标。
S103：将训练集输入YOLO神经网络，并设定损失函数对YOLO神经网络进行迭代训练，得到训练后的神经网络模型。
具体的，将训练集中的所有图片输入构建好的YOLO神经网络中，基于设定的损失函数，对农作物的不同特征赋予不同的权重计算损失函数的值，并将该损失函数的值作为误差回传至YOLO神经网络进行迭代训练，直至符合收敛，得到训练好的神经网络模型。
在本实施方式中，所述损失函数的公式为：
Figure BDA0003000232750000081
其中，coorErr为YOLO神经网络识别到的预测数据与实际数据之间的坐标误差，iErr为预测数据与实际数据之间重叠尺度误差，claErr为预测数据与实际数据之间分类误差，s为某一图像的像素数量，i为整数。
S104：利用测试集的测试结果对神经网络模型进行验证。
具体的，将测试集输入训练好的神经网络模型进行验证，检测神经网络模型的精确性，并判断神经网络模型是否达到预设要求，即测试集的测试结果的正确率是否达到预期，如未达到预期，则可以调整激活函数以及损失函数来对神经网络模型进行优化，直至测试结果达到预期。
S2：农作物的识别及定位。
采集目标农作物图像并输入训练好的神经网络模型中，通过神经网络模型对目标农作物进行识别及定位。如图3所示，具体包括以下步骤：
S201：农业机器人采集目标农作物的图像，并对采集的图像进行标准化处理，使得采集到的图像像素与神经网络模型定义的输入入口的大小相匹配，以便于神经网络模型能够顺利识别图像。在本实施方式中，根据YOLO神经网络的输入入口的大小，将目标农作物的图像像素处理成416*416。
S202：将处理后的图像输入训练好的神经网络模型中，神经网络模型根据标准模板数据对农作物进行识别，并得到目标农作物的位置区域。
S3：判断目标农作物的三维空间位置。
提取目标农作物的点云数据，形成特征点集合P，将特征点集合P与神经网络模型中的标准模板数据集合Q进行配准，计算得到目标农作物的旋转矩阵R和平移矩阵T。如图4所示，具体包括以下步骤：
S301：以农业机器人的基坐标系作为特征点集合P与标准模板数据集合Q配准基准坐标系。
S302：提取目标农作物在当前位置下的点云数据，并形成目标农作物点云特征点集合P。
S303：从特征点集合P和标准模板数据集合Q中按照相同的关键点选取标准，分别提取关键点，并计算各个关键点对应的特征描述子。
S304：结合特征描述子在对应特征点集合P和标准模板数据集合Q中的坐标位置，估计特征点集合P和标准模板数据集合Q之间相对应的点对。
S305：对估计的点对进行去噪处理，去除错误的点对，完成特征点集合P和标准模板数据集合Q的粗配准。
由于噪声的影响，所述步骤S304中估计出来的点对并不是完全正确，为减小错误点对对刚体变换矩阵估算产生的负面影响，所以需要将错误的点对加以去除。在本实施方式中，基于采样一致性原理对步骤S304中的点对进行去噪处理，如图5所示，具体包括以下步骤：
S3051：从特征点集合P中选择若干个采样点，计算所述采样点中配对距离大于预设距离的点，并去除配对距离大于预设距离的采样点。所述配对距离为特征点集合P中选择的采样点与标准模板数据集合Q对应的点之间的距离。
S3052：对于步骤S3051中剩下的采样点，即配对距离小于等于预设距离的采样点，在标准模板数据集合Q中找到对应的点得到采样点集合Ps，得到采样点集合Ps与标准模板数据集合Q的对应关系。
S3053：根据采样点集合Ps与标准模板数据集合Q的对应关系，随机选择部分点对之间的对应关系，计算采样点的刚体变换矩阵，进而得到点云的度量错误。
S3054：判断步骤S3053中计算得到的度量错误是否满足预设的最佳度量错误的要求，如不满足则重复步骤S3051至步骤S3053，调整参数后重新计算采样点的刚体变换矩阵，直到求得的度量错误满足预设最佳度量错误，并对最佳度量错误进行非线性局部优化，实现特征点集合P和标准模板数据集合Q的粗配准。
S306：采用最近点迭代算法对特征点集合P和标准模板数据集合Q中的点云数据进行迭代配准，进一步得到两个集合之间的旋转矩阵和平移矩阵，完成特征点集合P和标准模板数据集合Q的精配准。如图6所示，具体包括以下步骤：
S3061：在标准模板数据集合Q中找出与采样点集合Ps对应的第一对应点集Qs，且||Qs-Ps||＝dmin，其中Ps∈P、Qs∈Q，即采样点集合Ps中任一采样点到第一对应点集Qs中对应点之间的距离为预设的最小距离。
S3062：根据采样点集合Ps与第一对应点集Qs之间的对应关系，计算旋转矩阵R和平移矩阵T，进而计算误差函数，使得误差函数最小。所述误差函数的公式为：
Figure BDA0003000232750000111
其中，n为最邻近点对的个数，pi为采样点集合Ps中的一点，qi为点集Qs中与pi对应的最近点，R为旋转矩阵，T为平移矩阵。
S3063：对采样点集合Ps基于用步骤S3062中求得的旋转矩阵R和平移矩阵T进行旋转和平移变换，得到第二对应点集Ps'，其中：Ps'＝{Ps'＝RPs+T,Ps∈P}。
S3064：计算第二对应点集Ps'与第一对应点集Qs之间所有对应点对之间的平均距离D，如果D小于给定的阈值或者迭代次数达到预设的最大迭代次数时，停止迭代计算，否则返回步骤S3061继续计算旋转矩阵R和平移矩阵T，直到满足收敛为止，特征点集合P和标准模板数据集合Q的精配准。
S4：确定摘取范围，实行目标农作物摘取。
根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘。如图7所示，具体包括以下步骤：
S401：将步骤S3064中计算得到的目标农作物的旋转矩阵R和平移矩阵T映射至三维空间位置中，得到目标农作物的空间位置和姿态。
S402：根据目标农作物的空间位置计算农业机器人机械爪沿X轴、Y轴和Z轴移动的距离，根据目标农作物的姿态计算机械爪可摘取的范围，也即机械爪张开闭合的宽度，从而引导农业机器人精确、高效地进行农作物的采摘。
本发明基于深度学习算法，构建神经网络模型对农作物的图像进行处理和学习，在RGB颜色图中对目标农作物进行识别和定位，然后提取神经网络模型识别出来当前位置区域中的目标农作物的点云数据，将识别到的点云数据与神经网络模型中标准模板数据进行迭代配准，进而将标准模板数据中的可行抓取点应映射至目标农作物上，最后引导农业机器人进行抓取，能够有效提高作业精度和作业效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。

Claims (10)

1.一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，包括以下步骤：
采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位；
提取目标农作物的特征点集合，将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵；
根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘。
2.根据权利要求1所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，在所述步骤“采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位”前还包括以下步骤：
采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型。
3.根据权利要求2所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“采用深度学习算法对农作物的图像进行检测和识别，得到指定农作物的标准模板数据，并训练出能够识别出对应农作物的神经网络模型”包括以下步骤：
采集若干农作物的图像，并将采集的图像分成训练集和测试集；
构建YOLO神经网络，设定特征参数和激活函数；
将训练集输入YOLO神经网络，并设定损失函数对YOLO神经网络进行迭代训练，得到训练后的神经网络模型；
利用测试集的测试结果对神经网络模型进行验证。
4.根据权利要求3所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述YOLO神经网络包括多层卷积层和多层全连接层。
5.根据权利要求3所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述激活函数包括线性激活函数和非线性激活函数，其中YOLO神经网络的最后输出层采用线性激活函数；
所述非线性激活函数的公式为：
f(x)＝max(x,ax)
其中，max为取最大值函数，x为某一像素点的坐标，a为常数；
所述线性激活函数的公式为：
f(x)＝kx+a
其中，k和a均为常数，x为某一像素点的坐标。
所述损失函数的公式为：
Figure FDA0003000232740000021
其中，coorErr为YOLO神经网络识别到的预测数据与实际数据之间的坐标误差，iErr为预测数据与实际数据之间重叠尺度误差，claErr为预测数据与实际数据之间分类误差，s为某一图像的像素数量，i为整数。
6.根据权利要求1所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“采集目标农作物图像并输入训练好的神经网络模型中，对目标农作物进行识别及定位”包括以下步骤：
采集目标农作物的图像，并对采集的图像进行标准化处理；
将处理后的图像输入训练好的神经网络模型进行目标农作物的识别，并得到目标农作物的位置区域。
7.根据权利要求1所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“提取目标农作物的特征点集合，将提取的特征点集合与训练后的神经网络模型中的标准模板数据集合进行配准，计算得到目标农作物的旋转矩阵和平移矩阵”包括以下步骤：
设定基准坐标系；
提取目标农作物的点云数据形成特征点集合；
从特征点集合和标准模板数据集合中分别提取关键点，并计算关键点对应的特征描述子；
结合特征描述子在对应特征点集合和标准模板数据集合中的坐标位置，估计对应特征点集合和标准模板数据集合之间相对应的点对；
对估计的点对进行去噪处理，去除错误的点对，完成特征点集合和标准模板数据集合的粗配准；
采用最近点迭代算法对特征点集合和标准模板数据集合中的点云数据进行配准，得到两个点云数据之间的旋转矩阵和平移矩阵，完成精配准。
8.根据权利要求7所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“对估计的点对进行去噪处理，去除错误的点对，完成特征点集合和标准模板数据集合的粗配准”基于采样一致性原理对点对进行去噪处理，具体包括以下步骤：
从特征点集合中选择若干个采样点，计算所述采样点中配对距离大于预设距离的点，并去除配对距离大于预设距离的采样点；
对于每一个采样点，在标准模板数据集合中找到对应的点并存入采样点集合中，得到采样点集合与标准模板数据集合Ps之间的对应关系；
根据采样点集合与标准模板数据集合的对应关系，计算采样点定义的刚体变换矩阵，进而计算点云的度量错误；
重复前述步骤，直到求得的度量错误满足预设最佳度量错误；并对最佳度量错误进行非线性局部优化。
9.根据权利要求7所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“采用最近点迭代算法对特征点集合和标准模板数据集合中的点云数据进行配准，得到两个点云数据之间的旋转矩阵和平移矩阵，完成精配准”包括以下步骤：
在标准模板数据集合中找出与采样点集合对应的第一对应点集；
根据采样点集合与第一对应点集之间的对应关系，计算旋转矩阵和平移矩阵，进而求得误差函数；
对采样点集合基于求得的旋转矩阵和平移矩阵进行旋转和平移变换，得到第二对应点集；
计算第二对应点集与第一对应点集之间所有对应点对之间的平均距离，并进行迭代计算，直到满足收敛，完成特征点集合和标准模板数据集合的精配准。
10.根据权利要求1所述的一种用于预测遮挡农作物摘取点的农业机器人作业方法，其特征在于，所述步骤“根据点云配准结果计算目标农作物的可摘取范围，引导农业机器人进行采摘”包括以下步骤：
将目标农作物的旋转矩阵和平移矩阵映射至三维空间位置中，得到目标农作物的空间位置和姿态；
根据目标农作物的空间位置和姿态，引导农业机器人进行农作物的采摘。
CN202110343991.3A 2021-03-31 2021-03-31 一种用于预测遮挡农作物摘取点的农业机器人作业方法 Active CN113021355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343991.3A CN113021355B (zh) 2021-03-31 2021-03-31 一种用于预测遮挡农作物摘取点的农业机器人作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343991.3A CN113021355B (zh) 2021-03-31 2021-03-31 一种用于预测遮挡农作物摘取点的农业机器人作业方法

Publications (2)

Publication Number Publication Date
CN113021355A true CN113021355A (zh) 2021-06-25
CN113021355B CN113021355B (zh) 2022-07-08

Family

ID=76453571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343991.3A Active CN113021355B (zh) 2021-03-31 2021-03-31 一种用于预测遮挡农作物摘取点的农业机器人作业方法

Country Status (1)

Country Link
CN (1) CN113021355B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807315A (zh) * 2021-10-08 2021-12-17 文思海辉智科科技有限公司 一种构建待识别对象识别模型的方法、装置、设备及介质
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN110517228A (zh) * 2019-07-30 2019-11-29 浙江农林大学 基于卷积神经网络与迁移学习的树干图像快速检测方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
WO2020230244A1 (ja) * 2019-05-13 2020-11-19 日本電信電話株式会社 学習方法、学習プログラム、および、学習装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
CN109102547A (zh) * 2018-07-20 2018-12-28 上海节卡机器人科技有限公司 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
WO2020230244A1 (ja) * 2019-05-13 2020-11-19 日本電信電話株式会社 学習方法、学習プログラム、および、学習装置
CN110517228A (zh) * 2019-07-30 2019-11-29 浙江农林大学 基于卷积神经网络与迁移学习的树干图像快速检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈燕等: "大视场下荔枝采摘机器人的视觉预定位方法", 《农业工程学报》 *
马世超等: "基于感兴趣区域的机器人抓取系统", 《科学技术与工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807315A (zh) * 2021-10-08 2021-12-17 文思海辉智科科技有限公司 一种构建待识别对象识别模型的方法、装置、设备及介质
CN113807315B (zh) * 2021-10-08 2024-06-04 文思海辉智科科技有限公司 一种构建待识别对象识别模型的方法、装置、设备及介质
CN114494441A (zh) * 2022-04-01 2022-05-13 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN114494441B (zh) * 2022-04-01 2022-06-17 广东机电职业技术学院 基于深度学习的葡萄及其采摘点同步识别定位方法、装置

Also Published As

Publication number Publication date
CN113021355B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11789545B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN112950667B (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN108229416A (zh) 基于语义分割技术的机器人slam方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
US20220012884A1 (en) Image analysis system and analysis method
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN111553422A (zh) 手术器械自动识别回收方法及系统
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
Sahin et al. Recovering 6D object pose: A review and multi-modal analysis
CN111461222B (zh) 目标物轨迹相似度的获取方法、装置及电子设备
CN114766347A (zh) 一种玉米抽雄作业的目标三维位置获取方法
CN113454684A (zh) 一种关键点标定方法和装置
CN114012722B (zh) 一种基于深度学习和边缘检测的机械臂抓取目标方法
CN111860035A (zh) 图书封面检测方法、装置及存储介质和电子设备
US11645827B2 (en) Detection method and device for assembly body multi-view change based on feature matching
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
CN114743257A (zh) 图像目标行为的检测识别方法
CN111507177A (zh) 一种用于计量周转柜的识别方法及装置
CN115690092B (zh) 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置
CN116580005B (zh) 基于图像处理与深度学习的管片模具开模系统的引导方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231023

Address after: 402460 station 15, 10 / F, innovation and development center, 19 Lingfang Avenue, Changzhou street, Rongchang District, Chongqing

Patentee after: Chongqing shanyudao Technology Co.,Ltd.

Address before: 402460 station 7, no.6, 10th floor, innovation and development center, No.19 Lingfang Avenue, Changzhou street, Rongchang District, Chongqing

Patentee before: Chongqing Zhengge Technology Innovation Service Co.,Ltd.