CN114758243B - 基于补充训练与双类位置预测的茶叶采摘方法和装置 - Google Patents
基于补充训练与双类位置预测的茶叶采摘方法和装置 Download PDFInfo
- Publication number
- CN114758243B CN114758243B CN202210464085.3A CN202210464085A CN114758243B CN 114758243 B CN114758243 B CN 114758243B CN 202210464085 A CN202210464085 A CN 202210464085A CN 114758243 B CN114758243 B CN 114758243B
- Authority
- CN
- China
- Prior art keywords
- tea
- sample
- sample image
- preset
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 111
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims abstract description 79
- 240000003553 Leptospermum scoparium Species 0.000 claims abstract description 79
- 235000015459 Lycium barbarum Nutrition 0.000 claims abstract description 79
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 53
- 239000003595 mist Substances 0.000 claims abstract description 51
- 238000002372 labelling Methods 0.000 claims abstract description 46
- 238000005507 spraying Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 241001122767 Theaceae Species 0.000 claims 49
- 244000269722 Thea sinensis Species 0.000 abstract description 173
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 235000006468 Thea sinensis Nutrition 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001179 sorption measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002932 luster Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请揭示了一种基于补充训练与双类位置预测的茶叶采摘方法和装置，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；进行水雾喷射处理，再对应进行图像采集处理，以得到多幅第二样本图像；进行初步标注处理；进行位置比对处理；进行补充标注处理；进行补充训练，以得到最终可采摘茶叶位置确定模型；采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；将待分析图像输入最终可采摘茶叶位置确定模型，以得到多个第一类位置与多个第二类位置；控制预设的茶叶采摘机器人，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理，实现了满足制作高品质茶叶的智能采摘的目的。
Description
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于补充训练与双类位置预测的茶叶采摘方法和装置。
背景技术
现有的茶叶采摘一般分为人工采摘和机器采摘，机器采摘虽然效率高，但是一般是对一整个平面的茶叶叶片进行无选择性地切割采摘，因此只能满足低级茶叶加工的要求。对于高品质茶叶而言，一般需要采用人工采摘的方式，但是人工采摘的效率太低。因此现有技术缺少能够满足制作高品质茶叶的智能采摘的方案。
发明内容
本申请的主要目的为提供一种基于补充训练与双类位置预测的茶叶采摘方法和装置、计算机设备和存储介质，旨在满足制作高品质茶叶的智能采摘的目的。
为了实现上述发明目的，本申请提出一种基于补充训练与双类位置预测的茶叶采摘方法，包括以下步骤：
S1：采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
S2：采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
S3：对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
S4：进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S5：进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
S6：调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
S7：采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
S8：将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
S9：控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
进一步地，所述控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理的步骤S9，包括：
S901：采用预设的多个双目摄像头，根据双目视觉原理，获取多个第一类位置的第一空间坐标，以及获取多个第二类位置的第二空间坐标；
S902：采用预设于茶叶采摘机器人上的第一机械手，根据所述第一空间坐标和第二空间坐标，进行第一次采茶处理，以使得第一机械手依次伸长至多个第一类位置和多个第二类位置，并采用第一向上提拉法采摘得到多个新芽；其中，第一机械手包括至少两个机械手指，第一向上提拉法指第一机械手的至少两个机械手指以预设的第一夹持力夹持住新芽，并采用预设的竖直向上的第一拉力将芽拉离茶树；
S903：采用预设于茶叶采摘机器人上的第二机械手，根据所述第一空间坐标，进行第二次采茶处理，以使得第二机械手依次伸长至多个第一类位置，并采用第二向上提拉法采摘得到多个无芽的新叶；其中，第二机械手包括至少两个机械手指，第二向上提拉法指第二机械手的至少两个机械手指以预设的第二夹持力夹持住新叶，并采用预设的竖直向上的第二拉力将新叶拉离茶树；第二夹持力大于第一夹持力，第二拉力大于第一拉力；
S904：将采摘得到的新芽与无芽的新叶分别存储于预设于机器人上的第一储存仓和第二储存仓中。
进一步地，所述采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像的步骤S2中，进行水雾喷射处理时，不会引起所述多个样本茶树上的茶叶发生位移。
进一步地，所述进行位置比对处理，以筛选出多幅差异样本图像对的步骤S4，包括：
S401：根据位置数量，对呈对应关系的第一样本图像和第二样本图像进行第一步筛选处理，以筛选出多个初步差异样本图像对；其中，初步差异样本图像对中的第一样本图像中的第一一位置的数量，小于对应的第二样本图像中的第二一位置的数量；并且初步差异样本图像对中的第一样本图像中的第一二位置的数量，小于对应的第二样本图像中的第二二位置的数量；
S402：根据位置的包含关系，对多个初步差异样本图像对进行第二步筛选处理，以筛选出多个最终差异样本图像对；其中，最终差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，并且最终差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S403：生成补充标注处理指令，以指示在多个最终差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置。
进一步地，所述调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型的步骤S6，包括：
S601：根据预设比例将所述多个样本数据划分为多个训练用数据和多个校验用数据；
S602：调取预先训练得到的初步可采摘茶叶位置确定模型，采用反向传播法并根据有监督学习的方式，将多个训练用数据输入初步可采摘茶叶位置确定模型中进行训练，以得到补充训练模型；
S603：采用多个校验用数据对补充训练模型进行校验，并判断校验结果是否为校验合格；
S604：若校验结果为校验合格，则将补充训练模型记为最终可采摘茶叶位置确定模型。
本申请提供一种基于补充训练与双类位置预测的茶叶采摘装置，包括：
第一样本图像采集模块，用于采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
第二样本图像采集模块，用于采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
初步标注模块，用于对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
位置比对模块，用于进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
补充标注模块，用于进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
补充训练模块，用于调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
待分析图像采集模块，用于采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
位置输出模块，用于将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
茶叶采摘模块，用于控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于补充训练与双类位置预测的茶叶采摘方法、装置、计算机设备和存储介质，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；进行位置比对处理，以筛选出多幅差异样本图像对；进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置；调取预先训练得到的初步可采摘茶叶位置确定模型，并进行补充训练，以得到最终可采摘茶叶位置确定模型；采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到多个第一类位置与多个第二类位置；控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理，实现了满足制作高品质茶叶的智能采摘的目的。
本申请的实现，依据的原理包括：
1、茶叶的新芽、新叶与老叶，这三者在吸附水雾后对于光的响应不同(这反应在人眼上，即是呈现出不同的光泽)；而在未吸附水雾前，由于灰尘粘附以及枝叶遮挡等原因，在颜色色泽上差异性较小，难以分辨。
基于这个原理，本申请实施了特别的新芽与新叶的识别方案，并最终采用不同的采摘方案。具体地，如果对茶树上的茶叶采用普通的图像识别技术，那么由于客观上存在灰尘粘附以及枝叶遮挡等问题，新芽、新叶与老叶这三者在图像上的差异就没那么明显，因此会导致部分新芽或者部分新叶未被准确识别，因此采用这样的图像作为原始数据来训练识别模型，会存在漏测的现象。而本申请采用的方案使得这些本该被漏掉的新芽或者新叶被重新发现，因此进行补充训练得到的模型，能够更全面地识别出新芽与新叶；
2、本申请针对的高品质茶叶，仅需要新芽，但是若不将新叶一并摘去，将存在两个问题，第一是浪费，无芽的新叶也能作为较高品质茶叶制作的原料；第二是浪费茶树的营养，新叶会长成老叶。
基于这个原理，本申请采用的是双类位置预测的茶叶采摘方案，从而根据不同的状况(仅存在新芽，或者同时存在新芽与新叶)采用不同的采摘策略，即不同的采摘策略，采用不同的向上提拉法，并且第二夹持力大于第一夹持力，第二拉力大于第一拉力。
因此，本申请的特点包括：
1、基于补充训练与双类位置预测，将传统的茶叶筛选步骤，智能集成在采摘过程中，在避免浪费的前提下，提高了效率；
2、采用了特别的新芽与新叶的识别方案，提高了识别准确性，从而提高了产能；
3、实现了高品质茶叶的智能采摘，减少了人工成本，提高了效率；
4、保证高品质茶树的高产与优产，减少养料的浪费。
附图说明
图1为本申请一实施例的基于补充训练与双类位置预测的茶叶采摘方法的流程示意图；
图2为本申请一实施例的基于补充训练与双类位置预测的茶叶采摘装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于补充训练与双类位置预测的茶叶采摘方法，包括以下步骤：
S1、采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
S2、采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
S3、对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
S4、进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S5、进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
S6、调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
S7、采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
S8、将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
S9、控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
首先应当提及的是，本申请不是对茶叶的普通智能识别与采摘方案，而是特别的智能识别与采摘方案，其特别之处包括补充训练与双类位置预测。具体地，本申请采用补充训练与能够进行新芽与新叶识别的双类位置预测的模型，能够尽量减少遗漏的新芽与新叶，这样使得茶叶的养料避免用于生成老叶上，这是采用补充训练与双类位置预测方案的一个优势所在。
本申请中的补充训练，指的是本申请是在已有识别模型(初步可采摘茶叶位置确定模型)的基础上进行的补充训练，从而弥补普通识别模型会遗漏新芽或新叶的缺陷。双类位置预测指的是，预测新芽位置以及预测新芽和新叶位置。
本申请目的是在不遗漏的前提下，采摘茶叶的新芽与新叶，并且不需要在后续进行新芽与新叶的分离工序，因为本申请所涉及的高品质茶叶只需要新芽(即是独芽，而不能是一芽多叶)，而剩余的新叶可用作较低品质茶叶的制作原料。
如上述步骤S1-S3所述，采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽。
图像感应器例如为摄像头，其可在任意可行位置进行图像采集处理，一般是从高处进行图像采集，以得到多个样本茶树的俯视图像，这样更有利于后续的图像识别。此处是分别对多个样本茶树进行图像采集的，得到的每幅第一样本图像均是单独的图像。此时，对于样本茶树不做预先处理，例如不会对样本茶树进行清洁等处理，尽量保证其与自然环境中的茶树相同即可。
水雾生成器可为水雾喷头，喷射水雾的目的在于使样本茶树处于水雾中，从而使茶树的新芽、新叶与老叶在吸附水雾后呈现出不同的光泽，进而彼此之间的差异性更为明显，这样就能够使得在一般情况下容易被遗漏的新芽或者新叶被再次发现。此时需要注意的一点是，本申请采用的是水雾喷射，而不是水喷射，这样设计的目的在于，使得茶树上的芽与叶不发生位移(水喷射必然会造成位移)，而不发生位移才能在后续步骤中形成两个样本图像中的对应位置的比较，这是很重要的一点，是本申请得以实施的基础。因此，本申请水雾喷射处理的目的并非是清洁茶树，而仅是让水雾吸附在茶树的芽和叶上。并且，因为后续需要建立两个样本图像中相应位置的对应关系，因此本申请在采集第二样本图像时，应当与采集第一样本图像时的图像感应器以及图像采集参数完全相同。
进一步地，在执行所述采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像的步骤S2之前，包括：
通过预设的空气流速感应器，以感应样本茶树所在空间的空气流动数值；
判断所述空气流动数值是否大于预设的空气流动阈值；
若所述空气流动数值不大于预设的空气流动阈值，则生成第二样本图像采集指令，以指示采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像。
从而更进一步地保证在进行两次样本图像采集的同时，不会出现样本茶树上芽与叶的移位现象，以保证采集得到的样本图像真实可用。
进一步地，所述采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像的步骤S2中，进行水雾喷射处理时，不会引起所述多个样本茶树上的茶叶发生位移。
对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽。此处进行的是初步标注处理，是为了与后续的补充标注处理对应。初步标注处理实际上与传统的图像识别技术中涉及的标注相似，但此处的初步标注处理与传统的图像识别技术存在一定的差异，差别之处在于，本申请进行的是两种类型位置的标注，即本申请在初步标注处理时，需要标识出同时存在新芽与新叶的位置(即第一一位置和第二一位置)，还要标识出仅存在新芽的位置(第一二位置和第二二位置)。这是传统的图像识别，或者更进一步的茶叶图像识别过程中不会涉及的，这与本申请的目的相关，因为本申请需要尽量减少遗漏的新芽与新叶(因此需要准确地识别，并且对于这两类位置的新芽与新叶还需要全部采摘并完全分类)，这样使得茶叶的养料避免用于生成老叶上。本申请中的编号，例如第一一位置，这里的第一个一，对应于第一样本图像的一，第二个一，对应于存在新芽与新叶的位置，对于第二样本图像的编号，也是采用相同的编号规则。初步标注处理可以采用任意可行方式实现，例如采用人工标注处理，也可以采用自动标注处理。
如上述步骤S4-S6所述，进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像。
位置比对处理，指的是将对应的第一样本图像和第二样本图像进行一一比对。本申请之所以能够进行这样比对，取决于前文提及的，第一样本图像和第二样本图像进行采集时，样本茶树不会发生位移，因此样本茶树上的某个特定位置(例如一个新芽所处位置)，反应在第一样本图像上和第二样本图像上的位置是相同的，当然，此时在第一样本图像和第二样本图像的相同位置处呈现出的色泽可能不一样，这是由于吸附水雾造成的，这正是本申请需要的效果。
由于前述本申请依据的原理，可知第二样本图像的位置数量应当不少于第一样本图像的位置数量，因为水雾吸附处理后，会重新发现遗漏的芽或叶。但是并非所有的第二样本图像都对本申请有用，因为若第二样本图像的位置数量与第一样本图像的位置数量相同时，那么表明水雾吸附对于这处样本茶树在识别芽与叶方面没有影响，因此应当摒弃，以减少无谓的数据处理量。而进行位置比对处理的目的正是在此，因此位置比对来进行筛选的原理就是根据位置来确定合用的第一样本图像与第二样本图像。需要注意的是，本申请中第一样本图像和第二样本图像分别包括两种不同的位置，而每种位置均需要满足上述筛选要求，即同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置。
另外，这样的筛选规则，其最直接的作用就是，将异常的数据进行排除，因为虽然在理论上，水雾吸附后的第二样本图像的位置数量应当不少于第一样本图像的位置数量(更准确地，应当是前者完全包含后者)，但第一样本图像存在误识别的可能，因此有可能出现位置无法完全对应的情况。对于这种情况的数据，本申请采用上述筛选规则直接排除。
进一步地，所述进行位置比对处理，以筛选出多幅差异样本图像对的步骤S4，包括：
S401、根据位置数量，对呈对应关系的第一样本图像和第二样本图像进行第一步筛选处理，以筛选出多个初步差异样本图像对；其中，初步差异样本图像对中的第一样本图像中的第一一位置的数量，小于对应的第二样本图像中的第二一位置的数量；并且初步差异样本图像对中的第一样本图像中的第一二位置的数量，小于对应的第二样本图像中的第二二位置的数量；
S402、根据位置的包含关系，对多个初步差异样本图像对进行第二步筛选处理，以筛选出多个最终差异样本图像对；其中，最终差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，并且最终差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S403、生成补充标注处理指令，以指示在多个最终差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置。
从而以位置数量为第一步筛选依据，再以位置的包含关系为第二步筛选依据，从而快速准确地筛选出多幅差异样本图像对。
再进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据。补充标注处理是本申请的一个关键之处，本申请的第二样本图像是不会直接作为训练数据使用的，因为茶树的芽与叶识别模型针对的是自然环境中的茶树，这些自然环境中的茶树免不了存在灰尘粘附或枝叶遮挡等情况，若需要直接使用第二样本图像作为训练数据，那么在实际使用过程中，应当对自然环境中的茶树进行同样的水雾喷射处理，这样并不合适(因为包括附有水雾的茶叶不易采摘，并且带露采摘的茶叶，不适用于目前主要采用的茶叶炒制法)，而在实际使用过程中，若不对自然环境中的茶树进行同样的水雾喷射处理，那么由于自然环境中的茶树上的芽与叶的色泽对比没那么明显，那么这种识别模型反而会遗漏更多的芽与叶。
因此，本申请的第二样本图像应结合第一样本图像来使用，并且只有筛选出来的第二样本图像才能用上，而且第二样本图像使用的方式就是补充标注，以将原本不存在于第一样本图像上的芽与叶的位置(即第二一位置和第二二位置)在第一样本图像上标注出来。此时更体现出前文不对茶树造成位移的作用，因为若茶树发生位移，那么在第一样本图像上标注出来的补充位置反而对不上理应存在芽与叶的位置。因此进行补充标注处理后的第一样本图像就能够作为补充训练时采用的样本数据。
再调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像。
本申请的重点不在于预先训练得到的初步可采摘茶叶位置确定模型，而在于对初步可采摘茶叶位置确定模型的补充训练，因此初步可采摘茶叶位置确定模型可采用任意可行的现有训练方式进行训练处理。由于深度卷积神经网络模型适合进行图像识别处理，因此本申请的初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到。例如本申请的初步可采摘茶叶位置确定模型可以采用Faster R-CNN模型为基础进行训练，FasterR-CNN模型由输入层、多个卷积层、多个池化层、全连接层和输出层构成，再采用递度下降算法、反向传播算法等进行训练，此处不再赘述。另外，本申请还存在的一个特点是，预先训练的初步可采摘茶叶位置确定模型与补充训练时的训练数据存在重叠之处，这种重叠不是指某些训练数据完全相同，而是，初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像。
进一步地，所述调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型的步骤S6，包括：
S601、根据预设比例将所述多个样本数据划分为多个训练用数据和多个校验用数据；
S602、调取预先训练得到的初步可采摘茶叶位置确定模型，采用反向传播法并根据有监督学习的方式，将多个训练用数据输入初步可采摘茶叶位置确定模型中进行训练，以得到补充训练模型；
S603、采用多个校验用数据对补充训练模型进行校验，并判断校验结果是否为校验合格；
S604、若校验结果为校验合格，则将补充训练模型记为最终可采摘茶叶位置确定模型。
从而将相同的划分自样本数据的训练用数据进行补充训练，再采用相同的划分自样本数据的校验用数据进行校验，并在最终确定校验合格后，保证最终可采摘茶叶位置确定模型的识别准确性得到提高。
如上述步骤S7-S9所述，采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
本申请设计于茶叶采摘机器人上的图像感应器，可设置于任意可行位置，例如与样本图像采集时的位置相同或相类，一般要高于茶树顶端。需要注意的是，本申请的待采摘茶树是不需要进行特殊处理的，其可以是自然环境中的茶树，由于本申请的最终可采摘茶叶位置确定模型已经经过识别优化处理，因此不会遗漏芽或叶。
再利用最终可采摘茶叶位置确定模型，对获取的待分析图像进行分析，即可得到多个第一类位置与多个第二类位置。这些位置与前文所提及的标注位置分别对应，即第一类位置存在新芽与新叶，而第二类位置仅存在新芽。
由于已经确定两种类型的位置，因此控制预设的茶叶采摘机器人，即可进行对应的采摘处理。其中，对于第一类位置的采摘策略可以为任意可行策略，例如先采摘新芽，再采摘新叶；对于第二类位置的采摘策略可以为任意可行策略，例如只采摘新芽。茶叶采摘机器人上附带的机械手可为任意可行机械手，例如为切割型机械手、吸附型机械手、仿人手型机械手，但为了提高茶叶采摘的质量，本申请优选不带刀具的机械手，因为采用刀具切割得到的茶叶，不利于高品质茶叶的制作。
进一步地，所述控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理的步骤S9，包括：
S901、采用预设的多个双目摄像头，根据双目视觉原理，获取多个第一类位置的第一空间坐标，以及获取多个第二类位置的第二空间坐标；
S902、采用预设于茶叶采摘机器人上的第一机械手，根据所述第一空间坐标和第二空间坐标，进行第一次采茶处理，以使得第一机械手依次伸长至多个第一类位置和多个第二类位置，并采用第一向上提拉法采摘得到多个新芽；其中，第一机械手包括至少两个机械手指，第一向上提拉法指第一机械手的至少两个机械手指以预设的第一夹持力夹持住新芽，并采用预设的竖直向上的第一拉力将芽拉离茶树；
S903、采用预设于茶叶采摘机器人上的第二机械手，根据所述第一空间坐标，进行第二次采茶处理，以使得第二机械手依次伸长至多个第一类位置，并采用第二向上提拉法采摘得到多个无芽的新叶；其中，第二机械手包括至少两个机械手指，第二向上提拉法指第二机械手的至少两个机械手指以预设的第二夹持力夹持住新叶，并采用竖直向上的预设的第二拉力将新叶拉离茶树；第二夹持力大于第一夹持力，第二拉力大于第一拉力；
S904、将采摘得到的新芽与无芽的新叶分别存储于预设于机器人上的第一储存仓和第二储存仓中。
从而进一步提高茶叶采摘的质量，并且无需后续分选出新芽的工序，提高了效率。单幅图像难以获得准确的空间位置，但是多个双目摄像头就能够根据双目视觉原理确定某个物体的准确位置，这与人在双眼定位时能够准确定位位置的原理相同。进而获取多个第一类位置的第一空间坐标，以及获取多个第二类位置的第二空间坐标。
另外，本申请的茶叶采摘机器人上设置两类机械手(或者可以指由两类参数分别对应的机械手)，第一类机械手专门用于采摘新芽，第二类机械手专门用于采摘新叶，并且为了避免切割造成茶叶品质的降低，本申请采用的是向上提拉法进行芽与叶的采摘。由于本申请区分出了芽与叶，即多个第一类位置和多个第二类位置都存在新芽，但是仅在多个第一类位置存在新叶，因此在多个第一类位置和多个第二类位置，采用第一向上提拉法采摘得到多个新芽；在多个第一类位置，采用第二向上提拉法采摘得到多个无芽的新叶。向上提拉法，指的是模仿手指夹住芽或者叶，然后向上将其拽离茶树。由于采用的都是向上提拉法，因此第一机械手与第二机械手都具有机械手指，以夹持住芽或者叶，再拉离茶树。并且，为了避免交叉采集，即避免第一机械手采集到了新叶，第二机械手采集到了新芽，本申请利用新芽与新叶耐受力不同的特点，设置了第一向上提拉法与第二向上提拉法，以使得第二夹持力大于第一夹持力，第二拉力大于第一拉力。
最后再将新芽与新叶分别存储即可，由于在采摘过程中采用的是针对性的采摘策略，因此无需后续的茶叶分检步骤，减少了工作量。
本申请的基于补充训练与双类位置预测的茶叶采摘方法，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；进行位置比对处理，以筛选出多幅差异样本图像对；进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置；调取预先训练得到的初步可采摘茶叶位置确定模型，并进行补充训练，以得到最终可采摘茶叶位置确定模型；采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到多个第一类位置与多个第二类位置；控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理，实现了满足制作高品质茶叶的智能采摘的目的。
参照图2，本申请实施例提供一种基于补充训练与双类位置预测的茶叶采摘装置，包括：
第一样本图像采集模块10，用于采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
第二样本图像采集模块20，用于采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
初步标注模块30，用于对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
位置比对模块40，用于进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
补充标注模块50，用于进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
补充训练模块60，用于调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
待分析图像采集模块70，用于采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
位置输出模块80，用于将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
茶叶采摘模块90，用于控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
其中上述模块分别用于执行的操作与前述实施方式的基于补充训练与双类位置预测的茶叶采摘方法的步骤一一对应，在此不再赘述。
本申请的基于补充训练与双类位置预测的茶叶采摘装置，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；进行位置比对处理，以筛选出多幅差异样本图像对；进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置；调取预先训练得到的初步可采摘茶叶位置确定模型，并进行补充训练，以得到最终可采摘茶叶位置确定模型；采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到多个第一类位置与多个第二类位置；控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理，实现了满足制作高品质茶叶的智能采摘的目的。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于补充训练与双类位置预测的茶叶采摘方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于补充训练与双类位置预测的茶叶采摘方法。该计算机设备还包括显示屏和输入装置，分别用于展示人工交互界面和用于接收输入数据。
上述处理器执行上述基于补充训练与双类位置预测的茶叶采摘方法，其中所述方法包括的步骤分别与执行前述实施方式的基于补充训练与双类位置预测的茶叶采摘方法的步骤一一对应，在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于补充训练与双类位置预测的茶叶采摘方法，其中所述方法包括的步骤分别与执行前述实施方式的基于补充训练与双类位置预测的茶叶采摘方法的步骤一一对应，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于补充训练与双类位置预测的茶叶采摘方法，其特征在于，包括：
S1：采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
S2：采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
S3：对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
S4：进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S5：进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
S6：调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
S7：采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
S8：将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
S9：控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
2.根据权利要求1所述的基于补充训练与双类位置预测的茶叶采摘方法，其特征在于，所述控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理的步骤S9，包括：
S901：采用预设的多个双目摄像头，根据双目视觉原理，获取多个第一类位置的第一空间坐标，以及获取多个第二类位置的第二空间坐标；
S902：采用预设于茶叶采摘机器人上的第一机械手，根据所述第一空间坐标和第二空间坐标，进行第一次采茶处理，以使得第一机械手依次伸长至多个第一类位置和多个第二类位置，并采用第一向上提拉法采摘得到多个新芽；其中，第一机械手包括至少两个机械手指，第一向上提拉法指第一机械手的至少两个机械手指以预设的第一夹持力夹持住新芽，并采用预设的竖直向上的第一拉力将芽拉离茶树；
S903：采用预设于茶叶采摘机器人上的第二机械手，根据所述第一空间坐标，进行第二次采茶处理，以使得第二机械手依次伸长至多个第一类位置，并采用第二向上提拉法采摘得到多个无芽的新叶；其中，第二机械手包括至少两个机械手指，第二向上提拉法指第二机械手的至少两个机械手指以预设的第二夹持力夹持住新叶，并采用竖直向上的预设的第二拉力将新叶拉离茶树；第二夹持力大于第一夹持力，第二拉力大于第一拉力；
S904：将采摘得到的新芽与无芽的新叶分别存储于预设于机器人上的第一储存仓和第二储存仓中。
3.根据权利要求1所述的基于补充训练与双类位置预测的茶叶采摘方法，其特征在于，所述采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像的步骤S2中，进行水雾喷射处理时，不会引起所述多个样本茶树上的茶叶发生位移。
4.根据权利要求1所述的基于补充训练与双类位置预测的茶叶采摘方法，其特征在于，所述进行位置比对处理，以筛选出多幅差异样本图像对的步骤S4，包括：
S401：根据位置数量，对呈对应关系的第一样本图像和第二样本图像进行第一步筛选处理，以筛选出多个初步差异样本图像对；其中，初步差异样本图像对中的第一样本图像中的第一一位置的数量，小于对应的第二样本图像中的第二一位置的数量；并且初步差异样本图像对中的第一样本图像中的第一二位置的数量，小于对应的第二样本图像中的第二二位置的数量；
S402：根据位置的包含关系，对多个初步差异样本图像对进行第二步筛选处理，以筛选出多个最终差异样本图像对；其中，最终差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，并且最终差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
S403：生成补充标注处理指令，以指示在多个最终差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置。
5.根据权利要求1所述的基于补充训练与双类位置预测的茶叶采摘方法，其特征在于，所述调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型的步骤S6，包括：
S601：根据预设比例将所述多个样本数据划分为多个训练用数据和多个校验用数据；
S602：调取预先训练得到的初步可采摘茶叶位置确定模型，采用反向传播法并根据有监督学习的方式，将多个训练用数据输入初步可采摘茶叶位置确定模型中进行训练，以得到补充训练模型；
S603：采用多个校验用数据对补充训练模型进行校验，并判断校验结果是否为校验合格；
S604：若校验结果为校验合格，则将补充训练模型记为最终可采摘茶叶位置确定模型。
6.一种基于补充训练与双类位置预测的茶叶采摘装置，其特征在于，包括：
第一样本图像采集模块，用于采用预设的图像感应器，对多个样本茶树进行图像采集处理，以对应得到多幅第一样本图像；
第二样本图像采集模块，用于采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像；其中，多幅第二样本图像与多幅第一样本图像一一对应，并且呈对应关系的第二样本图像与第一样本图像的图像采集参数完全相同；
初步标注模块，用于对第一样本图像与第二样本图像进行初步标注处理，以标识出第一样本图像中的第一一位置、第一二位置，同时标识出第二样本图像中的第二一位置和第二二位置；其中，第一一位置和第二一位置存在新芽与新叶，而第一二位置和第二二位置仅存在新芽；
位置比对模块，用于进行位置比对处理，以筛选出多幅差异样本图像对；其中，每个差异样本图像对均由呈对应关系的一个第一样本图像与一个第二样本图像构成，并且同一差异样本图像对中的第二样本图像中的第二一位置完全包括对应的第一样本图像中的第一一位置，而且同一差异样本图像对中的第二样本图像中的第二二位置完全包括对应的第一样本图像中的第一二位置；
补充标注模块，用于进行补充标注处理，以在多幅差异样本图像对中的多幅第一样本图像上标注出第二一位置和第二二位置，并将补充标注处理后的多幅第一样本图像记为多个样本数据；
补充训练模块，用于调取预先训练得到的初步可采摘茶叶位置确定模型，并采用所述多个样本数据对初步可采摘茶叶位置确定模型进行补充训练，以得到最终可采摘茶叶位置确定模型；其中，初步可采摘茶叶位置确定模型基于深度卷积神经网络模型训练得到，并且初步可采摘茶叶位置确定模型在训练时采用的数据至少包括所述多幅差异样本图像对中未进行补充标注处理的第一样本图像；
待分析图像采集模块，用于采用预设于茶叶采摘机器人上的图像感应器，对待采摘茶树进行图像采集处理，以得到待分析图像；
位置输出模块，用于将待分析图像输入最终可采摘茶叶位置确定模型中进行处理，以得到最终可采摘茶叶位置确定模型输出的多个第一类位置与多个第二类位置；其中，第一类位置存在新芽与新叶，而第二类位置仅存在新芽；
茶叶采摘模块，用于控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理。
7.根据权利要求6所述的基于补充训练与双类位置预测的茶叶采摘装置，其特征在于，所述控制预设的茶叶采摘机器人，根据预设的两种不同采摘策略，对多个第一类位置与多个第二类位置的茶叶进行对应的采摘处理，包括：
采用预设的多个双目摄像头，根据双目视觉原理，获取多个第一类位置的第一空间坐标，以及获取多个第二类位置的第二空间坐标；
采用预设于茶叶采摘机器人上的第一机械手，根据所述第一空间坐标和第二空间坐标，进行第一次采茶处理，以使得第一机械手依次伸长至多个第一类位置和多个第二类位置，并采用第一向上提拉法采摘得到多个新芽；其中，第一机械手包括至少两个机械手指，第一向上提拉法指第一机械手的至少两个机械手指以预设的第一夹持力夹持住新芽，并采用预设的竖直向上的第一拉力将芽拉离茶树；
采用预设于茶叶采摘机器人上的第二机械手，根据所述第一空间坐标，进行第二次采茶处理，以使得第二机械手依次伸长至多个第一类位置，并采用第二向上提拉法采摘得到多个无芽的新叶；其中，第二机械手包括至少两个机械手指，第二向上提拉法指第二机械手的至少两个机械手指以预设的第二夹持力夹持住新叶，并采用竖直向上的预设的第二拉力将新叶拉离茶树；第二夹持力大于第一夹持力，第二拉力大于第一拉力；
将采摘得到的新芽与无芽的新叶分别存储于预设于机器人上的第一储存仓和第二储存仓中。
8.根据权利要求6所述的基于补充训练与双类位置预测的茶叶采摘装置，其特征在于，所述采用预设的水雾生成器，对所述多个样本茶树进行水雾喷射处理，再采用图像感应器对应进行图像采集处理，以对应得到多幅第二样本图像中，进行水雾喷射处理时，不会引起所述多个样本茶树上的茶叶发生位移。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210464085.3A CN114758243B (zh) | 2022-04-29 | 2022-04-29 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210464085.3A CN114758243B (zh) | 2022-04-29 | 2022-04-29 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114758243A CN114758243A (zh) | 2022-07-15 |
| CN114758243B true CN114758243B (zh) | 2022-11-11 |
Family
ID=82332428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210464085.3A Active CN114758243B (zh) | 2022-04-29 | 2022-04-29 | 基于补充训练与双类位置预测的茶叶采摘方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114758243B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145781A (zh) * | 2018-08-03 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易（杭州）网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
| CN111650554A (zh) * | 2020-05-29 | 2020-09-11 | 浙江商汤科技开发有限公司 | 定位方法及装置、电子设备和存储介质 |
| CN112862023A (zh) * | 2021-04-26 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 对象密度确定方法、装置、计算机设备和存储介质 |
| CN113099847A (zh) * | 2021-05-25 | 2021-07-13 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113192129A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于深度卷积神经网络模型的粘连柑橘的定位方法 |
| CN113191347A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于圆形完整度修正的柑橘识别方法 |
| CN113455660A (zh) * | 2021-05-28 | 2021-10-01 | 天津博诺智创机器人技术有限公司 | 一种食物智能协作方法以及应用该方法的早餐制备系统 |
| CN114119574A (zh) * | 2021-11-30 | 2022-03-01 | 安徽农业大学 | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI127100B (en) * | 2016-08-04 | 2017-11-15 | Zenrobotics Oy | A method and apparatus for separating at least one piece from a plurality of pieces |
-
2022
- 2022-04-29 CN CN202210464085.3A patent/CN114758243B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145781A (zh) * | 2018-08-03 | 2019-01-04 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN111476284A (zh) * | 2020-04-01 | 2020-07-31 | 网易（杭州）网络有限公司 | 图像识别模型训练及图像识别方法、装置、电子设备 |
| CN111650554A (zh) * | 2020-05-29 | 2020-09-11 | 浙江商汤科技开发有限公司 | 定位方法及装置、电子设备和存储介质 |
| CN112862023A (zh) * | 2021-04-26 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 对象密度确定方法、装置、计算机设备和存储介质 |
| CN113099847A (zh) * | 2021-05-25 | 2021-07-13 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113192129A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于深度卷积神经网络模型的粘连柑橘的定位方法 |
| CN113191347A (zh) * | 2021-05-25 | 2021-07-30 | 广东技术师范大学 | 一种基于圆形完整度修正的柑橘识别方法 |
| CN113455660A (zh) * | 2021-05-28 | 2021-10-01 | 天津博诺智创机器人技术有限公司 | 一种食物智能协作方法以及应用该方法的早餐制备系统 |
| CN114119574A (zh) * | 2021-11-30 | 2022-03-01 | 安徽农业大学 | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 |
Non-Patent Citations (7)
| Title |
|---|
| Effective Super-Resolution Methods for Paired Electron Microscopic Images;Yanjun Qian等;《arXiv:1907.10105v4》;20200629;第1-15页 * |
| Prediction of Moisture Content for Congou Black Tea Withering Leaves Using Image Features and Nonlinear Method;Gaozhen Liang等;《scientific reports》;20180518;第1-8页 * |
| 名优茶采摘机械手的DSP图像与控制集成设计;徐张群等;《江西农业大学学报》;20181231;第40卷(第6期);第1323-1330页 * |
| 基于深度学习的水果采摘机器人视觉识别系统设计;伍锡如等;《农机化研究》;20200228(第02期);第177-182、188页 * |
| 基于深度学习的视觉地点识别技术研究;蔡溯东;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115(第（2021）01期);I138-1710 * |
| 茶叶嫩芽视觉识别与采摘技术研究;陈龙;《中国优秀硕士学位论文全文数据库 农业科技辑》;20220115(第（2022）01期);D044-103 * |
| 采摘机器人分割与识别算法的研究现状;李天华等;《山东农业科学》;20211231;第53卷(第10期);第140-148页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114758243A (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657603B (zh) | 一种基于智能视觉的工业外观检测方法 | |
| CN107392091B (zh) | 一种农业人工智能作物检测方法、移动终端和计算机可读介质 | |
| CN108921227B (zh) | 一种基于capsule理论的青光眼医学影像分类方法 | |
| CN105590099B (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN107392896A (zh) | 一种基于深度学习的木材缺陷检测方法和系统 | |
| CN106844614A (zh) | 一种户型图功能区域快速识别系统 | |
| CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
| CN109684967A (zh) | 一种基于ssd卷积网络的大豆植株茎荚识别方法 | |
| CN108932712A (zh) | 一种转子绕组质量检测系统及方法 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| CN110020691A (zh) | 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 | |
| CN107427835A (zh) | 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类 | |
| CN109693140A (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN110738630A (zh) | 递归性深度学习系统的训练方法与检测系统 | |
| CN114758243B (zh) | 基于补充训练与双类位置预测的茶叶采摘方法和装置 | |
| CN115311657A (zh) | 多源藻类图像目标检测方法、系统、电子设备及存储介质 | |
| CN111582276A (zh) | 一种基于多特征融合的寄生虫虫卵的识别方法及系统 | |
| Nigam et al. | 12 Wheat rust disease identification using deep learning | |
| CN118038555A (zh) | 一种基于改进YOLOv8的化工企业人员的危险行为检测方法 | |
| CN114863311A (zh) | 一种变电站机器人巡检目标自动跟踪方法及系统 | |
| CN112381028A (zh) | 目标物的特征检测方法和装置 | |
| PP et al. | Automated quality assessment of cocoons using a smart camera based system | |
| CN105373780B (zh) | 一种老鼠步态分析中的步迹识别方法、装置及系统 | |
| CN116524344A (zh) | 一种基于rgb-d信息融合的番茄串采摘点检测方法 | |
| CN109255805A (zh) | 机器学习的工业智能数据收集系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |