CN117765085A - 一种茶芽叶采摘远近交替定位方法 - Google Patents
一种茶芽叶采摘远近交替定位方法 Download PDFInfo
- Publication number
- CN117765085A CN117765085A CN202410195060.7A CN202410195060A CN117765085A CN 117765085 A CN117765085 A CN 117765085A CN 202410195060 A CN202410195060 A CN 202410195060A CN 117765085 A CN117765085 A CN 117765085A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- leaves
- tea
- static
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001122767 Theaceae Species 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000003068 static effect Effects 0.000 claims abstract description 91
- 230000007246 mechanism Effects 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 115
- 238000012549 training Methods 0.000 claims description 43
- 230000009466 transformation Effects 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 3
- 235000013616 tea Nutrition 0.000 description 108
- 230000006870 function Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 235000009024 Ceanothus sanguineus Nutrition 0.000 description 1
- 240000003553 Leptospermum scoparium Species 0.000 description 1
- 235000015459 Lycium barbarum Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种茶芽叶采摘远近交替定位方法，包括采用静态相机远距离拍摄茶芽叶，得到第一图像，其中，静态相机由三点静态标定法标定。将第一图像输入目标检测模型进行目标检测，得到茶芽叶的当前全局位置。基于茶芽叶的当前全局位置控制采摘机构靠近茶芽叶，直到目标距离小于或等于目标距离阈值。采用动态相机近距离拍摄茶芽叶，得到第二图像，其中，动态相机由动态标定法标定。将第二图像输入语义分割模型进行语义分割，得到茶芽叶的当前局部位置。语义分割可以分割出不同形态的茶芽叶，对茶芽叶进行精细化定位，得到茶芽叶的当前局部位置的准确度较高，根据当前局部位置可以控制采摘机构精准地采摘茶芽叶。
Description
技术领域
本发明涉及茶芽叶采摘技术领域，尤其涉及一种茶芽叶采摘远近交替定位方法。
背景技术
茶树是世界上种植最广泛的农林作物之一，茶芽叶成熟后加工成茶饮料及相关产品。随着茶饮料消费市场的不断扩大，对名优茶的需求也逐步提高。但是，目前具有高营养、高品质和高经济价值的一芽一叶名优茶采摘大多都是采用人工方法，存在工作强度大、效率低和成本高等缺点。更重要的是，采茶期对劳动力的需求量较大，存在劳动力短缺的问题，导致无法及时采摘优质茶。因此，研发自动化的采茶机器人正成为茶产业可持续发展的必然趋势。
对于名优茶的视觉检测技术在目标定位上仍存在问题，包括对目标的定位精度低，以及无法正确定位到采摘点的位置，上述问题导致在采摘茶芽叶时可能出现漏采或误采的情况。因此，需要一种可以准确地定位茶芽叶的位置的方法。
发明内容
为克服相关技术中存在的问题，本发明的目的之一是提供一种茶芽叶采摘远近交替定位方法，该方法可以准确地定位茶芽叶的位置。
一种茶芽叶采摘远近交替定位方法，包括：
采用静态相机远距离拍摄茶芽叶，得到第一图像；其中，所述静态相机由三点静态标定法标定；
将所述第一图像输入目标检测模型进行目标检测，得到所述茶芽叶的当前全局位置；
基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值；
采用动态相机近距离拍摄所述茶芽叶，得到第二图像；其中，所述动态相机由动态标定法标定；
将所述第二图像输入语义分割模型进行语义分割，得到所述茶芽叶的当前局部位置；
根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶。
在本发明较佳的技术方案中，所述采用静态相机远距离拍摄茶芽叶之前，还包括：
采用所述三点静态标定法对所述静态相机进行标定；
采用所述动态标定法对所述动态相机进行标定。
在本发明较佳的技术方案中，所述采用所述三点静态标定法对所述静态相机进行标定，包括：
计算棋盘格坐标系到静态相机坐标系的第一转换矩阵；
计算所述棋盘格坐标系到机械臂坐标系的第二转换矩阵；
根据所述第一转换矩阵和所述第二转换矩阵计算静态坐标转换矩阵；
采用所述静态坐标转换矩阵标定所述静态相机。
在本发明较佳的技术方案中，所述计算棋盘格坐标系到静态相机坐标系的第一转换矩阵，包括：
基于棋盘格建立棋盘格坐标系，在所述棋盘格坐标系中选取三个参考点；
控制所述静态相机拍摄所述棋盘格，得到所述三个参考点在静态相机坐标系下的三维坐标；
根据以下公式计算所述棋盘格坐标系到所述静态相机坐标系的第一转换矩阵：
；
；
；
；
；
其中，ex为x轴旋转向量，ey为y轴旋转向量，ez为z轴旋转向量，P0=[x0,y0,z0]，P0为所述静态相机坐标系下的第一个所述参考点，x0为所述静态相机坐标系的原点x轴坐标，y0为所述静态相机坐标系的原点y轴坐标，z0为所述静态相机坐标系的原点z轴坐标；P1为所述静态相机坐标系下的第二个所述参考点，P2为所述静态相机坐标系下的第三个所述参考点，cross为叉乘运算，R0为所述棋盘格坐标系到所述静态相机坐标系的旋转矩阵，T0为所述棋盘格坐标系到所述静态相机坐标系的平移矩阵。
在本发明较佳的技术方案中，所述根据所述第一转换矩阵和所述第二转换矩阵计算静态坐标转换矩阵，包括：
根据以下公式计算静态坐标转换矩阵：
；
；
其中，R为静态坐标旋转矩阵，T为静态坐标平移矩阵，R1为所述棋盘格坐标系到机械本体坐标系的旋转矩阵，T1为所述棋盘格坐标系到所述机械本体坐标系的平移矩阵，为所述静态相机坐标系到所述棋盘格坐标系的旋转矩阵，/>为所述静态相机坐标系到所述棋盘格坐标系的平移矩阵，所述静态坐标旋转矩阵和所述静态坐标平移矩阵组成所述静态坐标转换矩阵。
在本发明较佳的技术方案中，所述采用所述动态标定法对所述动态相机进行标定，包括：
对标定板进行固定；
控制机械臂末端移动，从不同角度拍摄n张标定板图像；
根据相邻两张所述标定板图像计算动态相机坐标系到所述机械臂坐标系的矩阵方程，组成矩阵方程组；其中，所述矩阵方程组包含n-1个所述矩阵方程；
根据所述矩阵方程组计算动态变换矩阵，根据所述动态变换矩阵标定所述动态相机。
在本发明较佳的技术方案中，所述将所述第一图像输入目标检测模型进行目标检测之前，还包括：
采用所述静态相机构建第一训练集，所述第一训练集包括多张所述第一图像；
采用所述动态相机构建第二训练集，所述第二训练集包括多张所述第二图像；
使用所述第一训练集对Yolov7模型进行训练，得到所述目标检测模型；
使用所述第二训练集对Transformer模型进行训练，得到所述语义分割模型。
在本发明较佳的技术方案中，所述根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶之后，还包括：
选择目标片区，控制所述静态相机远距离拍摄所述目标片区，得到第三图像；其中，所述目标片区包含所述茶芽叶；
将所述第三图像输入所述目标检测模型进行目标检测，得到下一个全局位置；
控制所述采摘机构朝靠近所述下一个全局位置的方向运动；
采用所述动态相机近距离拍摄下一个所述茶芽叶，得到第四图像；
将所述第四图像输入语义分割模型进行语义分割，得到下一个局部位置；
根据所述下一个局部位置控制所述采摘机构采摘下一个所述茶芽叶。
在本发明较佳的技术方案中，所述基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值，包括：
控制采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动；
获取目标距离阈值，每间隔预设时间检测目标距离；其中，所述目标距离为所述采摘机构与所述茶芽叶的距离；
检测所述目标距离是否小于或等于所述目标距离阈值，若是，则控制所述采摘机构停止运动。
在本发明较佳的技术方案中，所述检测所述目标距离是否小于或等于所述目标距离阈值之后，还包括：
若所述目标距离大于所述目标距离阈值，则控制所述采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动；
每间隔所述预设时间检测所述目标距离，若所述目标距离小于或等于所述目标距离阈值，则控制所述采摘机构停止运动。
本发明的有益效果为：
本发明提供的一种茶芽叶采摘远近交替定位方法包括采用静态相机远距离拍摄茶芽叶，得到第一图像，其中，静态相机由三点静态标定法标定。静态相机具有全局视野，静态相机采集的第一图像具有目标多和尺度小的特点。将第一图像输入目标检测模型进行目标检测，得到茶芽叶的当前全局位置，当前全局位置为茶芽叶的初步位置。基于茶芽叶的当前全局位置控制采摘机构靠近茶芽叶，直到目标距离小于或等于目标距离阈值。当目标距离小于或等于目标距离阈值时，说明采摘机构较为靠近茶芽叶，此时采用动态相机近距离拍摄茶芽叶，得到第二图像，其中，动态相机由动态标定法标定。动态相机具有局部视野，动态相机采集的第二图像具有目标少和尺度大的特点。将第二图像输入语义分割模型进行语义分割，可以分割出不同形态的茶芽叶，对茶芽叶进行精细化定位，得到茶芽叶的当前局部位置。当前局部位置的准确度较高，根据当前局部位置可以控制采摘机构精准地采摘茶芽叶。
附图说明
图1是本发明提供的茶芽叶采摘远近交替定位方法的流程示意图；
图2是本发明提供的采用三点静态标定法对静态相机进行标定的流程示意图；
图3是本发明提供的采用动态标定法对动态相机进行标定的流程示意图；
图4是本发明提供的构造目标检测模型和语义分割模型的流程示意图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
如图1所示，本实施例提供一种茶芽叶采摘远近交替定位方法，包括：
S1：采用静态相机远距离拍摄茶芽叶，得到第一图像；其中，所述静态相机由三点静态标定法标定。
在采摘机构的机械本体上安装静态相机，静态相机的类型为深度相机，静态相机的型号为D435i。静态相机具有全局视野，其工作原理是使用电磁波、可见光或红外线来测量物体表面上每个点的距离。
D435i深度相机使用可见光摄像机捕捉三维图像，将物体表面上的点与可见光摄像机的距离转换为数字信号。将该数字信号发送至处理器中，处理器使用算法对该数字信号进行分析，得到分析结果，处理器再根据分析结果将数字信号转换为可视化图像。第一图像既包含RGB图像信息，又包含深度信息。
S2：将所述第一图像输入目标检测模型进行目标检测，得到所述茶芽叶的当前全局位置。
目标检测模型为训练后的Yolov7模型，Yolov7模型加入了尺度注意力机制，还采用了多特征融合模块和损失函数优化。采用了尺度注意力机制的目标检测模型可以更好地关注到小尺寸目标，具有较高的检测精度和较快的检测速度。
第一图像具有目标多和尺度小的特点，目标检测模型对第一图像中的茶芽叶进行初步定位，得到茶芽叶的当前全局位置。
S3：基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值。
基于当前全局位置可以确定茶芽叶与采摘机构之间的目标距离，此时采摘机构与茶芽叶的距离较远，控制采摘机构朝靠近茶芽叶的方向运动。检测茶芽叶与采摘机构之间的目标距离，当目标距离小于或等于目标距离阈值时，控制采摘机构停止运动。
S4：采用动态相机近距离拍摄所述茶芽叶，得到第二图像；其中，所述动态相机由动态标定法标定。
在采摘机构的机械臂的末端安装动态相机，使用动态相机对茶芽叶进行近距离定位。动态相机与静态相机的类型可以相同，也可以不同，此处不作限定，本实施例以动态相机与静态相机的类型相同为例。
S5：将所述第二图像输入语义分割模型进行语义分割，得到所述茶芽叶的当前局部位置。
语义分割模型为训练后的Transformer模型，训练后的Transformer模型采用自注意力机制。传统的循环神经网络（RNN，Recurrent Neural Network）和长短时记忆网络（LSTM，Long Short-Term Memory）在处理长序列数据时，容易出现梯度消失或梯度爆炸的问题。基于自注意力机制的语义分割模型可以避免这些问题，使得模型能够更好地适应长序列数据。
由于Transformer模型可以有效地捕获输入数据的全局信息，因此语义分割模型具有强大的数据表示能力，使用语义分割模型对第二图像进行语义分割，可以提取出不同形态的茶芽叶特征，从而对茶芽叶进行精细化定位。
S6：根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶。
将当前局部位置的数据通过网线口发送至采摘机构的机械臂，控制采摘机构的机械臂采摘茶芽叶。
本实施例提供的一种茶芽叶采摘远近交替定位方法包括采用静态相机远距离拍摄茶芽叶，得到第一图像，其中，静态相机由三点静态标定法标定。静态相机具有全局视野，静态相机采集的第一图像具有目标多和尺度小的特点。将第一图像输入目标检测模型进行目标检测，得到茶芽叶的当前全局位置，当前全局位置为茶芽叶的初步位置。基于茶芽叶的当前全局位置控制采摘机构靠近茶芽叶，直到目标距离小于或等于目标距离阈值。当目标距离小于或等于目标距离阈值时，说明采摘机构较为靠近茶芽叶，此时采用动态相机近距离拍摄茶芽叶，得到第二图像，其中，动态相机由动态标定法标定。动态相机具有局部视野，动态相机采集的第二图像具有目标少和尺度大的特点。将第二图像输入语义分割模型进行语义分割，可以分割出不同形态的茶芽叶，对茶芽叶进行精细化定位，得到茶芽叶的当前局部位置。当前局部位置的准确度较高，根据当前局部位置可以控制采摘机构精准地采摘茶芽叶。
本实施例提供一种茶芽叶采摘远近交替定位方法，本实施例仅描述与实施例1的不同之处，所述采用静态相机远距离拍摄茶芽叶之前，还包括：
S11’：采用所述三点静态标定法对所述静态相机进行标定。
S12’：采用所述动态标定法对所述动态相机进行标定。
如图2所示，步骤S11’包括以下步骤S111’-S114’：
S111’：计算棋盘格坐标系到静态相机坐标系的第一转换矩阵。
基于棋盘格建立棋盘格坐标系，在所述棋盘格坐标系中选取三个参考点。三个参考点不同线，三个参考点共同组成ACS基坐标系xoy。
控制所述静态相机拍摄所述棋盘格，得到所述三个参考点在静态相机坐标系下的三维坐标。
将棋盘格坐标系下的三个参考点映射到静态相机坐标系下，得到静态相机坐标系下的三个三维坐标P0、P1和P2。
根据以下公式计算所述棋盘格坐标系到所述静态相机坐标系的第一转换矩阵：
；
；
；
；
；
其中，ex为x轴旋转向量，ey为y轴旋转向量，ez为z轴旋转向量，P0=[x0,y0,z0]，P0为所述静态相机坐标系下的第一个所述参考点，x0为所述静态相机坐标系的原点x轴坐标，y0为所述静态相机坐标系的原点y轴坐标，z0为所述静态相机坐标系的原点z轴坐标；P1为所述静态相机坐标系下的第二个所述参考点，P2为所述静态相机坐标系下的第三个所述参考点，cross为叉乘运算，R0为所述棋盘格坐标系到所述静态相机坐标系的旋转矩阵，T0为所述棋盘格坐标系到所述静态相机坐标系的平移矩阵。
计算出R0和T0之后，计算R0和T0的逆矩阵，得到和/>，/>为所述静态相机坐标系到所述棋盘格坐标系的旋转矩阵，/>为所述静态相机坐标系到所述棋盘格坐标系的平移矩阵。
S112’：计算所述棋盘格坐标系到机械本体坐标系的第二转换矩阵。
采取和步骤S111’相同的方法，将步骤S111’中的静态相机坐标系替换为机械本体坐标系，即可计算出棋盘格坐标系到机械本体坐标系的第二转换矩阵，此处不再赘述。
S113’：根据所述第一转换矩阵和所述第二转换矩阵计算静态坐标转换矩阵。
根据以下公式计算静态坐标转换矩阵：
；
；
其中，R为静态坐标旋转矩阵，T为静态坐标平移矩阵，R1为所述棋盘格坐标系到机械本体坐标系的旋转矩阵，T1为所述棋盘格坐标系到所述机械本体坐标系的平移矩阵，为所述静态相机坐标系到所述棋盘格坐标系的旋转矩阵，/>为所述静态相机坐标系到所述棋盘格坐标系的平移矩阵，所述静态坐标旋转矩阵和所述静态坐标平移矩阵组成所述静态坐标转换矩阵。
S114’：采用所述静态坐标转换矩阵标定所述静态相机。
静态坐标旋转矩阵R和静态坐标平移矩阵T组成静态坐标转换矩阵[R T]，获取静态相机的内参矩阵K，将静态相机的内参矩阵K乘以静态坐标转换矩阵[R T]和静态相机坐标系下的三维坐标，得到标定后的坐标，从而对静态相机进行标定。
由于静态相机是安装在采摘机构的机械本体上的固定位置，静态相机不会移动，因此静态相机坐标系到机械本体坐标系的位姿转换是固定的，因此采用三点静态标定法容易将棋盘格坐标系转换到机械本体坐标系。
如图3所示，步骤S12’包括以下步骤S121’-S124’：
S121’：对标定板进行固定。
S122’：控制机械臂末端移动，从不同角度拍摄n张标定板图像。
S123’：根据相邻两张所述标定板图像计算动态相机坐标系到所述机械臂坐标系的矩阵方程，组成矩阵方程组；其中，所述矩阵方程组包含n-1个所述矩阵方程。
S124’：根据所述矩阵方程组计算动态变换矩阵，根据所述动态变换矩阵标定所述动态相机。
固定标定板的位置，控制机械臂末端移动，从不同角度拍摄n张标定板图像，n≥2。将动态相机坐标系表示为CCS，将机械臂坐标系表示为end，将世界坐标系表示为RCS，对于每张标定板图像，动态相机坐标系到机械臂坐标系的变换满足以下公式：
；
对上式变形，得到
；
由于标定板全程固定在一个位置不动，所以在不同角度拍摄标定板的过程中，转换矩阵都是相同的，因此，可以得到以下含有未知量的方程：
；
第i张标定板图像对应的方程表示为：
；其中，i≥1，且i≤n-1。
相邻两张标定板图像构成一个矩阵方程，例如第1张标定板图像和第2张标定板图像构成第1个矩阵方程，第2张标定板图像和第3张标定板图像构成第2个矩阵方程，第n-1张标定板图像和第n张标定板图像构成第n-1个矩阵方程。联立该n-1个矩阵方程，得到矩阵方程组。该矩阵方程组可以表示为：AX=XB，A为该矩阵方程组的等号左侧矩阵相乘的常量结果，B为该矩阵方程组的等号右侧矩阵相乘的常量结果。X为动态变换矩阵，动态变换矩阵表示为，根据动态变换矩阵标定动态相机。
由于动态相机安装在采摘机构的机械臂末端，机械臂需要不断运动，动态相机坐标系到机械臂坐标系的转换是时刻变化的，采用动态标定法可以完成机械臂在不同位姿下的坐标系转换。
本实施例的茶芽叶采摘远近交替定位方法采用三点静态标定法对静态相机进行标定，采用动态标定法对动态相机进行标定。由于静态相机坐标系到机械本体坐标系的位姿转换是固定的，因此三点静态标定法的坐标系转换效率较高。在不同角度拍摄标定板，得到n张标定板图像。采用n张标定板图像构成n-1个矩阵方程，将n-1个矩阵方程组成矩阵方程组。对矩阵方程组进行求解，得到动态变换矩阵。使用动态变换矩阵对动态相机进行标定，适用于机械臂不断运动的场景，可以完成机械臂在不同位姿下的坐标系转换。
如图4所示，本实施例提供一种茶芽叶采摘远近交替定位方法，本实施例仅描述与实施例1的不同之处，所述将所述第一图像输入目标检测模型进行目标检测之前，还包括：
S13’：采用所述静态相机构建第一训练集，所述第一训练集包括多张所述第一图像。
S14’：采用所述动态相机构建第二训练集，所述第二训练集包括多张所述第二图像。
S15’：使用所述第一训练集对Yolov7模型进行训练，得到所述目标检测模型。
S16’：使用所述第二训练集对Transformer模型进行训练，得到所述语义分割模型。
采用静态相机远距离拍摄多张第一图像，将所有第一图像组成第一训练集。采用动态相机近距离拍摄多张第二图像，将所有第二图像组成第二训练集。
优选地，按照第一预设标准对第一训练集进行筛选，按照第二预设标准对第二训练集进行筛选。
将第一训练集中的每张第一图像输入Yolov7模型，计算第一损失函数值，根据第一损失函数值反向传播，使用梯度下降法更新Yolov7模型的模型参数。可以在Yolov7模型的第一损失函数值小于第一预设值时，停止训练，得到目标检测模型。也可以在Yolov7模型的训练次数大于第一训练次数阈值时，停止训练，得到目标检测模型。
将第二训练集中的每张第二图像输入Transformer模型，计算第二损失函数值，根据第二损失函数值反向传播，使用梯度下降法更新Transformer模型的模型参数。可以在Transformer模型的第二损失函数值小于第二预设值时，停止训练，得到语义分割模型。也可以在Transformer模型的训练次数大于第二训练次数阈值时，停止训练，得到语义分割模型。
所述根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶之后，还包括：
S71：选择目标片区，控制所述静态相机远距离拍摄所述目标片区，得到第三图像；其中，所述目标片区包含所述茶芽叶。
S72：将所述第三图像输入所述目标检测模型进行目标检测，得到下一个全局位置。
S73：控制所述采摘机构朝靠近所述下一个全局位置的方向运动。
S74：采用所述动态相机近距离拍摄下一个所述茶芽叶，得到第四图像。
S75：将所述第四图像输入语义分割模型进行语义分割，得到下一个局部位置。
S76：根据所述下一个局部位置控制所述采摘机构采摘下一个所述茶芽叶。
采摘机构的机械臂采摘茶芽叶之后，选择与当前位置不同的包含茶芽叶的片区，即目标片区。控制静态相机远距离拍摄目标片区，得到第三图像。将第三图像输入目标检测模型进行目标检测，得到下一个全局位置，下一个全局位置即下一个茶芽叶的初步位置。控制所述采摘机构朝靠近所述下一个全局位置的方向运动，采用所述动态相机近距离拍摄下一个所述茶芽叶，得到第四图像。将所述第四图像输入语义分割模型进行语义分割，可以分割出不同形态的茶芽叶，对茶芽叶进行精细化定位，得到茶芽叶的下一个局部位置。
本实施例的茶芽叶采摘远近交替定位方法采用静态相机构建的第一训练集对Yolov7模型进行训练，使得得到的目标检测模型可以针对静态相机远距离拍摄的第一图像进行目标检测，从而更好地对茶芽叶进行初步定位。采用动态相机构建的第二训练集对Transformer模型进行训练，使得得到的语义分割模型可以针对动态相机近距离拍摄的第二图像进行语义分割，从而更好地对茶芽叶进行精细化定位。
本实施例提供一种茶芽叶采摘远近交替定位方法，本实施例仅描述与实施例1的不同之处，所述基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值，包括：
S31：控制采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动。
S32：获取目标距离阈值，每间隔预设时间检测目标距离；其中，所述目标距离为所述采摘机构与所述茶芽叶的距离。
S33：检测所述目标距离是否小于或等于所述目标距离阈值，若是，则控制所述采摘机构停止运动。
作为示例，采摘机构一开始处于静止状态，此时采摘机构与茶芽叶的距离即目标距离为1.2米。控制采摘机构由静止开始朝靠近茶芽叶的当前全局位置的方向运动，将目标距离阈值设置为0.4米。每间隔1秒检测目标距离，在采摘机构开始运动后第10秒检测到目标距离为0.3米，则控制采摘机构停止运动。
所述检测所述目标距离是否小于或等于所述目标距离阈值之后，还包括：
S34：若所述目标距离大于所述目标距离阈值，则控制所述采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动。
S35：每间隔所述预设时间检测所述目标距离，若所述目标距离小于或等于所述目标距离阈值，则控制所述采摘机构停止运动。
作为示例，采摘机构一开始与茶芽叶的距离即目标距离为1.2米，控制采摘机构由静止开始朝靠近茶芽叶的当前全局位置的方向运动，将目标距离阈值设置为0.4米。每间隔1秒检测目标距离，在采摘机构开始运动后第5秒检测到目标距离为0.8米，则控制所述采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动。在采摘机构开始运动后第9秒检测到目标距离为0.4米，则控制采摘机构停止运动。
本实施例提供的茶芽叶采摘远近交替定位方法控制采摘机构朝靠近茶芽叶的当前全局位置的方向运动，采摘机构开始运动之后，每间隔预设时间检测目标距离。设置目标距离阈值，将每次检测的目标距离和目标距离阈值进行比较，根据比较结果控制采摘机构朝靠近茶芽叶的当前全局位置的方向运动，或控制采摘机构停止运动。
本实施例提供了一种电子设备，电子设备包括存储器和处理器。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。
存储器上存储有可执行代码，当可执行代码被处理器处理时，可以使处理器执行上文述及的茶芽叶采摘远近交替定位方法中的部分或全部。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位（旋转90度或处于其他方位），并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种茶芽叶采摘远近交替定位方法，其特征在于，包括：
采用静态相机远距离拍摄茶芽叶，得到第一图像；其中，所述静态相机由三点静态标定法标定；
将所述第一图像输入目标检测模型进行目标检测，得到所述茶芽叶的当前全局位置；
基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值；
采用动态相机近距离拍摄所述茶芽叶，得到第二图像；其中，所述动态相机由动态标定法标定；
将所述第二图像输入语义分割模型进行语义分割，得到所述茶芽叶的当前局部位置；
根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶。
2.根据权利要求1所述的茶芽叶采摘远近交替定位方法，其特征在于，所述采用静态相机远距离拍摄茶芽叶之前，还包括：
采用所述三点静态标定法对所述静态相机进行标定；
采用所述动态标定法对所述动态相机进行标定。
3.根据权利要求2所述的茶芽叶采摘远近交替定位方法，其特征在于，所述采用所述三点静态标定法对所述静态相机进行标定，包括：
计算棋盘格坐标系到静态相机坐标系的第一转换矩阵；
计算所述棋盘格坐标系到机械臂坐标系的第二转换矩阵；
根据所述第一转换矩阵和所述第二转换矩阵计算静态坐标转换矩阵；
采用所述静态坐标转换矩阵标定所述静态相机。
4.根据权利要求3所述的茶芽叶采摘远近交替定位方法，其特征在于，所述计算棋盘格坐标系到静态相机坐标系的第一转换矩阵，包括：
基于棋盘格建立棋盘格坐标系，在所述棋盘格坐标系中选取三个参考点；
控制所述静态相机拍摄所述棋盘格，得到所述三个参考点在静态相机坐标系下的三维坐标；
根据以下公式计算所述棋盘格坐标系到所述静态相机坐标系的第一转换矩阵：
；
；
；
；
；
其中，ex为x轴旋转向量，ey为y轴旋转向量，ez为z轴旋转向量，P0=[x0,y0,z0]，P0为所述静态相机坐标系下的第一个所述参考点，x0为所述静态相机坐标系的原点x轴坐标，y0为所述静态相机坐标系的原点y轴坐标，z0为所述静态相机坐标系的原点z轴坐标；P1为所述静态相机坐标系下的第二个所述参考点，P2为所述静态相机坐标系下的第三个所述参考点，cross为叉乘运算，R0为所述棋盘格坐标系到所述静态相机坐标系的旋转矩阵，T0为所述棋盘格坐标系到所述静态相机坐标系的平移矩阵。
5.根据权利要求3所述的茶芽叶采摘远近交替定位方法，其特征在于，所述根据所述第一转换矩阵和所述第二转换矩阵计算静态坐标转换矩阵，包括：
根据以下公式计算静态坐标转换矩阵：
；
；
其中，R为静态坐标旋转矩阵，T为静态坐标平移矩阵，R1为所述棋盘格坐标系到机械本体坐标系的旋转矩阵，T1为所述棋盘格坐标系到所述机械本体坐标系的平移矩阵，为所述静态相机坐标系到所述棋盘格坐标系的旋转矩阵，/>为所述静态相机坐标系到所述棋盘格坐标系的平移矩阵，所述静态坐标旋转矩阵和所述静态坐标平移矩阵组成所述静态坐标转换矩阵。
6.根据权利要求3所述的茶芽叶采摘远近交替定位方法，其特征在于，所述采用所述动态标定法对所述动态相机进行标定，包括：
对标定板进行固定；
控制机械臂末端移动，从不同角度拍摄n张标定板图像；
根据相邻两张所述标定板图像计算动态相机坐标系到所述机械臂坐标系的矩阵方程，组成矩阵方程组；其中，所述矩阵方程组包含n-1个所述矩阵方程；
根据所述矩阵方程组计算动态变换矩阵，根据所述动态变换矩阵标定所述动态相机。
7.根据权利要求1所述的茶芽叶采摘远近交替定位方法，其特征在于，所述将所述第一图像输入目标检测模型进行目标检测之前，还包括：
采用所述静态相机构建第一训练集，所述第一训练集包括多张所述第一图像；
采用所述动态相机构建第二训练集，所述第二训练集包括多张所述第二图像；
使用所述第一训练集对Yolov7模型进行训练，得到所述目标检测模型；
使用所述第二训练集对Transformer模型进行训练，得到所述语义分割模型。
8.根据权利要求1所述的茶芽叶采摘远近交替定位方法，其特征在于，所述根据所述当前局部位置控制所述采摘机构采摘所述茶芽叶之后，还包括：
选择目标片区，控制所述静态相机远距离拍摄所述目标片区，得到第三图像；其中，所述目标片区包含所述茶芽叶；
将所述第三图像输入所述目标检测模型进行目标检测，得到下一个全局位置；
控制所述采摘机构朝靠近所述下一个全局位置的方向运动；
采用所述动态相机近距离拍摄下一个所述茶芽叶，得到第四图像；
将所述第四图像输入语义分割模型进行语义分割，得到下一个局部位置；
根据所述下一个局部位置控制所述采摘机构采摘下一个所述茶芽叶。
9.根据权利要求1所述的茶芽叶采摘远近交替定位方法，其特征在于，所述基于所述茶芽叶的当前全局位置控制采摘机构靠近所述茶芽叶，直到目标距离小于或等于目标距离阈值，包括：
控制采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动；
获取目标距离阈值，每间隔预设时间检测目标距离；其中，所述目标距离为所述采摘机构与所述茶芽叶的距离；
检测所述目标距离是否小于或等于所述目标距离阈值，若是，则控制所述采摘机构停止运动。
10.根据权利要求9所述的茶芽叶采摘远近交替定位方法，其特征在于，所述检测所述目标距离是否小于或等于所述目标距离阈值之后，还包括：
若所述目标距离大于所述目标距离阈值，则控制所述采摘机构朝靠近所述茶芽叶的当前全局位置的方向运动；
每间隔所述预设时间检测所述目标距离，若所述目标距离小于或等于所述目标距离阈值，则控制所述采摘机构停止运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410195060.7A CN117765085B (zh) | 2024-02-22 | 一种茶芽叶采摘远近交替定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410195060.7A CN117765085B (zh) | 2024-02-22 | 一种茶芽叶采摘远近交替定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765085A true CN117765085A (zh) | 2024-03-26 |
| CN117765085B CN117765085B (zh) | 2024-06-07 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106954426A (zh) * | 2017-03-23 | 2017-07-18 | 江苏大学 | 一种基于近景深度传感器的机器人实时逼近定位采摘方法 |
| CN110223349A (zh) * | 2019-05-05 | 2019-09-10 | 华南农业大学 | 一种采摘点定位方法 |
| CN110249793A (zh) * | 2019-05-09 | 2019-09-20 | 江苏大学 | 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法 |
| EP3918904A1 (fr) * | 2020-06-02 | 2021-12-08 | Exel Industries | Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en oeuvre le procédé |
| US20220167555A1 (en) * | 2019-04-09 | 2022-06-02 | Fj Dynamics Technology Co., Ltd | Image acquisition device and processing method for agricultural harvesting operation machine |
| CN116058176A (zh) * | 2022-11-29 | 2023-05-05 | 西北农林科技大学 | 一种基于双相机组合定位的果蔬采摘机械臂控制系统 |
| CN116439018A (zh) * | 2023-05-05 | 2023-07-18 | 仲恺农业工程学院 | 一种七自由度水果采摘机器人及其采摘方法 |
| CN116508493A (zh) * | 2023-04-27 | 2023-08-01 | 仲恺农业工程学院 | 一种龙门履带式茶叶采摘机器人及其采摘方法 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106954426A (zh) * | 2017-03-23 | 2017-07-18 | 江苏大学 | 一种基于近景深度传感器的机器人实时逼近定位采摘方法 |
| US20220167555A1 (en) * | 2019-04-09 | 2022-06-02 | Fj Dynamics Technology Co., Ltd | Image acquisition device and processing method for agricultural harvesting operation machine |
| CN110223349A (zh) * | 2019-05-05 | 2019-09-10 | 华南农业大学 | 一种采摘点定位方法 |
| CN110249793A (zh) * | 2019-05-09 | 2019-09-20 | 江苏大学 | 一种棚架葡萄收获的机器人末端-深度相机配置方法与伺服控制方法 |
| EP3918904A1 (fr) * | 2020-06-02 | 2021-12-08 | Exel Industries | Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en oeuvre le procédé |
| CN116058176A (zh) * | 2022-11-29 | 2023-05-05 | 西北农林科技大学 | 一种基于双相机组合定位的果蔬采摘机械臂控制系统 |
| CN116508493A (zh) * | 2023-04-27 | 2023-08-01 | 仲恺农业工程学院 | 一种龙门履带式茶叶采摘机器人及其采摘方法 |
| CN116439018A (zh) * | 2023-05-05 | 2023-07-18 | 仲恺农业工程学院 | 一种七自由度水果采摘机器人及其采摘方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨振，艾益民主编: "《工业机器人协作应用基础》", 31 May 2020, 北京理工大学出版社, pages: 82 - 83 * |
| 杨萍;郭志成;: "花椒采摘机器人视觉识别与定位求解", 河北农业大学学报, no. 03, 15 May 2020 (2020-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738261B (zh) | 基于位姿估计和校正的单图像机器人无序目标抓取方法 | |
| CN109344882B (zh) | 基于卷积神经网络的机器人控制目标位姿识别方法 | |
| CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
| JP5746477B2 (ja) | モデル生成装置、３次元計測装置、それらの制御方法及びプログラム | |
| CN108284443A (zh) | 图像处理系统及处理装置、工件的拾取方法及记录介质 | |
| CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
| CN110555889A (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN111368852A (zh) | 基于深度学习的物品识别预分拣系统、方法及机器人 | |
| CN107705322A (zh) | 运动目标识别跟踪方法和系统 | |
| CN109978949B (zh) | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 | |
| CN112598757A (zh) | 一种多传感器时间空间标定方法及装置 | |
| CN107705293A (zh) | 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法 | |
| CN108120391A (zh) | 信息处理设备和方法、存储介质和物品制造方法 | |
| CN112184757A (zh) | 运动轨迹的确定方法及装置、存储介质、电子装置 | |
| CN112161997A (zh) | 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统 | |
| CN111563458A (zh) | 基于YOLOv3和OpenCV的目标检测与定位方法 | |
| CN114359546A (zh) | 一种基于卷积神经网络的黄花菜成熟度识别方法 | |
| CN117765085B (zh) | 一种茶芽叶采摘远近交替定位方法 | |
| Zhong et al. | Sim2real object-centric keypoint detection and description | |
| CN117765085A (zh) | 一种茶芽叶采摘远近交替定位方法 | |
| Shanmugam et al. | A machine-vision-based real-time sensor system to control weeds in agricultural fields | |
| CN115880220A (zh) | 多视角苹果成熟度检测方法 | |
| CN115760721A (zh) | 一种基于计算机视觉的片式元器件自动识别定位方法 | |
| CN115841668A (zh) | 一种双目视觉苹果识别以及精准定位的方法 | |
| CN108335329A (zh) | 应用于飞行器中的位置检测方法和装置、飞行器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |