CN117671622B - 一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 - Google Patents
一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 Download PDFInfo
- Publication number
- CN117671622B CN117671622B CN202311374861.1A CN202311374861A CN117671622B CN 117671622 B CN117671622 B CN 117671622B CN 202311374861 A CN202311374861 A CN 202311374861A CN 117671622 B CN117671622 B CN 117671622B
- Authority
- CN
- China
- Prior art keywords
- ridge line
- cotton
- ridge
- unmanned
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229920000742 Cotton Polymers 0.000 title claims abstract description 106
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000002372 labelling Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 229940050561 matrix product Drugs 0.000 claims description 3
- 241000219146 Gossypium Species 0.000 description 64
- 238000012549 training Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 244000269722 Thea sinensis Species 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000002362 mulch Substances 0.000 description 2
- 238000010899 nucleation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，包括以下步骤：将事先规划好的二维全局规划路径作为输入，用其与视觉图像之间UTM坐标和像素的映射，输出在采棉机采棉过程中的视频画面上，作为第一垄线；以触觉传感器电信号为输入，判断出采棉机横向偏移量，得到修正后的第一垄线；获取采棉过程中的画面，输入至垄线识别模型，输出预测后的棉田垄线输出在视频画面上作为第二垄线；将修正后的第一垄线和第二垄线进行加权融合，得到最准确的垄线；以将采棉过程中采集到的标注了真实垄线的视频数据和标注了最准确的垄线的视频数据为输入，作为带有标签的数据集，以此来训练垄线识别模型。本发明的垄线检测准确性高。
Description
技术领域
本发明涉及无人驾驶采棉机技术领域，特别是涉及一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法。
背景技术
在传统的棉花采摘过程中，人工操作存在劳动强度大、效率低下等问题。为了提高采棉效率，减轻人工劳动，无人驾驶采棉机应运而生。棉花垄线识别对于农机田间路径规划、行驶有着重要意义，但其实现过程却非常困难。其根本原因在于传统图像检测方法受环境影响大，流行的深度学习视觉检测数据稀缺，且依赖于准确、大量的图像标注。图像标注复杂且有强烈主观性，直接影响模型性能。
过去，一些传统的方法使用霍夫变换和特征提取技术可以进行垄线的检测和标注。例如，文献(张豪.基于机器视觉棉花图像的分割和棉田视觉导航研究[D].新疆农业大学,2015.)使用霍夫变换提取棉花幼苗时期的棉田导航中心线，还对视频图像建立动态窗口提取导航中心线，提取结果与人眼的视觉效果基本一致。在文献(李景彬,陈兵旗,刘阳等.采棉机视觉导航路线图像检测方法[J].农业工程学报,2013,29(11):11-19.)中，通过分析已收获区、未收获区、田外区田端的不同颜色调整提取，确定直线变换的候补点群，最后基于过已知点霍夫变换提取导航直线。结果证明该算法提取的直线能够准确贴合已收获区与未收获区分界、田侧边缘。在文献(WeraW,Veronika F F,Christian D,et al.CropRow Detection on Tiny Plants With the Pattern Hough Transform[J].IEEERobotics and Automation Letters,2018,3(4).)中，作者使用模式霍夫变换直接估计等距行之间的间距。但是传统霍夫变换受光照强度和阴影干扰严重导致图像中的边缘检测结果不稳定或不准确。此外，棉花田中垄线间距窄，作物遮挡严重，棉花生长不规则遮挡垄线，作物和直线间关联性不强等因素，对于非结构化环境下的纯视觉识别有一定难度使得检测棉田垄线精确度受限，使用基于特征的传统视觉难以检测。
近年来，基于深度学习的视觉直线或者路径检测算法被众多学者广泛研究。例如，石河子大学张雄楚等人在文献(张雄楚,李景彬,姚庆旺等.棉花铺膜播种作业拖拉机的视觉导航路径检测[J].农机化研究,2020,42(05):33-39.)中提出了一种干扰能力强、适应性广的棉花铺膜播种作业拖拉机的视觉导航路径检测算法。该方法提取每帧图像路径候补点，使用最小二乘法拟合导航路径能够稳定、快速地检测导航路径。在文献(朱逸航,张延宁,张小敏等.基于语义分割的棉花垄间实时道路识别[J].浙江农业科学,2021,62(09):1721-1725.)中，作者为解决棉花垄间道路识别准确性和实时性差的问题，提出了基于语义分割的棉花垄间实时道路识别方法。该方法使用Quarter-Unet模型识别垄间道路，实现了在田间自然光照及作物遮挡道路条件下棉花垄间道路的有效识别。在文献(LIN Y K，CHENS F.Development of navigation system for tea field machine using semanticsegmentation[J].IFAC-PapersOnLine，2019，52(30):108-11)中，将深度神经网络架构应用于采茶机导航系统，使用语义分割模型提取特征，推导出茶行的轮廓并识别田间场景中的障碍物。但是对于神经网络的训练仍需要标注大量垄线的数据，需要投入大量人工效率低下，标注的垄线主观性较强，且人工标注训练集费时费力准确性不高。
实际上，采棉机中使用触觉传感器是一种常见的检测方式。触觉传感器通常会安装在采摘装置的末端，通过接触棉花表面，检测到触觉信号并传递给控制系统，可以帮助采棉机感知到棉花的存在和位置，从而实现自动的采摘过程。但是过去触觉传感器大多只用于控制，现有方法也未充分利用采头前的触觉传感器辅助融合进行垄线识别。
发明内容
本发明的目的是针对现有技术中存在的棉花田垄线识别受环境影响大，未充分利用触觉传感器，及检测准确率不高和训练识别模型标注效率低下的问题，而提供一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法。
为实现本发明的目的所采用的技术方案是：
一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，包括以下步骤：
步骤1，将事先规划好的二维全局规划路径作为输入，用全局规划路径与视觉图像之间UTM坐标和像素的映射，输出在采棉机采棉过程中的视频画面上，作为第一垄线；
步骤2，以采棉过程中监测的采头的触觉传感器电信号为输入，判断出采棉机相对棉花垄线偏转的方向和横向偏移量，修正优化第一垄线，得到修正后的第一垄线；
步骤3，以采棉机前的摄像头作为视觉传感器，获取采棉过程中的画面，输入至垄线识别模型，输出预测后的棉田垄线输出在视频画面上作为第二垄线；
步骤4，将步骤2得到的修正后的第一垄线和步骤3得到的第二垄线进行加权融合，得到最准确的垄线，输出在视频画面上；
步骤5，以将采棉过程中采集到的标注了真实垄线的视频数据和步骤4得到的标注了最准确的垄线的视频数据为输入，作为带有标签的数据集，以此来训练步骤3的垄线识别模型。
在上述技术方案中，所述步骤1中包括以下步骤：
步骤s1，相机固定在无人驾驶采棉机的中位线处，通过张氏标定法获得相机的内参和外参；
步骤s2，将二维全局路径转换为三维UTM坐标，转换时，三维UTM坐标系中，z＝0；
步骤s3，基于步骤s1获得的外参，将三维UTM坐标经过刚体变换转换为三维相机坐标；
步骤s4，基于步骤s1获得的内参，将三维相机坐标经过透视映射转换为二维图像坐标，得到第一垄线，显示在视频画面上。
在上述技术方案中，所述步骤s3中，刚体变换由平移和旋转组成，刚体变换表示为一个4x4的齐次变换矩阵：
其中，R、t为外参，R是旋转矩阵，t是平移变换矩阵；t1表示横向(x轴方向)移动位置，t2是y轴纵向方向移动位置，t3是z轴竖向方向移动位置。
旋转矩阵R为根据旋转角度分别得三个方向上的旋转矩阵乘积：
绕X旋转a度：
绕Y轴旋转γ度：
绕Z轴旋转θ度：
Xc、Yc、Zc代表三维相机坐标，Xw、Yw、Zw代表三维世界坐标，a为绕x轴旋转的角度，γ为绕y轴旋转的角度，θ为绕z轴旋转的角度，Rz表示绕Z轴的旋转矩阵，Ry表示绕Y轴的旋转矩阵，Rx表示绕X轴的旋转矩阵。
在上述技术方案中，所述R、t为步骤s1张氏标定法获得相机的外参，或者张氏标定法获得相机的外参后，再使用惯导反馈车辆角度信息修正。
在上述技术方案中，所述步骤s4中，透视映射写成齐次坐标形式的矩阵相乘为：
其中，xy代表二维图像坐标，f代表焦距，即相机坐标系和图像坐标系在Z轴上的差，K步骤s1获得的内参，其中多个xy构成一条直线作为第一垄线输出在视频画面上。
在上述技术方案中，所述步骤2中，横向偏移量ΔL＝kp(V-V0)+ki∫(V-V0)dt，V为触觉传感器反馈电压，kP和ki为控制系数，V0为初始时刻测得的触觉传感器中位电压，将第一垄线上的UTM坐标(x,y,z)修正为(x+ΔL,y,z)，经过映射输出修正后的第一垄线。
在上述技术方案中，所述步骤3中，垄线识别模型为基于PINN的纯视觉检测模型。
在上述技术方案中，所述基于PINN的纯视觉检测模型包括输入层、隐含层、激活函数、输出层、损失函数和优化器。
在上述技术方案中，所述步骤4中，加权融合时，在方法运行初期按减少第二垄线的比重，随着步骤5中标注了最准确的垄线的视频数据的增加，增加第二垄线的比重。
与现有技术相比，本发明的有益效果是：
1.针对未充分利用采头前的触觉传感器辅助融合进行垄线识别问题，发明了基于传感器的触视融合检测棉田垄线算法，提高了作物遮挡下非结构化环境的纯视觉识别的准确性。
2.针对深度学习视觉垄线检测模型训练数据标注困难，效率低下问题，发明了触觉传感器修正后融合的全局规划路径自动映射到视觉图像，且和视觉模型训练后的路线加权显示，实现了无人驾驶采棉机的自动垄线标注，提高了路径规划准确性，训练标注模型便捷性。
3.针对视觉检测少样本导致训练不足，垄线检测不准确等问题，发明了生长式自标注算法。通过边行驶，边检测垄线，自动标注数据用于下一次模型训练，使得模型越来越“生长”的完善，性能越来越好。
附图说明
图1是本发明实施例所述方法中整体流程示意图。
图2是本发明实施例所述方法中相机坐标转换示意图。
图3是本发明实施例所述方法中相机映射原理图。
图4是本发明传感器电压和横向偏移关系映射图。
图5是发明实施例所述方法中传感器电压波动图。
图6是本发明实施例所述方法中融合修正垄线效果图。
具体实施方式
以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，包括以下步骤：
步骤1，将事先规划好的二维全局规划路径作为输入，用全局规划路径与视觉图像之间UTM坐标和像素的映射，输出在采棉机采棉过程中的视频画面上，作为第一垄线。
相机固定在无人驾驶采棉机的中位线处相对不变，首先通过张氏标定法获得相机的内参和外参，这个外参可直接应用于以下刚体变换，也可以使用惯导反馈车辆角度信息修正外参后再应用于以下刚体变换。
本步骤中，把二维全局路径转换为三维UTM坐标(三维世界坐标，其中z＝0)，再把三维UTM坐标经过刚体变换转换为三维相机坐标，接着将三维相机坐标转换为二维图像坐标，流程图如图2所示。
将三维UTM坐标经过刚体变换转换为三维相机坐标的过程如下：
相机映射原理图如图3所示，原点O为当前采棉机相机坐标系原点，在世界坐标系表示相机UTM位置，P为检测目标世界坐标系下UTM位置，经过坐标系旋转对齐原点后和世界坐标系O′和相机坐标系O统一，又经过相似三角形焦距和距离的映射最终显示在图像上。
具体的，将世界坐标系和相机坐标系相重合，通常由平移和旋转组成。这个变换可以表示为一个4x4的齐次变换矩阵：
其中，R、t通过张氏标定法获得相机的外参，或者再经过惯导反馈车辆角度信息修正后获得，R是旋转矩阵，负责将世界坐标系旋转到与相机坐标系对齐。t是平移变换矩阵，负责将世界坐标系原点移动到相机的位置。旋转矩阵R为根据旋转角度可以分别得三个方向上的旋转矩阵乘积：
绕X旋转a度：
绕Y轴旋转γ度：
绕Z轴旋转θ度：
Xc、Yc、Zc代表三维相机坐标，Xw、Yw、Zw代表三维世界坐标，a为绕x轴旋转的角度，γ为绕y轴旋转的角度，θ为绕z轴旋转的角度。
三维相机坐标转换为二维图像坐标的具体步骤如下：
透视映射是将三维相机坐标系转换为二维图像坐标系，写成齐次坐标形式的矩阵相乘为：
其中，xy代表二维图像坐标，f代表焦距，即相机坐标系和图像坐标系在Z轴上的差，K是张氏标定法获得相机的内参。
步骤2，以采棉过程中监测的采头的触觉传感器电信号为输入，判断出采棉机相对棉花垄线偏转的方向和横向偏移量，以修正优化后的第一垄线作为输出。横线偏移和触觉传感器电压关系如图4所示，用公式表示触觉传感器电压V和ΔL之间关系为：
ΔL＝kp(V-V0)+ki∫(V-V0)dt#(8)
其中ΔL为横向偏移量，V为触觉传感器反馈电压，kP和ki为控制系数，V0为初始时刻测得的传感器电压。当采棉机相对垄线有偏转时，棉花会对采头的一侧产生更大的压力，另一侧更小的压力，这个压力可被触觉传感器转化为电信号。通过分析触觉传感器的电信号对时间的积分，可以判断出采棉机相对于棉花垄线的偏转方向，这个偏转方向将用于修正在视频画面中显示的垄线位置。
触觉传感器给出电信号如图5所示，传感器电压在3.15伏到2.85伏波动，V0＝3伏，通过获得传感器实时给出的电压经过公式8的计算，可以算出当前位置横向偏移，从而完成从电信号到距离的转换，根据行驶过程中棉花压传感器反馈电压实时地获取垄线位置的修正信息ΔL。将第一垄线上的UTM坐标(x,y,z)修正为(x+ΔL,y,z)，经过映射输出修正后的第一垄线。
步骤3，以采棉机前的摄像头作为视觉传感器，可获取采棉过程中的画面，并且为视觉算法提供数据输入，通过垄线识别模型，输出预测后的棉田垄线输出在屏幕上作为第二垄线。
垄线识别模型可以为常规的基于视觉的垄线识别模型，也可以采用内嵌物理知识神经网络(Physics Informed Neural Network，简称PINN)的垄线识别模型(基于PINN的纯视觉检测模型)。
所述基于PINN的纯视觉检测模型包括输入层、隐含层、激活函数、输出层、损失函数和优化器。所述输入层主要用于模型训练的入参，包含采棉过程中采集到的标注了真实垄线的视频数据以及步骤4得到的标注了最准确的垄线的视频数据；所述隐含层采用Sigmoid激活函数，所述的Sigmoid激活函数，将垄线识别任务界定为一个二元分类的问题，即垄线存在或不存在。为了更好衡量模型性能，所述损失函数同时考虑数据误差项和物理误差项，引导模型的训练。其中损失函数中的数据误差项：通过比较模型的输出与标注数据的垄线坐标，确保模型逼近已知的垄线位置。为了确保模型满足物理定律，损失函数还包括了物理误差项，物理误差项通过比较模型的输出与物理方程的结果来约束模型。
损失函数由数据项误差和物理约束组成
Ltotal＝Ldata+Lpoly
Ldata＝∑i||fx1-fx2|+|fy1-fy2|+|fw1-fw2|+|fh1-fh2||2
其中Ldata表示数据项误差，fx1表示垄线图片标注后标注框中心点x坐标，fy1表示垄线图片标注后标注框中心点y坐标，fw1表示垄线图片标注后标注框宽度，fh1表示垄线图片标注后标注框高度，fx2表示垄线图片识别后标注框中心点x坐标，fy2表示垄线图片识别后标注框中心点y坐标，fw2表示垄线图片识别后标注框宽度，fh2表示垄线图片识别后标注框高度；
其中Lpoly表示物理约束，采用二维多项式表示垄线的形状，以图片左下角为坐标圆点，其中xj1表示该点在图片上的实际横坐标，yj1表示该点在图片上的实际纵坐标，其中xj2,yj2表示该点P(x,y)中的横纵坐标。
为了更有效地更新神经网络的参数，所述优化器采用Adam优化器。Adam优化器结合了动量和适应性学习率的方法，它能够更快地收敛到损失函数的最小值，从而提高了神经网络的性能。
步骤4，将步骤2得到的基于全局路径和触觉传感器修正优化后的第一垄线和步骤3得到的基于视觉识别的第二垄线作为输入，进行加权融合输出最终的垄线，并将这条线显示在视频上，作为最准确的垄线。
开始使用基于PINN的纯视觉检测模型时，数据少训练样本不足导致结果可能差，这时按精度减少第二垄线纯视觉检测直线权重，增大第一垄线触觉传感器修正的全局规划路径权重；在运行一段时间后，步骤5中的自标注补充了精确度较高的垄线识别数据，可以通过神经网络训练得到较好的结果，此时按照准确度再动态调整权重，升高第一垄线权重，降低第二垄线的识别权重。通过这样的过程第一垄线和第二垄线的权重得到调整，以获得更准确的垄线标注结果。
系统能够根据实际操作中的反馈数据不断优化权重的设定，以逐步提高垄线标注的准确性和稳定性。如图6所示，白色虚线为触觉传感器修正后的全局路径垄线在屏幕上的映射，实线为深度视觉模型识别的垄线和修正后垄线加权结果。
步骤5，以将采棉过程中采集到的标注了真实垄线的视频数据和步骤4得到的标注了最准确的垄线的视频数据为输入，作为带有标签的数据集，以此来训练步骤3的垄线识别模型，该数据集以及标签可以用于深度学习视觉识别，再次训练垄线识别模型中的基于PINN的垄线识别神经网络，实现自动标注-训练循环，输出识别后的垄线数据。
自标注的详细实现方式：经过步骤4以触觉传感器修正后的全局路径垄线与视觉算法得到的垄线经过加权融合输入，显示在视频画面上，作为标签。再将视频画面与标注的垄线标签作为垄线识别模型中的基于PINN的垄线识别神经网络的训练数据集。免去人工在视频画面上面打标签的繁重工作。经过训练的垄线识别模型又可以在图片上更精准地标注垄线，也会获得更精准的数据集，形成“边干活，边看图，边学习，边认路”的良性循环。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，包括以下步骤：
步骤1，将事先规划好的二维全局规划路径作为输入，用全局规划路径与视觉图像之间UTM坐标和像素的映射，输出在采棉机采棉过程中的视频画面上，作为第一垄线；
步骤2，以采棉过程中监测的采头的触觉传感器电信号为输入，判断出采棉机相对棉花垄线偏转的方向和横向偏移量，修正优化第一垄线，得到修正后的第一垄线；
步骤3，以采棉机前的摄像头作为视觉传感器，获取采棉过程中的画面，输入至垄线识别模型，输出预测后的棉田垄线输出在视频画面上作为第二垄线；
步骤4，将步骤2得到的修正后的第一垄线和步骤3得到的第二垄线进行加权融合，得到最准确的垄线，输出在视频画面上；
步骤5，以将采棉过程中采集到的标注了真实垄线的视频数据和步骤4得到的标注了最准确的垄线的视频数据为输入，作为带有标签的数据集，以此来训练步骤3的垄线识别模型。
2.如权利要求1所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤1中包括以下步骤：
步骤s1，相机固定在无人驾驶采棉机的中位线处，通过张氏标定法获得相机的内参和外参；
步骤s2，将二维全局路径转换为三维UTM坐标，转换时，三维UTM坐标系中，z＝0；
步骤s3，基于步骤s1获得的外参，将三维UTM坐标经过刚体变换转换为三维相机坐标；
步骤s4，基于步骤s1获得的内参，将三维相机坐标经过透视映射转换为二维图像坐标，得到第一垄线，显示在视频画面上。
3.如权利要求2所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤s3中，刚体变换由平移和旋转组成，刚体变换表示为一个4x4的齐次变换矩阵：
其中，R、t为外参，R是旋转矩阵，t是平移变换矩阵；t1表示x轴横向方向移动位置，t2是y轴纵向方向移动位置，t3是z轴竖向方向移动位置。
4.如权利要求3所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，旋转矩阵R为根据旋转角度分别得三个方向上的旋转矩阵乘积：
绕X旋转a度：
绕Y轴旋转γ度：
绕Z轴旋转θ度：
Xc、Yc、Zc代表三维相机坐标，Xw、Yw、Zw代表三维世界坐标，a为绕x轴旋转的角度，γ为绕y轴旋转的角度，θ为绕z轴旋转的角度，Rz表示绕Z轴的旋转矩阵，Ry表示绕Y轴的旋转矩阵，Rx表示绕X轴的旋转矩阵。
5.如权利要求3所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述R、t为步骤s1张氏标定法获得相机的外参。
6.如权利要求2所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤s4中，透视映射写成齐次坐标形式的矩阵相乘为：
其中，(x，y)代表二维图像坐标，f代表焦距，即相机坐标系和图像坐标系在Z轴上的差，K步骤s1获得的内参，其中多个(x，y)构成一条直线作为第一垄线输出在视频画面上。
7.如权利要求1所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤2中，横向偏移量ΔL＝kp(V-V0)+ki∫(V-V0)dt，V为触觉传感器反馈电压，kP和ki为控制系数，V0为初始时刻测得的触觉传感器中位电压，将第一垄线上的UTM坐标(x,y,z)修正为(x+ΔL,y,z)，经过映射输出修正后的第一垄线。
8.如权利要求1所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤3中，垄线识别模型为基于PINN的纯视觉检测模型。
9.如权利要求8所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述基于PINN的纯视觉检测模型包括输入层、隐含层、激活函数、输出层、损失函数和优化器。
10.如权利要求1所述的用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法，其特征在于，所述步骤4中，加权融合时，在方法运行初期按减少第二垄线的比重，随着步骤5中标注了最准确的垄线的视频数据的增加，增加第二垄线的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311374861.1A CN117671622B (zh) | 2023-10-23 | 2023-10-23 | 一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311374861.1A CN117671622B (zh) | 2023-10-23 | 2023-10-23 | 一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117671622A CN117671622A (zh) | 2024-03-08 |
| CN117671622B true CN117671622B (zh) | 2024-06-07 |
Family
ID=90076013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311374861.1A Active CN117671622B (zh) | 2023-10-23 | 2023-10-23 | 一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117671622B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101750051A (zh) * | 2010-01-04 | 2010-06-23 | 中国农业大学 | 一种视觉导航的多作物行检测方法 |
| CN103186773A (zh) * | 2013-02-06 | 2013-07-03 | 内蒙古大学 | 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法 |
| CN106338989A (zh) * | 2016-08-01 | 2017-01-18 | 内蒙古大学 | 一种田间机器人双目视觉导航方法及系统 |
| CN106874887A (zh) * | 2017-03-10 | 2017-06-20 | 南京沃杨机械科技有限公司 | 基于农田环境感知的农机导航控制方法 |
| CN110196053A (zh) * | 2019-06-13 | 2019-09-03 | 内蒙古大学 | 一种基于fpga的实时田间机器人视觉导航方法与系统 |
| CN115790613A (zh) * | 2022-11-11 | 2023-03-14 | 李子月 | 一种视觉信息辅助的惯性/里程计组合导航方法及装置 |
| CN116012438A (zh) * | 2022-12-09 | 2023-04-25 | 新疆九御科技有限公司 | 一种基于图像识别的农业机器人寻垄方法 |
| CN116892944A (zh) * | 2023-09-11 | 2023-10-17 | 黑龙江惠达科技股份有限公司 | 农机导航线生成方法及装置、导航方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022125999A1 (en) * | 2020-12-11 | 2022-06-16 | Raven Industries, Inc. | Sensor fusion in agricultural vehicle steering |
-
2023
- 2023-10-23 CN CN202311374861.1A patent/CN117671622B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101750051A (zh) * | 2010-01-04 | 2010-06-23 | 中国农业大学 | 一种视觉导航的多作物行检测方法 |
| CN103186773A (zh) * | 2013-02-06 | 2013-07-03 | 内蒙古大学 | 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法 |
| CN106338989A (zh) * | 2016-08-01 | 2017-01-18 | 内蒙古大学 | 一种田间机器人双目视觉导航方法及系统 |
| CN106874887A (zh) * | 2017-03-10 | 2017-06-20 | 南京沃杨机械科技有限公司 | 基于农田环境感知的农机导航控制方法 |
| CN110196053A (zh) * | 2019-06-13 | 2019-09-03 | 内蒙古大学 | 一种基于fpga的实时田间机器人视觉导航方法与系统 |
| CN115790613A (zh) * | 2022-11-11 | 2023-03-14 | 李子月 | 一种视觉信息辅助的惯性/里程计组合导航方法及装置 |
| CN116012438A (zh) * | 2022-12-09 | 2023-04-25 | 新疆九御科技有限公司 | 一种基于图像识别的农业机器人寻垄方法 |
| CN116892944A (zh) * | 2023-09-11 | 2023-10-17 | 黑龙江惠达科技股份有限公司 | 农机导航线生成方法及装置、导航方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Multi-sensor fusion method for crop row tracking and traversability operations;B Benet 等;conference AXEMA-EURAGENG;20171231;第1-11页 * |
| 采棉机视觉导航路线图像检测方法;李景彬 等;农业工程学报;20130601(第11期);第19-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117671622A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Winterhalter et al. | Crop row detection on tiny plants with the pattern hough transform | |
| CN110243372B (zh) | 基于机器视觉的智能农机导航系统及方法 | |
| CN106225774B (zh) | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 | |
| Lin et al. | Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn | |
| CN105989601A (zh) | 基于机器视觉的农业agv玉米行间导航基准线提取方法 | |
| CN113065562B (zh) | 一种基于语义分割网络的作物垄行提取及主导航线选取方法 | |
| English et al. | Learning crop models for vision-based guidance of agricultural robots | |
| de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
| WO2023021303A1 (en) | Image processing | |
| He et al. | Visual detection of rice rows based on Bayesian decision theory and robust regression least squares method | |
| Wang et al. | The seedling line extraction of automatic weeding machinery in paddy field | |
| Luo et al. | Stereo-vision-based multi-crop harvesting edge detection for precise automatic steering of combine harvester | |
| Tu et al. | An efficient crop row detection method for agriculture robots | |
| De Silva et al. | Deep learning‐based crop row detection for infield navigation of agri‐robots | |
| CN117671622B (zh) | 一种用于无人驾驶采棉机的离线规划触视融合生长式棉垄自标注方法 | |
| Wang et al. | The identification of straight-curved rice seedling rows for automatic row avoidance and weeding system | |
| CN117572885A (zh) | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 | |
| CN110414384B (zh) | 智能稻麦收获机导航线跟踪方法 | |
| CN115451965B (zh) | 基于双目视觉的插秧机插植系统相对航向信息检测方法 | |
| Jinlin et al. | Vision-based guidance line detection in row crop fields | |
| He et al. | Extracting the navigation path of an agricultural plant protection robot based on machine vision | |
| Jiang et al. | Navigation path curve extraction method based on depth image for combine harvester | |
| Chang et al. | Straight-line generation approach using deep learning for mobile robot guidance in lettuce fields | |
| CN112712534A (zh) | 基于导航趋势线的玉米根茎导航基准线提取方法 | |
| CN111179303A (zh) | 基于粒子滤波的谷物收获机器人视觉导航方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |