CN110703777B - 一种基于北斗和视觉的联合收获机组合导航方法及导航系统 - Google Patents
一种基于北斗和视觉的联合收获机组合导航方法及导航系统 Download PDFInfo
- Publication number
- CN110703777B CN110703777B CN201910909868.6A CN201910909868A CN110703777B CN 110703777 B CN110703777 B CN 110703777B CN 201910909868 A CN201910909868 A CN 201910909868A CN 110703777 B CN110703777 B CN 110703777B
- Authority
- CN
- China
- Prior art keywords
- harvester
- deviation
- beidou
- vision
- transverse position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000003306 harvesting Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 15
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 7
- 238000001914 filtration Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
本发明公开了一种基于北斗和视觉的联合收获机组合导航方法及导航系统，北斗设备分析出定位点与规划路径之间的关系得到收获机实时偏转状态；视觉传感器采集包含有收获机割台边界和作业边界的图像，通过图像处理提取并拟合两条边界直线，分析两条直线关系得到收获机实时偏转状态；通过已设定的阈值范围对北斗与视觉得到的横向位置偏差及航向角度偏差信息进行有效性判断，根据有效信息统计参数调节阈值范围；有效偏差信息通过卡尔曼滤波算法得到其最优估计，然后利用BP神经网络进行训练及预测；BP神经网络预测输出的最优割幅宽度用以调节视觉横向位置偏差，预测输出的收获机期望转角经控制单元转换为控制信号，调节收获机转向机构实现自动驾驶。
Description
技术领域
本发明涉及一种联合收获机导航方法，具体涉及了一种基于北斗和视觉导航的联合收获机导航方法及导航系统，属于智能农机装备领域。
背景技术
随着精细农业的提出，我国农业逐步向智能化方向发展，农业车辆自动导航技术成为其中一个重要的研究分支。目前主要的导航技术包括卫星导航、机器视觉、惯性导航、激光和雷达等。
卫星导航不受光线限制，尤其随着北斗卫星导航位置服务的不断完善和发展，研究高精度的导航系统势在必行。但在农业机械导航系统中单独使用卫星定位技术有其局限性，例如农田中作物环境复杂，单独使用卫星进行导航，在确定导航基准线方面存在一定的误差。
视觉进行此类作业，可以实时提取出当前作物行的特征信息，提高定位的精度，但单独使用视觉传感器时，图像处理过程中易受光线影响，有时会出现漏检的情况。
现有技术公开了一种用于谷物联合收获机的导航方法，采用一套北斗设备和一个视觉传感器，视觉传感器检测田块边界信息后，利用北斗定位模块输出位置及航向信息。该方法无需作业前人工采点，可实现自主导航路径规划，但在实时对准作业边界方面仍存在一定不足，且在不同收割作业方向下，使用单一视觉传感器可能会造成较大的图像畸变，影响导航精度。
发明内容
为了克服现有技术中存在的不足，本发明提供一种基于北斗和视觉的联合收获机组合导航方法及导航系统，采用的技术方案为：
一种基于北斗和视觉的联合收获机组合导航方法，分别确定收获机当前时刻的横向位置偏差以及航向角度偏差，将所述横向位置偏差及航向角度偏差进行融合，根据融合后的数据调节转向机构，控制收获机的转向。
进一步，所述当前时刻的横向位置偏差以及航向角度偏差由北斗设备和视觉传感器分别确定，视觉传感器确定收获机当前时刻的横向位置偏差以及航向角度偏差的具体步骤为：提取割台两侧边界线与收割作业边界线，通过两直线间的关系，得到收获机当前时刻的横向位置偏差dV以及航向角度偏差
更进一步，所述
其中：O为收获机一侧视觉传感器安装轴线与该侧割台边界线之间的实际垂直距离，o为收获机该侧视觉传感器安装轴线与该侧割台边界线之间在图像平面中的垂直距离，d为图像平面第i行中割台两侧边界线与收割作业边界线的水平距离，定位点在收获机前进方向左侧时的dV值为负，定位点在收获机前进方向右侧时的dV值为正；J为收获机割台宽度，/>
为当前作业条件下的最优割幅宽度；所述当前作业条件下的最优割幅宽度/>
为：联合收获机在不同航向角度、不同横向位置偏移、不同速度及不同损失率的情况下，得到的割幅宽度最优估计。
更进一步，所述水平距离d的获取过程为：控制器调用收获机该侧视觉传感器，视觉传感器采集图像信息，提取并拟合割台两侧边界线与收割作业边界线。
更进一步，所述
其中a1、b1为割台两侧边界线，a2、b2为收割作业边界线所在直线的系数。
进一步，所述横向位置偏差以及航向角度偏差确定后，根据设置的初始横向偏差阈值范围为(d1,d2)，航向角度偏差阈值为
确定横向位置偏差和航向角度偏差的有效信息，根据有效信息，确定横向位置偏差和航向角度偏差的调节范围。
更进一步，所述横向位置偏差的调节范围为：
其中λ为横向位置偏差调节参数；所述航向角度偏差的调节范围为：/>
其中θ为航向角度偏差调节参数。
进一步，所述北斗确定收获机当前时刻的横向位置偏差具体为：记当前定位点与当前规划作业路径之间的垂直距离为dB，定位点在收获机前进方向左侧时的dB值为负，定位点在收获机前进方向右侧时的dB值为正。
更进一步，所述规划作业路径是根据收获机作业路线及作业方向得到的：
(1)若收获机初始作业方向是以收获机前进方向左侧沿着作业边界线进行收割，以“U”字型路线作业时，将当前作业直线x＝b向坐标系右侧平移收割作业宽度L得到下一条作业规划路径x＝b+L；以“回”字形路线作业时，得到第k条路径为：
其中，n为收获机沿y轴方向的作业长度，m为收获机沿x方向的作业长度，i＝k％4，
(2)若收获机初始作业方向是以收获机前进方向右侧沿着作业边界线进行收割，以“U”字型路线作业，将当前作业直线x＝b向坐标系左侧平移收割作业宽度L得到下一条作业规划路径x＝b-L；以“回”字形路线作业时，得到第k条路径为：
一种基于北斗和视觉的联合收获机组合导航系统，包括控制器，所述控制器接收北斗设备、视觉传感器和联合收获机谷物损失实时监测系统获取的信息，得到预测输出的联合收获机转角信息及最优割幅宽度；最优割幅宽度用以修正视觉传感器横向位置偏差；所述控制器还经过控制单元与收获机转向机构相连，收获机转向机构根据转角信息控制收获机转向。
本发明的有益效果是：
1、视觉与北斗组合导航方式抗干扰能力强，且该系统可适用于多种收割路线及方向的作业环境，可实现收获机在复杂环境中精确作业。
2、采用两个视觉传感器对称安装在收获机左右部分，可以更好获得视野范围，减小图像畸变，提高导航精度。
3、图像处理过程中边界线直线特征易于提取，通过分析图像中割台边界线以及收割作业边界线之间的关系，得到收获机实时偏转状态，提高导航系统可靠性。
4、图像处理过程无需将特征点转换到与经纬度信息一致的坐标系下，处理速度快，实时性高。
5、动态调节容错阈值范围，避免作业过程中超调现象，提高系统鲁棒性。
6、对北斗和视觉偏差信息进行卡尔曼滤波，并得到偏差最优估计信息利用BP神经网络进行训练与预测，在复杂环境可提高数据可靠性。
7、根据收获机实时作业横向位置偏差和航向角度偏差、速度及损失率，可得联合收获机实时最优割幅宽度，以预估的最优割幅宽度为反馈，调节视觉横向位置偏差，形成闭环系统，改产提高导航系统抑制干扰的能力。
附图说明
图1为本发明组合导航方法流程图；
图2为本发明组合导航系统框架图；
图3为本发明北斗设备与视觉传感器安装示意图，图3(a)为北斗设备与视觉传感器安装俯视图，图3(b)为北斗设备与视觉传感器安装左视图；
图4为本发明联合收获机收割路线及作业方向示意图，图4(a)为收获机前进方向左侧沿作业边界线收割的“U”字型路线示意图，图4(b)为收获机前进方向右侧沿作业边界线收割的“U”字型路线示意图，图4(c)为收获机前进方向左侧沿作业边界线收割的“回”字型路线示意图，图4(d)为收获机前进方向右侧沿作业边界线收割的“回”字型路线示意图；
图5为本发明以“U”字型路线收割、收获机前进方向左侧沿作业边界线收割时的作业过程示意图；
图6为本发明北斗导航作业时，横向位置偏差及航向偏差确定示意图，图6(a)是北斗设备作业时确定横向位置偏差和航向角度偏差的示意图，6(b)是北斗设备在转换后的坐标系中确定横向位置偏差和航向角度偏差的示意图；
图7为本发明视觉导航作业时，横向位置偏差及航向偏差确定示意图，7(a)是视觉传感器作业时确定横向位置偏差和航向角度偏差的示意图，7(b)是视觉传感器在图像平面中确定横向位置偏差和航向角度偏差的示意图。
具体实施方式
下面结合附图对本发明作更进一步解释说明。
本发明实施例提供一种基于北斗和视觉的联合收获机组合导航方法，采用一套北斗设备和两个视觉传感器采集收获机姿态信息，并根据姿态偏差信息进行调节，使收获机沿规划作业路径行驶。
如图1所示，一种基于北斗和视觉的联合收获机组合导航方法的具体过程如下：
S1，安装北斗设备、视觉传感器和联合收获机谷物损失实时监测系统，测量视觉传感器的安装参数并设定初始偏差阈值范围。
如图2所示，北斗设备包括北斗天线与北斗信号接收模块，北斗天线与北斗信号接收模块相连，北斗天线接收卫星信号，发送给北斗信号接收模块，北斗信号接收模块通过UART串口向控制器(ARM)传送定位数据，ARM解析定位数据并进行处理，获取定位经纬度信息及速度信息；视觉传感器包括左部视觉传感器、右部视觉传感器和多路转换器，视觉传感器采用摄像头，两个摄像头通过USB多路转换器与ARM相连，ARM根据收割路线和方向选择调用摄像头，ARM接收并处理摄像头采集到的图像信息；联合收获机谷物损失实时监测系统(联合收获机谷物损失实时监测系统研究[J]李耀明，梁振伟，赵湛，陈义.农业机械学报.2011(S1))通过RS232串口向ARM传送收获机作业损失率数据；ARM处理得到北斗及视觉传感器的偏差信息，结合北斗所得到的速度信息及联合收获机损失率信息，得到预测输出的联合收获机转角信息及最优割幅宽度；最优割幅宽度用以修正视觉传感器横向位置偏差；ARM与控制单元相连，控制单元将ARM预测得到的转角信息转换成控制信号，控制单元将控制信号发送至收获机转向机构，用于驱动收获机转向作业；电源模块给北斗信号接收模块、ARM、摄像头以及控制单元供电。
由图3所示，将北斗设备中的北斗天线安装在联合收获机顶部车身纵向轴线上，将北斗信号接收模块安装在驾驶室内；联合收获机谷物损失实时监测系统安装在收获机清选台架下面；两个摄像头对称安装在收获机前部左右两侧，与水平面夹角为θ°，安装高度为h，摄像头距离车身纵向轴线水平位移为s；通过摄像头的安装位置及标定参数，可得世界坐标(X，Y，Z)与图像坐标(u，v)的转换矩阵P：
设置车身的初始横向偏差阈值范围为(d1,d2)，航向角度偏差阈值为
S2，北斗设备接收定位信息，根据已收割路径定位信息、收割作业路线及初始收割方向进行路径规划，根据定位信息与路径规划直线之间的偏差信息得到当前时刻横向位置偏差dB以及航向角度偏差
/>
S2.1，北斗设备进行路径规划的具体过程：
将北斗设备输出的定位数据采用高斯投影转化为平面坐标，对所述平面坐标进行旋转、平移，得到一个以起始定位点为新坐标系的原点、拟合直线与y轴重合的新坐标系：记作业前进方向为y轴正向、x轴方向由右手法则判定，如图4所示；
a)若收获机初始作业方向是以收获机前进方向左侧沿着作业边界线进行收割，即已作业区域在收获机左侧，未作业区域在收获机右侧；如图4(a)所示，以“U”字型路线作业时，将当前作业直线x＝b向坐标系右侧平移收割作业宽度L得到下一条作业规划路径x＝b+L；如图4(c)所示，以“回”字形路线作业时，得到第k条路径为：
其中，n为收获机沿y轴方向的作业长度，m为收获机沿x方向的作业长度，L为收获机的作业宽度，i＝k％4(即i为k除以4的余数)，
b)若收获机初始作业方向是以收获机前进方向右侧沿着作业边界线进行收割，即已作业区域在收获机右侧，未作业区域在收获机左侧；如图4(b)所示，以“U”字型路线作业，将当前作业直线x＝b向坐标系左侧平移收割作业宽度L得到下一条作业规划路径x＝b-L；如图4(d)所示，以“回”字形路线作业时，得到第k条路径为：
本实施例选择以“U”字型路线、收获机前进方向左侧沿作业边界线进行收割，即图4(a)所示的路线。
S2.2，如图5，将联合收获机人工驾驶至地头作业起始点A，调整车身保持与作业边界水平，开启自动驾驶模式并选择调用摄像头：若收获机初始作业方向是以收获机前进方向左侧沿着作业边界线进行收割，则调用左部摄像头；以“U”字型路线进行作业，则在开始第k条路径作业时，当T＝1时调用左部摄像头，T＝0时调用右部摄像头，其中T＝k％2，k＝1,2.,...,n；以“回”字型路线进行作业，则在作业过程中仅调用左部摄像头；若收获机初始作业是以收获机前进方向右侧沿着作业边界线进行收割，则调用右部摄像头；以“U”字型路线进行作业，则在开始第k条路径作业时，当T＝1时调用右部摄像头，T＝0时调用左部摄像头，其中T＝k％2，k＝1,2.,...,n；以“回”字型路线进行作业，则在作业过程中仅调用右部摄像头。
本实施例中，ARM根据收割路线和方向调用收获机左部摄像头，当摄像头检测到收获机割台左侧边线及作业边界线后，在A点按照10次/s的采集频率开始采集图像和经纬度信息，收获机沿直线行驶，直至田块边界，记该点为B。
S2.3，将北斗信号接收模块传送的定位数据经NMEA0183格式解析出实时经纬度信息，并采用高斯投影法由下列公式转换成高斯投影平面上的直角坐标(x'，y')：
式中：x'，y'为位置点在高斯平面直角坐标系上的横坐标和纵坐标，单位为米；
为位置点的纬度；/>
λ”2＝λ-λ0，λ为位置点的经度，λ0中央子午线经度；
e‘为地球的第二偏心率；N为卯酉圈曲率半径，且/>
a为地球长半轴长度，V'为当前定位纬度；ρ”＝(180/π)*3600；s为赤道到纬度/>
的经线弧长。
S2.4，通过旋转、平移当前坐标系，得到起始定位点A为原点、起始作业直线为y轴的新坐标系，记作业前进方向为y轴正向。
S2.5，拟合AB直线为路径规划基准线，将当前作业直线x＝b向坐标系右侧平移收割作业宽度L得到下一条作业规划路径为x＝b+L。
S2.6，记第二条导航路径与B所在田块边界交点为C，与A所在田块边界交点为D；收获机转向至C点，开始第二行作业，此时调用右部摄像头。摄像头检测到作业边界及割台右侧边直线，开始以AB为路径规划基准线的第二行直线，即沿着直线CD作业。以当前定位经纬度与CD直线作对比，得到当前北斗设备的横向位置偏差及航向偏差，行驶至点D。
S2.7，以CD为当前路径规划基准线向未作业方向平移收割作业宽度L，得到下一条路径规划直线EF；同理，以EF为路径规划路径继续作业。
S2.8，如图6，记北斗设备得到的横向位置偏差：记当前定位点(Xk，YK)与当前规划作业路径x＝b之间的垂直距离dB，定位点在收获机前进方向左侧时的dB值为负，定位点在收获机前进方向右侧时的dB值为正；
本实施例中，当前定位点(Xk，YK)与此时作业规划路径x＝b之间的垂直距离dB：
dB＝Xk-b
此时定位点在收获机前进方向右侧，dB值为正。
S2.9，北斗设备得到的航向角度偏差：当前定位点(Xk，YK)与上一时刻定位点(Xk-1，YK-1)中Xk＝Xk-1，得
代表两点确定的直线平行于收获机前进方向；当前定位点(Xk，YK)与上一时刻定位点(Xk-1，YK-1)确定直线yk-1,k＝γxk-1,k+b，γ>0时确定的航向角度偏差为
当γ<0时确定的航向角度偏差为/>
本实施例中，当前定位点(Xk，YK)与上一时刻定位点(Xk-1，YK-1)确定的直线y＝γx+b与此时规划作业路径x＝b的角度偏差
S3，采用摄像头进行视频采集，采集频率为300帧/s，根据从视频中提取处的图像信息，经图像处理后得出当前收获机割台边界与作业边界直线，分析两直线得到图像信息所确定的横向位置偏差及航向偏差。
S3.1，将摄像头采集到的视频每30帧提取一帧，通过转换矩阵P得到逆透视变换后的鸟瞰图像，通过提取ROI区域、灰度转换、图像去噪、形态学操作、图像分割、边缘检测处理后，利用霍夫变换再提取割台两侧边界线与收割作业边界线的直线，拟合得到两条近似平行的直线。
S3.2，计算摄像头所得的横向位置偏差dV
由图7所示，收割机前进方向左侧沿作业边界进行收割作业时，得到横向位置偏差dV：
式中：O为收获机左部摄像头安装轴线与左部割台边界线之间的实际垂直距离；o为收获机左部摄像头安装轴线与左部割台边界线之间在图像平面中的垂直距离；d为图像平面第i行中两条检测直线(割台两侧边界线与收割作业边界线)的水平距离，若收获机沿左侧沿边界线收割，则作业边界线在左割台边界左侧记为正，否则为负；若收获机沿右侧边界线收割，则作业边界线在右割台边界右侧记为正，否则为负；J为收获机割台宽度，
神经网络训练后得到当前作业条件下的最优割幅宽度；本实施例中，由于作业边界线在左割台边界在右侧，故d为负值，计算得到dV为正值。
S3.3，如图7，割台左侧边界a1x+b1y+c1＝0(或收获机右部割台边界a1x+b1y+c2＝0)与收获机作业边界a2x+b2y+c3＝0之间的角度记为摄像头所得的航向角度偏差
本实施例中由于左割台边界在作业边界线左侧，故
为正值。
S4，对北斗和视觉的横向位置偏差及航向角度偏差信息进行有效性判断，根据有效信息统计参数调节阈值范围；有效信息采用卡尔曼滤波算法得到偏差最优估计，并通过神经网络进行训练和预测，并将预测输出的偏差信息经控制单元转换为控制信号，调节收获机转向机构实现自动驾驶。
为了避免超调现象，设置初始横向偏差阈值范围为(d1,d2)，航向角度偏差阈值为
当北斗设备和视觉传感器得到的横向位置偏差和航向角度偏差小于所对应最小阈值，视该数据为无效数据，继续作业；当北斗设备和视觉传感器得到的横向位置偏差和航向角度偏差大于所对应最大阈值，则视为无效数据；当北斗设备和视觉传感器得到的横向位置偏差和航向角度偏差在阈值范围内，则视为有效信息。
S4.1，收获机当前沿第k条路径作业，计算第(k-1)条路径作业时有效横向位置偏差均值为d3，记
则调节后的有效偏差范围为：/>
其中λ为横向位置偏差调节参数，α＞0，即为收获机实际作业平均偏差大于预设偏差的中心值，则偏差范围需要调高，反之，需要调低；计算第(k-1)条路径作业时航向角度偏差均值为/>
记/>
则调节后的有效偏差范围为：/>
式中θ为航向角度偏差调节参数，β＞0，为收获机实际作业时平均航向角度偏差大于预设偏差的中心值，则偏差范围需要调高，反之，需要调低。
S4.2，将有效偏差信息采用卡尔曼滤波算法，得出横向位置偏差和航向角度偏差的最优估计，具体过程如下：
S4.2.1，系统在k时刻的状态方程如下：
Xk＝Φk,k-1Xk-1+W(k)
其中，Xk为状态向量，Φk,k-1是k-1时刻到k时刻的一步转移矩阵，W(k)为系统噪声序列；
具体的，k时刻的状态向量Xk为：
式中，dB,k为北斗设备K时刻预期的横向位置偏差，
为北斗设备K时刻预期的航向偏差，VB,k为K时刻预期的速度，dV,k为摄像头K时刻预期的横向位置偏差，/>
为摄像头K时刻预期的航向偏差。
具体的，k-1时刻到k时刻的一步转移矩阵Φk,k-1为：
其中，△t是k-1时刻到k时刻的间隔时间；
S4.2.2，系统在k时刻的观测向量如下：
Zk＝HkXk+V(k)
式中，Hk为量测矩阵，V(k)为测量噪声矩阵，且Vj、Vk分别是V(k)中的两个噪声分量，且满足E[VK]＝0，Cov[Vk,Vj]＝Rkδkj，Cov[Wk,Vj]＝Qδkj，式中，R为测量噪声的方差矩阵，Q为系统噪声的方差矩阵，Wk为系统噪声序列的噪声分量，狄拉克δ函数
具体的，分别观测北斗设备和视觉传感器的横向位置偏差和航向角度偏差，得到k时刻观测向量Zk为：
式中，dB为北斗设备输出的横向位置偏差，
为北斗设备输出的航向偏差，VB为北斗定位信息中的速度，dV为摄像头输出的横向位置偏差，/>
为摄像头输出的航向偏差。
量测矩阵Hk为：
确定状态向量的初始值
转移矩阵的初始值/>
在理想状态下试验得到系噪声方差矩阵Q，用北斗手持仪重复试验得到测量噪声的方差矩阵R；
S4.2.3，卡尔曼滤波的迭代如下：
S4.2.3.1，得到北斗设备和摄像头的有效横向位置偏差和航向角度偏差最优估计后，在不同航向角度、横向位置偏移、速度及损失率的情况下采集10000组样本点，随机选择9000组数据作为训练数据训练网络，1000组数据预测系统输出；通过BP神经网络训练，得到中间层至输出层、输入层至中间层间的权重和阈值；得到的训练模型用于预测联合收获机作业过程中实际横向偏差和航向角度偏差，具体训练过程如下：
1)：网络初始化
记输入向量为
并对输入向量△做归一化处理，记输出向量为联合收获机期望转角及最优割幅宽度/>
隐含层节点数为11，输入层至隐含层的连接权值为/>
隐含层至输出层的连接权值为/>
初始化隐含层阈值为ξ，输出层阈值为τ，学习速率为0.1，神经元激励函数为S型函数，即：
其中，
为视觉传感器得到的横向位置偏差最优权值，/>
为北斗得到的横向位置偏差最优权值，/>
为视觉传感器得到的航向角度偏差最优权值，/>
为北斗得到的航向角度偏差最优权值，V为联合收获机的前进速度，/>
为损失率，χ为联合收获机期望转角，/>
为最优割幅宽度。
2)：计算隐含层输出H
其中，△i为输入向量X中第i个元素，ξj为第j个节点的隐含层阈值；
3)：根据隐含层输出，连接权值
和阈值τ，计算BP神经网络预测输出ψ
其中，τ为第k个输出层阈值；
4)：根据网络预测输出ψ和期望输出
计算网络预测误差e
5)：根据网络预测误差e更新网络连接权值
和/>
6)：根据网络预测误差e更新网络节点阈值ξ、τ
τk＝τk+ek，k＝1,2
7)：判断算法迭代是否结束，若没有结束则返回步骤2；若迭代结束，则利用训练归一化数据结构对预测数据反归一化输出。
S4.2.3.2，选取方向盘为收获机转向机构，将BP神经网络预测输出的期望转角输送至控制单元，控制单元根据偏差与方向盘转角之间的对应关系，将偏差信号转换为可控制方向盘的转矩信号，从而控制收获机进行转向，实现收获机自主导航。
上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项目的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，还可以做出若改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于北斗和视觉的联合收获机组合导航方法，其特征在于：分别确定收获机当前时刻的横向位置偏差以及航向角度偏差，将所述横向位置偏差及航向角度偏差进行融合，根据融合后的数据调节转向机构，控制收获机的转向；
所述当前时刻的横向位置偏差以及航向角度偏差由北斗设备和视觉传感器分别确定，视觉传感器确定收获机当前时刻的横向位置偏差以及航向角度偏差的具体步骤为：提取割台两侧边界线与收割作业边界线，通过两直线间的关系，得到收获机当前时刻的横向位置偏差dV以及航向角度偏差
所述
其中：O为收获机一侧视觉传感器安装轴线与该侧割台边界线之间的实际垂直距离，o为收获机该侧视觉传感器安装轴线与该侧割台边界线之间在图像平面中的垂直距离，d为图像平面第i行中割台两侧边界线与收割作业边界线的水平距离，定位点在收获机前进方向左侧时的dV值为负，定位点在收获机前进方向右侧时的dV值为正；J为收获机割台宽度，
为当前作业条件下的最优割幅宽度；所述当前作业条件下的最优割幅宽度
为：联合收获机在不同航向角度、不同横向位置偏移、不同速度及不同损失率的情况下，得到的割幅宽度最优估计；
北斗确定收获机当前时刻的横向位置偏差具体为：记当前定位点与当前规划作业路径之间的垂直距离为dB，定位点在收获机前进方向左侧时的dB值为负，定位点在收获机前进方向右侧时的dB值为正；
所述规划作业路径是根据收获机作业路线及作业方向得到的：
(1)若收获机初始作业方向是以收获机前进方向左侧沿着作业边界线进行收割，以“U”字型路线作业时，将当前作业直线x＝b向坐标系右侧平移收割作业宽度L得到下一条作业规划路径x＝b+L；以“回”字形路线作业时，得到第k条路径为：
其中，n为收获机沿y轴方向的作业长度，m为收获机沿x方向的作业长度，i为k除以4的余数，
(2)若收获机初始作业方向是以收获机前进方向右侧沿着作业边界线进行收割，以“U”字型路线作业，将当前作业直线x＝b向坐标系左侧平移收割作业宽度L得到下一条作业规划路径x＝b-L；以“回”字形路线作业时，得到第k条路径为：
2.根据权利要求1所述的基于北斗和视觉的联合收获机组合导航方法，其特征在于：所述水平距离d的获取过程为：控制器调用收获机该侧视觉传感器，视觉传感器采集图像信息，提取并拟合割台两侧边界线与收割作业边界线。
3.根据权利要求1所述的基于北斗和视觉的联合收获机组合导航方法，其特征在于：
所述
其中a1、b1为割台两侧边界线，a2、b2为收割作业边界线所在直线的系数。
4.根据权利要求1所述的基于北斗和视觉的联合收获机组合导航方法，其特征在于：
所述横向位置偏差以及航向角度偏差确定后，根据设置的初始横向偏差阈值范围为(d1,d2)，航向角度偏差阈值为
确定横向位置偏差和航向角度偏差的有效信息，
根据有效信息，确定横向位置偏差和航向角度偏差的调节范围。
5.根据权利要求4所述的基于北斗和视觉的联合收获机组合导航方法，其特征在于：所述横向位置偏差的调节范围为：
其中λ为横向位置偏差调节参数；所述航向角度偏差的调节范围为：
其中θ为航向角度偏差调节参数。
6.一种实现权利要求1-5任一项所述的基于北斗和视觉的联合收获机组合导航方法的系统，其特征在于：包括控制器，所述控制器接收北斗设备、视觉传感器和联合收获机谷物损失实时监测系统获取的信息，得到预测输出的联合收获机转角信息及最优割幅宽度；最优割幅宽度用以修正视觉传感器横向位置偏差；所述控制器还经过控制单元与收获机转向机构相连，收获机转向机构根据转角信息控制收获机转向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909868.6A CN110703777B (zh) | 2019-09-25 | 2019-09-25 | 一种基于北斗和视觉的联合收获机组合导航方法及导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909868.6A CN110703777B (zh) | 2019-09-25 | 2019-09-25 | 一种基于北斗和视觉的联合收获机组合导航方法及导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110703777A CN110703777A (zh) | 2020-01-17 |
| CN110703777B true CN110703777B (zh) | 2023-03-24 |
Family
ID=69197188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910909868.6A Active CN110703777B (zh) | 2019-09-25 | 2019-09-25 | 一种基于北斗和视觉的联合收获机组合导航方法及导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110703777B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112461226B (zh) * | 2020-03-23 | 2023-05-09 | 丰疆智能科技股份有限公司 | 基于视觉的室内导航系统和室内导航方法 |
| CN113848872B (zh) * | 2020-06-28 | 2024-03-15 | 苏州科瓴精密机械科技有限公司 | 自动行走设备及其控制方法及可读存储介质 |
| CN112113568A (zh) * | 2020-08-21 | 2020-12-22 | 华南农业大学 | 一种畜禽养殖场巡检机器人的位姿校正方法 |
| CN112067044A (zh) * | 2020-08-25 | 2020-12-11 | 五邑大学 | 一种基于三维地图重构的环境探测方法、系统及设备 |
| CN112050801B (zh) * | 2020-09-08 | 2022-07-19 | 山东理工大学 | 一种农业机械自动导航路径规划方法及系统 |
| CN112684483B (zh) * | 2021-01-22 | 2024-02-06 | 浙江理工大学 | 基于卫星和视觉融合的导航偏差感知及其信息获取方法 |
| CN112924193B (zh) * | 2021-03-22 | 2023-08-18 | 黑龙江惠达科技股份有限公司 | 测试自动驾驶系统的方法和测试系统 |
| CN113412707B (zh) * | 2021-05-25 | 2022-05-24 | 山东交通学院 | 基于北斗的水稻直播机组自适应方法及变行距实现方法 |
| CN113256147B (zh) * | 2021-06-10 | 2021-09-21 | 农业农村部南京农业机械化研究所 | 基于联合收获机相对位移的作物产量确定方法及系统 |
| CN115047506A (zh) * | 2022-04-14 | 2022-09-13 | 安徽理工大学 | 一种基于gnss-ins和视觉的农机组合导航系统 |
| CN114894092B (zh) * | 2022-05-19 | 2024-02-27 | 西北农林科技大学 | 一种农机具作业幅宽视觉检测系统与方法 |
| CN115576326A (zh) * | 2022-10-31 | 2023-01-06 | 怀化学院 | 水稻联合收割机辅助导航方法及装置 |
| CN115801110B (zh) * | 2023-02-06 | 2023-07-18 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种基于机器学习的无线电选台优化方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102368158B (zh) * | 2011-09-15 | 2013-04-10 | 西北农林科技大学 | 一种果园机械导航定位方法 |
| US9026299B2 (en) * | 2012-07-09 | 2015-05-05 | Deere & Company | Navigation system and method for autonomous mower |
| CN103914070A (zh) * | 2014-04-02 | 2014-07-09 | 中国农业大学 | 一种用于谷物联合收割机的视觉导航辅助驾驶系统 |
| CN106627753A (zh) * | 2016-12-21 | 2017-05-10 | 上海华测导航技术股份有限公司 | 北斗导航的农业机械自动驾驶耕作控制系统及控制方法 |
| CN110243372B (zh) * | 2019-06-18 | 2021-03-30 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
-
2019
- 2019-09-25 CN CN201910909868.6A patent/CN110703777B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110703777A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110703777B (zh) | 一种基于北斗和视觉的联合收获机组合导航方法及导航系统 | |
| US6285930B1 (en) | Tracking improvement for a vision guidance system | |
| US6686951B1 (en) | Crop row segmentation by K-means clustering for a vision guidance system | |
| US6278918B1 (en) | Region of interest selection for a vision guidance system | |
| US6385515B1 (en) | Trajectory path planner for a vision guidance system | |
| CN111521195B (zh) | 一种智能机器人 | |
| CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN111510704B (zh) | 校正摄像头错排的方法及利用其的装置 | |
| CN111381248A (zh) | 一种考虑车辆颠簸的障碍物检测方法及系统 | |
| CN110637209B (zh) | 估计机动车的姿势的方法、设备和具有指令的计算机可读存储介质 | |
| CN113933818A (zh) | 激光雷达外参的标定的方法、设备、存储介质及程序产品 | |
| CN115435816B (zh) | 在线双舵轮agv内外参标定方法、系统、介质及设备 | |
| CN114396957A (zh) | 基于视觉与地图车道线匹配的定位位姿校准方法及汽车 | |
| CN112326990A (zh) | 一种作业车辆测速方法及系统 | |
| CN112819711A (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
| CN115436917A (zh) | Lidar视轴对准误差和主车辆定位误差的协同估计和校正 | |
| CN115015956A (zh) | 一种室内无人车的激光与视觉slam系统 | |
| CN109459046B (zh) | 悬浮式水下自主航行器的定位和导航方法 | |
| CN112215214A (zh) | 调整智能车载终端的摄像头偏移的方法及系统 | |
| CN115280960A (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| CN114519671B (zh) | 无人机遥感影像动态快速拼接方法 | |
| CN114170275A (zh) | 一种基于卡尔曼滤波的车道线处理方法及系统 | |
| CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
| JP2022149051A (ja) | 地図生成装置、地図生成システム、地図生成方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |