CN116859426A - 一种适用于智能三七联合收获机的定位与导航的装置及方法 - Google Patents

一种适用于智能三七联合收获机的定位与导航的装置及方法 Download PDF

Info

Publication number
CN116859426A
CN116859426A CN202310377582.4A CN202310377582A CN116859426A CN 116859426 A CN116859426 A CN 116859426A CN 202310377582 A CN202310377582 A CN 202310377582A CN 116859426 A CN116859426 A CN 116859426A
Authority
CN
China
Prior art keywords
ginseng
pseudo
positioning
combine harvester
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310377582.4A
Other languages
English (en)
Inventor
王法安
何忠平
张兆国
解开婷
蒋仕飞
刘新琦
倪畅
王博洋
钟煊童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202310377582.4A priority Critical patent/CN116859426A/zh
Publication of CN116859426A publication Critical patent/CN116859426A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/421Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • G01S19/41Differential correction, e.g. DGPS [differential GPS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种适用于丘陵山区地形温室种植模式下的智能三七联合收获机的定位装置与导航方法。首先,采用GNSS组合惯性测量单元实现智能三七联合收获机的定位,包括地面基准站,可计算BDS卫星定位信号传输误差并发送给流动站,包括以智能三七联合收获机为平台的流动站,可接收BDS卫星发送的原始定位信号并对定位信号进行实时误差修正。其次,针对智能三七联合收获机收获作业的环境特性研制了一种基于图像分割的三七种植垄导航路径关键点提取算法实现对可行驶区域的路径规划。此外,针对温室三七的种植模式和特定的农艺要求,设计了智能三七联合收获机的垄间工作路径分布形式。

Description

一种适用于智能三七联合收获机的定位与导航的装置及方法
技术领域
本发明涉及一种适用于丘陵山区地形的温室种植模式下的智能三七联合收获机的定位装置与导航方法,属于智能农机导航技术领域。
背景技术
[实现三七联合收获机的智能导航作业,是提高三七收获效率、降低人工收获成本,提高三七联合收获机的智能化水平的重要环节。基于农村劳动力的缺乏以及中药材生产率提升的迫切需求,使得丘陵山区的三七收获作业亟需一种自动化程度高、安全性好、适应性强的智能三七联合收获机。
然而丘陵山区三七温室种植模式下畦的宽度不一,为15-20cm,间距较窄,属于非结构化道路,形态复杂,给智能三七联合收获机的自主导航与避障带来了较大的困难。此外,由于高原丘陵山区特定的地貌地形和气候条件也给智能三七联合收获机的精准定位带来了较大问题,而且由于三七种植农艺的不规范,也在一定程度上阻碍了三七智能联合收获的进程。近年来国家大力出台了许多发展智能农机、实现精准作业的政策和文件,这为加快三七联合收获机的智能导航与定位技术发展提供了基础。基于图像处理的道路场景识别可以采用图像分割技术可以将待收获的三七种植垄和两侧的畦区分开。然而,由于畦间宽度过窄,杂草泥土等障碍物散布其中,部分三七叶丛会覆盖到畦间,导致提取畦的边缘特征较困难,生成的导航路径精度较低。相比之下,三七种植垄较宽,种植密度均匀,颜色分明,垄的边界感明显,容易识别,生成的导航路径较为精确。因此,为了解决上述三七智能联合收获作业中存在的三个问题,兼顾保证收获作业质量达标的同时降低成本,发明一种GNSS结合惯性测量单元的定位装置与定位方法,实现了三七智能联合收获机的精准定位;发明了一种基于视觉图像处理的导航路径规划方法,实现了智能三七联合收获机在复杂收获作业场景中能够自动规划导航路径;同时针对三七温室种植模式和相关农艺要求,发明了一种智能三七联合收获机收获作业的路径分布形式和一套完整的垄间收获作业完整流程。研制出的一种适用于智能三七联合收获机的定位装置与导航方法对未来的三七联合收获机智能定位导航与无人驾驶作业具有重要的意义。
发明内容
本发明提供一种适用于丘陵山区地形的温室种植模式下的智能三七联合收获机的定位装置与导航方法,用于为智能三七联合收获机提供精准定位和自动路径规划,为三七智能联合收获作业完整流程提供了参考,为智能三七联合收获机的精准定位与智能导航作业奠定了基础。
本发明解决其技术问题所采用的技术方案是:
一种适用于智能三七联合收获机的定位与导航装置,
包括空间卫星装置,其包括BDS卫星组和卫星发射器,可实现卫星信息的收集;包括地面基准站,其可接收空间卫星装置发送的定位信息,并对接收到的定位信息进行数据处理;
包括基于智能三七联合收获机为平台的流动站,其接收BDS卫星定位信息和来自地面基准站的数据链,并对这两组数据进行差分处理运算,对流动站原始定位数据进行误差修正,实时解算出流动站的定位信息,此外,流动站可以自动生成导航路径关键点以实现智能三七联合收获机收获作业时的路径规划;
包括温室大棚数据库,其可实时根据智能三七联合收获机的定位位置发送对应的温室大棚环境数据,包括海拔高度、种植垄坡度、土壤黏度、含水率等;
所述的BDS卫星组包括第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星;位于定位网络中的智能三七联合收获机包括第一智能三七联合收获机、第二智能三七联合收获机、第三智能三七联合收获机;
所述的地面基准站包括BDS卫星接收机、无线电发射系统、地面基准站控制器,其中BDS卫星接收机用来接收BDS卫星定位信号,地面基准站控制器可求出BDS卫星定位信号的实时差分改正值,无线电发射系统可实时将地面基准站上的观测数据发送给流动站;
所述的基于智能三七联合收获机为平台的流动站包括BDS卫星接收机、无线电接收系统、智能三七联合收获机、流动站BDS卫星信号控制器、惯性测量单元、单目相机、上位机,其中BDS卫星接收机用来接收BDS卫星定位信号,无线电接收系统用来接收来自地面基准站的数据信号,智能三七联合收获机可作为流动站移动平台,流动站BDS卫星信号控制器中的数据处理模块可对接收到的BDS卫星定位信号和来自地面基准站的数据信号使用动态差分定位的方法实时解算出流动站的定位信息,并将该误差修正后的实时定位信息通过串口通信传输给上位机,惯性测量单元可以测量智能三七联合收获机在三维空间中的角速度和加速度,并以此解算出智能三七联合收获机的姿态,单目相机用来采集三七温室种植垄和两侧畦的图像信息,上位机用来处理单目相机采集到的图像信息、卫星定位信息以及惯性测量单元辅助定位信息,据此计算智能三七联合收获机的航向偏差和横向偏差;
所述的安装于智能三七联合收获机上的惯性测量单元可实现在有树冠遮挡或多云天气等BDS卫星定位信号微弱的工作环境下的智能三七联合收获机的相对定位,即测量智能三七联合收获机在三维空间中的角速度和加速度,并以此解算出智能三七联合收获机的姿态,可提供短时亚米级定位精度,该惯性测量单元包括加速度计和陀螺仪,其中加速度计用来检测智能三七联合收获机在其坐标系统独立三轴的加速度信号,陀螺仪用来检测智能三七联合收获机相对于导航坐标系的角速度信号;
安装于智能三七联合收获机上的上位机与单目相机、上位机与惯性测量单元、上位机与流动站BDS卫星信号控制器之间通过串口通信实现数据传输;
地面基准站建立在已知精确坐标点上,地面基准站和流动站之间无山体、楼群等障碍物遮挡,流动站与地面基准站的距离不能超过10km-15km;
一种适用于丘陵山区地形温室种植模式下的智能三七联合收获机的定位与导航方法,包括以下步骤:
第一步:通过空间卫星装置中的BDS卫星组获取地面基准站和智能三七联合收获机的初始定位值作为原始数据,并将定位信号通过卫星发射器发出;
第二步:地面基准站的BDS卫星接收机将接收到的定位信号发送给地面基准站控制器,地面基准站控制器将该定位信号与已知的地面基准站精确位置坐标进行比较,求出偏差值,并利用一个α-β滤波器优化偏差,即为公共误差,分别求出BDS卫星组中的第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星的定位误差,将各个BDS卫星的实时差分改正值通过地面基准站的无线电发射系统发送给流动站;
第三步:流动站上的BDS卫星接收机接收BDS卫星组的定位信号,同时,流动站的无线电接收系统接收来自地面基准站发送的数据,形成差分系统,将两组数据传送至流动站BDS卫星信号控制器,流动站BDS卫星信号控制器中的数据处理模块使用动态差分定位的方法实时解算出流动站的定位信息;
第四步:安装于智能三七联合收获机上的惯性测量单元获取多云天气或障碍物遮挡严重等BDS卫星定位信号微弱的工作环境下的智能三七联合收获机的相对定位信息,并用GNSS结合惯性测量单元的组合导航方式不断互相修正智能三七联合收获机的实际位置;
第五步:图像预处理:对安装于智能三七联合收获机上的单目相机进行标定以获取内参和外参,在收获作业过程中,将单目相机采集到的温室三七种植垄和畦的原始图像传输到上位机,通过畸变参数矫正原始图像,为了降低噪声的干扰,对矫正后的图像进行高斯滤波平滑处理;
第六步:图像分割:对滤波后的图像采用改进的传统2G-R-B综合阈值法算法对图像灰度化处理,再结合最大类间方差法和形态学操作实现三七种植垄与畦上土壤背景的分割,得到分割后的二值化图像;
第七步:提取导航路径:根据图像灰度垂直投影值对二值化图像动态设定感兴趣区域,水平扫描获取三七种植垄两侧边线拟合关键点,采用多段三次B样条曲线拟合法提取三七待种植垄两侧边界线作为导航基准线,最终提取种植垄中间导航路径关键点;
第八步:计算横向偏差与航向偏差:通过坐标转化将像素坐标系下的导航路径点转换为世界坐标系下的导航坐标点,将该系列坐标点与GNSS结合惯性测量单元得到的当前智能三七联合收获机的位置坐标点进行处理,以获得智能三七联合收获机实时的航向偏差与横向偏差,最终实现智能三七联合收获机收获作业导航路径的规划;
第九步:垄间收获路径规划:针对履带式智能三七联合收获机的特定作业要求,于垄尾相应位置设置RFID电子标签卡,当智能三七联合收获机整垄收获完毕,即将进入下一垄进行收获作业时,收获机行进至垄尾,车上感应装置感应到RFID电子标签卡信息时发送脉冲至底盘,控制智能三七联合收获机调头转弯,继续下一垄的收获作业,如此循环往复进行垄间收获作业;
其中,智能三七联合收获机的定位与导航方法中的步骤五至步骤九均在上位机中进行处理;
作为本发明的进一步优选,
所述的地面基准站控制器求取BDS卫星定位公共误差的步骤具体包括以下:设定第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星在x方向的坐标为x1-x4,y方向的坐标分别为y1-y4,z方向的坐标分别为z1-z4,地面基准站的实测三维坐标为(xb,yb,zb),地面基准站的已知精确位置坐标为(xb0,yb0,zb0),第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星信息发送时间分别为t1s-t4s,地面基准站BDS卫星接收机的卫星信息获取时间分别为t1u-t4u,大气电离层导致的延时和大气对流层导致的延时分别为I、T,第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星的卫星钟差分别为δ1ts4ts,地面基准站BDS卫星接收机的钟差为δtr,其他各种未考虑到的因素及噪声的导致的延时为ε,根据公式求得基准站定位原始数据,
其中,c为光速,通过以下公式,
Δx=xb-xb0,Δy=yb-yb0,Δz=zb-zb0
求得地面基准站x,y,z方向上的定位误差;
所述的GNSS结合惯性测量单元的组合导航方式为每100ms用BDS卫星定位信号修正智能三七联合收获机的实际位置,每两个100ms之间用惯性测量单元预测9次,最终输出100HZ的组合定位结果;
第六步中,对改进的传统2G-R-B综合阈值法算法和图像二值化处理具体为:在RGB颜色空间中,三七杆茎叶原始图像的G颜色分量占比大于R和B分量,而两侧畦土壤的R分量占比较大,因此在图像灰度化的过程中增大G分量,从而将待收获三七种植垄与土壤背景分离,并且通过限制R分量来区分三七种植垄与畦,采用以下公式确定灰度值,
对图像进行二值化处理之前采用中值滤波滤除灰度图噪声污染,然后采用Otsu算法对改进的灰度化图像二值化。为了减小光照等因素的影响,保证三七种植垄的导航线提取精度,对二值图像进行多次形态学处理,去除三七待收获区域边界噪点和填充残缺空洞,到可以进行边界拟合的二值化图像;
第七步中,采用多段三次B样条曲线拟合三七种植垄两侧边线关键点的具体步骤为:
首先采用水平扫描法,提取三七种植垄两侧关键点的横坐标:设拟合关键点坐标为(xi,yi),图像二值化后两侧畦土壤灰度为0,待收获的种植垄的灰度为255,因此灰度由0变为255的点就是两者的分界点,在感兴趣区域内进行水平扫描,就可以确定分界点,可获取关键点的横坐标xi
然后获取关键点数量:设像素坐标系中每隔a行提取一个关键点,图像像素总行数为V,则关键点数量m可以通过以下公式得到,
m=V/a
接着获取三七种植垄两侧关键点的纵坐标:根据关键点数量,将图像沿纵向平均分割成m个区域,设获取的图片像素纵坐标为y,区域内像素点的集合为A,域内的像素点个数为j,关键点的纵坐标即为每个区域内形心的纵坐标yi,通过以下公式获取,
在感兴趣区域内从上到下的顺序进行m次水平扫描,即可获取所有的拟合关键点坐标信息,将关键点记为zi,最终对获取到的关键点进行多段三次B样条曲线拟合:
设n次B样条基函数为Fi,n(t),将其展开:
其中,
n次B样条曲线段基于给定的n+1个控制点pi(i=0,1,2,…,n)的参数表达式为:
由于采用多段三次B样条曲线进行三七待收获区域两侧边界线拟合,取n=3,则
样条曲线基函数为:
化为矩阵形式为:
将获取的相邻两个关键点分为一组,然后每组通过插值运算生成4个控制点,每组可生成一条三次B样条曲线,整幅图片像素中种植垄单侧边线一共可以拟合m-1条三次B样条曲线。设三七种植垄左侧边线拟合关键点为z1i,左侧种植垄边线每两个点拟合生成的三次B样条曲线为P1i,右侧边线拟合关键点为z2i,右侧种植垄边线每两个点拟合生成的三次B样条曲线为P2i,i=1,2,3,…m,所以待收获的三七种植垄的左侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
待收获的三七种植垄的右侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
设三七种植垄左侧边线拟合关键点为z1i,对应的坐标为(x1i,y1i)、右侧边线拟合关键点为z2i,对应的坐标为(x2i,y2i),提取的种植垄中间导航线的关键点为Mi,对应的坐标为(xmi,ymi),i=1,2,3,…m,则种植垄中间导航线的关键点坐标可以通过以下公式获取:
该系列坐标点即为导航路径规划关键点。
附图说明
图1是本发明的优选实施例的整体结构示意图;
图2是本发明的优选实施例的定位与导航装置的结构组成图;
图3是本发明的优选实施例的丘温室大棚数据库的结构组成图;
图4是本发明的优选实施例的GNSS结合惯性测量单元的组合导航方式的原理图;
图5是本发明的优选实施例的获取导航路径关键点的流程图;
图6是本发明的优选实施例的三次B样条曲线获取导航关键点的计算结构示意图;
图1中:1-第一BDS卫星,2-第二BDS卫星,3-第三BDS卫星,4-第四BDS卫星,6-第一智能三七联合收获机,8-第二智能三七联合收获机,10-第三智能三七联合收获机,5-第一RFID电子标签、7-第二RFID电子标签、9-第三RFID电子标签,11-地面基准站。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
图2所示,本发明的一种适用于智能三七联合收获机的定位与导航装置,包括空间卫星装置,其包括BDS卫星组和卫星发射器,可实现卫星信息的收集;包括地面基准站,其可接收空间卫星装置发送的定位信息,并对接收到的定位信息进行数据处理;
包括基于智能三七联合收获机为平台的流动站,其接收BDS卫星定位信息和来自地面基准站的数据链,并对这两组数据进行差分处理运算,对流动站原始定位数据进行误差修正,实时解算出流动站的定位信息,此外,流动站可以自动生成导航路径关键点以实现智能三七联合收获机收获作业时的路径规划;
包括丘温室大棚数据库,可实时提供温室大棚环境数据;
所述的BDS卫星组包括第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星;位于定位网络中的智能三七联合收获机包括第一智能三七联合收获机、第二智能三七联合收获机、第三智能三七联合收获机;
需要说明的是,为了使BDS卫星接收机获得较为精确的原始数据,至少需要四颗BDS卫星,在本申请的优选实例中,选用四颗BDS卫星,分别定义为第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星。
所述的地面基准站包括BDS卫星接收机、无线电发射系统、地面基准站控制器,其中BDS卫星接收机用来接收BDS卫星定位信号,地面基准站控制器可求出BDS卫星定位信号的实时差分改正值,无线电发射系统可实时将地面基准站上的观测数据发送给流动站,并且地面基准站建立在已知精确坐标点上,基准站和流动站之间无山体、楼群等障碍物遮挡,流动站与基准站的距离不能超过10km-15km;
所述的基于智能三七联合收获机为平台的流动站包括BDS卫星接收机、无线电接收系统、智能三七联合收获机、流动站BDS卫星信号控制器、惯性测量单元、单目相机、上位机,其中BDS卫星接收机用来接收BDS卫星定位信号,无线电接收系统用来接收来自地面基准站的数据信号,智能三七联合收获机可作为流动站移动平台,流动站BDS卫星信号控制器中的数据处理模块可对接收到的BDS卫星定位信号和来自地面基准站的数据信号使用动态差分定位的方法实时解算出流动站的定位信息,并将该误差修正后的实时定位信息通过串口通信传输给上位机,惯性测量单元可以测量智能三七联合收获机在三维空间中的角速度和加速度,并以此解算出智能三七联合收获机的姿态,单目相机用来采集三七温室种植垄和两侧畦的图像信息,上位机用来处理单目相机采集到的图像信息、卫星定位信息以及惯性测量单元辅助定位信息,据此计算智能三七联合收获机的航向偏差和横向偏差;
所述的安装于智能三七联合收获机上的惯性测量单元可实现在有树冠遮挡或多云天气等BDS卫星定位信号微弱的工作环境下的智能三七联合收获机的相对定位,即测量智能三七联合收获机在三维空间中的角速度和加速度,并以此解算出智能三七联合收获机的姿态,可提供短时亚米级定位精度,该惯性测量单元包括加速度计和陀螺仪,其中加速度计用来检测智能三七联合收获机在其坐标系统独立三轴的加速度信号,陀螺仪用来检测智能三七联合收获机相对于导航坐标系的角速度信号;
安装于智能三七联合收获机上的上位机与单目相机、上位机与惯性测量单元、上位机与流动站BDS卫星信号控制器之间通过串口通信实现数据传输;
如图3所示,还包括丘温室大棚数据库,其可实时根据智能三七联合收获机的定位位置发送对应的温室大棚环境数据,包括海拔高度、种植垄坡度、土壤黏度、含水率等由于温室智能三七联合收获机采用的是履带式底盘,为了便于实现垄间的连续性收获作业,于垄尾相应位置设置RFID电子标签卡,当智能三七联合收获机整垄收获完毕,即将进入下一垄进行收获作业时,收获机行进至垄尾,车上感应装置感应到RFID电子标签卡信息时发送脉冲至底盘,控制智能三七联合收获机调头转弯,继续下一垄的收获作业,如此循环往复进行垄间收获作业。
一种适用于智能三七联合收获机的定位与导航方法,包括以下步骤:
第一步:通过空间卫星装置中的BDS卫星组获取地面基准站和智能三七联合收获机的初始定位值作为原始数据,并将定位信号通过卫星发射器发出;
第二步:地面基准站的BDS卫星接收机将接收到的定位信号发送给地面基准站控制器,地面基准站控制器将该定位信号与已知的地面基准站精确位置坐标进行比较,求出偏差值,并利用一个α-β滤波器优化偏差,即为公共误差,分别求出BDS卫星组中的第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星的定位误差,将各个BDS卫星的实时差分改正值通过地面基准站的无线电发射系统发送给流动站;
第三步:流动站上的BDS卫星接收机接收BDS卫星组的定位信号,同时,流动站的无线电接收系统接收来自地面基准站发送的数据,形成差分系统,将两组数据传送至流动站BDS卫星信号控制器,流动站BDS卫星信号控制器中的数据处理模块使用动态差分定位的方法实时解算出流动站的定位信息;
第四步:安装于智能三七联合收获机上的惯性测量单元获取多云天气或障碍物遮挡严重等BDS卫星定位信号微弱的工作环境下的智能三七联合收获机的相对定位信息,并用GNSS结合惯性测量单元的组合导航方式不断互相修正智能三七联合收获机的实际位置;
第五步:图像预处理:对安装于智能三七联合收获机上的单目相机进行标定以获取内参和外参,在收获作业过程中,将单目相机采集到的温室三七种植垄和畦的原始图像传输到上位机,通过畸变参数矫正原始图像,为了降低噪声的干扰,对矫正后的图像进行高斯滤波平滑处理;
第六步:图像分割:对滤波后的图像采用改进的传统2G-R-B综合阈值法算法对图像灰度化处理,再结合最大类间方差法和形态学操作实现三七种植垄与畦上土壤背景的分割,得到分割后的二值化图像;
第七步:提取导航路径:根据图像灰度垂直投影值对二值化图像动态设定感兴趣区域,水平扫描获取三七种植垄两侧边线拟合关键点,采用多段三次B样条曲线拟合法提取三七待种植垄两侧边界线作为导航基准线,最终提取种植垄中间导航路径关键点;
第八步:计算横向偏差与航向偏差:通过坐标转化将像素坐标系下的导航路径点转换为世界坐标系下的导航坐标点,将该系列坐标点与GNSS结合惯性测量单元得到的当前智能三七联合收获机的位置坐标点进行处理,以获得智能三七联合收获机实时的航向偏差与横向偏差,最终实现智能三七联合收获机收获作业导航路径的规划;
第九步:垄间收获路径规划:针对履带式智能三七联合收获机的特定作业要求,于垄尾相应位置设置RFID电子标签卡,当智能三七联合收获机整垄收获完毕,即将进入下一垄进行收获作业时,收获机行进至垄尾,车上感应装置感应到RFID电子标签卡信息时发送脉冲至底盘,控制智能三七联合收获机调头转弯,继续下一垄的收获作业,如此循环往复进行垄间收获作业;
其中,智能三七联合收获机的定位与导航方法中的步骤五至步骤九均在上位机中进行处理。
所述的地面基准站控制器求取BDS卫星定位公共误差的步骤具体包括以下:设定第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星在x方向的坐标为x1-x4,y方向的坐标分别为y1-y4,z方向的坐标分别为z1-z4,地面基准站的实测三维坐标为(xb,yb,zb),地面基准站的已知精确位置坐标为(xb0,yb0,zb 0),第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星信息发送时间分别为t1s-t4s,地面基准站BDS卫星接收机的卫星信息获取时间分别为t1u-t4u,大气电离层导致的延时和大气对流层导致的延时分别为I、T,第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星的卫星钟差分别为δ1ts4ts,地面基准站BDS卫星接收机的钟差均为δtr,其他各种未考虑到的因素及噪声的导致的延时为ε,根据公式求得地面基准站定位原始数据,
其中,c为光速,通过以下公式,
Δx=xb-xb0,Δy=yb-yb0,Δz=zb-zb0
求得地面基准站在x,y,z方向上的定位误差。
如图4所示,GNSS结合惯性测量单元的组合导航方式为每100ms用BDS卫星定位信号修正智能三七联合收获机的实际位置,每两个100ms之间用惯性测量单元预测9次,最终输出100HZ的组合定位结果。此外,从图1中可以看出当BDS卫星定位信号微弱时惯性测量单元的工作区域为智能三七联合收获机的BDS卫星定位信号被树冠遮挡或多云天气干扰的区域。
对改进的传统2G-R-B综合阈值法算法和图像二值化处理作进一步阐述:在RGB颜色空间中,三七杆茎叶原始图像的G颜色分量占比大于R和B分量,而两侧畦土壤的R分量占比较大,因此在图像灰度化的过程中增大G分量,从而将待收获三七种植垄与土壤背景分离,并且通过限制R分量来区分三七种植垄与畦,采用以下公式确定灰度值,
如图5所示,对图像进行二值化处理之前采用中值滤波滤除灰度图噪声污染,然后采用Otsu算法对改进的灰度化图像二值化。为了减小光照等因素的影响,保证三七种植垄的导航线提取精度,对二值图像进行多次形态学处理,去除三七待收获区域边界噪点和填充残缺空洞,到可以进行边界拟合的二值化图像。
图6所示,多段三次B样条曲线拟合三七种植垄两侧边线关键点的具体步骤为:首先采用水平扫描法,提取三七种植垄两侧关键点的横坐标:设拟合关键点坐标(xi,yi),图像二值化后两侧畦土壤灰度为0,待收获的种植垄的灰度为255,因此灰度由0变为255的点就是两者的分界点,在感兴趣区域内进行水平扫描,就可以确定分界点,可获取关键点的横坐标xi
然后获取关键点数量:设像素坐标系中每隔a行提取一个关键点,图像像素总行数为V,则关键点数量m可以通过以下公式得到,
m=V/a
接着获取三七种植垄两侧关键点的纵坐标:根据关键点数量,将图像沿纵向平均分割成m个区域,设获取的图片像素纵坐标为y,区域内像素点的集合为A,域内的像素点个数为j,关键点的纵坐标即为每个区域内形心的纵坐标yi,通过以下公式获取,
在感兴趣区域内从上到下的顺序进行m次水平扫描,即可获取所有的拟合关键点坐标信息,将关键点记为zi,最终对获取到的关键点进行多段三次B样条曲线拟合:设n次B样条基函数为Fi,n(t),将其展开:
其中,
n次B样条曲线段基于给定的n+1个控制点pi(i=0,1,2,…,n)的参数表达式为:
由于采用多段三次B样条曲线进行三七待收获区域两侧边界线拟合,取n=3,则样条曲线基函数为:
化为矩阵形式为:
如图4所示,将获取的相邻两个关键点分为一组,然后每组通过插值运算生成4个控制点,每组可生成一条三次B样条曲线,整幅图片像素中种植垄单侧边线一共可以拟合m-1条三次B样条曲线。设三七种植垄左侧边线拟合关键点为z1i,左侧种植垄边线每两个点拟合生成的三次B样条曲线为P1i,右侧边线拟合关键点为z2i,右侧种植垄边线每两个点拟合生成的三次B样条曲线为P2i,i=1,2,3,…m,所以待收获的三七种植垄的左侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
待收获的三七种植垄的右侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
设三七种植垄左侧边线拟合关键点为z1i,对应的坐标为(x1i,y1i)、右侧边线拟合关键点为z2i,对应的坐标为(x2i,y2i),提取的种植垄中间导航线的关键点为Mi,对应的坐标为(xmi,ymi),i=1,2,3,…m,则种植垄中间导航线的关键点坐标可以通过以下公式获取:
该系列坐标点即为导航路径规划关键点。
流动站上的上位机计算横向偏差与航向偏差时先将最终处理后的导航路径规划关键点的图像像素信息转换为实际位置信息,即将相机像素坐标系转换至世界坐标系下,进而将图像中的像素点的关系转换为实际世界坐标系中的距离和角度关系,即横向偏差与航向偏差,这是一个实时计算的过程。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种适用于智能三七联合收获机的定位与导航装置,其特征在于:
包括空间卫星装置、地面基准站、基于智能三七联合收获机为平台的流动站以及温室大棚数据库;
所述空间卫星装置用于实现卫星信息的收集;
所述地面基准站,用于接收空间卫星装置发送的定位信息,并对接收到的定位信息进行数据处理;
所述基于智能三七联合收获机为平台的流动站,用于接收空间卫星装置发送的定位信息和来自地面基准站的数据链,并对这两组数据进行差分处理运算,对流动站原始定位数据进行误差修正,实时解算出流动站的定位信息,同时,流动站自动生成导航路径关键点以实现智能三七联合收获机收获作业时的路径规划;
所述温室大棚数据库,根据智能三七联合收获机的定位位置实时获取对应的温室大棚环境数据,包括海拔高度、种植垄坡度、土壤黏度、含水率。
2.根据权利要求1所述的适用于智能三七联合收获机的定位与导航装置,其特征在于:
所述的空间卫星装置包括BDS卫星组和卫星发射器;
所述的BDS卫星组包括第一BDS卫星(1)、第二BDS卫星(2)、第三BDS卫星(3)以及第四BDS卫星(4);
所述的地面基准站包括BDS卫星接收机、无线电发射系统、地面基准站控制器,其中BDS卫星接收机用来接收BDS卫星定位信号,地面基准站控制器求出BDS卫星定位信号的实时差分改正值,无线电发射系统实时将地面基准站上的观测数据发送给流动站;
所述的基于智能三七联合收获机为平台的流动站包括BDS卫星接收机、无线电接收系统、智能三七联合收获机、流动站BDS卫星信号控制器、惯性测量单元、单目相机、上位机,其中BDS卫星接收机用来接收BDS卫星定位信号,无线电接收系统用来接收来自地面基准站的数据信号,智能三七联合收获机作为流动站移动平台,流动站BDS卫星信号控制器中的数据处理模块可对接收到的BDS卫星定位信号和来自地面基准站的数据信号使用动态差分定位的方法实时解算出流动站的定位信息,并将该误差修正后的实时定位信息通过串口通信传输给上位机,惯性测量单元测量智能三七联合收获机在三维空间中的角速度和加速度,并以此解算出智能三七联合收获机的姿态,单目相机用来采集三七温室种植垄和两侧畦的图像信息,上位机用来处理单目相机采集到的图像信息、卫星定位信息以及惯性测量单元辅助定位信息,据此计算智能三七联合收获机的航向偏差和横向偏差。
3.一种适用于智能三七联合收获机的定位与导航方法,其特征在于:包括以下步骤:
第一步:通过空间卫星装置中的BDS卫星组获取地面基准站和智能三七联合收获机的初始定位值作为原始数据,并将定位信号通过卫星发射器发出;
第二步:地面基准站的BDS卫星接收机将接收到的定位信号发送给地面基准站控制器,地面基准站控制器将该定位信号与已知的地面基准站精确位置坐标进行比较,求出偏差值,并利用一个α-β滤波器优化偏差,即为公共误差,分别求出BDS卫星组中的第一BDS卫星、第二BDS卫星、第三BDS卫星以及第四BDS卫星的定位误差,将各个BDS卫星的实时差分改正值通过地面基准站的无线电发射系统发送给流动站;
第三步:流动站上的BDS卫星接收机接收BDS卫星组的定位信号,同时,流动站的无线电接收系统接收来自地面基准站发送的数据,形成差分系统,将两组数据传送至流动站BDS卫星信号控制器,流动站BDS卫星信号控制器中的数据处理模块使用动态差分定位的方法实时解算出流动站的定位信息;
第四步:安装于智能三七联合收获机上的惯性测量单元获取多云天气或障碍物遮挡严重的BDS卫星定位信号微弱的工作环境下的智能三七联合收获机的相对定位信息,并用GNSS结合惯性测量单元的组合导航方式不断互相修正智能三七联合收获机的实际位置;
第五步:图像预处理:对安装于智能三七联合收获机上的单目相机进行标定以获取内参和外参,在收获作业过程中,将单目相机采集到的温室三七种植垄和畦的原始图像传输到上位机,通过畸变参数矫正原始图像,为了降低噪声的干扰,对矫正后的图像进行高斯滤波平滑处理;
第六步:图像分割:对滤波后的图像采用改进的传统2G-R-B综合阈值法算法对图像灰度化处理,再结合最大类间方差法和形态学操作实现三七种植垄与畦上土壤背景的分割,得到分割后的二值化图像;
第七步:提取导航路径:根据图像灰度垂直投影值对二值化图像动态设定感兴趣区域,水平扫描获取三七种植垄两侧边线拟合关键点,采用多段三次B样条曲线拟合法提取三七待种植垄两侧边界线作为导航基准线,最终提取种植垄中间导航路径关键点;
第八步:计算横向偏差与航向偏差:通过坐标转化将像素坐标系下的导航路径点转换为世界坐标系下的导航坐标点,将该系列坐标点与GNSS结合惯性测量单元得到的当前智能三七联合收获机的位置坐标点进行处理,以获得智能三七联合收获机实时的航向偏差与横向偏差,最终实现智能三七联合收获机收获作业导航路径的规划;
第九步:垄间收获路径规划:针对履带式智能三七联合收获机的特定作业要求,于垄尾相应位置设置RFID电子标签卡,当智能三七联合收获机整垄收获完毕,即将进入下一垄进行收获作业时,收获机行进至垄尾,车上感应装置感应到RFID电子标签卡信息时发送脉冲至底盘,控制智能三七联合收获机调头转弯,继续下一垄的收获作业,如此循环往复进行垄间收获作业;
其中,智能三七联合收获机的定位与导航方法中的步骤五至步骤九均在上位机中进行处理。
4.根据权利要求3所述的一种适用于智能三七联合收获机的定位与导航方法,其特征在于:所述的地面基准站控制器求取BDS卫星定位公共误差的步骤具体包括以下:
设定第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星在x方向的坐标为x1-x4,y方向的坐标分别为y1-y4,z方向的坐标分别为z1-z4,地面基准站的实测三维坐标为(xb,yb,zb),地面基准站的已知精确位置坐标为(xb0,yb0,zb0),第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星信息发送时间分别为t1s-t4s,地面基准站BDS卫星接收机的卫星信息获取时间分别为t1u-t4u,大气电离层导致的延时和大气对流层导致的延时分别为I、T,第一BDS卫星、第二BDS卫星、第三BDS卫星、第四BDS卫星的卫星钟差分别为δ1ts4ts,地面基准站BDS卫星接收机的钟差均为δtr,其他各种未考虑到的因素及噪声的导致的延时为ε,根据公式求得地面基准站定位原始数据,
其中,c为光速,通过以下公式,
Δx=xb-xb0,Δy=yb-yb0,Δz=zb-zb0
求得地面基准站在x,y,z方向上的定位误差。
5.根据权利要求3所述的一种适用于智能三七联合收获机的定位与导航方法,其特征在于:
所述的GNSS结合惯性测量单元的组合导航方式为每100ms用BDS卫星定位信号修正智能三七联合收获机的实际位置,每两个100ms之间用惯性测量单元预测9次,最终输出100HZ的组合定位结果。
6.根据权利要求3所述的一种智能三七联合收获机的定位与导航方法,其特征在于:
第六步中,对改进的传统2G-R-B综合阈值法算法和图像二值化处理作进一步要求:在RGB颜色空间中,三七杆茎叶原始图像的G颜色分量占比大于R和B分量,而两侧畦土壤的R分量占比较大,因此在图像灰度化的过程中增大G分量,从而将待收获三七种植垄与土壤背景分离,并且通过限制R分量来区分三七种植垄与畦,采用以下公式确定灰度值,
对图像进行二值化处理之前采用中值滤波滤除灰度图噪声污染,然后采用Otsu算法对改进的灰度化图像二值化。为了减小光照等因素的影响,保证三七种植垄的导航线提取精度,对二值图像进行多次形态学处理,去除三七待收获区域边界噪点和填充残缺空洞,最终获得可以进行边界拟合的二值化图像。
7.根据权利要求3所述的一种适用于智能三七联合收获机的定位与导航方法,其特征在于:第七步中,采用多段三次B样条曲线拟合三七种植垄两侧边线关键点的具体步骤为:
首先采用水平扫描法,提取三七种植垄两侧关键点的横坐标:设拟合关键点坐标(xi,yi)图像二值化后两侧畦土壤灰度为0,待收获的种植垄的灰度为255,因此灰度由0变为255的点就是两者的分界点,在感兴趣区域内进行水平扫描,就可以确定分界点,可获取关键点的横坐标xi
然后获取关键点数量:设像素坐标系中每隔a行提取一个关键点,图像像素总行数为V,则关键点数量m可以通过以下公式得到,
m=V/a
接着获取三七种植垄两侧关键点的纵坐标:根据关键点数量,将图像沿纵向平均分割成m个区域,设获取的图片像素纵坐标为y,区域内像素点的集合为A,域内的像素点个数为j,关键点的纵坐标即为每个区域内形心的纵坐标yi,通过以下公式获取,
在感兴趣区域内从上到下的顺序进行m次水平扫描,即可获取所有的拟合关键点坐标信息,将关键点记为zi
最终对获取到的关键点进行多段三次B样条曲线拟合:
设n次B样条基函数为Fi,n(t),将其展开:
其中,
n次B样条曲线段基于给定的n+1个控制点pi(i=0,1,2,…,n)的参数表达式为:
由于采用多段三次B样条曲线进行三七待收获区域两侧边界线拟合,取n=3,则样条曲线基函数为:
化为矩阵形式为:
将获取的相邻两个关键点分为一组,然后每组通过插值运算生成4个控制点,每组可生成一条三次B样条曲线,整幅图片像素中种植垄单侧边线一共可以拟合m-1条三次B样条曲线。设三七种植垄左侧边线拟合关键点为z1i,左侧种植垄边线每两个点拟合生成的三次B样条曲线为P1i,右侧边线拟合关键点为z2i,右侧种植垄边线每两个点拟合生成的三次B样条曲线为P2i,i=1,2,3,…m,所以待收获的三七种植垄的左侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
待收获的三七种植垄的右侧边线可表示为m-1条所拟合的三次B样条曲线组成的分段函数:
设三七种植垄左侧边线拟合关键点z1i对应的坐标为(x1i,y1i)、右侧边线拟合关键点z2i对应的坐标为(x2i,y2i),提取的种植垄中间导航线的关键点为Mi,对应的坐标为(xmi,ymi),i=1,2,3,…m,则种植垄中间导航线的关键点坐标可以通过以下公式获取,
该系列坐标点即为导航路径规划关键点。
CN202310377582.4A 2023-07-12 2023-07-12 一种适用于智能三七联合收获机的定位与导航的装置及方法 Pending CN116859426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310377582.4A CN116859426A (zh) 2023-07-12 2023-07-12 一种适用于智能三七联合收获机的定位与导航的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310377582.4A CN116859426A (zh) 2023-07-12 2023-07-12 一种适用于智能三七联合收获机的定位与导航的装置及方法

Publications (1)

Publication Number Publication Date
CN116859426A true CN116859426A (zh) 2023-10-10

Family

ID=88229210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310377582.4A Pending CN116859426A (zh) 2023-07-12 2023-07-12 一种适用于智能三七联合收获机的定位与导航的装置及方法

Country Status (1)

Country Link
CN (1) CN116859426A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572477A (zh) * 2023-11-16 2024-02-20 深圳浪尖智造新技术有限公司 农机自主导航方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572477A (zh) * 2023-11-16 2024-02-20 深圳浪尖智造新技术有限公司 农机自主导航方法

Similar Documents

Publication Publication Date Title
Chen et al. Navigation path extraction for greenhouse cucumber-picking robots using the prediction-point Hough transform
CN111767865A (zh) 一种利用航拍影像和激光数据反演红树林生物量的方法
CN109448127B (zh) 一种基于无人机遥感的农田高精度导航地图生成方法
JP6836385B2 (ja) 位置特定装置、位置特定方法およびプログラム
CN102252681A (zh) 基于gps和机器视觉的组合导航定位系统及方法
CN102368158A (zh) 一种果园机械导航定位方法
CN109032174B (zh) 一种无人机作业航线规划方法以及作业执行方法
CN116859426A (zh) 一种适用于智能三七联合收获机的定位与导航的装置及方法
CN103424366A (zh) 一种多光谱精准识别的智能施肥实施方法
CN115280960A (zh) 一种基于田间视觉slam的联合收获机转向控制方法
CN113807309B (zh) 一种基于深度学习的果园机械行走路线规划方法
CN114821360A (zh) 作物叶面积指数智能化提取方法、装置及电子设备
Xie et al. Multi-feature detection of in-field grain lodging for adaptive low-loss control of combine harvesters
CN116892944A (zh) 农机导航线生成方法及装置、导航方法及装置
CN116897668A (zh) 一种电驱农作物播种施肥控制方法及系统
Rinnamang et al. Estimation of aboveground biomass using aerial photogrammetry from unmanned aerial vehicle in teak (Tectona grandis) plantation in Thailand
CN112684483B (zh) 基于卫星和视觉融合的导航偏差感知及其信息获取方法
CN113587946B (zh) 一种田间农业机械视觉导航系统及方法
CN114550010A (zh) 一种稻虾种养系统沟坑占比航测方法
Zhou et al. Autonomous guidance for rice transplanter fusion of machine vision and global positioning system
Li et al. Low-altitude remote sensing-based global 3D path planning for precision navigation of agriculture vehicles-beyond crop row detection
CN114485612B (zh) 路线生成方法、装置、无人作业车、电子设备及存储介质
Heckel et al. The first sub-meter resolution digital elevation model of the Kruger National Park, South Africa
Saiz-Rubio et al. Preliminary approach for real-time mapping of vineyards from an autonomous ground robot
CN117837360B (zh) 一种基于视觉定位的播种方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination