CN116466722A - 一种人机融合的智能农机自动驾驶编队转场系统及方法 - Google Patents
一种人机融合的智能农机自动驾驶编队转场系统及方法 Download PDFInfo
- Publication number
- CN116466722A CN116466722A CN202310452883.9A CN202310452883A CN116466722A CN 116466722 A CN116466722 A CN 116466722A CN 202310452883 A CN202310452883 A CN 202310452883A CN 116466722 A CN116466722 A CN 116466722A
- Authority
- CN
- China
- Prior art keywords
- machine
- formation
- slave
- agricultural
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012546 transfer Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 title claims description 12
- 238000004891 communication Methods 0.000 claims abstract description 40
- 230000003993 interaction Effects 0.000 claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims description 43
- 230000007704 transition Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 8
- 230000003137 locomotive effect Effects 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000008521 reorganization Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000005304 joining Methods 0.000 claims description 4
- 230000006798 recombination Effects 0.000 claims description 4
- 238000005215 recombination Methods 0.000 claims description 4
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000010485 coping Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000013340 harvest operation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种人机融合的智能农机自动驾驶编队转场系统及方法，其装在一台辆领航主机和若干辆跟随从机上，领航主机和每辆跟随从机上均设有相同的行车状态采集系统，领航主机上还设有依次连接的编队控制终端系统、路由器主站和主机WiFi模块，每辆跟随从机上均设有与主机WiFi模块无线通信的从机WiFi模块，采集的所有信息经路由器主站传送至编队控制终端系统，编队控制终端系统中的车载计算机获得跟随从机的机器调整决策，领航主机操作员将人类决策通过人机交互接口传送至车载计算机，车载计算机融合人类决策至和机器调整决策生成编队决策及控制量输入的控制指令；本发明实现人类经验与机器决策之间的优势互补，提升多机编队转场系统的可靠性。
Description
技术领域
本发明属于智能农机领域，具体涉及智能农机自动驾驶编队转场技术，对农机实现编队和转场。
背景技术
目前，将信息技术与农业生产融合的智慧农业有效提高了作业效率和种植效益，是农业现代化的重要发展方向，但智慧农业的推进需要集中化、规模化、产业化的实施条件，而传统操作员驾驶农机的作业模式已无法适应其需求。很多运用场景证实多机“团结协作、分群组队”可大大提高作业效率和作业质量，有效降低操作人员劳动强度，将编队协同作业应用于农机群体耕作、播种、喷药、施肥和收获作业等生产过程，对提高农机作业效率和作业质量、促进智慧农业发展具有重要意义。
对于编队协同作业的农机，有中国专利公开号为CN110286676A、名称为“一种基于自动导航的多种农机协同作业系统”，其包括机载协同作业总控制模块、与机载协同作业总控制模块配合工作的工作组件、无线数据传输模块以及与无线数据传输模块配合工作的工作组件；以及与机载控制模块配合工作的内置模块，内置模块位于农机中，内置模块包括制动系统控制模块、发动机控制模块、转向系统控制模块、机具悬挂控制模块和变速箱控制模块五个子模块，内置模块的子模块之间通过CAN-BUS总线连接相互通信，实现多种农机协同作业。中国专利公开号为CN112034839A、名称为“一种农机机群的协同控制方法、装置、云端控制设备及农机系统”，其控制时，先获取农机机群中由人工驾驶的主动农机的第一行驶信息和第一位置信息，获取农机机群中从动农机的第二行驶信息和第二位置信息；根据主动农机的第一行驶信息、第一位置信息和从动农机的第二行驶信息、第二位置信息，生成用于控制从动农机行驶的控制指示信息，发送所述控制指示信息至从动农机，以使从动农机与主动农机协同运动作业，在使用较少的人力资源的情况下实现了农机机群的协同作业。
上述的农机协同系统存在的问题是：当农机在不确定的复杂环境里时，由于人的驾驶特征很难被农机控制系统完全模仿，因此，对复杂转场环境的协同性和适应性差、对突发异常情况时变性差，无法保证农机群转场过程中的安全性和稳定性。
发明内容
本发明的目的是为了解决现有农机协同系统存在的环境适应性差，对突发异常情况时变性差的问题，提出一种人机融合的智能农机自动驾驶编队转场系统，同时提出智能农机的编队转场方法，确保农机群转场过程中的安全性和稳定性。
本发明所述的一种人机融合的智能农机自动驾驶编队转场系统采用的技术方案是：其装在一台辆领航主机和若干辆跟随从机上，所述的领航主机是一辆由人工驾驶的农机，领航主机和若干辆跟随从机组成编队转场的机组，所述的领航主机和每辆跟随从机上均设有相同的行车状态采集系统，领航主机上还设有依次连接的编队控制终端系统、路由器主站和主机WiFi模块，每辆跟随从机上均设有与所述的主机WiFi模块无线通信的从机WiFi模块；所述的行车状态采集系统采集：本机与测量范围内的转场环境障碍、环境车辆、机组其他农机之间的距离L以及相对角度θ；与测量范围内的车道线之间距离d，与环境障碍、环境车辆、机组其他农机的相对速度ve、各个农机前方图像信息、交通信号灯状态信息；各个农机的行驶速度v、农机横摆角φ；各个农机的位置信息(x,y)，各个农机与机组其他农机之间的相对距离l，各个农机的行驶方向与其他农机位置方向的相对夹角β；
采集的所有信息经所述的路由器主站传送至编队控制终端系统，编队控制终端系统包括相互连接的车载计算机和人机交互接口，车载计算机根据采集的所有信息获得跟随从机的机器调整决策；
领航主机操作员将人类决策通过人机交互接口传送至车载计算机，车载计算机融合所述的人类决策至和所述的机器调整决策，生成编队决策及控制量输入的控制指令，控制指令依次经所述的路由器主站、主机WiFi模块、从机WiFi模块传送给每辆跟随从机的行车控制系统。
所述的智能农机自动驾驶编队转场系统的编队转场方法采用的技术方案是包括：
S1、各个农机的行车状态采集系统获取信息，信息打包上传至编队控制终端系统；
S2、领航主机操作员设置人机交互接口界面，将设置的信息保存至编队控制终端系统；
S3、编队控制终端系统基于位置信息(x,y)和农机横摆角φ将前机轨迹点拟合为后机预测跟随路径fref；
S4、根据环境障碍、车道线控制影响因素构建后机的环境势场UAPF；
S5、根据所述的后机预测跟随路径fref、环境势场UAPF获得模型预测跟随控制器，基于模型预测跟随控制器和控制约束0≤v≤1.5·Vi，|δ|≤δi，得到控制增量和后机控制输入量为农机后轮速度v和农机前轮转角δ；Vi为初始设定的目标速度，δi为初始设定的限制偏转角；
S6、编队控制终端系统将各农机采集的信息显示在人机交互接口，领航主机操作人员对机组转场过程实时监控，若机组转场遇到机器无法调整的高置信度场景时，向编队控制终端系统输入领航主机操作人员经验判断后的人类决策的指令；
S7、编队控制终端系统融合人机决策，将后轮速度v、前轮转角δ及启停指令，下发至各个跟随从机。
本发明采用上述技术方案后的有益效果是：
1、本发明通过人机共融的方法可降低编队转场控制难度，添加人在编队转场控制的决策方法，实现感知、交互、决策、控制的人机共融农机编队转场，提升控制精度，全面提升了多机编队转场系统的可靠性。
2、本发明实现了单头车人工驾驶与多从车无人驾驶跟随编队，一人监控下多机转场的系统功能。
3、本发明实现人类经验与机器决策之间的优势互补，减少了意外情况的发生，提高编队转场适应性和安全性，减少用工成本，提高作业效率，使农机转场从省力到省工，是无人化农场建设的重要技术支撑。
附图说明
图1为本发明一种人机融合的智能农机自动驾驶编队转场系统的结构框图；
图2是图1的内部结构框图；
图3为本发明自动驾驶编队转场系统的人机融合编队方法流程图；
图4为人机交互接口“编队系统主菜单”界面设计图；
图5为人机交互接口“编队初始创建”界面设计图；
图6为人机交互接口“编队从机查看”界面设计图；
图7为人机交互接口“编队指令调整”界面设计图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
参考图1，本发明所述的一种人机融合的智能农机自动驾驶编队转场系统安装在一台辆领航主机和若干辆跟随从机上，所述的领航主机是一辆由人工驾驶的农机，所述的若干辆跟随从机是能自动跟随前机的农机，领航主机和若干辆跟随从机组成编队转场的机组。
在领航主机上设置有主机行车状态采集系统、主机实时通信系统以及编队控制终端系统。主机行车状态采集系统通过串口通信与主机实时通信系统相连接，主机实时通信系统与编队控制终端系统双向互联。
在每辆跟随从机上均设置依次相连接的从机行车状态采集系统、从机实时通信系统以及从机行车控制系统。
所述的主机实时通信系统与所述的从机实时通信系统双向互联。
主机行车状态采集系统采集领航主机的数据信息，并将该数据信息传送给主机实时通信系统。从机行车状态采集系统采集每辆跟随从机的数据信息，并将该数据信息传送给对应的跟随从机的从机实时通信系统，通过主机实时通信系统和从机实时通信系统实现各辆农机之间的实时通信。
从机行车控制系统分别控制相应的各个跟随从机。通过编队控制终端系统提供人机交互接口、集成机器调整算法，实现人机融合编队方法，从而实现感知、交互、决策、控制的人机共融农机编队转场。具体是：
如图2所示，所述的主机行车状态采集系统和从机行车状态采集系统的结构完全一样，都是包括环境状态采集模块、行驶状态采集模块、定位状态采集模块。
其中，环境状态采集模块包括激光雷达和视觉相机：
激光雷达，用于获得所在农机与测量范围内的转场环境障碍、环境车辆、机组其他农机之间的相对距离L以及角度θ。
视觉相机，用于获得所在农机与测量范围内的车道线之间距离d，与环境障碍、环境车辆、机组其他农机的相对速度ve，以及各个农机前方图像信息、交通信号灯状态信息。
环境状态采集模块采集的信息用于跟随从机跟随控制的安全距离约束，保证机组内各机与他机和转场环境障碍物都保持在安全距离之外；还用于车道线约束，保证跟随从机沿车道线内行驶，换道判断车道线是否合规；还用于交通信号灯约束，保证红灯停止跟随，绿灯继续跟随。
行驶状态采集模块采用IMU惯性测量单元获取各个农机的行驶速度v、农机横摆角φ。
定位状态采集模块包括GPS模块和UWB模块，GPS模块获取各个农机的位置信息(x,y)，UWB模块获取各个农机与机组其他农机之间的相对距离l，各个农机的行驶方向与其他农机位置方向的相对夹角β。
主机行车状态采集系统将其采集的所有信息经串口通信全部传送至主机实时通信系统中，每一辆跟随从机的从机行车状态采集系统都将其采集的所有信息经串口通信全部传送至同一辆跟随从机的从机实时通信系统中。
在农机机组从机库至田间转场过程中，若出现室内、室内外过渡区域或者在林荫道路上等GPS模块覆盖率低的情况时，机组中的个别跟随从机A(本机)的位置信息(xA,yA)因其GPS模块失效无法准确获取，需通过借助GPS模块有效的其他跟随从机B的位置信息(xB,yB)，以及跟随从机A的UWB模块获取的与其他跟随从机B的相对距离lA、相对夹角βA这些信息进行位置估计、协同定位，推算出跟随从机A的精确的位置信息(xA,yA)作为跟随从机A的位置信息，用于后续拟合各从机的预测跟随路径。
编队控制终端系统包括车载计算机和人机交互接口，与主机实时通信系统双向互联，将控制指令传送给主机实时通信系统。
主机实时通信系统包括双向连接的路由器主站和WiFi模块，而从机实时通信系统只设置WiFi模块，主机实时通信系统和从机实时通信系统之间以两个WiFi模块传输信息。基于TCP/IP协议和socket技术的WiFi通信，每一辆跟随从机的从机实时通信系统将其接收到的全部行车状态信息以每一辆从机为单位打包全部行车状态信息，经各个跟随从机的WiFi模块从节点无线上传至领航主机的路由器主站，终端处理信息后再由路由器主节点发布控制信息至各跟随从机从节点，其中数据包报文除通过行车状态采集系统获取的信息外，还包括：帧头、机号、农机基本信息、当前帧数据量、校验帧、IP地址、帧尾。其中，农机基本信息包括：农机车牌号、编队状态、作业任务链接。编队状态包括：人工驾驶、自动作业、机组跟随。
此外，UWB模块的自身无线收发装置可实现各农机间的相对距离信息传输。
从机实时通信系统经串口通信连接从机行车控制系统，从机行车控制系统包括控制主板，控制主板通过CAN总线通信方式控制具体的执行部件，这些执行部件包括电子油门、电控调速装置、电动方向盘、电子启停装置等。
编队控制终端系统将其控制指令依次经主机实时通信系统中的路由器主站、两个WiFi通信、从机实时通信系统至从机行车控制系统，控制指令包括后轮速度控制量v、前轮转角控制量δ以及启停指令，从机行车控制系统接收控制指令后，转化为可执行量控制具体执行部件，包括：依据后轮速度控制量v，通过电子油门、电控调速装置实现各跟随从机的档位、速度的调控；依据前轮转角控制量δ，通过电动方向盘实现跟随从机方向的调控；依据启停指令通过电子启停装置控制各跟随从机的跟随停止。
参见图3，本发明智能农机自动驾驶编队转场系统工作时，由所述的编队控制终端系统控制转场过程中形成领航主机人工驾驶领航、多辆跟随从机自动驾驶跟随的农机编队机组；各个农机通过各自的行车状态采集系统获取本机信息；将本机信息通过各自的实时通信系统最终上传至编队控制终端系统。编队控制终端系统经编队转场方法，根据控制目标及其约束条件，形成机器调整算法求解获得跟随从机调整决策，控制各跟随从机沿主机行驶轨迹跟随行驶，再通过设置人机交互接口实时显示机组信息，并与主机操作员进行信息交互，获得人类决策，将机器调整与人类判断融合，生成应对时变的编队决策及控制量输入，下达至从机行车控制系统，如图3所示，具体步骤如下：
S1、各个农机的行车状态采集系统获取信息，打包各农机信息上传至编队控制终端系统。
在起始点，人工启动所需转场的各个农机，各个农机的行车状态采集系统获取本机信息，并打包本机信息，经本机的实时通信系统上传至编队控制终端系统，打包的信息流包括：
各个农机的基本信息：农机车牌号、编队状态、作业任务链接；
各个农机的环境状态信息，包括：本机与测量范围内转场环境障碍、环境车辆、机组其他农机的距离L、角度θ、相对速度ve，与车道线距离d，信号灯状态，各机前方图像；
各个农机的行驶状态信息，包括：本机的速度v、横摆角φ；
各个农机定位状态信息，包括：本机的位置(x,y)，本机与机组其他农机的距离l、本机行驶方向与其他农机位置方向的夹角β。
S2、选择跟随从机的组队编号，设置编队约束条件，完成编队初始创建。
设置人机交互接口界面，如图所示。领航主机操作员通过图4所示的“编队初始创建”窗口获得通信范围内农机的基本信息，选择所需转场农机的车牌号及“加入编队”指令，这些信息在编队控制终端系统中保存。
编队控制终端系统判别后，将加入编队的农机状态从“人工驾驶”修改为“机组跟随”，将加入的农机设置为1至N号跟随从机，并在窗口显示，跟随从机根据编号确定编队顺序，将其前一位编号的跟随农机作为跟随目标，1号跟随从机跟随领航主机，2号跟随从机跟随1号跟随从机，以此类推，构成前机作为后机的跟随目标的“一对一”跟随控制，从而实现所有跟随从机跟随领航主机的机组编队转场。
领航主机操作员通过“编队初始创建”窗口，将此次转场机组的初始参数输入，保存在编队控制终端系统，初始参数包括：
行驶约束：目标速度Vi，限制偏转角δi；
环境势场约束：横向势场收敛系数Xres、安全距离Si，车道线势场系数AR，车道线势场收敛系数Rres，编队重组距离Di；
完成所有设置后即可输入启动编队信号，如图5所示，编队控制终端系统获得启动编队信号后进行转场。
S3、基于曲线系数拟合方法将前机轨迹点拟合为后机预测跟随路径fref。
在构成“一对一”跟随控制中,将编队控制终端系统获取的前机位置(x,y)设定为(xf,yf)、横摆角φ设定为φf，以序列形式存储前机历史轨迹点p＝[xf yf φf]，构成轨迹点堆栈，考虑到轨迹点数量存储过多会占用存储空间，过少则影响后续拟合跟随路径效果，因此根据初始参数目标速度Vi确定轨迹点存储间隔时间和数量。将轨迹点序列转化至当前时刻跟随后机的坐标系，采用曲线系数拟合方法将轨迹点拟合成连续光滑的曲线，作为后机的预测跟随路径fref。在曲线系数拟合方法中，优选自由边界三次样条插值算法，该算法将轨迹点拟合为两点之间尽可能为直线，拐点处连续平滑的曲线路径，可使生成的预测跟随路径fref更符合农机行驶特性。
S4、基于人工势场法，根据环境障碍、车道线等控制影响因素构建后机的环境势场UAPF。根据环境障碍、车道线等影响后机控制的因素，构建后机的环境势场如下：
UAPF＝E+R
其中，E为环境障碍势场，由后机与测量范围内转场环境障碍、环境车辆、机组其他农机的距离L、角度θ、相对速度ve决定，与距离呈负相关，与速度呈正相关，用于控制农机规避障碍，保持安全距离，具体计算如下：
计算纵向势场系数YE：
其中，LY＝L·cosθ为与环境障碍、他机、他车的纵向相对距离,ve为与环境障碍、环境车辆的相对速度，Si为初始设定的安全距离。
根据纵向势场系数YE和计算出环境障碍势场E：
其中，LX＝L·sinθ，为与环境障碍、他机、他车的横向相对距离，Xres为初始设定的横向势场收敛系数，收敛系数范围可以是0-10。
R为车道线势场，由农机本机与所识别车道线之间距离d决定，用于控制农机沿车道线行驶，具体计算公式如下：
其中，n为识别车道线的总数,d是与各车道线距离，dj为与其中第j条车道线的距离，AR为初始设定的车道线势场系数，Rres为初始设定的车道线势场收敛系数。
S5、基于模型预测方法，实现后机根据预测跟随路径fref跟随前车轨迹，根据环境势场UAPF保证行驶安全，根据目标速度Vi保持既定速度的跟随控制目标，建立后机运动学模型及模型预测跟随控制器，获得机器调整决策；
在地面坐标系下，使用农机常用的阿克曼转向模型：
其中，(x,y)为地面坐标系下农机位置，φ为农机横摆角，v为农机后轮速度、δ为农机前轮转角，l为农机轴距。
用状态空间方程表示系统模型如下：
在该系统中，状态量为X＝[x,y,φ]T，控制量为u＝[v,δ]T。
以T为离散时间的一个步长，将系统离散化如下：
其中k为离散后步长,X(k)为第k个步长的系统状态量。
在系统中加入控制增量约束，令u(k+1)＝u(k)+Δu(k+1)，变换后的系统模型为t为连续时间，以下简写为/>进一步可得：
可得控制增量Δu(k)＝[Δv(k),Δδ(k)]T，其中Δv(k)为第k个步长内的速度变化量、Δδ(k)为第k个步长内车轮偏转角变化量。
基于模型预测方法实现后机根据预测跟随路径fref跟随前车轨迹，根据环境势场UAPF保证行驶安全，根据目标速度Vi保持既定速度的跟随控制目标，设计模型预测后机跟踪控制器，其目标函数为：
其中，i为预测步长，ex(i)、ey(i)分别为预测时域内后机位置(x,y)与后机预测跟随路径fref的横向误差、纵向误差，用于对前机轨迹进行跟踪；ev(i)为预测时域内后机速度v与设定行驶速度Vi偏差，用于控制行驶速度保持在设定值；UAPF(i)为预测时域内每一个预测步长i上后机的环境势场值，用于保证行驶安全性；△u(k+i|t)为控制增量，用于优化求解增加后机行驶的稳定性、经济性；W、R、Q、P为权重矩阵；Np、Nc分别为预测步长、控制步长。
为保证优化求解的后机控制输入量适应农机工作特性，分别设置速度v、转角δ控制约束：
0≤v≤1.5·Vi
|δ|≤δi
其中，Vi为初始设定的目标速度，δi为初始设定的限制偏转角。
优化求解目标函数后，得到控制增量序列ΔU＝[Δu(k),Δu(k+1),…,Δu(k+Nc)]T,根据模型预测控制的基本原理，将该序列中的第一个元素Δu(k)作为k-1时刻至k时刻的控制增量作用于系统，即控制量[v,δ]T＝u(k)＝u(k-1)+Δu(k)，得到后机控制输入量农机后轮速度v、农机前轮转角δ，使后机满足规避环境障碍、受限车道线、保持既定速度、跟随前机行驶轨迹等控制目标。
以同样的方法可求解得到所有跟随从机的控制输入量，以实现整个农机机组沿领航主机行驶轨迹安全转场。
S6、归纳分类机器无法调整的高置信度场景，加入人类经验判断，编队控制终端系统获得人类操作决策干预机器调整决策。
在转场过程中，编队控制终端系统将主机和从机的实时通信系统上传的信息流处理并显示在人机交互接口，主机操作人员对机组转场过程实时监控。处理得到的机组整体信息显示在如图4所示的“编队系统主菜单”窗口，包括:机组转场环境、领航主机行驶路线、机组内各农机相对位置图像，机组内从机启停信息。处理得到的各跟随从机信息显示在如图6所示的“编队从机查看”窗口，包括:从机机前环境、从机行驶路线图像，从机速度、与前机距离、与主机距离信息。
当以上两个窗口显示数据出现异常，机组转场遇到机器无法调整的高置信度场景时，便向编队控制终端系统输入领航主机操作人员经验判断后的指令，高置信度场景包括：通过交通信号灯、途遇其他农机加入编队、队内从机达作业点、障碍物阻挡、从机故障、交通事故等，将各类场景应对的人类决策归纳为:
1)新农机加入编队；
2)跟随从机退出编队；
3)切分编队或解散编队。
操作员通过编队控制终端系统的人机交互接口设置的“编队指令调整”窗口，把控机组转场流程和异常事件、下达干预指令至编队控制终端系统干预机器调整决策，如图7所示，本部分所提及的窗口皆为“编队指令调整”窗口。
其中，编队过程中，若有新农机加入编队，具体操作步骤为：
新农机通过自身的从机实时通信系统上传信息至主机的编队控制终端系统，编队控制终端系统通过窗口实时显示主机通信范围里不在编队中的农机基本信息，操作员判定该机是否需要加入编队，若需要则选择所该农机车牌号及“加入编队”指令输入控制终端。
编队控制终端系统获得输入信息后，将该机编队状态从“人工驾驶”修改为“机组跟随”，并将其编为机组序号最后一位，使其以原队尾农机作为前车进行跟随控制，获得控制输入量后轮速度v、前轮转角δ，作为新队尾进入编队转场机组。
若在编队内有从机因故障或到达其作业点等原因需退出编队，具体操作步骤为：
若某从机因故障无法运行，编队控制终端系统在一定周期内未接收到从机信息，将该机自动判定为不在编队内，编队状态从“机组跟随”修改为“人工驾驶”，编队控制终端系统对该机下发停止指令，并不再解算其控制输入量，该机停止等待人工驾驶。
若遇到其他特殊情况需停止跟随，则操作员通过窗口选择该机车牌号及“退出编队”指令输入编队控制终端系统使其退出编队，编队状态从“机组跟随”修改为“人工驾驶”，终端对该机下发停止指令，并不再解算其控制输入量，该机停止等待人工驾驶。
若某跟随从机到达指定作业点，则操作员选择该机车牌号与相应作业任务链接输入编队控制终端系统下发至该机，再选择“退出编队”指令使其退出编队，编队状态从“机组跟随”修改为“自主作业”，编队控制终端系统对该机下发停止指令并不再解算其控制输入量，该机根据作业任务开始自主作业。
编队内任意农机编队状态从“机组跟随”修改为其他状态后，编队控制终端系统将跟随于该离队从机之后的所有从机按顺序再次编号，该机序号后一位从机重新确认跟随目标，以该机序号前一位从机为前机做跟随控制，获得控制输入量后轮速度v、前轮转角δ，以此类推。
若遇交通信号灯等异常情况需切分编队或解散编队，具体操作步骤为：
若编队控制终端系统获取的某跟随从机识别信号灯状态为红灯，或某跟随从机在跟随控制中因环境障碍过大或过密机器调整决策无法计算出跟随从机控制输入量，终端将该机控制输入量后轮速度v、前轮转角δ赋0值，并下发停止指令使其停止跟随控制在原地等待，操作人员通过窗口选择该机车牌号与“切分编队”指令输入终端。以该机为切分点原机组分为两个分队：领航主机与该机编号前从机为原分队，该机与该机编号后从机为新分队。
编队控制终端系统将新分队所有从机控制输入量后轮速度v、前轮转角δ赋0值，并下发停止指令与该切分点从机共同停止跟随控制在原地等待；同时原分队所有从机跟随领航主机继续行驶做跟随控制，原分队行驶至就近安全点等待并输入“重组编队”指令。
编队控制终端系统记录从“切分编队”指令输入开始至“重组编队”指令输入结束过程中原分队队尾从机(即该切分点从机的前机)的历史轨迹点，将其拟合为切分点从机预测跟随路径。
等待编队控制终端系统获得识别信号灯变为绿灯或障碍排除机器调整决策可得到控制输入量后，编队控制终端系统停止对新分队从机控制输入量赋0值，并下发启动指令使其继续做跟随控制，获得控制输入量后轮速度v、前轮转角δ，该切分点从机按其预测跟随路径对其前机进行跟随控制，领航新分队从机与原分队汇合，直至该切分点从机与其前机之间距离小于初始设定的编队重组距离Di时窗口提示“编队重组成功”，领航主机即可继续行驶领航整个编队转场。
若遇特殊情况可选择“解散编队”指令输入终端，终端将所有从机编队状态从“机组跟随”修改为“人工驾驶”，下发停止指令并不再计算控制输入量。
S7、将人机决策传输至各个跟随从机的行车控制系统中，实现编队转场。
编队控制终端系统融合人机决策，将最终解算得到的跟随从机的控制量输入信息后轮速度控制量v、前轮转角控制量δ及启停指令，经主机、从机实时通信系统下发至各个从机控制系统，从机控制系统通过控制主板将其转化为可执行量控制具体执行部件，依据后轮速度控制量v通过电子油门、电控调速装置调控各从机档位、速度；依据前轮转角控制量δ通过电动方向盘调控方向；依据启停指令通过电子启停装置控制各机跟随停止，实现适应环境时变、保障行驶安全的机组整体编队转场。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (10)
1.一种人机融合的智能农机自动驾驶编队转场系统，其装在一台辆领航主机和若干辆跟随从机上，所述的领航主机是一辆由人工驾驶的农机，领航主机和若干辆跟随从机组成编队转场的机组，其特征是：
所述的领航主机和每辆跟随从机上均设有相同的行车状态采集系统，领航主机上还设有依次连接的编队控制终端系统、路由器主站和主机WiFi模块，每辆跟随从机上均设有与所述的主机WiFi模块无线通信的从机WiFi模块；
所述的行车状态采集系统采集：本机与测量范围内的转场环境障碍、环境车辆、机组其他农机之间的距离L以及相对角度θ；与测量范围内的车道线之间距离d，与环境障碍、环境车辆、机组其他农机的相对速度ve、各个农机前方图像信息、交通信号灯状态信息；各个农机的行驶速度v、农机横摆角φ；各个农机的位置信息(x,y)，各个农机与机组其他农机之间的相对距离l，各个农机的行驶方向与其他农机位置方向的相对夹角β；
采集的所有信息经所述的路由器主站传送至编队控制终端系统，编队控制终端系统包括相互连接的车载计算机和人机交互接口，车载计算机根据采集的所有信息获得跟随从机的机器调整决策；
领航主机操作员将人类决策通过人机交互接口传送至车载计算机，车载计算机融合所述的人类决策至和所述的机器调整决策，生成编队决策及控制量输入的控制指令，控制指令依次经所述的路由器主站、主机WiFi模块、从机WiFi模块传送给每辆跟随从机的行车控制系统。
2.根据权利要求1所述的一种人机融合的智能农机自动驾驶编队转场系统，其特征是：所述的各个农机的位置信息(x,y)由GPS模块获取，所述的距离l和夹角β由UWB模块获取，若出现机组中的跟随从机A的位置信息因其GPS模块无法准确获取时，则根据机组中GPS模块有效的其他跟随从机的位置信息以及该跟随从机A的UWB模块获取的与其他跟随从机的相对距离、相对夹角来推算出该跟随从机A的位置信息。
3.一种如权利要求1所述的编队转场系统的人机融合编队方法，其特征是包括：
S1、各个农机的行车状态采集系统获取信息，信息打包上传至编队控制终端系统；
S2、领航主机操作员设置人机交互接口界面，将设置的信息保存至编队控制终端系统；
S3、编队控制终端系统基于位置信息(x,y)和农机横摆角φ将前机轨迹点拟合为后机预测跟随路径fref；
S4、根据环境障碍、车道线控制影响因素构建后机的环境势场UAPF；。
S5、根据所述的后机预测跟随路径fref、环境势场UAPF获得模型预测跟随控制器，基于模型预测跟随控制器和控制约束0≤v≤1.5·Vi，|δ|≤δi，得到控制增量和后机控制输入量为农机后轮速度v和农机前轮转角δ；Vi为初始设定的目标速度，δi为初始设定的限制偏转角；
S6、编队控制终端系统将各农机采集的信息显示在人机交互接口，领航主机操作人员对机组转场过程实时监控，若机组转场遇到机器无法调整的高置信度场景时，向编队控制终端系统输入领航主机操作人员经验判断后的人类决策的指令；
S7、编队控制终端系统融合人机决策，将后轮速度v、前轮转角δ及启停指令，下发至各个跟随从机。
4.根据权利要求3所述的人机融合编队方法，其特征是：步骤S4中的环境势场UAPF＝E+R，纵向势场系数/>LY＝L·cosθ，ve为与环境障碍、环境车辆的相对速度，Si为初始设定的安全距离，Xres为初始设定的横向势场收敛系数，n为识别车道线的总数，d是与各车道线距离，dj为与其中第j条车道线的距离，AR为初始设定的车道线势场系数，Rres为初始设定的车道线势场收敛系数。
5.根据权利要求3所述的人机融合编队方法，其特征是：步骤S5中，所述的模型预测跟随控制器其目标函数为：
i为预测步长，ex(i)、ey(i)分别为预测时域内后机位置(x,y)与后机预测跟随路径fref的横向误差、纵向误差，ev(i)为预测时域内后机速度v与设定行驶速度Vi偏差，UAPF(i)为预测时域内每一个预测步长i上后机的环境势场，W、R、Q、P为权重矩阵；Np、Nc分别为预测步长、控制步长；△u(k+i|t)为步长(k+i|t)内的控制增量，控制增量Δu(k)＝[Δv(k),Δδ(k)]T，Δv(k)为第k个步长内的速度变化量，Δδ(k)为第k个步长内车轮偏转角变化量；控制增量序列ΔU＝[Δu(k),Δu(k+1),…,Δu(k+Nc)]T,将该序列中的第一个元素Δu(k)作为k-1时刻至k时刻的控制增量，得到后机控制输入量：农机后轮速度v和农机前轮转角δ。
6.根据权利要求3所述的人机融合编队方法，其特征是：所述的高置信度场景包括：通过交通信号灯、途遇其他农机加入编队、队内从机达作业点、障碍物阻挡、从机故障、交通事故，各类场景的应对的人类决策归纳为:1)新农机加入编队；2)跟随从机退出编队；3)切分编队或解散编队。
7.根据权利要求6所述的人机融合编队方法，其特征是：若有新农机加入编队，新农机通过将自身行车状态采集系统采集的信息上传至编队控制终端系统，编队控制终端系统通过窗口实时显示主机通信范围里不在编队中的农机基本信息，操作员判定该机是否需要加入编队，若需要则选择所该农机车牌号及“加入编队”指令输入控制终端，编队控制终端系统获得输入信息后，将该机编队状态从“人工驾驶”修改为“机组跟随”，并将其编为机组序号最后一位；若有从机退出编队，编队控制终端系统在一定周期内未接收到从机信息，将该机自动判定为不在编队内，编队状态从“机组跟随”修改为“人工驾驶”，编队控制终端系统对该机下发停止指令，不再解算其控制量，该机停止等待人工驾驶；若某跟随从机到达指定作业点，操作员选择该机车牌号与相应作业任务链接输入编队控制终端系统下发至该机，再选择“退出编队”指令使其退出编队，编队状态从“机组跟随”修改为“自主作业”，编队控制终端系统对该机下发停止指令并不再解算其控制输入量，该机根据作业任务开始自主作业。
8.根据权利要求7所述的人机融合编队方法，其特征是：编队内任意农机编队状态从“机组跟随”修改为其他状态后，编队控制终端系统将跟随于该离队从机之后的所有从机按顺序再次编号，该机序号后一位从机重新确认跟随目标，以该机序号前一位从机为前机做跟随控制。
9.根据权利要求6所述的人机融合编队方法，其特征是：若遇交通信号灯异常情况需切分编队或解散编队，编队控制终端系统将该机控制输入量后轮速度v、前轮转角δ赋0值，并下发停止指令使其停止跟随，通过窗口选择该机车牌号与“切分编队”指令输入终端，以该机为切分点，原机组分为两个分队，领航主机与该机编号前从机为原分队，该机与该机编号后从机为新分队；编队控制终端系统将新分队所有从机控制输入量后轮速度v、前轮转角δ赋0值，并下发停止指令与该切分点从机共同停止跟随控制在原地等待；同时原分队所有从机跟随领航主机继续行驶做跟随控制，原分队行驶至就近安全点等待并输入“重组编队”指令，编队控制终端系统记录从“切分编队”指令输入开始至“重组编队”指令输入结束过程中原分队队尾从机的历史轨迹点，将其拟合为切分点从机预测跟随路径。
10.根据权利要求9所述的人机融合编队方法，其特征是：等待编队控制终端系统获得识别信号灯变为绿灯或障碍排除机器调整决策可得到控制输入量后，编队控制终端系统停止对新分队从机控制输入量赋0值，并下发启动指令使其继续做跟随控制，获得控制输入量后轮速度v、前轮转角δ，该切分点从机按其预测跟随路径对其前机进行跟随控制，领航新分队从机与原分队汇合，直至该切分点从机与其前机之间距离小于初始设定的编队重组距离时窗口提示“编队重组成功”，领航主机可继续行驶领航整个编队转场。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452883.9A CN116466722A (zh) | 2023-04-25 | 2023-04-25 | 一种人机融合的智能农机自动驾驶编队转场系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310452883.9A CN116466722A (zh) | 2023-04-25 | 2023-04-25 | 一种人机融合的智能农机自动驾驶编队转场系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116466722A true CN116466722A (zh) | 2023-07-21 |
Family
ID=87182179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310452883.9A Pending CN116466722A (zh) | 2023-04-25 | 2023-04-25 | 一种人机融合的智能农机自动驾驶编队转场系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116466722A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116974291A (zh) * | 2023-09-25 | 2023-10-31 | 农业农村部南京农业机械化研究所 | 主从协同导航农业机械的控制误差确定方法及装置 |
-
2023
- 2023-04-25 CN CN202310452883.9A patent/CN116466722A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116974291A (zh) * | 2023-09-25 | 2023-10-31 | 农业农村部南京农业机械化研究所 | 主从协同导航农业机械的控制误差确定方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021114888A1 (zh) | 一种双agv协同运载控制系统及方法 | |
| EP3548352B1 (en) | Applications for using mass estimations for vehicles | |
| WO2018036197A1 (zh) | 一种无人驾驶车辆控制方法、终端、服务器及系统 | |
| WO2021022728A1 (zh) | 陆空两栖无人车控制系统 | |
| WO2020143288A1 (zh) | 一种复杂工况下自动驾驶车辆决策系统及其轨迹规划方法 | |
| CN208477372U (zh) | 一种自动驾驶系统 | |
| CN107719356A (zh) | 纯电动专用车用无人驾驶系统及方法 | |
| CN108428357A (zh) | 一种用于智能网联车的平行遥控驾驶系统 | |
| CN109917767A (zh) | 一种分布式无人机集群自主管理系统及控制方法 | |
| WO2022183808A1 (zh) | 一种智能交通环境下的线控底盘信息物理系统及控制方法 | |
| CN116466722A (zh) | 一种人机融合的智能农机自动驾驶编队转场系统及方法 | |
| JP2020513621A (ja) | 自律走行車の遠隔サポートマッピングインターフェース | |
| CN111583636B (zh) | 一种基于车路协同的混合交通横纵耦合控制方法 | |
| CN207328431U (zh) | 一种纯电动专用车用无人驾驶系统 | |
| CN109969192B (zh) | 一种车辆及自动驾驶控制系统 | |
| US20210191403A1 (en) | Techniques for blended control for remote operations | |
| CN113791619B (zh) | 一种机场自动驾驶牵引车调度导航系统及方法 | |
| CN107529041A (zh) | 一种用于无人农用车的远程监控方法 | |
| CN114348020A (zh) | 一种5g远程与自动驾驶安全冗余系统及控制方法 | |
| CN113460085A (zh) | 面向服务的自动驾驶网络设计和通信方法及计算机设备 | |
| US20220032961A1 (en) | Systems and Methods for Autonomous Vehicle Motion Control and Motion Path Adjustments | |
| EP3882733B1 (de) | Verfahren und system zum autonomen fahren eines fahrzeugs | |
| CN111619590A (zh) | 港口运输设备控制系统以及控制方法 | |
| CN109866765A (zh) | 一种无人驾驶电动汽车安全行驶系统 | |
| CN114770541B (zh) | 一种能够实现位移补偿的智能巡检机器人及智能巡检方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |