CN108873904A - 矿用车辆无人驾驶停靠方法、设备及可读存储介质 - Google Patents

矿用车辆无人驾驶停靠方法、设备及可读存储介质 Download PDF

Info

Publication number
CN108873904A
CN108873904A CN201810726319.0A CN201810726319A CN108873904A CN 108873904 A CN108873904 A CN 108873904A CN 201810726319 A CN201810726319 A CN 201810726319A CN 108873904 A CN108873904 A CN 108873904A
Authority
CN
China
Prior art keywords
marker
mine vehicle
stop
yaw
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810726319.0A
Other languages
English (en)
Other versions
CN108873904B (zh
Inventor
余贵珍
宋马良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Chi Technology Co Ltd
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beijing Tage Chi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tage Chi Technology Co Ltd filed Critical Beijing Tage Chi Technology Co Ltd
Priority to CN201810726319.0A priority Critical patent/CN108873904B/zh
Publication of CN108873904A publication Critical patent/CN108873904A/zh
Application granted granted Critical
Publication of CN108873904B publication Critical patent/CN108873904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种矿用车辆无人驾驶停靠方法、设备及可读存储介质。该方法包括：利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，从而实现了矿用车辆的精准停靠。

Description

矿用车辆无人驾驶停靠方法、设备及可读存储介质
技术领域
本发明涉及无人驾驶领域，尤其涉及一种矿用车辆无人驾驶停靠方法、设备及可读存储介质。
背景技术
近年来随着人工智能相关技术的迅速发展，无人驾驶得到广泛的关注与进步。在露天矿区，由于天气环境恶劣且地形错综复杂，矿物运输效率低下且矿物运输劳动力短缺，劳动力成本高昂，尤其适合使用无人驾驶技术的使用。
然而现有的无人驾驶技术还不够成熟，大部分研究还停留在实验阶段，且矿用车辆的驾驶道路环境相对复杂，现有的无人驾驶技术，在实现车辆停车停靠时，车辆定位精度不足或控制不够精准，难以实现车辆的精准停靠。
因此，亟待一种矿用车辆无人驾驶停靠方法。
发明内容
有鉴于此，本发明实施例提供一种矿用车辆无人驾驶停靠方法、设备及可读存储介质，能够实现矿用车辆的精准停靠。
本发明的一个方面提供一种矿用车辆无人驾驶停靠方法，包括：利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠。
在本发明的一个实施例中，利用视觉识别算法识别至少一个停靠标志物，包括：通过模板匹配确定多个候选区域；利用深度学习网络模型对多个候选区域进行识别，判断所述候选区域是否存在停靠标志物，其中深度学习网络模型是通过对至少一个标志物的多个样本图像进行训练得到的。
在本发明的一个实施例中，利用激光雷达在停靠区域内确定至少一个标志物的位置信息，包括：通过多线激光雷达测量矿用车辆与至少一个标志物中的每一个之间的距离和角度。
在本发明的一个实施例中，至少一个标志物包括两个标志物，根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，包括：通过如下公式控制矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为矿用车辆的转向控制器的输出量，center_yaw为转向控制器的输出中值量，last_yaw为转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为矿用车辆与两个停靠标志物的距离，且通过多线激光雷达保证矿用车辆与两个停靠标志物的连线处于垂直关系，θ为矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
在本发明的一个实施例中，还包括：按照规划路径控制矿用车辆自动驾驶至装货点或卸货点，其中利用视觉识别算法识别至少一个停靠标志物和至少一个个停靠标志物所在的停靠区域，包括：在矿用车辆到达装货点或卸货点时，利用视觉识别算法识别至少一个停靠标志物。
在本发明的一个实施例中，至少一个停靠标志物的包括：2个停靠标志物，至少一个停靠标志物为可移动的，至少一个停靠标志物包括：至少一个安全锥。
本发明的一个方面提供一种矿用车辆无人驾驶停靠装置，包括：识别模块，用于利用视觉识别算法识别至少一个停靠标志物；测量模块，用于利用激光雷达在停靠区域内确定至少一个标志物的位置信息；导航模块，用于根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠。
在本发明的一个实施例中，所述识别模块通过模板匹配确定多个候选区域；利用深度学习网络模型对多个候选区域进行识别，判断所述候选区域是否存在停靠标志物，其中深度学习网络模型是通过对至少一个标志物的多个样本图像进行训练得到的。
在本发明的一个实施例中，所述确定模块通过多线激光雷达测量矿用车辆与至少一个标志物中的每一个之间的距离和角度。
在本发明的一个实施例中，至少一个标志物包括两个标志物，所述控制模块通过如下公式控制矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为矿用车辆的转向控制器的输出量，center_yaw为转向控制器的输出中值量，last_yaw为转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为矿用车辆与两个停靠标志物的距离，且通过多线激光雷达保证矿用车辆与两个停靠标志物的连线处于垂直关系，θ为矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
在本发明的一个实施例中，导航模块还用于：按照规划路径控制矿用车辆自动驾驶至装货点或卸货点，其中利用视觉识别算法识别至少一个停靠标志物和至少一个个停靠标志物所在的停靠区域，包括：在矿用车辆到达装货点或卸货点时，利用视觉识别算法识别至少一个停靠标志物。
在本发明的一个实施例中，至少一个停靠标志物的包括：2个停靠标志物，至少一个停靠标志物为可移动的，至少一个停靠标志物包括：至少一个安全锥。
本发明的又一个方面提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，可执行指令被处理器执行时实现如上的方法。
本发明的又一个方面提供一种计算机设备，包括：存储器、处理器及存储在存储器中并可在处理器中运行的可执行指令，其中，处理器执行可执行指令时实现如上所述的方法。
根据本发明实施例提供的技术方案，通过利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，实现了矿用车辆的精准停靠。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明实施例示出的一种矿用车辆无人驾驶停靠系统的示意图。
图2是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠方法的流程图。
图3是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠过程示意图。
图4是根据本发明另一示例性实施例示出的一种矿用车辆无人驾驶停靠方法的流程图。
图5是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠装置的框图。
图6是根据本发明一示例性实施例示出的用于矿用车辆无人驾驶停靠的计算机设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。根据本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通常情况下，矿用车辆的行驶环境比较复杂，周围经常有岩石、厂房或设备等干扰物，普通雷达或导航装置容易受此干扰产生误导，进而影响车辆的停靠。
图1是本发明实施例示出的一种矿用车辆无人驾驶停靠系统的示意图，如图1所示，该系统中包括：矿用车辆110和停靠标志物120。
在矿用车辆110上安装有图像采集装置111和112，用于为视觉识别算法提供图像，以实现对停靠标志物的视觉识别。矿用车辆110上还安装有多线激光雷达113，用于精确测量车辆与停靠标志物之间的距离。停靠标志物120可以由2个安全锥121和122构成，由2个安全锥标识出的一条直线作为矿用车辆110的停靠目的地。本发明的实施例通过多线激光雷达与安全锥的组合使用实现了精确停靠。
应理解，本发明的实施例对于安全锥的个数和多线激光雷达以及图像采集装置的个数不作限制。
图2是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠方法的流程图。如图2所示，该方法包括：
210，利用视觉识别算法识别至少一个停靠标志物。
视觉识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。使用视觉识别技术，使得自动驾驶时，能够利用更多种类的标志物进行停靠控制，简化了自动驾驶的复杂程度。例如，本发明实施例中，可以使用安全锥、标杆或木桩等物体作为标志物，在使用不同的标志物时，只需在图像识别装置中输入对应的标志物模型，即可完成矿用车辆无人驾驶的停靠操作。
本发明实施例中，停靠标志物，也称为定位桩，是一种可以用于引导车辆进行停靠的物体，例如，安全锥、标识牌或标杆等。本发明实施例中，识别停靠标志物是指，从车辆周围物体中将标志物分辨出来，并且识别出停靠标志物对于车辆的大致方向和位置。例如，本发明实施例中，车辆装有图像采集装置和图像识别装置，在图像识别装置中，设定有标志物的模型，图像识别装置能够根据图像采集装置采集到的车辆周围的图像，判断车辆周围是否有标志物，并且根据图像采集装置与车辆之间的角度和位置关系，以及图像上标志物的位置，判断标志物与车辆之间的角度关系。
停靠标志物所在的停靠区域是由停靠标志物指示出的一片区域，用于停靠车辆，例如，本发明实施例中，由4个停靠标志物指示出一片矩形停靠区域。视觉识别装置够根据图像中标志物的大小对标志物与车辆之间的距离做粗略的测算，并且还能够对停靠区域做粗略识别，例如，本发明实施例中，通过识别停靠标志物，视觉识别装置能够识别出具车辆前方10-12米处有一矩形停靠区域，其中该停靠区域的大小可以是根据经验或统计预先设定的。
220，利用激光雷达在停靠区域内确定至少一个标志物的位置信息。
多线激光雷达是一种能够精确测量距离的雷达。本发明实施例中，通过步骤210，能够得到标志物与车辆之间的大致位置和角度，根据上述结果，在此范围内进行精确的定位和测量，从而获取标志物的精确位置信息，进而控制车辆进行停靠。
例如，本发明实施例中，在车辆前方偏右3-5度，距离15-20m处有一个标志物，通过多线激光雷达对此范围进行搜索，并确定标志物的精确方位和距离。通过对多个标志物进行类似的搜索，进而确定所有标志物的精确位置信息，并且，能够确定停靠区域的精确位置和大小。
230，根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠。
矿用车辆的姿态信息包括车辆的行驶方向和行驶速度等，姿态信息可以通过陀螺仪或速度测量仪器获取。自动驾驶过程中，结合位置信息和车辆姿态信息，能够控制车辆进行停靠。
例如，本发明的一个实施例中，两个标志物构成一条直线，车辆后方需要停靠至与此直线平齐。控制时，通过不断测量车辆与标志物之间的距离和角度，得到车辆与标志物之间的位置关系，即车辆与直线的位置关系，以及车辆的行驶速度和行驶方向，进而控制车辆的精准停靠。
根据本发明实施例提供的技术方案，通过利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，实现了矿用车辆的精准停靠。
根据本发明的实施例，上述利用激光雷达在停靠区域内确定至少一个标志物的位置信息，包括：通过多线激光雷达测量矿用车辆与至少一个标志物中的每一个之间的距离和角度，以便得到至少一个停靠标志物的更精确的位置信息。
根据本发明的实施例，上述标志物为可移动的，以便车辆利用不同位置的标志物进行定位，或更换停车位置。
根据本发明的实施例，上述多个标志物的数量包括：2个，以便车辆使用最低数量的标志物进行定位，进而降低成本，并且降低运算的复杂度。
根据本发明的实施例，上述标志物包括：安全锥。安全锥通常具有鲜艳的颜色或反射带，方便识别和定位，且价格低廉，降低了无人驾驶停靠技术的使用成本。
根据本发明的实施例，上述利用激光雷达在停靠区域内确定至少一个标志物的位置信息，包括：通过所述多线激光雷达测量所述矿用车辆与至少一个标志物中的每一个之间的距离和角度。通过对距离和角度的测量，使得控制过程中能够精确的掌握标志物与车辆之间的位置信息，进而控制车辆精准停靠。
在本发明的一个实施例中，利用视觉识别算法识别至少一个停靠标志物，包括：通过模板匹配确定多个候选区域；利用深度学习网络模型对多个候选区域进行识别，判断候选区域是否存在停靠标志物，其中深度学习网络模型是通过对至少一个标志物的多个样本图像进行训练得到的。
模板匹配是一种最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物。它是图像处理中最基本、最常用的匹配方法。本发明实施例中，使用的模板为停靠标志物模板。停靠过程中，首先对收集到的视觉识别图像进行模板匹配处理，将图像上能够与停靠标志物模板匹配成功的区域作为候选区域。之后，利用深度学习网络模型对候选区域进行识别，精确判断候选区域中是否存在停靠标志物，其中，深度学习网络模型时通过对停靠标志物的多个样本图像进行训练得到的。
利用模板匹配对图像进行处理，能够减少运算量，提高图像处理效率，但判断的准确程度较低，本发明实施例中，将其与结合深度学习网络模型后，使得图像处理过程的效率和准确度都保持在较高水平。
在本发明的一个实施例中，至少一个标志物包括两个标志物，根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，包括：
通过如下公式控制矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为矿用车辆的转向控制器的输出量，center_yaw为转向控制器的输出中值量，last_yaw为转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为矿用车辆与两个停靠标志物的距离，且通过多线激光雷达保证矿用车辆与两个停靠标志物的连线处于垂直关系，θ为矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
图3是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠过程示意图。如图3所示，包括：
矿用车辆310，安全锥320，安全锥330。
停靠过程中，转向控制器的输出量Yaw通过如下公式计算：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
式中：
center_yaw：转向控制器的输出中值量。
last_yaw：转向控制器上次的输出量。
Kp：比例系数。
Kd：微分系数。
其中，Kp与Kd的具体值由实验标定得到。
转向控制器的输出量Yaw即转向控制器控制车辆转过一定角度时输出的信号。转向控制器的输出中值量center_yaw的确定方法包括：当Yaw和last_yaw同时等于0时，标定center_yaw的值，并以此值作为center_yaw的固定值，进行后续的计算，进而控制车辆精准停靠。
进一步地，e通过如下公式计算：
式中：
L：精准定位距离。
L1：矿用车辆310与安全锥320的距离。
L2：矿用车辆310与安全锥330的距离。
θ：矿用车辆310与两个安全锥垂直平分线的夹角。
权重系数，的数值可以根据不同的使用需求进行设置，本发明实施例对此不做限定。
精准定位距离L包括：预设的车辆与停靠目的地之间的距离，例如，本发明实施例中，由2个停靠标志物组成一条直线作为停靠目的地，预设矿用车辆需停靠至与此直线相距1m处，则本发明实施例中，L的值为1m。
根据上述公式计算的结果，使得自动驾驶过程中能够更加精确的对矿用车辆进行停靠。
本发明另一个实施例中，还包括：按照规划路径控制矿用车辆自动驾驶至装货点或卸货点，其中，利用视觉识别算法识别至少一个停靠标志物，包括：在矿用车辆到达装货点或卸货点时，利用视觉识别算法识别至少一个停靠标志物。
例如，本发明实施例中，对车辆进行自动驾驶控制时，先设定一条行驶路线作为规划路线，规划路线连接了装货点和卸货点，车辆按照此路线在装货点和卸货点之间往返运输，并且当车辆需要在装货点或卸货点进行停靠时，使用本发明实施例提的技术方案，利用视觉识别算法识别至少一个停靠标志物。
本发明实施例提供的技术方案，可以与其他自动驾驶技术相结合，实现矿用车辆自动驾驶过程中的精准停靠。
图4是根据本发明另一示例性实施例示出的一种矿用车辆无人驾驶停靠方法的流程图，该方法包括：
410，根据露天矿区运输要求，制定矿用车辆无人驾驶路线。
路线主要包括有矿用车辆运输路线、矿用车辆装载货物点和矿用车辆卸载货物点。由于露天矿区自身特点，装载矿物点和卸载货物点会随着装载或卸载货物的不断变化，具体的停靠点会有所变化，但运输过程中的运输路线固定不变。此外，根据制定的矿用车辆无人驾驶路线通过高精度差分定位模块进行驾驶路径采集，并制成电子地图。
420，在路线终点附近通过模板匹配，识别停车标志物。
当矿用车辆接近转载货物点或接近卸载货物点附件时，此时启动摄像头对车辆周围的物体进行视觉采集。本发明实施例中，使用4个安全锥作为标志物，标识出一块矩形区域作为停车区域。采集到的视觉图像通过模板匹配，标识出可能存在安全锥的候选区域。
430，通过卷积神经网络对候选区域进行精确识别，判断其中是否包含停车标志物。
卷积神经网络预先对安全锥的模型进行学习，进而在候选区域内精确判断是否存在安全锥，并且通过安全锥在图像上的大小对安全锥的位置做初步测量。
440，获取停车标志物的精确位置信息。
得到安全锥的初步位置信息后，此时由激光雷达在返回的初步定位区域内进行进一步定位。通过激光雷达模块对4个安全锥进行实时检测，计算车辆与4个安全锥的距离，并将安全锥的距离实时返回给矿用车辆的数据处理机构。
450，处理位置信息，得到转向输出量。
数据处理机构按照公式：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
对数据进行处理，得到矿用车辆的转向控制器的输出量，其中，Yaw为矿用车辆的转向控制器的输出量，center_yaw为转向控制器的输出中值量，last_yaw为转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，
其中，Kp与Kd的具体值可以由实验标定得到。
转向控制器的输出量Yaw即转向控制器控制车辆转过一定角度时输出的信号。转向控制器的输出中值量center_yaw的确定方法包括：当Yaw和last_yaw同时等于0时，标定center_yaw的值，并以此值作为center_yaw的固定值，进行后续的计算，进而控制车辆精准停靠。
e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为矿用车辆与两个停靠标志物的距离，且通过多线激光雷达保证矿用车辆与两个停靠标志物的连线处于垂直关系，θ为矿用车辆与两个安全锥垂直平分线的夹角，为权重系数，用于调整θ在e值得计算过程中所占权重。
本发明实施例中，精准定位距离L包括：预设的车辆与停靠目的地之间的距离，例如，本发明实施例中，由4个停靠标志物中的2个，组成一条直线作为停靠目的地，预设矿用车辆需停靠至与此直线相距1m处，则本发明实施例中，L的值为1m。
460，根据转向输出量，控制矿用车辆进行停靠。
控制单元通过动态调整车辆的车速与转向输出量，从而最终保证矿用车辆精准定位。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图5是根据本发明一示例性实施例示出的一种矿用车辆无人驾驶停靠装置500的框图。如图5所示，该装置包括：
识别模块510，用于利用视觉识别算法识别至少一个停靠标志物。确定模块520，用于利用激光雷达在停靠区域内确定至少一个标志物的位置信息。控制模块530，用于根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠。
根据本发明实施例提供的技术方案，通过利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，实现了矿用车辆的精准停靠。
根据本发明的实施例，上述标志物为可移动的，以便车辆利用不同位置的标志物进行定位，或更换停车位置。
根据本发明的实施例，上述多个标志物的数量包括：2个，以便车辆使用最低数量的标志物进行定位，进而降低成本。
根据本发明的实施例，上述标志物包括：安全锥。安全锥通常具有鲜艳的颜色或反射带，方便识别和定位，且价格低廉，降低了无人驾驶停靠技术的使用成本。
在本发明的一个实施例中，识别模块通过模板匹配确定多个候选区域；利用深度学习网络模型对多个候选区域进行识别，判断候选区域是否存在停靠标志物，其中深度学习网络模型是通过对至少一个标志物的多个样本图像进行训练得到的。
在本发明的一个实施例中，确定模块通过多线激光雷达测量矿用车辆与至少一个标志物中的每一个之间的距离和角度。
在本发明的一个实施例中，至少一个标志物包括两个标志物，控制模块通过如下公式控制矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为矿用车辆的转向控制器的输出量，center_yaw为转向控制器的输出中值量，last_yaw为转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为矿用车辆与两个停靠标志物的距离，且通过多线激光雷达保证矿用车辆与两个停靠标志物的连线处于垂直关系，θ为矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
本发明另一个实施例中，导航模块还用于：按照规划路径控制矿用车辆自动驾驶至装货点或卸货点，其中，利用视觉识别算法识别至少一个停靠标志物，包括：在矿用车辆到达装货点或卸货点时，利用视觉识别算法识别至少一个停靠标志物。
图6是根据本发明一示例性实施例示出的用于矿用车辆无人驾驶停靠的计算机设备600的框图。
参照图6，装置600包括处理组件610，其进一步包括一个或多个处理器，以及由存储器620所代表的存储器资源，用于存储可由处理组件610的执行的指令，例如应用程序。存储器620中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件610被配置为执行指令，以执行上述矿用车辆无人驾驶停靠方法。
装置600还可以包括一个电源组件被配置为执行装置600的电源管理，一个有线或无线网络接口被配置为将装置600连接到网络，和一个输入输出(I/O)接口。装置600可以操作基于存储在存储器620的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述装置400的处理器执行时，使得上述装置600能够执行一种矿用车辆无人驾驶停靠方法方法，包括：利用视觉识别算法识别至少一个停靠标志物；利用激光雷达在停靠区域内确定至少一个标志物的位置信息；根据位置信息和矿用车辆的姿态信息，控制矿用车辆进行停靠，实现了矿用车辆的精准停靠。
本领域技术人员在考虑说明书及实践这里的公开内容后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由上面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种矿用车辆无人驾驶停靠方法，其特征在于，包括：
利用视觉识别算法识别至少一个停靠标志物；
利用激光雷达在所述停靠区域内确定所述至少一个标志物的位置信息；
根据所述位置信息和所述矿用车辆的姿态信息，控制所述矿用车辆进行停靠。
2.根据权利要求1所述的方法，其特征在于，所述利用视觉识别算法识别至少一个停靠标志物，包括：
通过模板匹配确定多个候选区域；
利用深度学习网络模型对所述多个候选区域进行识别，判断所述候选区域是否存在所述停靠标志物，其中所述深度学习网络模型是通过对所述至少一个标志物的多个样本图像进行训练得到的。
3.根据权利要求1所述的方法，其特征在于，所述利用激光雷达在所述停靠区域内确定所述至少一个标志物的位置信息，包括：
通过所述多线激光雷达测量所述矿用车辆与所述至少一个标志物中的每一个之间的距离和角度。
4.根据权利要求3所述的方法，其特征在于，所述至少一个标志物包括两个标志物，所述根据所述位置信息和所述矿用车辆的姿态信息，控制所述矿用车辆进行停靠，包括：
通过如下公式控制所述矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为所述矿用车辆的转向控制器的输出量，center_yaw为所述转向控制器的输出中值量，last_yaw为所述转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为所述矿用车辆与所述两个停靠标志物的距离，且通过所述多线激光雷达保证所述矿用车辆与所述两个停靠标志物的连线处于垂直关系，θ为所述矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
5.根据权利要求1所述的方法，其特征在于，还包括：
按照规划路径控制所述矿用车辆自动驾驶至装货点或卸货点，
其中所述利用视觉识别算法识别至少一个停靠标志物，包括：
在所述矿用车辆到达所述装货点或卸货点时，利用视觉识别算法识别所述至少一个停靠标志物。
6.根据权利要求1至5中的任一项所述的方法，其特征在于，所述至少一个停靠标志物的包括：2个停靠标志物，所述至少一个停靠标志物为可移动的，所述至少一个停靠标志物包括：至少一个安全锥。
7.一种矿用车辆无人驾驶停靠装置，其特征在于，包括：
识别模块，用于利用视觉识别算法识别至少一个停靠标志物；
确定模块，用于利用激光雷达在所述停靠区域内确定所述至少一个标志物的位置信息；
控制模块，用于根据所述位置信息和所述矿用车辆的姿态信息，控制所述矿用车辆进行停靠。
8.根据权利要求7所述的装置，其特征在于，所述识别模块通过模板匹配确定多个候选区域，并利用深度学习网络模型对所述多个候选区域进行识别，判断所述候选区域是否存在所述停靠标志物，其中所述深度学习网络模型是通过对所述至少一个标志物的多个样本图像进行训练得到的。
9.根据权利要求7所述的装置，其特征在于，所述确定模块通过所述多线激光雷达测量所述矿用车辆与所述至少一个标志物中的每一个之间的距离和角度。
10.根据权利要求9所述的装置，其特征在于，所述至少一个标志物包括两个标志物，所述控制模块通过如下公式控制所述矿用车辆进行停靠：
Yaw＝center_yaw+3×[Kp×(e/2)+Kd×e]/4+last_yaw/4
其中，Yaw为所述矿用车辆的转向控制器的输出量，center_yaw为所述转向控制器的输出中值量，last_yaw为所述转向控制器的上一次的输出量，Kp为比例系数，Kd为微分系数，e为L1与L2的差值，e的计算公式如下：
其中L为精准定位距离，L1和L2为所述矿用车辆与所述两个停靠标志物的距离，且通过所述多线激光雷达保证所述矿用车辆与所述两个停靠标志物的连线处于垂直关系，θ为所述矿用车辆与两个安全锥垂直平分线的夹角，为权重系数。
11.根据权利要求7所述的装置，其特征在于，所述导航模块还用于：
按照规划路径控制所述矿用车辆自动驾驶至装货点或卸货点，
其中所述利用视觉识别算法识别至少一个停靠标志物和所述至少一个个停靠标志物所在的停靠区域，包括：
在所述矿用车辆到达所述装货点或卸货点时，利用视觉识别算法识别所述至少一个停靠标志物。
12.根据权利要求7至11中的任一项所述的装置，其特征在于，所述至少一个停靠标志物的包括：2个停靠标志物，所述至少一个停靠标志物为可移动的，所述至少一个停靠标志物包括：至少一个安全锥。
13.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN201810726319.0A 2018-07-04 2018-07-04 矿用车辆无人驾驶停靠方法、设备及可读存储介质 Active CN108873904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810726319.0A CN108873904B (zh) 2018-07-04 2018-07-04 矿用车辆无人驾驶停靠方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810726319.0A CN108873904B (zh) 2018-07-04 2018-07-04 矿用车辆无人驾驶停靠方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN108873904A true CN108873904A (zh) 2018-11-23
CN108873904B CN108873904B (zh) 2021-01-22

Family

ID=64299106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810726319.0A Active CN108873904B (zh) 2018-07-04 2018-07-04 矿用车辆无人驾驶停靠方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN108873904B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174689A (zh) * 2019-05-30 2019-08-27 陕西汽车集团有限责任公司 一种自动驾驶矿用车卸料过程云控制系统和方法
CN110281983A (zh) * 2019-06-28 2019-09-27 清华大学 一种基于视觉场景识别的轨道列车精准停车系统
CN112099025A (zh) * 2020-08-20 2020-12-18 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN113135181A (zh) * 2021-06-22 2021-07-20 北京踏歌智行科技有限公司 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
CN113581198A (zh) * 2021-06-24 2021-11-02 安徽海博智能科技有限责任公司 一种基于泊车控制点的无人驾驶矿车泊车控制方法
CN113642753A (zh) * 2021-10-13 2021-11-12 中通服建设有限公司 一种基于无线网络的5g智能物流系统
CN114137952A (zh) * 2020-09-03 2022-03-04 沃尔沃自主解决方案公司 控制在工作现场的自主作业机的作业方案的方法
CN114282706A (zh) * 2021-11-18 2022-04-05 郑州宇通矿用装备有限公司 一种露天矿山作业方法及系统
CN116443013A (zh) * 2023-06-16 2023-07-18 北京易控智驾科技有限公司 无人驾驶车辆的倒车控制系统、方法、设备及介质
CN116627139A (zh) * 2023-05-30 2023-08-22 卓斐(东营)农业科技研究院有限公司 果蔬收获品用的运输系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631712A (zh) * 2007-05-09 2010-01-20 大草原机器及零件制造（1978）有限公司 用于轮式车辆列的转向系统和方法
WO2010099267A1 (en) * 2009-02-27 2010-09-02 Nacco Materials Handling Group, Inc. Direct power reversing drive axle
CN102935861A (zh) * 2012-12-10 2013-02-20 中联重科股份有限公司 多桥车辆及其转向控制系统和转向控制方法
CN103754219A (zh) * 2014-02-21 2014-04-30 重庆邮电大学 一种多传感器信息融合的自动泊车系统
CN103959188A (zh) * 2011-10-13 2014-07-30 克朗设备公司 用于物料搬运车辆的转向控制策略
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
DE102015208123A1 (de) * 2015-04-17 2016-10-20 Bayerische Motoren Werke Aktiengesellschaft Per Fernbedienung kontrollierbares Parkassistenzsystem zum automatisierten Einparken eines Kraftfahrzeugs in eine Kopfparklücke mit automatisierter Querführung basierend auf einer Parkgerade
CN106560347A (zh) * 2015-10-01 2017-04-12 福特全球技术公司 停车障碍物定位器和高度估计器
JP2017093155A (ja) * 2015-11-10 2017-05-25 トヨタ自動車株式会社 駐車支援システム
CN106882190A (zh) * 2017-03-16 2017-06-23 广东轻工职业技术学院 一种交叉路口行车辅助系统及行车辅助控制方法
CN106940183A (zh) * 2016-12-13 2017-07-11 北京卫星制造厂 一种基于psd测距的agv精确定位方法
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN107329468A (zh) * 2017-05-11 2017-11-07 江苏保千里视像科技集团股份有限公司 一种自动驾驶车辆的停车入位方法及系统
CN107463946A (zh) * 2017-07-12 2017-12-12 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
JP2018135072A (ja) * 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法、プログラム及びそれを記録した記録媒体
CN110217288A (zh) * 2018-03-02 2019-09-10 株式会社万都 用于控制车辆的转向的装置和方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631712A (zh) * 2007-05-09 2010-01-20 大草原机器及零件制造（1978）有限公司 用于轮式车辆列的转向系统和方法
WO2010099267A1 (en) * 2009-02-27 2010-09-02 Nacco Materials Handling Group, Inc. Direct power reversing drive axle
CN103959188A (zh) * 2011-10-13 2014-07-30 克朗设备公司 用于物料搬运车辆的转向控制策略
CN102935861A (zh) * 2012-12-10 2013-02-20 中联重科股份有限公司 多桥车辆及其转向控制系统和转向控制方法
CN103754219A (zh) * 2014-02-21 2014-04-30 重庆邮电大学 一种多传感器信息融合的自动泊车系统
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法
DE102015208123A1 (de) * 2015-04-17 2016-10-20 Bayerische Motoren Werke Aktiengesellschaft Per Fernbedienung kontrollierbares Parkassistenzsystem zum automatisierten Einparken eines Kraftfahrzeugs in eine Kopfparklücke mit automatisierter Querführung basierend auf einer Parkgerade
CN106560347A (zh) * 2015-10-01 2017-04-12 福特全球技术公司 停车障碍物定位器和高度估计器
JP2017093155A (ja) * 2015-11-10 2017-05-25 トヨタ自動車株式会社 駐車支援システム
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN106940183A (zh) * 2016-12-13 2017-07-11 北京卫星制造厂 一种基于psd测距的agv精确定位方法
JP2018135072A (ja) * 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法、プログラム及びそれを記録した記録媒体
CN106945660A (zh) * 2017-02-24 2017-07-14 宁波吉利汽车研究开发有限公司 一种自动泊车系统
CN106882190A (zh) * 2017-03-16 2017-06-23 广东轻工职业技术学院 一种交叉路口行车辅助系统及行车辅助控制方法
CN107329468A (zh) * 2017-05-11 2017-11-07 江苏保千里视像科技集团股份有限公司 一种自动驾驶车辆的停车入位方法及系统
CN107463946A (zh) * 2017-07-12 2017-12-12 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN110217288A (zh) * 2018-03-02 2019-09-10 株式会社万都 用于控制车辆的转向的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宏刚，王云鹏，廖亚萍，周彬，余贵珍: "无人驾驶矿用运输车辆感知及控制方法", 《北京航空航天大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174689A (zh) * 2019-05-30 2019-08-27 陕西汽车集团有限责任公司 一种自动驾驶矿用车卸料过程云控制系统和方法
CN110281983A (zh) * 2019-06-28 2019-09-27 清华大学 一种基于视觉场景识别的轨道列车精准停车系统
CN112099025A (zh) * 2020-08-20 2020-12-18 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN112099025B (zh) * 2020-08-20 2024-04-02 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN114137952A (zh) * 2020-09-03 2022-03-04 沃尔沃自主解决方案公司 控制在工作现场的自主作业机的作业方案的方法
EP3964911A1 (en) * 2020-09-03 2022-03-09 Volvo Autonomous Solutions AB A method of controlling the working scheme of an autonomous working machine at a worksite
CN113135181B (zh) * 2021-06-22 2021-08-24 北京踏歌智行科技有限公司 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
CN113135181A (zh) * 2021-06-22 2021-07-20 北京踏歌智行科技有限公司 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法
CN113581198A (zh) * 2021-06-24 2021-11-02 安徽海博智能科技有限责任公司 一种基于泊车控制点的无人驾驶矿车泊车控制方法
CN113581198B (zh) * 2021-06-24 2022-08-05 安徽海博智能科技有限责任公司 一种基于泊车控制点的无人驾驶矿车泊车控制方法
CN113642753A (zh) * 2021-10-13 2021-11-12 中通服建设有限公司 一种基于无线网络的5g智能物流系统
CN114282706A (zh) * 2021-11-18 2022-04-05 郑州宇通矿用装备有限公司 一种露天矿山作业方法及系统
CN114282706B (zh) * 2021-11-18 2024-07-26 郑州宇通矿用装备有限公司 一种露天矿山作业方法及系统
CN116627139A (zh) * 2023-05-30 2023-08-22 卓斐(东营)农业科技研究院有限公司 果蔬收获品用的运输系统
CN116443013A (zh) * 2023-06-16 2023-07-18 北京易控智驾科技有限公司 无人驾驶车辆的倒车控制系统、方法、设备及介质
CN116443013B (zh) * 2023-06-16 2023-08-15 北京易控智驾科技有限公司 无人驾驶车辆的倒车控制系统、方法、设备及介质

Also Published As

Publication number Publication date
CN108873904B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN108873904A (zh) 矿用车辆无人驾驶停靠方法、设备及可读存储介质
CN106767866B (zh) 局部路径规划的方法和装置
US11951992B2 (en) Vehicle positioning method and apparatus, storage medium, and electronic device
WO2018181974A1 (ja) 判定装置、判定方法、及び、プログラム
CN107339997A (zh) 自主车辆的路径规划装置及方法
EP3936822B1 (en) Vehicle positioning method and apparatus, and vehicle, and storage medium
CN110356976A (zh) 基于模板匹配的港口无人集卡起重机精确对位系统及方法
CN108628324A (zh) 基于矢量地图的无人车导航方法、装置、设备及存储介质
CN113519019B (zh) 自身位置推断装置、配备其的自动驾驶系统以及自身生成地图共享装置
WO2021112074A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
CN108981684A (zh) 集装箱卡车定位系统及方法
CN108885113A (zh) 用于借助地标确定周围环境中的至少部分自动化行驶的车辆的姿态的方法
CN111947642B (zh) 自驾车辆的车辆导航设备
CN109325390B (zh) 一种基于地图与多传感器检测相结合的定位方法及系统
JP2021113816A (ja) 出力装置、制御方法、プログラム及び記憶媒体
CN111273679A (zh) 一种视觉引导的小型固定翼无人机撞网回收纵向制导方法
CN104724121B (zh) 用于识别车辆的行驶领域的装置和方法
CN108801286A (zh) 确定行驶轨迹的方法和装置
CN112859107A (zh) 高尔夫球场自驾车辆的车辆导航切换设备
WO2020209144A1 (ja) 位置推定装置、推定装置、制御方法、プログラム及び記憶媒体
CN113424240B (zh) 行驶道路识别装置
KR102217422B1 (ko) 운전면허시험 처리 장치
JP2024105508A (ja) 出力装置、制御方法、プログラム及び記憶媒体
CN106660562A (zh) 用于处理车辆的测量数据以便确定停车寻找交通的开始的方法以及计算机程序产品
WO2021112078A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant