CN114115282B - 一种矿山辅助运输机器人无人驾驶装置及其使用方法 - Google Patents
一种矿山辅助运输机器人无人驾驶装置及其使用方法 Download PDFInfo
- Publication number
- CN114115282B CN114115282B CN202111445395.2A CN202111445395A CN114115282B CN 114115282 B CN114115282 B CN 114115282B CN 202111445395 A CN202111445395 A CN 202111445395A CN 114115282 B CN114115282 B CN 114115282B
- Authority
- CN
- China
- Prior art keywords
- track
- recognition result
- wheel type
- speed
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000016776 visual perception Effects 0.000 claims abstract description 17
- 238000011217 control strategy Methods 0.000 claims abstract description 10
- 230000003137 locomotive effect Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000013138 pruning Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 7
- 238000007906 compression Methods 0.000 abstract description 7
- 230000008447 perception Effects 0.000 abstract description 5
- 238000005065 mining Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
一种矿山辅助运输机器人无人驾驶装置及其使用方法，包括视觉感知装置、计算控制系统和轮式驱动平台，视觉感知装置部分主要包括用于轨道感知的单目摄像头、用于障碍物感知的双目摄像头以及照明装置；本发明面向视觉感知方案，基于智能轨道感知与障碍物感知方法，结合车速信息构建了细粒度机器人无人驾驶控制策略，自主生成控制指令并通过计算控制系统传递到电力驱动系统，实现矿山辅助运输机器人无人驾驶，同时本发明提供一种神经网络压缩简化方法及其现场可编程门阵列部署流程，在控制功耗的前提下，弥补了原有单一工控机架构算力受限的问题，进一步提升井下智能化水平。
Description
技术领域
本发明涉及矿山辅助机器人技术领域，具体是一种面向视觉感知的矿山辅助运输机器人无人驾驶装置及其使用方法。
背景技术
辅助运输设备是煤矿开采过程中长距离运输系统的的重要组成部分，现有辅助运输设备如轨道运输车受限于人工驾驶，存在运输效率低，风险隐患高的问题，研究并设计辅助运输机器人无人驾驶装置及方法能够进一步解放人力，提升矿山智能化水平，具有重要的现实价值。
现阶辅助运输设备无人驾驶方案主要集中在对机器人的改造，专利号为202110250724.1，名称为“一种基于UWB技术的矿用电机车无人驾驶系统”的发明专利采用UWB、超声波、红外集激光雷达传感器为感知手段，可以对环境进行全方位的感知，但是没有设计精细的控制策略；专利号为202110268014.1，名称为“一种矿用无人驾驶电机车的智能控制装置、方法及电机车”，设计了具体的控制策略，但是缺少环境感知手段与具体的装置描述；专利号为202110366179.2，名称为“一种无驾驶舱式井下无人驾驶电机车及其控制方法”，以CCD摄像头与毫米波雷达作为感知手段，根据障碍物识别指定了辅助运输设备控制策略且给出了具体的装置，但是受限于单一工控机的低算力并缺少精细的轨道识别手段，无法对辅助运输设备进行精细的速度控制。总的来说，现有技术存在环境感知能力差、缺少细粒度速度控制策略的问题，同时受限于井下特殊工况对能耗与发热量的限制，传统单工控机计算单元存在算力受限的问题，整体智能化水平偏低。
发明内容
针对上述现有技术存在的问题，本发明提供一种面向视觉感知的矿山辅助运输机器人无人驾驶装置及其使用方法，依赖智能视觉感知实现细粒度井下轨道运输机器人的自动驾驶，并且利用神经网络精简算法及现场可编程门阵列部署方法，提高机器人算力水平。
为实现上述目的，本发明设计一种矿山辅助运输机器人无人驾驶装置，包括视觉感知装置、计算控制系统和轮式驱动平台；所述轮式驱动平台的承载框架为轮式驱动底盘(13)，所述轮式驱动底盘(13)底部设置有车轮(10)，所述车轮(10)由可调速驱动电机(14)驱动，所述车轮(10)上设置有制动装置(16)、车速传感器(15)，所述视觉感知装置部署在轮式驱动底盘(13)前端，通过数据线将视觉信号传输到计算控制系统，所述计算控制系统部署在轮式驱动底盘(13)中部；所述视觉感知装置包括单目摄像头(4)、双目摄像头(3)、照明装置(2)，所述单目摄像头(4)倾斜安装在轮式驱动底盘(13)的顶部，用于识别轨道(18)的两条轨道线，所述双目摄像头(3)设置在轮式驱动底盘(13)的前部，用于获取深度信息、记录行车数据、并对障碍物进行识别，所述照明装置(2)用于为单目摄像头(4)、双目摄像头(3)提供光源；所述计算控制系统包括现场可编程门阵列(5)、工控机(8)、PLC控制箱(9)，所述现场可编程门阵列(5)与单目摄像头(4)、双目摄像头(3)相连用于采集视觉信息并运行智能识别算法，将轨道识别结果(17)以及障碍物识别结果(19)传递到工控机(8)中，所述工控机(8)用于综合处理轨道识别结果(17)、障碍物识别结果(19)与车速传感器(15)获取的车速信息，生成车速控制指令传递到PLC控制箱(9)，所述PLC控制箱(9)用于根据收到的指令发出控制信号到可调速驱动电机(14)和制动装置(16)，控制机器人运行。
进一步的，所述轮式驱动底盘(13)上设置有用于保护计算控制系统的计算设备保护滑门(7)，所述轮式驱动底盘(13)内设有由蓄电池(11)、电池配电箱(12)构成的蓄电池供电模组，所述蓄电池供电模组用于为机器人各个部分供电，所述轮式驱动底盘(13)的前部设有防撞横梁(1)。
进一步的，所述现场可编程门阵列(5)、工控机(8)、PLC控制箱(9)均采用防爆外壳；所述现场可编程门阵列(5)、工控机(8)、PLC控制箱(9)下方设有散热装置(6)。
本发明提供一种矿山辅助运输机器人无人驾驶装置的使用方法，具体包括以下步骤：
(a)进行轨道线识别，具体包括：利用单目摄像头(4)采集轨道图像信号传输到现场可编程门阵列(5)中，解析并获取单帧图像I，宽度为W，高度为H，单帧图像I经序列化后输入到经过修剪的轨道线检测神经网络计算单元，识别结果为一系列分类问题C＝{Ci,j|i∈[1,L],j∈[1,J]}的分类结果Y，L为轨道线数目，J为参与分类的行数，i用于指定识别的轨道，j用于指定行的位置，Y为one-hot编码，轨道线的实际位置为G为分类器的类别，对应轨道线所在的列数，现场可编程门阵列(5)将轨道识别结果(17)经数据线传输至工控机(8)；
(b)进行障碍物识别，具体包括：利用双目摄像头(3)采集轨道图像信号传输到现场可编程门阵列(5)中，解析并生产图像IL和IR，对应左右两个图像，经左右图像校正后，IL和IR经序列化后输入到以ResNet-18为基准网络且经过修剪的YOLOX神经网络计算单元，识别结果为H×W个识别单元，识别单元包括类别信息、框坐标和IOU置信度信息，经极大值抑制算法选择后，大于一定置信度θiou的识别单元即为2D障碍物识别结果OL和OR，经立体匹配算法SGBM，计算视差D＝X(OL)-X(OR)，获得障碍物的距离信息d，构建最终拥有距离信息的障碍物识别结果(19)，现场可编程门阵列(5)将障碍物识别结果(19)经数据线传输至工控机(8)；
(c)控制速度调节，具体包括：利用工控机(8)收集轨道识别结果(17)、障碍物识别结果(19)以及车速传感器(15)所采集的车速信息进行自适应速度控制和紧急制动控制，自适应速度控制首先在满足实际速度V小于路段最大限制速度Vm，然后根据单目摄像头(4)的位姿计算出当前时刻车辆运行的两条轨迹预测A1和A2，并与两条识别的轨迹Y1和Y2配准，计算A1和Y1当前时刻的切线的夹角、A2和Y2当前时刻的切线的夹角/>自适应计算机车转弯临界速度Vc，实际速度V应控制在min(Vm,Vc)以内，经PLC控制箱(9)下放速度控制指令到可调速驱动电机(14)，紧急制动控制则根据实际速度V，计算紧急制动距离区间[ds,dl]对应不同制动策略，如检测到据障碍物识别结果(19)，根据距离信息d启用合适的制动控制策略，经PLC控制箱(9)下放指令到制动装置(16)，避免机车与人员、异物等障碍物发生碰撞。
进一步的，步骤(a)中修剪的轨道线检测神经网络计算单元是以ResNet-18为特征提取网络，以行分类器为识别器进行压缩简化，所述ResNet-18由18层卷积基本单元组成，以残差模块为卷积层组织方式，所述行分类器由1个卷积层与2个线性层组成。
进一步的，以ResNet-18为特征提取网络，以行分类器为识别器进行压缩简化具体包括：通过结构重构将ResNet-18的残差分支分配到每一个卷积单元Convi中，精度恢复训练后获得无通道干涉的模型用于模型剪枝，模型剪枝的通道重要性评估ξ＝N(γ)+N(β)，其中N为下式：
γ和β是每个通道对应的归一化计算的缩放与移动参数，μ为γ和β的代指，Ml(μ)是所有通道中μ前30％的均值，M(μ)为所有通道中μ的均值。
进一步的，步骤(b)中修剪的YOLOX神经网络计算单元是以ResNet-18替换原始YOLOX-S网络中的骨干网络来修改识别模块中障碍物的类别，所述识别模块由三路卷积层构成，分别用以每个像素点的预测类别、识别框位置与IOU置信度。
附图说明
图1是本发明装置测视整体结构示意图；
图2是本发明装置底部整体结构示意图；
图3是本发明装置俯视运行示意图；
图4是本发明方法控制流程图；
图5是本发明神经网络压缩简化部署流程图。
图中：1、防撞横梁，2、照明装置，3、双目摄像头，4、单目摄像头，5、现场可编程门阵列，6、散热装置，7、计算设备保护滑门，8、工控机，9、PLC控制箱，10、车轮，11、蓄电池，12、电池配电箱，13、轮式驱动底盘，14、可调速驱动电机，15、车速传感器，16、制动装置，17、轨道识别结果，18、轨道，19、障碍物识别结果。
具体实施方式
下面结合附图本发明作进一步说明。
如图1至图3所示，本实施例提供一种矿山辅助运输机器人无人驾驶装置包括视觉感知装置、计算控制系统和轮式驱动平台；轮式驱动平台承载框架为轮式驱动底盘13，视觉感知装置部署在轮式驱动底盘13前端且固定在轮式驱动底盘13内部，防止损坏，通过数据线将视觉信号传输到计算控制系统，计算控制系统部署在轮式驱动底盘13中部，轮式驱动底盘13上设置有位于计算控制系统上方的计算设备保护滑门7，轮式驱动底盘13内设有蓄电池11与电池配电箱12构成的蓄电池供电模组，所述蓄电池供电模组为机器人各个部分供电，轮式驱动底盘13底部设用四个车轮10，车轮10由可调速驱动电机14驱动，可调速驱动电机14分两组水平部署在车体地盘中轴线且设有减震装置，每个车轮旁均设有制动装置16用于紧急制动，四个制动装置16相互关联，每个车轮10旁设有车速传感器15，轮式驱动底盘13前部设有防撞横梁1，以保护视觉感知装置；
本实例的可调速驱动电机14、制动装置16、车速传感器15、车轮10、蓄电池11、电池配电箱12、计算设备保护滑门7采用本领域技术人员所熟知的现有结构，在此不再作详细描述，他们相关之间的连接方式，以及他们与轮式驱动底盘13连接方式均采用本领域技术人员所熟知的现有连接方式，在此不作具体描述。
视觉感知装置包括单目摄像头4、双目摄像头3以及照明装置2，单目摄像头4以一定倾斜角度通过支架固定在车体13的顶部，用于识别轨道18的两条轨道线，双目摄像头3横向军中设置在车体13前部，用于获取深度信息、记录行车数据、并对障碍物进行识别，以及照明装置2部署在双目摄像头3与防撞横梁1之间，为单目摄像头4、双目摄像头3提供光源，视觉感知装置采集视觉信号并传递到可编程门阵列5中；
计算控制系统包括现场可编程门阵列5、工控机8以及PLC控制箱9，现场可编程门阵列5与单目摄像头4、双目摄像头3直接相连，采集视觉信息并运行智能识别算法，将轨道识别结果17以及障碍物识别结果19传递到工控机8中，工控机8综合处理轨道识别结果17、障碍物识别结果19与车速传感器15获取的车速信息，生成车速控制指令传递到PLC控制箱9，PLC控制箱9根据收到的指令发出控制信号到可调速驱动电机14和制动装置16，控制机器人运行。
现场可编程门阵列5、工控机8以及PLC控制箱9下方设有散热装置6，外部均设有防爆外壳，单目摄像头4、双目摄像头3、照明装置2、现场可编程门阵列5、工控机8、PLC控制箱9、可调速驱动电机14以及制动装置16均与电池配电箱12相连，使用蓄电池11供电；上述结构或设备均为本领域技术人员所熟知的现有产品或结构，在此不作详细描述，其相关之间的连接方式也采用本领域技术人员所熟知的现有控制连接方式，在此不作具体描述。
如图4所示，本实例提供一种面向视觉感知的矿山辅助运输机器人无人驾驶方法：具体包括以下步骤：
(a)进行轨道线识别：单目摄像头4采集轨道图像信号传输到现场可编程门阵列5中，解析并获取单帧图像I，宽度为W，高度为H，单帧图像I经序列化后输入到经过修剪的轨道线检测神经网络计算单元，识别结果为一系列分类问题C＝{Ci,j|i∈[1,L],j∈[1,J]}的分类结果Y，L为轨道线数目，J为参与分类的行数，i用于指定识别的轨道，j用于指定行的位置，Y为one-hot编码，轨道线的实际位置为G为分类器的类别，对应轨道线所在的列数，现场可编程门阵列5将轨道识别结果17经数据线传输至工控机8；
(b)进行障碍物识别：双目摄像头4采集轨道图像信号传输到现场可编程门阵列5中，解析并生产图像IL和IR，对应左右两个图像，经左右图像校正后，IL和IR经序列化后输入到以ResNet-18为基准网络且经过修剪的YOLOX神经网络计算单元，识别结果为H×W个识别单元，识别单元包括1个类别信息、4个框坐标和1个IOU置信度信息，经极大值抑制算法选择后，大于一定置信度θiou的识别单元即为2D障碍物识别结果OL和OR，经立体匹配算法SGBM，计算视差D＝X(OL)-X(OR)，X为识别结果的水平坐标，结合相机位姿参数可计算障碍物的距离信息d，构建最终拥有距离信息的障碍物识别结果19，现场可编程门阵列5将障碍物识别结果19经数据线传输至工控机8；
(c)采取速度调节策略：工控机8收集并综合轨道识别结果17、障碍物识别结果19以及车速传感器15所采集的车速信息，根据相应的速度控制策略控制机车运行，主要包括自适应速度控制和紧急制动控制，自适应速度控制首先在满足实际速度V小于路段最大限制速度Vm，然后根据单目摄像机的位姿计算出当前时刻车辆运行的两条轨迹预测A1和A2，并与两条识别的轨迹Y1和Y2配准，计算A1和Y1当前时刻的切线的夹角A2和Y2当前时刻的切线的夹角/>自适应计算机车转弯临界速度Vc，实际速度V应控制在min(Vm,Vc)以内，经PLC控制箱9下放速度控制指令到可调速驱动电机14，紧急制动控制则根据实际速度V，计算紧急制动距离区间[ds,dl]对应不同制动策略，如检测到据障碍物识别结果19，根据距离信息d启用合适的制动控制策略，经PLC控制箱9下放指令到制动装置16，避免机车与人员、异物等障碍物发生碰撞；
其中的轨道线检测神经网络以ResNet-18为特征提取网络，以行分类器为识别器，ResNet-18由18层卷积基本单元组成，以残差模块为卷积层组织方式，行分类器由1个卷积层与2个线性层组成，经压缩简化后，该神经网络中不包含批归一化层(BN)与残差结构，仅包含卷积层、线性层以及非线性激活层，基于YOLOX改造的障碍物检测神经网络用ResNet-18替换原始YOLOX-S网络中的骨干网络，修改识别模块中障碍物的类别，识别模块由三路卷积层构成，分别用以每个像素点的预测类别、识别框位置与IOU置信度；
如图5所示，模型压缩简化方法通过结构重构将ResNet-18的残差分支分配到每一个卷积单元Convi中，精度恢复训练后获得无通道干涉的模型用于模型剪枝，模型剪枝的通道重要性评估ξ＝N(γ)+N(β)，其中N为下式：
γ和β是每个通道对应的归一化计算的缩放与移动参数，μ为γ和β的代指，Ml(μ)是所有通道中μ前30％的均值，M(μ)为所有通道中μ的均值，方法仅保留ξ值高于一定比例的通道，经精度恢复训练获得修剪后的模型，然后通过结构重参数化，将多分支无损转化成单分支模型，模型压缩简化方法适用于以ResNet-18为骨干网路的神经网络，仅包含卷积层、线性层以及非线性激活层三种算子，通过在现场可编程门阵列5实现对应算子并进行权重赋值，完成神经网络的现场可编程门阵列部署，与传统单一工控机架构不同，现场可编程门阵列可以较低的功耗运行高算力任务，分担工控机运行压力的同时提高机器人智能感知水平。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种矿山辅助运输机器人无人驾驶装置的使用方法，其特征在于：包括以下步骤：
（a）进行轨道线识别，具体包括：利用单目摄像头（4）采集轨道图像信号传输到现场可编程门阵列（5）中，解析并获取单帧图像，宽度为/>，高度为/>，单帧图像/>经序列化后输入到经过修剪的轨道线检测神经网络计算单元，识别结果为一系列分类问题的分类结果/>，/>为轨道线数目，/>为参与分类的行数，/>用于指定识别的轨道，/>用于指定行的位置，/>为one-hot编码，轨道线的实际位置为，/>为分类器的类别，对应轨道线所在的列数，现场可编程门阵列（5）将轨道识别结果（17）经数据线传输至工控机（8）；
（b）进行障碍物识别，具体包括：利用双目摄像头（3）采集轨道图像信号传输到现场可编程门阵列（5）中，解析并生产图像和/>，对应左右两个图像，经左右图像校正后，/>和经序列化后输入到以ResNet-18为基准网络且经过修剪的YOLOX神经网络计算单元，识别结果为/>个识别单元，识别单元包括类别信息、框坐标和IOU置信度信息，经极大值抑制算法选择后，大于一定置信度/>的识别单元即为2D障碍物识别结果/>和/>，经立体匹配算法SGBM，计算视差/>，获得障碍物的距离信息/>，构建最终拥有距离信息的障碍物识别结果（19），现场可编程门阵列（5）将障碍物识别结果（19）经数据线传输至工控机（8）；
（c）控制速度调节，具体包括：利用工控机（8）收集轨道识别结果（17）、障碍物识别结果（19）以及车速传感器（15）所采集的车速信息进行自适应速度控制和紧急制动控制，自适应速度控制首先在满足实际速度小于路段最大限制速度/>，然后根据单目摄像头（4）的位姿计算出当前时刻车辆运行的两条轨迹预测/>和/>，并与两条识别的轨迹/>和/>配准，计算/>和/>当前时刻的切线的夹角/>、/>和/>当前时刻的切线的夹角/>，自适应计算机车转弯临界速度/>，实际速度/>应控制在/>以内，经PLC控制箱（9）下放速度控制指令到可调速驱动电机（14），紧急制动控制则根据实际速度/>，计算紧急制动距离区间/>对应不同制动策略，如检测到据障碍物识别结果（19），根据距离信息/>启用合适的制动控制策略，经PLC控制箱（9）下放指令到制动装置（16），避免机车与人员、异物等障碍物发生碰撞。
2.根据权利要求1所述的一种矿山辅助运输机器人无人驾驶装置的使用方法，其特征在于：步骤（a）中修剪的轨道线检测神经网络计算单元是以ResNet-18为特征提取网络，以行分类器为识别器进行压缩简化，所述ResNet-18由18层卷积基本单元组成，以残差模块为卷积层组织方式，所述行分类器由1个卷积层与2个线性层组成。
3.根据权利要求2所述的一种矿山辅助运输机器人无人驾驶装置的使用方法，其特征在于：以ResNet-18为特征提取网络，以行分类器为识别器进行压缩简化具体包括：通过结构重构将ResNet-18的残差分支分配到每一个卷积单元中，精度恢复训练后获得无通道干涉的模型用于模型剪枝，模型剪枝的通道重要性评估/>，其中/>为下式：
（公式1），
和/>是每个通道对应的归一化计算的缩放与移动参数，/>为/>和/>的代指，/>是所有通道中/>前30%的均值，/>为所有通道中/>的均值。
4.根据权利要求1所述的一种矿山辅助运输机器人无人驾驶装置的使用方法，其特征在于：步骤（b）中修剪的YOLOX神经网络计算单元是以ResNet-18替换原始YOLOX-S网络中的骨干网络来修改识别模块中障碍物的类别，所述识别模块由三路卷积层构成，分别用以每个像素点的预测类别、识别框位置与IOU置信度。
5.一种适用于权利要求1-4中任一项所述使用方法的一种矿山辅助运输机器人无人驾驶装置，其特征在于，包括视觉感知装置、计算控制系统和轮式驱动平台；所述轮式驱动平台的承载框架为轮式驱动底盘（13），所述轮式驱动底盘（13）底部设置有车轮（10），所述车轮（10）由可调速驱动电机（14）驱动，所述车轮（10）上设置有制动装置（16）、车速传感器（15），所述视觉感知装置部署在轮式驱动底盘（13）前端，通过数据线将视觉信号传输到计算控制系统，所述计算控制系统部署在轮式驱动底盘（13）中部；所述视觉感知装置包括单目摄像头（4）、双目摄像头（3）、照明装置（2），所述单目摄像头（4）倾斜安装在轮式驱动底盘（13）的顶部，用于识别轨道（18）的两条轨道线，所述双目摄像头（3）设置在轮式驱动底盘（13）的前部，用于获取深度信息、记录行车数据、并对障碍物进行识别，所述照明装置（2）用于为单目摄像头（4）、双目摄像头（3）提供光源；所述计算控制系统包括现场可编程门阵列（5）、工控机（8）、PLC控制箱（9），所述现场可编程门阵列（5）与单目摄像头（4）、双目摄像头（3）相连用于采集视觉信息并运行智能识别算法，将轨道识别结果（17）以及障碍物识别结果（19）传递到工控机（8）中，所述工控机（8）用于综合处理轨道识别结果（17）、障碍物识别结果（19）与车速传感器（15）获取的车速信息，生成车速控制指令传递到PLC控制箱（9），所述PLC控制箱（9）用于根据收到的指令发出控制信号到可调速驱动电机（14）和制动装置（16），控制机器人运行。
6.根据权利要求5所述的一种矿山辅助运输机器人无人驾驶装置，其特征在于：所述轮式驱动底盘（13）上设置有用于保护计算控制系统的计算设备保护滑门（7），所述轮式驱动底盘（13）内设有由蓄电池（11）、电池配电箱（12）构成的蓄电池供电模组，所述蓄电池供电模组用于为机器人各个部分供电，所述轮式驱动底盘（13）的前部设有防撞横梁（1）。
7.根据权利要求6所述的一种矿山辅助运输机器人无人驾驶装置，其特征在于：所述现场可编程门阵列（5）、工控机（8）、PLC控制箱（9）均采用防爆外壳；所述现场可编程门阵列（5）、工控机（8）、PLC控制箱（9）下方设有散热装置（6）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111445395.2A CN114115282B (zh) | 2021-11-30 | 2021-11-30 | 一种矿山辅助运输机器人无人驾驶装置及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111445395.2A CN114115282B (zh) | 2021-11-30 | 2021-11-30 | 一种矿山辅助运输机器人无人驾驶装置及其使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114115282A CN114115282A (zh) | 2022-03-01 |
| CN114115282B true CN114115282B (zh) | 2024-01-19 |
Family
ID=80368968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111445395.2A Active CN114115282B (zh) | 2021-11-30 | 2021-11-30 | 一种矿山辅助运输机器人无人驾驶装置及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114115282B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114801954A (zh) * | 2022-03-23 | 2022-07-29 | 南京智电汽车研究院有限公司 | 一种无人驾驶矿用车车身及包含其的矿用车 |
| CN117119175B (zh) * | 2023-10-23 | 2024-01-23 | 常州海图信息科技股份有限公司 | 一种煤矿井下风门ai视频安全管理控制系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102288121A (zh) * | 2011-05-12 | 2011-12-21 | 电子科技大学 | 一种基于单目视觉的车道偏离距离测量及预警方法 |
| CN111399505A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于神经网络的移动机器人避障方法 |
| CN112529149A (zh) * | 2020-11-30 | 2021-03-19 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
| CN113110434A (zh) * | 2021-04-06 | 2021-07-13 | 中国矿业大学 | 一种无驾驶舱式井下无人驾驶电机车及其控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10853670B2 (en) * | 2018-11-21 | 2020-12-01 | Ford Global Technologies, Llc | Road surface characterization using pose observations of adjacent vehicles |
-
2021
- 2021-11-30 CN CN202111445395.2A patent/CN114115282B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102288121A (zh) * | 2011-05-12 | 2011-12-21 | 电子科技大学 | 一种基于单目视觉的车道偏离距离测量及预警方法 |
| CN111399505A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于神经网络的移动机器人避障方法 |
| CN112529149A (zh) * | 2020-11-30 | 2021-03-19 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
| CN113110434A (zh) * | 2021-04-06 | 2021-07-13 | 中国矿业大学 | 一种无驾驶舱式井下无人驾驶电机车及其控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| Autonomous Navigation via a Deep Q Network with One-Hot Image Encoding;Anderson.WC;《2019 IEEE INTERNATIONAL SYMPOSIUM ON MEASUREMENT AND CONTROL IN ROBOTICS(ISMCR):ROBOTICS FOR THE BENEFIT OF HUMANITY》;全文 * |
| 车前小型障碍物图像检测与分类方法;陈炳煌;;福建工程学院学报(01);全文 * |
| 车辆自主导航中的道路边界识别算法;徐杰, 李晓虎, 王荣本, 施鹏飞;中国图象图形学报(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114115282A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114115282B (zh) | 一种矿山辅助运输机器人无人驾驶装置及其使用方法 | |
| CN106873566B (zh) | 一种基于深度学习的无人驾驶物流车 | |
| CN110371112B (zh) | 一种自动驾驶车辆的智能避障系统及方法 | |
| CN103679203B (zh) | 机器人的人脸检测与情感识别系统及方法 | |
| CN108321722B (zh) | 自动避障的可纵向弯曲树障清理空中机器人和避障方法 | |
| CN107807652A (zh) | 物流机器人、用于其的方法和控制器及计算机可读介质 | |
| CN106155066B (zh) | 一种可进行路面障碍检测的搬运车及搬运方法 | |
| CN103413313A (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
| CN106948302A (zh) | 一种无人清洁车 | |
| CN110032193B (zh) | 一种智能拖拉机田间避障控制系统及方法 | |
| WO2020103532A1 (zh) | 一种多轴电客车自导向方法 | |
| CN109324649A (zh) | 一种变电站复合巡检系统及方法 | |
| CN107146247A (zh) | 基于双目摄像头的汽车辅助驾驶系统及方法 | |
| CN209776188U (zh) | 一种基于3d视觉技术的汽车无人充电系统 | |
| CN112837554A (zh) | 基于双目相机的agv定位导航方法及系统 | |
| CN109676624A (zh) | 一种基于深度学习的田间目标检测机器人平台 | |
| CN106970581A (zh) | 一种基于无人机群三维全视角的列车受电弓实时智能监测方法及系统 | |
| CN205766102U (zh) | 具有区域移动能力的协作机器人 | |
| CN112947496A (zh) | 一种无人驾驶的无轨胶轮车标准化运输平台及其控制方法 | |
| Din et al. | Real time Ackerman steering angle control for self-driving car autonomous navigation | |
| Juang et al. | Real-time indoor surveillance based on smartphone and mobile robot | |
| CN213750755U (zh) | 一种基于图像识别技术的地铁车辆智能巡检装置 | |
| CN206096934U (zh) | 一种可进行路面障碍检测的搬运车 | |
| CN117314849A (zh) | 一种基于深度学习的接触网磨耗检测方法 | |
| CN112141072A (zh) | 一种路面加速加载试验无人驾驶车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |