CN115100622B - 深部受限空间无人运输设备可行驶域检测和自主避障方法 - Google Patents

深部受限空间无人运输设备可行驶域检测和自主避障方法 Download PDF

Info

Publication number
CN115100622B
CN115100622B CN202111641284.9A CN202111641284A CN115100622B CN 115100622 B CN115100622 B CN 115100622B CN 202111641284 A CN202111641284 A CN 202111641284A CN 115100622 B CN115100622 B CN 115100622B
Authority
CN
China
Prior art keywords
coal mine
image
grid
domain
roadway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111641284.9A
Other languages
English (en)
Other versions
CN115100622A (zh
Inventor
杨春雨
张鑫
顾振
张益东
朱真才
唐超权
孟德远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202111641284.9A priority Critical patent/CN115100622B/zh
Priority to PCT/CN2022/077433 priority patent/WO2023123642A1/zh
Priority to AU2022325172A priority patent/AU2022325172B2/en
Priority to US18/022,645 priority patent/US11880208B2/en
Publication of CN115100622A publication Critical patent/CN115100622A/zh
Application granted granted Critical
Publication of CN115100622B publication Critical patent/CN115100622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2464—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using an occupancy grid
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2465—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using a 3D model of the environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/70—Industrial sites, e.g. warehouses or factories
    • G05D2107/73—Mining
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/60—Combination of two or more signals
    • G05D2111/63—Combination of two or more signals of the same type, e.g. stereovision or optical flow
    • G05D2111/64—Combination of two or more signals of the same type, e.g. stereovision or optical flow taken simultaneously from spaced apart sensors, e.g. stereovision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，包括：获取巷道三维点云数据；计算煤矿巷道二维图像可行驶域；获取煤矿巷道三维点云可行驶域；建立二维栅格地图和风险地图使用针对深井受限巷道设计的改进粒子群路径规划方法进行自主避障路径规划；使用贪婪策略获取行驶路径最优的待选终点，令无人辅助运输车根据最优终点和最优路径行驶。本发明依靠单一摄像头传感器设备，主动获取煤矿巷道图像，能够稳定、准确、快速计算深部地下空间辅助运输车三维空间可行驶域，依据可行驶域检测和安全评估信息完成无人辅助运输车在深井受限巷道中的自主避障行驶，对煤矿辅助运输车自动驾驶技术落地具有重要意义。

Description

深部受限空间无人运输设备可行驶域检测和自主避障方法
技术领域
本发明涉及机器视觉和自动驾驶技术领域，具体而言涉及一种深部受限空间无人运输设备可行驶域检测和自主避障方法。
背景技术
煤矿辅助运输车是矿井生产系统的重要构成设备，承担着人员、设备和材料等运输任务，其在深部地下受限空间中运行具有较大挑战性。
煤矿巷道环境具有感知难度大、环境恶劣、干扰多、人员复杂、照度低、场景单一、突发情况多的特点，如何通过传感器设备获取煤矿巷道可行驶域与非可行驶域，进而煤矿辅助运输车进行局部路径规划自主避障以获取优化路径，其技术创新在深部地下受限空间内防爆运输车智能决策技术中占据了重要的作用。
激光雷达直接获取得到的是煤矿巷道三维点云数据，由于三维点云具有无序性，传统的三维点云聚类算法、基于神经网络的三维点云分割算法，运算处理需要大量处理器资源。激光雷达与相机结合的三维点云分割算法，需要获取二维图像语义分割信息和三维点云信息，同时需要相机与激光雷达进行像素与点的标定，计算过程繁琐。
专利公开号CN110188817B公开了一种基于深度学习的实时高性能街景图像语义分割方法，依据街景图像作为训练数据集，使用轻量型网络作为特征提取网络，并结合空洞金字塔结构作为实时高性能街景语义分割网络模型。专利公开号CN112927244A公开了弱监督下的三维场景分割方法和装置，通过块级标注获取块级标签，并依据过分割图获取未标注点伪标签，获取的伪标签能够作为现有强监督点云分割网络的训练数据。专利公开号CN112818999A公开了一种基于卷积神经网络的复杂场景3D点云语义分割方法，通过进行原始点云下采样、融和自注意力机制，使得该网络模型具有更好的实际应用效果。
上述已有专利叙述了利用卷积神经网络进行二维图像语义分割、三维点云语义分割的方法。但以上方法存在如下缺陷：1、二维点云的语义分割方法只能获取平面信息；2、三维点云的语义分割方法需要基于已有三维点云数据进行处理，其依赖的点云数据可由激光雷达、RGB-D相机等传感器获取，但激光雷达价格昂贵、可适应性较差，RGB-D相机可测量距离十分有限；3、直接基于3D点云的实时语义分割方法，对硬件设备有较大依赖性，实时性受到约束；4、上述方法均没有考虑到实际工程应用简便、准确、快速的要求，无法满足深部地下空间煤矿辅助运输车对煤矿巷道三维点云可行驶域实时分割的需求。
自主避障是辅助运输车辆能够完成自主运行的基本关键技术。目前常用的自主避障方法可分为两类：即启发式规划算法和增量式规划算法。启发式规划方法具有一定的方向性(比如终点、重要节点影响)，而非启发式规划方法在优化时更偏向于随机遍历式搜索。增量式规划方法则利用以往规划信息影响当前路径规划，其原理令算法具有“记忆”能力以获取更好的输出路径。但煤矿深部巷道空间狭长封闭、拐弯及变坡度段多，人员行为复杂、存在大量盲区，突发情况多，导致行驶环境复杂，影响车辆自主避障，单一的启发式规划算法和增量式规划算法难以较好的完成深部受限空间的自主避障。因此，需要结合环境感知和安全评估信息研究辅助运输车辆自主避障技术。其中，较好的方法是进化计算类方法，该类方法既具有启发式特点也具有增量式特点，能较好的用于井下自主避障。
专利号CN201811385877.1公开了一种基于蚁群算法的双焊接机器人智能路径规划方法，对焊接的焊缝进行编号，使用蚁群算法进行排序获得效益最高的焊缝排序组合；专利公开号CN109581987B公开了一种基于粒子群算法的AGV调度路径规划方法及系统，该方法使用原始粒子群优化算法对调度货物进行编号排序的方法实现车辆路径规划。专利公开号CN111708369B，公开了一种变电站巡检机器人路径规划方法，该方法建立了变电站的拓扑地图，并使用蚁群算法对拓扑地图的节点进行排序优化，获得全局最优的巡检闭环路线。
上述已有专利叙述了使用进化计算类方法(包括：蚁群算法、粒子群优化算法，等)的路径规划方法。但以上方法存在如下缺陷：1、使用地图基本为拓扑地图，这类地图无法有效刻画工作空间的障碍物信息，更适合于全局路径规划而非自主避障；2、使用到栅格地图的进化计算类路径规划方法未考虑到有效利用环境感知信息，没有对环境的状态评估方法，无法适用于深部受限巷道的自主避障方案；3、进化计算类路径规划方法主要有2种：离散型方法，主要包括蚁群算法、遗传算法等；连续型方法，主要包括粒子群优化算法、和声算法等。使用离散型路径规划方法时，每次迭代只产生车辆下一步位置，直到到达终点，计算速度较慢，而使用连续型方法时，虽然每次迭代可以产生一组可行路径，但一般使用坐标地图，不适合矿井环境，如若使用栅格地图等，会因计算结果不是整数，而令整数处理后的路径产生断点。
发明内容
本发明针对现有技术中的不足，提供一种深部受限空间无人运输设备可行驶域检测和自主避障方法，能够针对煤矿深部地下受限巷道特点，如照度低、部分巷道收敛破坏、场景复杂包含水洼、漏顶等，使用基于双目相机的深部受限空间可行驶域检测技术对深井受限巷道进行可行驶域分割，提供巷道环境信息支持，建立常用且技术稳定的栅格地图建立深部受限巷道的辅助运输车运行地图，结合可行驶域检测信息建立风险地图，使用基于改进粒子群优化算法的路径规划方法并行计算实现无人辅助运输车安全自主避障。本发明解决了煤矿辅助运输车在煤矿巷道中需要获取安全场景评估中煤矿巷道三维点云可行驶域、障碍物的需求，及其在深井受限巷道中的自主避障行驶。
为实现上述目的，本发明采用以下技术方案：
本发明实施例提出了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，所述方法包括以下步骤：
S1，使用双目视觉进行环境感知，检测煤矿深井巷道的无人辅助运输车辆可行驶域；具体包括：
S11，双目摄像头采集辅助运输车在煤矿巷道行驶视频图像，对煤矿巷道图像进行预处理；
S12，对步骤S11获得的煤矿巷道预处理图像，设计针对煤矿巷道立体匹配任务的立体匹配算法，实现煤矿巷道深度图生成以及三维点云数据计算；具体包括：
S121，构造一个5*5规格的空洞卷积窗口，并依据二维高斯分布函数赋予窗口不同位置给予不同的权值，按照从左到右、从上到下的顺序权值分别为：3,0,21,0,3,0,0,0,0,0,21,0,1,0,21,0,0,0,0,0,3,0,21,0,3；
S122，用步骤S121的卷积窗口覆盖煤矿巷道图像左视图，并选择出所有的覆盖区域内的像素点；
S123，用步骤S121的卷积窗口覆盖煤矿巷道图像右视图，并选择出所有覆盖区域内的像素点；
S124，求出步骤S122和步骤S123左右煤矿巷道视图卷积窗口覆盖区域内所有对应像素点的灰度值差值绝对值，并依据步骤S121中不同窗口位置的权值，进行加权求和作为匹配代价，所用公式为：
式中p为煤矿巷道图像像素，d为煤矿巷道图像视差，IL(q)、IR(qd)分别是左右煤矿巷道图像上以q、qd为图像中心的窗口元素，wm为卷积窗口不同位置的权值，Np为5*5的高斯空洞卷积窗口；
S125，依据步骤S124的匹配代价计算方法，进行匹配代价聚合，匹配代价聚合步长dstep依据煤矿巷道图像像素亮度进行自适应变化，所用公式为：
式中Dmax为煤矿巷道双目图像最大视差，Gmax、Gmin分别为煤矿巷道灰度图像的最大灰度值、最小灰度值，g为煤矿巷道灰度图像的灰度值；
S126，依据步骤S125获得自适应匹配代价聚合步长dstep范围内的匹配代价，采用胜者为王WTA算法寻找匹配代价值最小的窗口，作为视差，循环计算，获取煤矿巷道视差图；
S127，依据步骤S126获得的煤块巷道视差图，依据左右一致性约束准则进行视差图像优化，所用公式为：
式中，Dl为左视差图，Dr为右视差图，Dinvalid为遮挡点，视差不存在；
S128，依据步骤S127获得的煤矿巷道视差优化图像，依据双目立体视觉原理进行视差图到三维数据计算，采用下述公式获取无人驾驶运输车前进方向煤矿巷道的三维点云信息(Xw,Yw,Zw)：
式中，b为双目相机左右光心之间的距离，f为相机焦距，d为煤矿巷道图像视差，(x,y)为煤矿巷道图像像素坐标，(u,v)为图像坐标系原点在像素坐标系中的坐标，α、β分别为像素在图像平面x和y方向上的焦距；
S13，对步骤S11获得的煤矿巷道预处理图像，设计针对煤矿巷道语义分割任务的深度学习模型，实现煤矿巷道二维图像可行驶域语义分割；具体包括：
S131，制作煤矿巷道语义分割数据集，只标注出巷道可行驶域，过程包括：
S1311，使用labelme图像标注软件进行标注，启动labelme软件；
S1312，打开煤矿巷道图像文件夹，并选中图像；
S1313，只框选出煤矿巷道可行驶域，并命名drivable_area；
S1314，重复步骤S1312和S1313，最终完成煤矿巷道二维图像可行驶域语义分割数据集制作；
S132，依据PASCAL VOC数据集进行语义分割模型deeplabv3+模型预训练；
S133，依据步骤S132获得的预训练deeplabv3+模型，依据步骤S131获得的煤矿巷道可行驶域语义分割数据集，进行预训练模型微调；
S134，依据步骤S133获得的经煤矿巷道数据集微调的深度学习模型，进行煤矿巷道二维图像实时可行驶域语义分割，获取二维图像可行驶域；
S14，依据步骤S12获得的煤矿巷道三维点云数据和步骤S13获得的煤矿巷道二维可行驶域分割图像，设计二维图像与三维点云映射方法，实现煤矿巷道三维点云可行驶域语义分割；具体包括：
S141，依据步骤S134获得的二维图像可行驶域，依据形态学开运算进行可行驶域图像处理；
S142，依据无人驾驶运输车煤矿巷道左视图，进行步骤S134获得的二维图像可行驶域到三维点云映射分割，获取煤矿巷道三维点云可行驶域，所用公式为：
式中，P(x,y,z)为步骤S128获得煤矿巷道三维点云数据，I(x,y)为步骤S141获得的形态学处理之后的煤矿巷道可行驶域图像，(x,y)为双目摄像头采集的煤矿巷道左视图像素坐标。
S2，依据步骤S1的可行驶域检测信息确定深井受限巷道可行驶域，使用一种基于改进粒子群优化算法的自主避障算法进行无人辅助运输车在深井受限巷道中的安全行驶；具体包括：
S21，根据步骤S1的可行驶域检测信息建立无人辅助运输车辆的工作空间二维栅格地图，截取适当长度的巷道栅格地图，该地图包括巷道顶部兜网和支护材料变形及漏顶、深井巷道两侧形变破坏及漏裂、巷道地面水洼及其他障碍物；
S22，根据步骤S1的可行驶域投影建立风险栅格地图，该地图包含了安全区域、部分安全区域、完全风险区域，安全区域为步骤S1的部分可行驶域，无人辅助运输车可以直接行驶于该区域，完全风险区域为不可行驶域，无人辅助运输车完全不可通行区域，部分安全区域为安全区域和不可行驶域之间的步骤S1分割出的可行驶域，在该区域行驶时存在一定风险，在自主避障规划时应尽量将车辆行驶路线规划于安全区域，不可将路线规划于安全风险区域，在一定条件下路线可以在部分安全区域，但应尽量远离完全风险区域，3种区域间建立规则如下：
S221，依据步骤S1分割获得的车辆可行驶域建立区域风险等级：不可行驶域本身为最高等级5；以不可行驶域所在栅格为基准点，对当前栅格的8个邻居栅格设置为风险等级4；以此类推直到风险等级1；其他不存在风险的栅格依然为0，即完全可通行。
S222，当栅格的风险等级存在冲突时，以最高的风险等级对该栅格进行评定；
S223，不可行驶域本身为绝对完全风险区域，车辆不可通行于此区域，安全区域、部分安全区域(风险等级1-4)均为可行驶域，其中风险等级为0的栅格为安全区域。
S23，截取适当长度地图，以无人辅助运输车为当前地图起点，在地图中选择可作为局部终点的栅格并记录为待选终点表，遵循规则如下：待选终点必须在该局部栅格地图的最后1列；该栅格不是障碍物栅格；该点的邻居栅格至少包含1个可通行栅格；该栅格不在障碍物包围内；
S24，使用针对深井受限巷道设计的改进粒子群路径规划方法进行自主避障路径规划；
S25，使用贪婪策略获取行驶路径最优的待选终点，令无人辅助运输车根据最优终点和最优路径行驶；
S26，重复步骤S21到步骤S25完成无人辅助运输车在深井受限巷道中的自主避障，直到无人辅助运输车到达任务目的地。
进一步地，步骤S11中，所述双目摄像头采集辅助运输车在煤矿巷道行驶视频图像，对煤矿巷道图像进行预处理的过程包括以下步骤：
S111，运用Hartley图像校正算法进行煤矿巷道图像校正处理；
S112，运用基于对数Log变换的图像增强算法对步骤S111获得的校正图像进行煤矿巷道图像增强处理；
S113，运用基于双边滤波的图像滤波算法对步骤S112获得的增强图像进行图像滤波处理。
进一步地，步骤S111中，所述运用Hartley图像校正算法进行煤矿巷道图像校正处理的过程包括以下步骤：
S1111，依据相机标定算法获取左右煤矿巷道图像的对极约束关系并找到左右煤矿巷道图像中对极点p和p′；
S1112，计算将p′映射到无穷远点(1,0,0)T的变换矩阵H′；
S1113，计算与变换矩阵H′匹配的摄影变换H，满足最小二乘约束，使得下式最小化：
式中，m1i＝(u1,v1,1)，m2i＝(u2,v2,1)，J表示代价函数误差，(u1,v1)和(u2,v2)是原始左右图像上的一对匹配点；
S1114，将步骤S1112的变换矩阵H′与步骤S1113的变换矩阵H分别作用于左右煤矿巷道图像，获得煤矿巷道校正图像。
进一步地，步骤S112中，所述运用基于对数Log变换的图像增强算法对步骤S111获得的校正图像进行煤矿巷道图像增强处理的过程包括以下步骤：
S1121，对步骤S111获得的煤矿巷道校正图像，采用下述公式，依据图像对数变换公式进行变换：
s＝c·logv+1(1+v·r)
式中，r为图像输入灰度级，r∈[0,1]，s为图像输出灰度级，c是一个常数，v为对数Log变换强度调节因子；
S1122，根据下述公式，对步骤S1121获得的对数变换煤矿巷道图像，进行归一化到0-255变换：
式中，s为未归一化输入灰度级，g为归一化输出灰度级，smax为图像的最大灰度级，smin为图像的最小灰度级。
进一步地，步骤S113中，所述运用基于双边滤波的图像滤波算法对步骤S112获得的增强图像进行图像滤波处理的过程包括以下步骤：
S1131，对步骤S112获得的煤矿巷道增强图像，构造n*n卷积模板进行卷积运算；
S1132，根据下述公式，依据空间域和范围域对步骤S1131中的卷积模板进行权重赋值：
式中，Gα为空间域权重，Gβ为范围域权重，(xi,yi)、(xj,yj)分别为步骤S131卷积模板中心像素坐标、卷积模板像素坐标，σ为平滑参数，gray()为图像像素灰度值，i为卷积模板中心像素，j为卷积模板像素；
S1133，依据步骤S1131的卷积模板和步骤S1132中的权重，采用下述公式进行左右煤矿巷道图像遍历计算，获取滤波后图像：
式中，S为步骤S1131中的卷积模板，Ij为原始输入图像，Ii为滤波后图像，wi为归一化因子。
进一步地，步骤S24中，所述使用针对深井受限巷道设计的改进粒子群路径规划方法包括以下步骤：
S241，对步骤S21建立的基于可行驶域检测信息得到的栅格地图和步骤S22中根据S1的可行驶域投影建立的风险栅格地图，进行栅格编码与解码；考虑深部受限空间下路径规划的特殊性，根据栅格地图特点，无碰撞局部最优路径的编码方式为：定义Xi是从煤矿机器人当前位置到指点目标点的一条无障碍路径，可以用组成该路径的所有栅格表示，即：
Xi＝{V1,V2,…,Vn}
式中，V1,V2,…,Vn表示路径Xi经过的所有栅格编号，且不存在风险等级为5的完全风险栅格，相互之间不重复。该栅格编号以栅格地图左上角第1个栅格为1，从左向右、从上向下进行不间断编号，直至到达右下角最后1个栅格，即：
式中，vn,1和vn,2表示当前栅格的横坐标和纵坐标，该坐标为栅格中心点的坐标而非栅格顶点坐标。d是栅格边长。Grow是当前栅格地图中1行栅格的个数。
当计算好路径点后，反向解算时可使用下述公式：
以此完成栅格的编码和解码。
S242，依据S1的可行驶域检测信息及S21建立的栅格地图，对障碍信息进行处理，并初始化粒子群种群；步骤如下：
S2421，初始建立行列数均为栅格总数量Voverall的方阵，建立栅格连通矩阵Mlink；
S24211，使用循环遍历计算当前栅格与其他所有栅格是否相邻，判断相邻栅格是否为障碍物；
S24212，若不相邻或相邻栅格为障碍物则置对应矩阵元素为0；若相邻且不为障碍物使用下式计算相邻栅格间距离：
式中，Vdn,i为栅格n和栅格i之间的栅格距离，v1和v2表示当前栅格的横坐标和纵坐标。
S2422，确定煤矿机器人起点VS及其最终目标点VE，通过步骤S241的编码方式将其置于初始路线X0的首尾节点；
S2423，从起始节点VS开始根据步骤1建立的连通矩阵Mlink随机选择下一个与起始点连通的栅格；
S2424，根据Mlink重复步骤S2423，直到完成一条连接VS和VE完整路径的编码组合，输出初始路径。
S243，依据S241的栅格解码/编码方式和S242的初始化种群，采用下述公式，进行粒子群粒子的速度和位置更新；
改进后的粒子速度为3组替换集。式中，φ1、φ2、φ3表示粒子速度的3个部分：自我速度项、认知项、社交项，后两项由认知因子c1、个体历史最优解和社交因子c2、全局最优解gbestt决定，具体如下：
Vn＝round(rand(0,1)×Grow)×Gcol+round(rand(0,1)×Gcol)+d
Ri＝Rmin+rand(0,1)×(Rmax-Rmin)
式中，自我速度项使用随机分布计算栅格坐标并使用步骤S241的编码方式计算对应栅格进行记录。ω是速度惯性权重。Gcol是当前栅格地图中1列栅格的个数。认知项使用则记录个体历史最优解中当前粒子i代表的一组路径Xi中相同位置的编号，并根据一定概率将部分编号置0。使用相同策略更新社交项，得到当前粒子i代表的一组路径Xi和全局最优解gbestt中相同位置的部分编号。Ri表示替换率。
位置更新项为当前粒子i所代表一组路径Xi的适应度值。当前粒子i代表的路径Xi根据粒子速度中3组替换集进行位置替换。f(·)是适应度函数，comb(·)为排列组合函数，replace(·)为替换函数，表示当前路径Xi和粒子速度之间进行替换。
S244，判断是否到达最大迭代次数，如若到达则输出当前终点对应的最优自主避障路径，否则返回S243继续迭代；
进一步地，步骤S243中，所述ω是速度惯性权重为：
为了平衡全局和局部搜索能力，令算法尽可能跳出局部最优，在粒子更新的公式自我速度项中引入了惯性权重ω，其取值范围为0到1之间。惯性权重越大，全局搜索能力越强，局部搜索能力弱；反之，则全局搜索能力变弱，局部搜索能力增强。本文对惯性权重进行如下设计：
式中，ωmin和ωmax为最小惯性权重和最大惯性权重。t是当前迭代次数；T是最大迭代次数。
进一步地，步骤S243中，所述f(·)是适应度函数为：
粒子群优化算法的收敛需要以适应度函数为判定标准，其寻优结果的适应度值越大表明该粒子表示的一组解更优。因此，针对S1建立的深井受限巷道可行驶域检测信息，以最小化总线路长度和最小化风险值为优化目标建立粒子解的适应度函数。其搜索空间中每个解与目标函数的关系表达式为：
式中，f表示适应度函数，表示当前粒子i代表的一组路径的总长度，/>表示该路径的风险程度，Vj为该路径起点VS到终点VE之间的第j个组成栅格，Vrj表示第j个栅格的风险度，为wR表示风险因子。适应度函数f的计算方法即路径解集Xi中每个栅格长度和风险值按风险度指标加权相加后取倒数。
本发明公开了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，涉及双目视觉和自动驾驶领域，其特征是在深度地下空间辅助运输车车头安装双目摄像头采集煤矿巷道视频图像，并传输至计算机，获取煤矿巷道三维点云可行驶域，为辅助运输车局部路径规划、安全避障提供巷道环境信息支持，依据以上可行驶域检测和评估信息建立风险地图，使用改进的粒子群优化算法实现无人辅助运输车在煤矿深部受限巷道中自主避障运行。具体步骤为：首先，依据Hartley图像校正算法、基于对数Log变换的图像增强算法、基于双边滤波的图像滤波算法进行煤矿巷道图像预处理；其次，基于自适应匹配代价步长的高斯空洞卷积SAD立体匹配算法，计算煤矿巷道深度图，获取巷道三维点云数据；然后，基于煤矿巷道可行驶域语义分割数据集，对经PASCAL VOC数据集预训练的deeplabv3+语义分割模型进行模型微调，获取煤矿巷道二维图像可行驶域语义分割模型，计算煤矿巷道二维图像可行驶域；其次，依据煤矿巷道三维点云和煤矿巷道可行驶域分割图像，进行二维图像到三维点云映射，获取煤矿巷道三维点云可行驶域；然后，依据以上可行驶域检测和安全评估信息投影建立二维栅格地图和风险地图，并截取适当长度用于当前辅助运输车自主避障规划；其次，以无人辅助运输车当前位置为起点，将可作为局部终点的栅格记录为待选终点表；然后，使用针对深井受限巷道设计的改进粒子群路径规划方法进行自主避障路径规划；再次，使用贪婪策略获取行驶路径最优的待选终点，令无人辅助运输车根据最优终点和最优路径行驶；最后，重复截取地图和自主避障规划的步骤，直到无人辅助运输车到达任务目的地。本发明的特点是：本发明采用基于双目视觉的煤矿深井受限巷道可行驶域检测方法和基于改进粒子群优化算法的无人辅助运输车自主避障方法，实现了依靠单一摄像头传感器设备，主动获取煤矿巷道图像，能够稳定、准确、快速计算深部地下空间辅助运输车三维空间可行驶域，并依据可行驶域检测和安全评估信息完成无人辅助运输车在深井受限巷道中的自主避障行驶，对煤矿辅助运输车自动驾驶技术落地具有重要意义。
本发明的有益效果是：
(1)本发明提出了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，能够有效利用双目相机采集的深井受限巷道信息和安全状态评估的可行驶域，结合针对路径规划改进的粒子群优化算法，进行自主避障，实现深井受限空间下煤矿辅助运输车无人驾驶。
(2)本发明提出一种基于对数Log变换的图像增强算法和基于双边滤波图像滤波算法的图像预处理方法，提升了深部地下空间煤矿巷道可见度，避免了粉尘、椒盐噪声点的影响。
(3)本发明提出了一种自适应聚合步长的高斯空洞卷积SAD立体匹配算法，有效提升了煤矿巷道左右图像立体匹配精度与效率，能够准确、快速获取煤矿巷道深度图像。
(4)本发明提出了一种由二维煤矿巷道可行驶域语义分割图像映射到煤矿巷道三维点云可行驶域的映射方法，能够直接从双目图像获取煤矿巷道三维点云可行驶域，无需雷达等价格昂贵设备，避免了图像与激光雷达标定等繁琐过程，提升了系统运行效率，同时获取的点云具备更加丰富的纹理信息。
(5)本发明提出了一种基于改进粒子群优化算法的无人辅助运输车自主避障方法，能够有效利用可行驶域检测信息，并快速、自主地进行无人辅助运输车自主避障，提升了车辆局部路径规划的安全性和智能性。
附图说明
图1为本发明实施例的深部受限空间无人运输设备可行驶域检测和自主避障方法的辅助运输车应用示意图。
图2为本发明实施例的用于深部地下受限空间无人运输设备的可行驶域检测和自主避障过程示例图。
图3为本发明实施例的深部受限空间无人运输设备可行驶域检测和自主避障方法流程图。
图4为本发明实施例的基于双目视觉的煤矿巷道可行驶域检测方法流程图。
图5为深度学习语义分割模型deeplabv3+的网络结构图。
图6为煤矿巷道左图。
图7为煤矿巷道深度图。
图8为煤矿巷道二维图像可行驶域分割图。
图9为煤矿巷道三维点云可行驶域检测图。
图10为依据可行驶域检测方法建立的煤矿深井受限巷道风险地图。
图1中序号含义为：1-煤矿辅助运输车车身；2-煤矿辅助运输车标准容器；3-煤矿辅助运输车防爆车灯；4-煤矿辅助运输车履带；5-防爆双目摄像头。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
图1为本发明深部受限空间无人运输设备可行驶域检测和自主避障方法的深部地下空间辅助运输车应用示意图，煤矿辅助运输车履带4安装在煤矿辅助运输车车身1的下方，携带煤矿辅助运输车车身移动。在煤矿辅助运输车车身1的前端安装有防爆双目摄像头5，用于采集煤矿巷道实时视频图像，并将煤矿巷道视频进行后台处理，获取煤矿巷道三维点云可行驶域，为辅助运输车路径规划、安全避障提供巷道环境信息。煤矿辅助运输车防爆车灯3安装在防爆双目摄像头5一侧，在照亮周围环境的同时还可以提高图像拍摄质量。
本发明提供了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，结合图2和图3，包含2个部分：基于双目视觉的煤矿巷道可行驶域检测和基于改进粒子群优化算法的自主避障。具体包括以下步骤：
步骤1、使用双目视觉进行环境感知，检测煤矿深井巷道的无人辅助运输车辆可行驶域。
示例性地，结合图4，步骤1中，包含煤矿巷道图像预处理、图像立体匹配获取深度图、二维图像可行驶域语义分割、三维点云可行驶域映射四大模块，具体包括以下步骤：
步骤1-1、双目摄像头采集辅助运输车在煤矿巷道行驶视频图像，对煤矿巷道图像进行预处理。
示例性地，步骤1-1中，对煤矿巷道图像进行预处理的过程包括以下分步骤：
步骤1-1-1、运用Hartley图像校正算法进行煤矿巷道图像校正处理。
步骤1-1-2、运用基于对数Log变换的图像增强算法对步骤1-1-1获得的校正图像进行图像增强处理。
步骤1-1-3、运用基于双边滤波的图像滤波算法对步骤1-1-2获得的增强图像进行图像滤波处理。
下面对步骤1-1的各个分步骤进行说明。
(一)煤矿巷道图像校正处理
步骤1-1-1中采用的Hartley图像校正算法具体包括：
步骤1-1-1-1、依据相机标定算法获取左右煤矿巷道图像的对极约束关系并找到左右煤矿巷道图像中对极点p和p′。
步骤1-1-1-2、计算将p′映射到无穷远点(1,0,0)T的变换矩阵H′。
步骤1-1-1-3、计算与变换矩阵H′匹配的摄影变换H，满足最小二乘约束，使得下式最小化，所用公式为：
式中，m1i＝(u1,v1,1)，m2i＝(u2,v2,1)，J表示代价函数误差，(u1,v1)和(u2,v2)是原始左右图像上的一对匹配点。
步骤1-1-1-4、将步骤1-1-1-2的变换矩阵H′与步骤1-1-1-3的变换矩阵H分别作用于左右煤矿巷道图像，获得煤矿巷道校正图像。
(二)图像增强处理
步骤1-1-2中的图像增强算法具体包括：
步骤1-1-2-1、对步骤1-1-1获得的煤矿巷道校正图像，依据图像对数Log变换公式进行变换，所用公式为：
s＝c·logv+1(1+v·r)
式中，r为图像输入灰度级，r∈[0,1]，s为图像输出灰度级，c是一个常数，v为对数Log变换强度调节因子。
步骤1-1-2-2、对步骤1-1-2-1获得的对数变换煤矿巷道图像，进行归一化到0-255变换，所用公式为：
式中，s为未归一化输入灰度级，g为归一化输出灰度级，smax为图像的最大灰度级，smin为图像的最小灰度级。
(三)图像滤波处理
步骤1-1-3中的图像滤波算法具体包括：
步骤1-1-3-1、对步骤1-1-2获得的煤矿巷道增强图像，构造n*n卷积模板进行卷积运算。
步骤1-1-3-2、依据空间域和范围域对步骤1-1-3-1中的卷积模板进行权重赋值，所用公式为：
式中，Gα为空间域权重，Gβ为范围域权重，(xi,yi)、(xj,yj)分别为步骤1-1-3-1卷积模板中心像素坐标、卷积模板像素坐标，σ为平滑参数，gray()为图像像素灰度值，i为卷积模板中心像素，j为卷积模板像素。
步骤1-1-3-3、依据步骤1-1-3-1的卷积模板和步骤1-1-3-2中的权重，进行左右煤矿巷道图像遍历计算，获取滤波后图像，所用公式为：
式中，S为步骤1-1-3-1中的卷积模板，Ij为原始输入图像，Ii为滤波后图像，wi为归一化因子。
步骤1-2、对步骤1获得的煤矿巷道预处理图像，设计针对煤矿巷道立体匹配任务的立体匹配算法，实现煤矿巷道深度图生成以及三维点云数据计算。
步骤1-2的煤矿巷道深度图生成以及三维点云计算过程具体包括以下分步骤：
步骤1-2-1、构造一个5*5规格的空洞卷积窗口，并依据二维高斯分布函数赋予窗口不同位置给予不同的权值，按照从左到右、从上到下的顺序分别为：3,0,21,0,3,0,0,0,0,0,21,0,1,0,21,0,0,0,0,0,3,0,21,0,3。
步骤1-2-2、用步骤1-2-1的卷积窗口覆盖煤矿巷道图像左视图，并选择出所有的覆盖区域内的像素点。
步骤1-2-3、用步骤1-2-1的卷积窗口覆盖煤矿巷道图像右视图，并选择出所有的覆盖区域内的像素点。
步骤1-2-4、求出步骤1-2-2和步骤1-2-3左右煤矿巷道视图卷积窗口覆盖区域内所有对应像素点的灰度值差值绝对值，并依据步骤1-2-1中不同窗口位置的权值，进行加权求和作为匹配代价，所用公式为：
式中p为煤矿巷道图像像素，d为煤矿巷道图像视差，IL(q)、IR(qd)分别是左右煤矿巷道图像上以q、qd为图像中心的窗口元素，wq为卷积窗口不同位置的权值，Np为5*5的高斯空洞卷积窗口。
步骤1-2-5、依据步骤1-2-4的匹配代价计算方法，进行匹配代价聚合，匹配代价聚合步长dstep依据煤矿巷道图像像素亮度进行自适应变化，所用公式为：
式中Dmax为煤矿巷道双目图像最大视差，Gmax、Gmin分别为煤矿巷道灰度图像的最大灰度值、最小灰度值，g为煤矿巷道灰度图像的灰度值。
步骤1-2-6、依据步骤1-2-5获得自适应匹配代价聚合步长dstep范围内的匹配代价，采用胜者为王WTA算法寻找匹配代价值最小的窗口，作为视差，循环计算，构成煤矿巷道视差图。
步骤1-2-7、依据步骤1-2-6获得的煤块巷道视差图，依据左右一致性约束准则进行视差图像优化，所用公式为：
式中，Dl为左视差图，Dr为右视差图，Dinvalid为遮挡点，视差不存在。
步骤1-2-8、依据步骤1-2-7获得的煤矿巷道视差优化图像，依据双目立体视觉原理进行视差图到三维数据计算，获取无人驾驶运输车前进方向煤矿巷道的三维点云世界坐标(Xw,Yw,Zw)，所用公式为：
式中，b为双目相机左右光心之间的距离，f为相机焦距，d为煤矿巷道图像视差，(x,y)为煤矿巷道图像像素坐标，(u,v)为图像坐标系原点在像素坐标系中的坐标，α、β分别为像素在图像平面x和y方向上的焦距。图6为煤矿巷道左图。图7为煤矿巷道深度图。
步骤1-3、对步骤1-1获得的煤矿巷道预处理图像，设计针对煤矿巷道语义分割任务的深度学习模型，实现煤矿巷道二维图像可行驶域语义分割。
步骤1-3的煤矿巷道二维图像可行驶域语义分割过程具体包括：
步骤1-3-1、制作煤矿巷道语义分割数据集，具体包括：
步骤1-3-1-1、使用labelme图像标注软件进行标注，启动labelme软件。
步骤1-3-1-2、打开煤矿巷道图像文件夹，并选中图像。
步骤1-3-1-3、只框选出煤矿巷道可行驶域，并命名drivable_area。
步骤1-3-1-4、重复步骤1-3-1-2、1-3-1-3，最终完成煤矿巷道二维图像可行驶域语义分割数据集制作。
步骤1-3-2、依据PASCAL VOC数据集进行语义分割模型deeplabv3+模型预训练。本实施例采用的PASCAL VOC数据集中包含20种类型，共11530张图像。
步骤1-3-3、依据步骤1-3-2获得的预训练语义分割模型，依据步骤1-3-1获得的煤矿巷道可行驶域语义分割数据集，进行deeplabv3+语义分割模型迁移学习，模型微调训练。图5为深度学习语义分割模型deeplabv3+的网络结构图。
步骤1-3-4、依据步骤1-3-3获得的经煤矿巷道数据集微调的深度学习模型，进行煤矿巷道二维图像实时可行驶域语义分割，获取二维图像可行驶域。图8为煤矿巷道二维图像可行驶域分割图。
步骤1-4、依据步骤1-2获得的煤矿巷道三维点云数据和步骤1-3获得的煤矿巷道二维可行驶域分割图像，设计二维图像与三维点云映射方法，实现煤矿巷道三维点云语义分割。
步骤1-4的煤矿巷道三维点云语义分割过程具体包括：
步骤1-4-1、依据步骤1-3-4获得的二维图像可行驶域，依据形态学开运算进行可行驶域图像处理，具体包括：
步骤1-4-1-1、依据步骤1-3-4获得的煤矿巷道可行驶域图像进行形态学腐蚀运算。
步骤1-4-1-2、依据步骤1-4-1-1获得的形态学腐蚀图像，进行形态学膨胀运算。
步骤1-4-2、依据无人驾驶运输车煤矿巷道左视图，进行步骤1-3-4获得的二维图像可行驶域到三维点云映射分割，获取煤矿巷道三维点云可行驶域，所用公式为：
式中，P(x,y,z)为步骤1-2-8获得煤矿巷道三维点云数据，I(x,y)为步骤1-4-1获得的形态学处理之后的煤矿巷道可行驶域图像，(x,y)为双目摄像头采集的煤矿巷道左视图像素坐标。图9为煤矿巷道三维点云可行驶域检测图。
步骤2、依据步骤1的可行驶域检测信息确定深井受限巷道可行驶域，使用一种基于改进粒子群优化算法的自主避障算法进行无人辅助运输车在深井受限巷道中的安全行驶。
示例性地，结合图10，步骤2中，包含建立环境地图、初始化基本数据、自主避障规划、输出最优路线四大模块，具体包括以下步骤：
步骤2-1、根据1的可行驶域检测信息建立无人辅助运输车辆的工作空间二维栅格地图。
深井受限巷道长期受到变形能、动能和掘进采煤应力的影响，部分路段呈全面收敛的态势，存在巷道顶部漏顶、兜网挂落、巷道两侧破坏漏裂、支护材料变形、巷道地面水洼较多等情况，该二维栅格地图依据步骤1的场景重构信息投影所得，包括巷道顶部兜网和支护材料变形及漏顶、深井巷道两侧形变破坏及漏裂、巷道地面水洼及其他障碍物。
步骤2-2、根据1的可行驶域投影建立风险栅格地图。
步骤1使用图像分割技术对深井受限巷道进行安全评估获得该地图包含了安全区域、部分安全区域、完全风险区域，安全区域为步骤1的部分可行驶域，无人辅助运输车可以直接行驶于该区域，完全风险区域为不可行驶域，无人辅助运输车完全不可通行区域，部分安全区域为安全区域和不可行驶域之间的步骤1分割出的可行驶域，在该区域行驶时存在一定风险，在自主避障规划时应尽量将车辆行驶路线规划于安全区域，不可将路线规划于安全风险区域，在一定条件下路线可以在部分安全区域，但应尽量远离完全风险区域，3种区域间建立规则如下：
规则2-2-1，依据步骤1分割获得的车辆可行驶域建立区域风险等级：不可行驶域本身为最高等级5；以不可行驶域所在栅格为基准点，对当前栅格的8个邻居栅格设置为风险等级4；以此类推直到风险等级1；其他不存在风险的栅格依然为0，即完全可通行。
规则2-2-2，当栅格的风险等级存在冲突时，以最高的风险等级对该栅格进行评定；
规则2-2-3，不可行驶域本身为绝对完全风险区域，车辆不可通行于此区域，安全区域、部分安全区域(风险等级1-4)均为可行驶域，其中风险等级为0的栅格为安全区域。图10为依据可行驶域检测方法建立的煤矿深井受限巷道风险地图。
步骤2-3、截取适当长度地图，依据以上基于可行驶域检测信息建立的地图建立临时待选终点表。
为了保证自主避障的实时性，需要不断截取适当长度地图进行规划，再车辆行驶过程中更新自主避障路径。截取地图后，以无人辅助运输车为当前地图起点，在地图中选择可作为局部终点的栅格并记录为待选终点表，遵循规则如下：
规则2-3-1，待选终点必须在该局部栅格地图的最后1列。
规则2-3-2，该栅格不是障碍物栅格。
规则2-3-3，该点的邻居栅格至少包含1个可通行栅格。
规则2-3-4，该栅格不在障碍物包围内。
步骤2-4，使用针对深井受限巷道设计的改进粒子群路径规划方法进行自主避障路径规划。
步骤2-4中的针对深井受限巷道设计的改进粒子群路径规划方法具体包括：
步骤2-4-1，对步骤2-1建立的基于可行驶域检测信息得到的栅格地图和步骤2-2中根据步骤1的可行驶域投影建立的风险栅格地图，进行栅格编码与解码；考虑深部受限空间下路径规划的特殊性，根据栅格地图特点，无碰撞局部最优路径的编码方式为：定义Xi是从煤矿机器人当前位置到指点目标点的一条无障碍路径，可以用组成该路径的所有栅格表示，即：
Xi＝{V1,V2,…,Vn}
式中，V1,V2,＝,Vn表示路径Xi经过的所有栅格编号，且不存在风险等级为5的完全风险栅格，相互之间不重复。该栅格编号以栅格地图左上角第1个栅格为1，从左向右、从上向下进行不间断编号，直至到达右下角最后1个栅格，即：
式中，vn,1和vn,2表示当前栅格的横坐标和纵坐标，该坐标为栅格中心点的坐标而非栅格顶点坐标。d是栅格边长。Grow是当前栅格地图中1行栅格的个数。
当计算好路径点后，反向解算时可使用下述公式：
以此完成栅格的编码和解码。
步骤2-4-2，依据步骤1的可行驶域检测信息及步骤2-1建立的栅格地图，对障碍信息进行处理，并初始化粒子群种群；步骤如下：
步骤2-4-2-1，初始建立行列数均为栅格总数量Voverall的方阵，建立栅格连通矩阵Mlink；
步骤2-4-2-1-1，使用循环遍历计算当前栅格与其他所有栅格是否相邻，判断相邻栅格是否为障碍物；
步骤2-4-2-1-2，若不相邻或相邻栅格为障碍物则置对应矩阵元素为0；若相邻且不为障碍物使用下式计算相邻栅格间距离：
式中，Vdn,i为栅格n和栅格i之间的栅格距离，v1和v2表示当前栅格的横坐标和纵坐标。
步骤2-4-2-2，确定煤矿机器人起点VS及其最终目标点VE，通过步骤2-4-1的编码方式将其置于初始路线X0的首尾节点；
步骤2-4-2-3，从起始节点VS开始根据步骤1建立的连通矩阵Mlink随机选择下一个与起始点连通的栅格；
步骤2-4-2-4，根据Mlink重复步骤2-4-2-3，直到完成一条连接VS和VE完整路径的编码组合，输出初始路径。
步骤2-4-3，依据步骤2-4-1的栅格解码/编码方式和步骤2-4-2的初始化种群，采用下述公式，进行粒子群粒子的速度和位置更新；
改进后的粒子速度为3组替换集。式中，φ1、φ2、φ3表示粒子速度的3个部分：自我速度项、认知项、社交项，后两项由认知因子c1、个体历史最优解和社交因子c2、全局最优解gbestt决定，具体如下：
Vn＝round(rand(0,1)×Grow)×Gcol+round(rand(0,1)×Gcol)+d
Ri＝Rmin+rand(0,1)×(Rmax-Rmin)
式中，自我速度项使用随机分布计算栅格坐标并使用步骤2-4-1的编码方式计算对应栅格进行记录。Gcol是当前栅格地图中1列栅格的个数。认知项使用则记录个体历史最优解中当前粒子i代表的一组路径Xi中相同位置的编号，并根据一定概率将部分编号置0。使用相同策略更新社交项，得到当前粒子i代表的一组路径Xi和全局最优解gbestt中相同位置的部分编号。
ω是速度惯性权重。为了平衡全局和局部搜索能力，令算法尽可能跳出局部最优，在粒子更新的公式自我速度项中引入了惯性权重ω，其取值范围为0到1之间。惯性权重越大，全局搜索能力越强，局部搜索能力弱；反之，则全局搜索能力变弱，局部搜索能力增强。本文对惯性权重进行如下设计：
式中，ωmin和ωmax为最小惯性权重和最大惯性权重。t是当前迭代次数；T是最大迭代次数。
Ri表示替换率。
位置更新项为当前粒子i所代表一组路径Xi的适应度值。当前粒子i代表的路径Xi根据粒子速度中3组替换集进行位置替换。comb(·)为排列组合函数。replace(·)为替换函数，表示当前路径Xi和粒子速度之间进行替换。f(·)是适应度函数，
粒子群优化算法的收敛需要以适应度函数为判定标准，其寻优结果的适应度值越大表明该粒子表示的一组解更优。因此，针对S1建立的深井受限巷道可行驶域检测信息，以最小化总线路长度和最小化风险值为优化目标建立粒子解的适应度函数。其搜索空间中每个解与目标函数的关系表达式为：
式中，f表示适应度函数，表示当前粒子i代表的一组路径的总长度，/>表示该路径的风险程度，Vj为该路径起点VS到终点VE之间的第j个组成栅格，Vrj表示第j个栅格的风险度，为wR表示风险因子。适应度函数f的计算方法即路径解集Xi中每个栅格长度和风险值按风险度指标加权相加后取倒数。
步骤2-4-4，判断是否到达最大迭代次数，如若到达则输出当前终点对应的最优自主避障路径，否则返回步骤2-4-3继续迭代。
步骤2-5，使用贪婪策略获取行驶路径最优的待选终点，令无人辅助运输车根据最优终点和最优路径行驶。
步骤2-6，重复步骤2-1到步骤2-5完成无人辅助运输车在深井受限巷道中的自主避障，直到无人辅助运输车到达任务目的地。
综上所述本发明提出了一种深部受限空间无人运输设备可行驶域检测和自主避障方法，能够有效利用双目相机采集的深井受限巷道信息和安全状态评估的可行驶域，结合针对路径规划改进的粒子群优化算法，进行自主避障，实现深井受限空间下煤矿辅助运输车无人驾驶；，基于双目视觉的深部受限空间可行驶域检测方法采用Hartley图像校正算法、对数Log变换的图像增强算法和基于双边滤波的图像滤波算法进行煤矿巷道图像预处理，解决了深部地下煤矿巷道环境昏暗、椒盐噪声大的问题；采用基于自适应步长的高斯空洞卷积的SAD立体匹配算法，提升左右煤矿巷道图像匹配精度与匹配效率；采用模型迁移的煤矿巷道可行驶域语义分割模型训练方法，解决了煤矿巷道数据集匮乏问题，提升语义分割模型鲁棒性与泛化性；采用二维图像与三维点云映射的煤矿巷道点云语义分割方法，解决了依据雷达设备的价格昂贵问题，提升了三维点云语义分割精度与效率，能够获取煤矿巷道丰富纹理信息；基于改进粒子群优化算法的无人辅助运输车自主避障方法能够有效利用可行驶域检测信息，并快速、自主地进行无人辅助运输车自主避障，提升了车辆局部路径规划的安全性和智能性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，所述方法包括以下步骤：
S1，使用双目视觉进行环境感知，检测煤矿深井巷道的无人辅助运输车辆可行驶域；具体包括：
S11，双目摄像头采集辅助运输车在煤矿巷道行驶视频图像，对煤矿巷道图像进行预处理；
S12，对步骤S11获得的煤矿巷道预处理图像，设计针对煤矿巷道立体匹配任务的立体匹配算法，实现煤矿巷道深度图生成以及三维点云数据计算；具体包括：
S121，构造一个5*5规格的空洞卷积窗口，并依据二维高斯分布函数赋予窗口不同位置给予不同的权值，按照从左到右、从上到下的顺序权值分别为：3，0，21，0，3，0，0，0，0，0，21，0，1，0，21，0，0，0，0，0，3，0，21，0，3；
S122，用步骤S121的卷积窗口覆盖煤矿巷道图像左视图，并选择出所有的覆盖区域内的像素点；
S123，用步骤S121的卷积窗口覆盖煤矿巷道图像右视图，并选择出所有覆盖区域内的像素点；
S124，求出步骤S122和步骤S123左右煤矿巷道视图卷积窗口覆盖区域内所有对应像素点的灰度值差值绝对值，并依据步骤S121中不同窗口位置的权值，进行加权求和作为匹配代价，所用公式为：
式中p为煤矿巷道图像像素，d为煤矿巷道图像视差，IL(q)、IR(qd)分别是左右煤矿巷道图像上以q、qd为图像中心的窗口元素，wq为卷积窗口不同位置的权值，Np为5*5的高斯空洞卷积窗口；
S125，依据步骤S124的匹配代价计算方法，进行匹配代价聚合，匹配代价聚合步长dstep依据煤矿巷道图像像素亮度进行自适应变化，所用公式为：
式中Dmax为煤矿巷道双目图像最大视差，Gmax、Gmin分别为煤矿巷道灰度图像的最大灰度值、最小灰度值，g为煤矿巷道灰度图像的灰度值；
S126，依据步骤S125获得自适应匹配代价聚合步长dstep范围内的匹配代价，采用胜者为王WTA算法寻找匹配代价值最小的窗口，作为视差，循环计算，获取煤矿巷道视差图；
S127，依据步骤S126获得的煤块巷道视差图，依据左右一致性约束准则进行视差图像优化，所用公式为：
式中，Dl为左视差图，Dr为右视差图，Dinvalid为遮挡点，视差不存在；
S128，依据步骤S127获得的煤矿巷道视差优化图像，依据双目立体视觉原理进行视差图到三维数据计算，采用下述公式获取无人驾驶运输车前进方向煤矿巷道的三维点云信息(Xw，Yw，Zw)：
式中，b为双目相机左右光心之间的距离，f为相机焦距，d(.)为煤矿巷道图像视差，(x，y)为煤矿巷道图像像素坐标，(u，v)为图像坐标系原点在像素坐标系中的坐标，α、β分别为像素在图像平面x和y方向上的焦距；
S13，对步骤S11获得的煤矿巷道预处理图像，设计针对煤矿巷道语义分割任务的深度学习模型，实现煤矿巷道二维图像可行驶域语义分割；具体包括：
S131，制作煤矿巷道语义分割数据集，只标注出巷道可行驶域，过程包括：
S1311，使用labelme图像标注软件进行标注，启动labelme软件；
S1312，打开煤矿巷道图像文件夹，并选中图像；
S1313，只框选出煤矿巷道可行驶域，并命名drivable_area；
S1314，重复步骤S1312和S1313，最终完成煤矿巷道二维图像可行驶域语义分割数据集制作；
S132，依据PASCAL VOC数据集进行语义分割模型deeplabv3+模型预训练；
S133，依据步骤S132获得的预训练deeplabv3+模型，依据步骤S131获得的煤矿巷道可行驶域语义分割数据集，进行预训练模型微调；
S134，依据步骤S133获得的经煤矿巷道数据集微调的深度学习模型，进行煤矿巷道二维图像实时可行驶域语义分割，获取二维图像可行驶域；
S14，依据步骤S12获得的煤矿巷道三维点云数据和步骤S13获得的煤矿巷道二维可行驶域分割图像，设计二维图像与三维点云映射方法，实现煤矿巷道三维点云可行驶域语义分割；具体包括：
S141，依据步骤S134获得的二维图像可行驶域，依据形态学开运算进行可行驶域图像处理；
S142，依据无人驾驶运输车煤矿巷道左视图，进行步骤S134获得的二维图像可行驶域到三维点云映射分割，获取煤矿巷道三维点云可行驶域，所用公式为：
式中，P(x，y，z)为步骤S128获得煤矿巷道三维点云数据，I(x，y)为步骤S141获得的形态学处理之后的煤矿巷道可行驶域图像，(x，y)为双目摄像头采集的煤矿巷道左视图像素坐标;
S2，依据步骤S1的可行驶域检测信息确定深井受限巷道可行驶域，使用一种基于改进粒子群优化算法的自主避障算法进行无人辅助运输车在深井受限巷道中的安全行驶；具体包括：
S21，根据步骤S1的可行驶域检测信息建立无人辅助运输车辆的工作空间二维栅格地图，截取适当长度的巷道栅格地图，该巷道栅格地图包括巷道顶部兜网和支护材料变形及漏顶、深井巷道两侧形变破坏及漏裂、巷道地面水洼及其他障碍物；
S22，根据步骤S1的可行驶域投影建立风险栅格地图，该风险栅格地图包含了安全区域、部分安全区域、完全风险区域；安全区域为步骤S1的部分可行驶域，无人辅助运输车允许直接行驶于该区域；完全风险区域为不可行驶域，无人辅助运输车完全不可通行区域；部分安全区域为安全区域和不可行驶域之间的步骤S1分割出的可行驶域，在部分安全区域行驶时存在风险；在自主避障规划时尽量将车辆行驶路线规划于安全区域，不可将路线规划于安全风险区域，在一定条件下路线允许包含部分安全区域，但尽量远离完全风险区域，3种区域间建立规则如下：
S221，依据步骤S1分割获得的车辆可行驶域建立区域风险等级：不可行驶域本身为最高等级5；以不可行驶域所在栅格为基准点，对当前栅格的8个邻居栅格设置为风险等级4；以此类推直到风险等级1；其他不存在风险的栅格依然为0，即完全可通行；当栅格的风险等级存在冲突时，以最高的风险等级对存在冲突的栅格进行评定；不可行驶域本身为绝对完全风险区域，车辆不可通行于此区域，安全区域、部分安全区域均为可行驶域，其中风险等级为0的栅格为安全区域；
S23，截取适当长度地图为局部栅格地图，以无人辅助运输车为当前地图起点，在局部 栅格地图中选择允许作为局部终点的栅格并记录为待选终点表，遵循规则如下：待选终点在局部栅格地图的最后1列；该栅格不是障碍物栅格；该点的邻居栅格至少包含1个可通行栅格；该栅格不在障碍物包围内；
S24，使用针对深井受限巷道设计的改进粒子群路径规划方法进行自主避障路径规划；
S25，使用贪婪策略获取行驶路径最优的待选终点，令无人辅助运输车根据最优终点和最优路径行驶；
S26，重复步骤S21到步骤S25完成无人辅助运输车在深井受限巷道中的自主避障，直到无人辅助运输车到达任务目的地。
2.根据权利要求1所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S11中，所述双目摄像头采集辅助运输车在煤矿巷道行驶视频图像，对煤矿巷道图像进行预处理的过程包括以下步骤：
S111，运用Hartley图像校正算法进行煤矿巷道图像校正处理；
S112，运用基于对数Log变换的图像增强算法对步骤S111获得的校正图像进行煤矿巷道图像增强处理；
S113，运用基于双边滤波的图像滤波算法对步骤S112获得的增强图像进行图像滤波处理。
3.根据权利要求2所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S111中，所述运用Hartley图像校正算法进行煤矿巷道图像校正处理的过程包括以下步骤：
S1111，依据相机标定算法获取左右煤矿巷道图像的对极约束关系并找到左右煤矿巷道图像中对极点p和p′；
S1112，计算将p′映射到无穷远点(1，0，0)T的变换矩阵H′；
S1113，计算与变换矩阵H′匹配的摄影变换H，满足最小二乘约束，使得下式最小化：
式中，m1i＝(u1，v1，1)，m2i＝(u2，v2，1)，J表示代价函数误差，(u1，v1)和(u2，v2)是原始左右图像上的一对匹配点；
S1114，将步骤S1112的变换矩阵H′与步骤S1113的变换矩阵H分别作用于左右煤矿巷道图像，获得煤矿巷道校正图像。
4.根据权利要求2所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S112中，所述运用基于对数Log变换的图像增强算法对步骤S111获得的校正图像进行煤矿巷道图像增强处理的过程包括以下步骤：
S1121，对步骤S111获得的煤矿巷道校正图像，采用下述公式，依据图像对数变换公式进行变换：
s＝c·logv+1(1+v·r)
式中，r为图像输入灰度级，r∈[0，1]，s为图像输出灰度级，c是一个常数，v为对数Log变换强度调节因子；
S1122，根据下述公式，对步骤S1121获得的对数变换煤矿巷道图像，进行归一化到0-255变换：
式中，s为未归一化输入灰度级，g为归一化输出灰度级，smax为图像的最大灰度级，smin为图像的最小灰度级。
5.根据权利要求2所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S113中，所述运用基于双边滤波的图像滤波算法对步骤S12获得的增强图像进行图像滤波处理的过程包括以下步骤：
S1131，对步骤S112获得的煤矿巷道增强图像，构造n*n卷积模板进行卷积运算；
S1132，根据下述公式，依据空间域和范围域对步骤S1131中的卷积模板进行权重赋值：
式中，Gα为空间域权重，Gβ为范围域权重，(xi，yi)、(xj，yj)分别为步骤S131卷积模板中心像素坐标、卷积模板像素坐标，σ为平滑参数，gray()为图像像素灰度值，i为卷积模板中心像素，j为卷积模板像素；
S1133，依据步骤S1131的卷积模板和步骤S1132中的权重，采用下述公式进行左右煤矿巷道图像遍历计算，获取滤波后图像：
式中，S为步骤S1131中的卷积模板，Ij为原始输入图像，Ii为滤波后图像，wi为归一化因子。
6.根据权利要求1所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S24中，所述使用针对深井受限巷道设计的改进粒子群路径规划方法包括以下步骤：
S241，对步骤S21建立的基于可行驶域检测得到的栅格地图和步骤S22中根据S1的可行驶域投影建立的风险栅格地图，进行栅格编码与解码；根据栅格地图特点，无碰撞局部最优路径的编码方式为：定义Xi是从煤矿机器人当前位置到指点目标点的一条无障碍路径，用组成该路径的所有栅格表示，即：
Xi＝{V1，V2，…，Vn}
式中，V1，V2，…，Vn表示路径Xi经过的所有栅格编号，且不存在风险等级为5的完全风险栅格，相互之间不重复；该栅格编号以栅格地图左上角第1个栅格为1，从左向右、从上向下进行不间断编号，直至到达右下角最后1个栅格，即：
式中，vn，1和vn，2表示当前栅格的横坐标和纵坐标，该坐标为栅格中心点的坐标而非栅格顶点坐标；ξ是栅格边长；Grow是当前栅格地图中1行栅格的个数；
当计算好路径点后，反向解算时使用下述公式：
以此完成栅格的编码和解码；
S242，依据步骤S1的可行驶域检测信息及步骤S21建立的栅格地图，对障碍信息进行处理，并初始化粒子群种群；步骤如下：
S2421，初始建立行列数均为栅格总数量Voverall的方阵，建立栅格连通矩阵Mlink；
S24211，使用循环遍历计算当前栅格与其他所有栅格是否相邻，判断相邻栅格是否为障碍物；
S24212，若不相邻或相邻栅格为障碍物则置对应矩阵元素为0；若相邻且不为障碍物使用下式计算相邻栅格间距离：
式中，Vdn，i为栅格n和栅格i之间的栅格距离，v1和v2表示当前栅格的横坐标和纵坐标；
S2422，确定煤矿机器人起点Vs及其最终目标点VE，通过步骤S241的编码方式将其置于初始路线X0的首尾节点；
S2423，从起始节点VS开始根据步骤1建立的连通矩阵Mlink随机选择下一个与起始点连通的栅格；
S2424，根据Mlink重复步骤S2423，直到完成一条连接VS和VE完整路径的编码组合，输出初始路径；
S243，依据S241的栅格解码/编码方式和S242的初始化种群，采用下述公式，进行粒子群粒子的速度和位置更新：
改进后的粒子速度为3组替换集；式中，φ1、φ2、φ3表示粒子速度的3个部分：自我速度项、认知项、社交项，后两项由认知因子c1、个体历史最优解和社交因子c2、全局最优解gbestt决定，具体如下：
Vn＝round(rand(0，1)×Grow)×Gcol+round(rand(0，1)×Gcol)+ξ
Ri＝Rmin+rand(0，1)×(Rmax-Rmin)
式中，c1表示认知因子，c2表示社交因子，gbestt表示全局最优解，表示个体历史最优解；自我速度项使用随机分布计算栅格坐标并使用步骤S241的编码方式计算对应栅格进行记录，ω是速度惯性权重，Ccol是当前栅格地图中1列栅格的个数；认知项使用则记录个体历史最优解/>中当前粒子i代表的一组路径Xi中相同位置的编号，并根据一定概率将部分编号置0；使用相同策略更新社交项，得到当前粒子i代表的一组路径Xi和全局最优解gbestt中相同位置的部分编号；Ri表示替换率；
位置更新项为当前粒子i所代表一组路径Xi的适应度值；当前粒子i代表的路径Xi根据粒子速度中3组替换集进行位置替换；f(·)是适应度函数，comb(·)为排列组合函数，replace(·)为替换函数，表示当前路径Xi和粒子速度之间进行替换；
S244，判断是否到达最大迭代次数，如若到达则输出当前终点对应的最优自主避障路径，否则返回S243继续迭代。
7.根据权利要求6所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S243中，所述速度惯性权重ω为：
式中，ωmin和ωmax为最小惯性权重和最大惯性权重;t是当前迭代次数；T是最大迭代次数。
8.根据权利要求6所述的深部受限空间无人运输设备可行驶域检测和自主避障方法，其特征在于，步骤S243中，针对S1建立的深井受限巷道可行驶域检测信息，以最小化总线路长度和最小化风险值为优化目标建立粒子解的适应度函数，其搜索空间中每个解与目标函数的关系表达式为：
式中，f表示适应度函数，表示当前粒子i代表的一组路径的总长度，表示该路径的风险程度，Vj为该路径起点VS到终点VE之间的第j个组成栅格，Vrj表示第j个栅格的风险度，为wR表示风险因子；适应度函数f的计算方法即路径解集Xi中每个栅格长度和风险值按风险度指标加权相加后取倒数。
CN202111641284.9A 2021-12-29 2021-12-29 深部受限空间无人运输设备可行驶域检测和自主避障方法 Active CN115100622B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111641284.9A CN115100622B (zh) 2021-12-29 2021-12-29 深部受限空间无人运输设备可行驶域检测和自主避障方法
PCT/CN2022/077433 WO2023123642A1 (zh) 2021-12-29 2022-02-23 深部受限空间无人运输设备可行驶域检测和自主避障方法
AU2022325172A AU2022325172B2 (en) 2021-12-29 2022-02-23 Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces
US18/022,645 US11880208B2 (en) 2021-12-29 2022-02-23 Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111641284.9A CN115100622B (zh) 2021-12-29 2021-12-29 深部受限空间无人运输设备可行驶域检测和自主避障方法

Publications (2)

Publication Number Publication Date
CN115100622A CN115100622A (zh) 2022-09-23
CN115100622B true CN115100622B (zh) 2023-09-22

Family

ID=83287478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111641284.9A Active CN115100622B (zh) 2021-12-29 2021-12-29 深部受限空间无人运输设备可行驶域检测和自主避障方法

Country Status (4)

Country Link
US (1) US11880208B2 (zh)
CN (1) CN115100622B (zh)
AU (1) AU2022325172B2 (zh)
WO (1) WO2023123642A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116518984B (zh) * 2023-07-05 2023-09-08 中国矿业大学 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN116600308B (zh) * 2023-07-13 2023-10-03 北京理工大学 一种应用于地下空间的无线通信传输与空间建图方法
CN117130368B (zh) * 2023-09-20 2024-09-27 未岚大陆(北京)科技有限公司 控制方法和割草机器人
CN116993246B (zh) * 2023-09-26 2023-12-05 上海伯镭智能科技有限公司 一种无人驾驶配送车智慧管理方法及系统
CN117274939B (zh) * 2023-10-08 2024-05-28 北京路凯智行科技有限公司 安全区域检测方法和安全区域检测装置
CN117093009B (zh) * 2023-10-19 2024-02-09 湖南睿图智能科技有限公司 一种基于机器视觉的物流agv小车导航控制方法及系统
CN117130263B (zh) * 2023-10-26 2024-01-16 博创联动科技股份有限公司 一种基于车联网大数据的整车智能控制方法及系统
CN117367434B (zh) * 2023-12-04 2024-02-23 上海伯镭智能科技有限公司 一种矿区无人矿车智能定位方法
CN117437382B (zh) * 2023-12-19 2024-03-19 成都电科星拓科技有限公司 一种数据中心部件的更新方法及系统
CN117558147B (zh) * 2024-01-11 2024-03-26 上海伯镭智能科技有限公司 一种矿区无人驾驶车辆路权分配远程管控方法
CN117576107B (zh) * 2024-01-17 2024-03-29 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法
CN117762150B (zh) * 2024-02-22 2024-04-26 北京航空航天大学 多智能体分布式区域覆盖控制方法、智能体和程序产品
CN118243127B (zh) * 2024-03-22 2024-09-13 天水师范学院 一种轮式植保机器人的路径规划方法
CN117985078B (zh) * 2024-04-02 2024-06-11 湘潭东升电气制造有限公司 一种井下矿用有轨机车无人驾驶系统
CN118038280B (zh) * 2024-04-15 2024-06-14 山东亿昌装配式建筑科技有限公司 基于航拍影像的建筑施工进度监测及预警方法
CN118171782B (zh) * 2024-05-13 2024-07-16 成都理工大学工程技术学院 一种汽车噪声预测方法及系统
CN118314489B (zh) * 2024-06-11 2024-09-17 国网安徽省电力有限公司超高压分公司 一种用于特高压变电站故障预警的图像预处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205983220U (zh) * 2016-09-09 2017-02-22 智能侠（北京）科技有限公司 基于空间视觉传感器的移动装备的定位与导航装置
CN109753081A (zh) * 2018-12-14 2019-05-14 中国矿业大学 一种基于机器视觉的巷道巡检无人机系统及导航方法
CN110286673A (zh) * 2019-05-23 2019-09-27 北京京东尚科信息技术有限公司 仓储任务处理方法、装置、仓储系统以及存储介质
CN110488805A (zh) * 2018-05-15 2019-11-22 武汉小狮科技有限公司 一种基于3d立体视觉的无人车避障系统及方法
CN110945379A (zh) * 2017-07-25 2020-03-31 伟摩有限责任公司 从地图数据、激光和相机确定偏航误差
CN111338361A (zh) * 2020-05-22 2020-06-26 浙江远传信息技术股份有限公司 低速无人车避障方法、装置、设备及介质
CN112977443A (zh) * 2021-03-23 2021-06-18 中国矿业大学 一种井下无人驾驶无轨胶轮车的路径规划方法
CN113050685A (zh) * 2021-03-18 2021-06-29 中煤科工集团上海有限公司 一种煤矿井下无人机自主巡检的方法
CN113255520A (zh) * 2021-05-25 2021-08-13 华中科技大学 基于双目视觉和深度学习的车辆避障方法与电子设备
CN113819917A (zh) * 2021-09-16 2021-12-21 广西综合交通大数据研究院 自动驾驶路径规划方法、装置、设备及存储介质
CN115344052A (zh) * 2022-10-17 2022-11-15 江苏天一航空工业股份有限公司 基于改进的群优化算法的车辆路径控制方法及控制系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
US10809361B2 (en) * 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
CN107817798A (zh) 2017-10-30 2018-03-20 洛阳中科龙网创新科技有限公司 一种基于深度学习系统的农用机械避障方法
EP3591490B1 (en) * 2017-12-15 2021-12-01 Autel Robotics Co., Ltd. Obstacle avoidance method and device, and unmanned aerial vehicle
CN110058587B (zh) * 2019-03-18 2022-09-13 西安科技大学 基于slam技术的煤矿综采面巡视无人车以及自主巡视的方法
US11906660B2 (en) 2019-08-30 2024-02-20 Nvidia Corporation Object detection and classification using LiDAR range images for autonomous machine applications
CN111062900B (zh) * 2019-11-21 2021-02-12 西北工业大学 一种基于置信度融合的双目视差图增强方法
CN112785643A (zh) 2021-02-02 2021-05-11 武汉科技大学 一种基于机器人平台的室内墙角二维语义地图构建方法
CN113126629B (zh) * 2021-04-29 2022-11-29 清华大学深圳国际研究生院 一种机器人主动搜索目标的方法及智能机器人
CN113047909B (zh) * 2021-05-05 2021-12-17 中国矿业大学 一种井下巷道与硐室全方位巡检轮式机器人及其控制方法
CN113298727B (zh) * 2021-05-17 2023-08-18 中国矿业大学 一种基于多标识线的井下辅助运输车辆导航系统与方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205983220U (zh) * 2016-09-09 2017-02-22 智能侠（北京）科技有限公司 基于空间视觉传感器的移动装备的定位与导航装置
CN110945379A (zh) * 2017-07-25 2020-03-31 伟摩有限责任公司 从地图数据、激光和相机确定偏航误差
CN110488805A (zh) * 2018-05-15 2019-11-22 武汉小狮科技有限公司 一种基于3d立体视觉的无人车避障系统及方法
CN109753081A (zh) * 2018-12-14 2019-05-14 中国矿业大学 一种基于机器视觉的巷道巡检无人机系统及导航方法
CN110286673A (zh) * 2019-05-23 2019-09-27 北京京东尚科信息技术有限公司 仓储任务处理方法、装置、仓储系统以及存储介质
CN111338361A (zh) * 2020-05-22 2020-06-26 浙江远传信息技术股份有限公司 低速无人车避障方法、装置、设备及介质
CN113050685A (zh) * 2021-03-18 2021-06-29 中煤科工集团上海有限公司 一种煤矿井下无人机自主巡检的方法
CN112977443A (zh) * 2021-03-23 2021-06-18 中国矿业大学 一种井下无人驾驶无轨胶轮车的路径规划方法
CN113255520A (zh) * 2021-05-25 2021-08-13 华中科技大学 基于双目视觉和深度学习的车辆避障方法与电子设备
CN113819917A (zh) * 2021-09-16 2021-12-21 广西综合交通大数据研究院 自动驾驶路径规划方法、装置、设备及存储介质
CN115344052A (zh) * 2022-10-17 2022-11-15 江苏天一航空工业股份有限公司 基于改进的群优化算法的车辆路径控制方法及控制系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Path Planning and Obstacle-Avoidance for Soccer Robot Based on Artificial Potential Field and Genetic Algorithm;X Xu等;《Proceedings of the 6th World Congress on Intelligent Control and Automation》;3494-3498 *
基于双目视觉的掘进机器人定位定向方法研究;薛旭升等;《西安科技大学学报》;781-789 *
智能车辆自主导航中避障路径规划与跟踪控制研究;汪明磊;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;C035-11 *
煤矿机器人环境感知与路径规划关键技术;杨春雨等;《煤炭学报》;2844-2872 *

Also Published As

Publication number Publication date
WO2023123642A1 (zh) 2023-07-06
US11880208B2 (en) 2024-01-23
AU2022325172B2 (en) 2023-10-05
CN115100622A (zh) 2022-09-23
US20230305572A1 (en) 2023-09-28
AU2022325172A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN115100622B (zh) 深部受限空间无人运输设备可行驶域检测和自主避障方法
Barnes et al. Find your own way: Weakly-supervised segmentation of path proposals for urban autonomy
Leung et al. Hybrid terrain traversability analysis in off-road environments
Protasov et al. Cnn-based omnidirectional object detection for hermesbot autonomous delivery robot with preliminary frame classification
Liu et al. Dloam: Real-time and robust lidar slam system based on cnn in dynamic urban environments
Šalanský et al. Pose consistency kkt-loss for weakly supervised learning of robot-terrain interaction model
Zhou et al. An autonomous navigation approach for unmanned vehicle in outdoor unstructured terrain with dynamic and negative obstacles
Zhou et al. 3D traversability map generation for mobile robots based on point cloud
Yin et al. General Place Recognition Survey: Towards Real-World Autonomy
Chen et al. Real-time active detection of targets and path planning using UAVs
CN115454096A (zh) 一种基于课程强化学习的机器人策略训练系统及训练方法
Yang et al. Real-time globally consistent 3D grid mapping
RU2803671C1 (ru) Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах
Zhou et al. Vision SLAM algorithm for wheeled robots integrating multiple sensors
Sun et al. A vision-based perception framework for outdoor navigation tasks applicable to legged robots
Lebakula et al. Shape estimation of negative obstacles for autonomous navigation
Momma et al. P 2 Net: A Post-Processing Network for Refining Semantic Segmentation of LiDAR Point Cloud based on Consistency of Consecutive Frames
Wang et al. Motion planning for off‐road autonomous driving based on human‐like cognition and weight adaptation
Zhang et al. Terrain Traversability Classification Based on SVDD
Zhu et al. Visual path tracking control for park scene
Yi et al. Lidar Odometry and Mapping Optimized by the Theory of Functional Systems in the Parking Lot
Dang Resilient Large-Scale Informative Path Planning for Autonomous Robotic Exploration
Sabbatelli 3D Vision-based Perception and Modelling techniques for Intelligent Ground Vehicles
Peltola Terrain segmentation with neural networks for off-road applications
Lebakula 3D shape estimation of negative obstacles using LiDAR point cloud data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant