CN116311121A - 一种无人矿卡定位方法、装置、设备及介质 - Google Patents
一种无人矿卡定位方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116311121A CN116311121A CN202310183790.0A CN202310183790A CN116311121A CN 116311121 A CN116311121 A CN 116311121A CN 202310183790 A CN202310183790 A CN 202310183790A CN 116311121 A CN116311121 A CN 116311121A
- Authority
- CN
- China
- Prior art keywords
- image
- feature points
- neural network
- superpoint
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005065 mining Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 58
- 229920001651 Cyanoacrylate Polymers 0.000 claims abstract description 12
- 239000004830 Super Glue Substances 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 66
- 238000005457 optimization Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 239000003245 coal Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000010883 coal ash Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人工智能技术领域，具体涉及一种无人矿卡定位方法、装置、设备及介质，本发明无人矿卡定位方法，首先获取矿卡行驶过程中前方道路环境预设距离范围内的多张前方道路图像和红外图像；在得到前方道路图像后使用深度学习算法SuperPoint提取每张图片的特征关键点，再使用SuperGlue对相邻图片的关键点进行匹配，从而得到对车载相机进行位姿估计的条件，利用红外感知对实时地图的阴影误判进行修正，最终得到矿卡的实时位置变化，能够修正GNSS定位，并在山区信号较差的地方作为代替的定位手段。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种无人矿卡定位方法、装置、设备及介质。
背景技术
煤矿卡车无人驾驶是指无人驾驶矿卡将煤层上面的砂岩运输至排土场排弃，以及在原煤露出后使用矿卡将其运输到破碎站破碎、分离。在该过程中遵循车辆的非完整性约束，规划出一条从起始位置状态到目标位置状态无碰撞的最优路径或次优路径。环境感知、定位导航和路径规划是实现无人矿卡的几个关键技术。而矿区往往存在环境复杂、道路条件不好、煤灰遍布道路导致对阴影和道路的难以分辨的问题，这就需要无人矿卡具备良好的环境感知能力。随着开采进度的变化，无人矿卡所处的道路、作业面都处在变化当中，同时可能存在碎石滚落，使得某一区域发生堵塞不再具备通行条件，或者山区信号过弱导致GNSS无法使用，就需要使用定位导航进行实时的地图更新以及能得到较好策略的路径规划。
常见的无人矿卡感知有激光、超声波、红外、视觉图像等方式。针对不同的环境，这些方式各有优缺点：用可见光相机所得到的视觉图像适合近距离测量，但是受恶劣天气，粉尘影响都较大，优势是能够准确提取目标范围以及轮廓，与图像算法配合可以较好地识别障碍物和构建实时3D地图；激光雷达分辨率高，抗干扰能力强，但波束窄，容易损失目标轮廓等信息；超声波雷达成本相对较低，但分辨能力弱，检测精度低，测距过近；红外传感器能很好地应对夜间和恶劣天气条件，但测距和测速精度较低。感知结果被用于作为无人矿卡的定位导航的分析基准。
常见的定位导航主要是惯性导航定位、GNSS差分定位和即使定位和地图构建技术(SLAM)。惯性导航定位依赖价格较高的IMU组件，且使用越久则误差越大。GNSS通过卫星定位，具有全方位、全天候的特点，抗干扰能力强，目前问题在于定位精度还不完全胜任。SLAM技术主要有激光SLAM和视觉SLAM，也是目前的主流定位技术，可融合多种传感器、环境适应力强、定位精度高，应用前景广泛。
目前常用的视觉SLAM算法难以运用于路况特征较为单一(比如矿区道路基本布满煤灰)和光照情况变化较大的情况(非城区或室内)。
发明内容
本发明提出了一种无人矿卡定位方法、装置、设备及介质，配以红外检测系统，作为GNSS定位的辅助，从而解决无人矿卡的在弱信号地区定位不准确的问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供了一种无人矿卡定位方法，包括如下步骤：
获取无人矿卡行驶过程中的前方道路图像和红外图像；
使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点；
根据所述特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
将所述前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹。
进一步的，所述使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点的步骤中，所述SuperPoint深度神经网络的训练方式如下：
使用MagicPoint网络预先构建人工合成图像样本库；将人工合成图像样本库中的人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练；
获取多张预先拍摄的目标道路图像，在每张所述目标道路图像上标注出特征点，对所述目标道路图像使用单应性变换，使所述目标道路图像呈现不同角度；使用MagicPoint网络针对所述目标道路图像以及标注出的特征点进行训练，得到MagicPoint网络的检测子，将所述MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子；
其中，所述SuperPoint深度神经网络包括编码器和解码器；编码器用于使目标道路图像得图像空间尺度减小而通道数增加；解码器分为两部分，第一个解码器输出目标道路图像中每个像素点为特征点的概率；第二个解码器对特征点使用双线次插值算法得到特征点的描述子，并使用L2范式使描述子统一长度；
根据两个所述解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化结束后，得到训练好的SuperPoint深度神经网络。
进一步的，两个解码器得到的结果误差按照下式计算：
其中，
是判断是否为特征点的误差；/>
是描述子误差；λ是用来权重优化对于关键特征点的观察力和对于特征点的描述力；X为目标道路图像中提取出的特征点的真实值；X′为经过单应性变换的目标道路图像中特征点的真实值；D为目标道路图像中提取的描述子的值；Y为相邻目标道路图像中提取出的特征点的真实值；Y′为经过单应性变换的相邻目标道路图像中特征点的真实值；S是相邻两张目标道路图像的相关性。
进一步的，所述使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配的步骤，具体包括：
用所述SuperPoint深度神经网络检测出两幅相邻前方道路图像的特征点位置p以及描述子d，基于所述特征点位置p以及描述子d生成相关向量；
使用多路复用图神经网络连接同一前方道路图像上两个节点的边为内边，集合记为εself；使用多路复用图神经网络连接不同图像的特征点的边，集合记为εcross；基于所述εself和εcrosS的并集ε生成所有特征点在ε上的聚合结果mε→i；其中，所述多路复用图神经网络的节点由两幅前方道路图像的特征点共同组成；
基于所述聚合结果mε→i更新每个特征点及其对应的描述子的特征匹配向量；
基于前方道路图像A和前方道路图像B的特征匹配向量，利用预设的约束关系得到匹配特征点分配矩阵；其中，前方道路图像A和前方道路图像B相邻。
进一步的，所述基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹的步骤，具体包括：
基于所述匹配特征点的坐标，使用5点法算出相机的位姿变换；其中，所述位姿变换包括相机的旋转角度Ω和位移距离t，用本征矩阵E表示；
在得到本征矩阵E后，利用奇异值分解的方法计算出旋转角度Ω和位移距离t，得到车辆的移动轨迹。
进一步的，在基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹的步骤之后，还包括步骤：
使用卡尔曼滤波器融合GNSS定位结果和所述无人矿卡的移动轨迹，得到融合结果；
根据所述融合结果确定无人矿卡的位置定位。
第二方面，本发明提供了一种无人矿卡定位装置，包括：
图像获取模块，用于获取无人矿卡行驶过程中的前方道路图像和红外图像；
特征提取模块，用于使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点；
特征匹配模块，用于根据所述特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
比对模块，用于将所述前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
定位模块，用于基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹。
进一步的，特征提取模块中，SuperPoint深度神经网络的训练方式如下：
使用MagicPoint网络预先构建人工合成图像样本库；将人工合成图像样本库中的人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练；
获取多张预先拍摄的目标道路图像，在每张所述目标道路图像上标注出特征点，对所述目标道路图像使用单应性变换，使所述目标道路图像呈现不同角度；使用MagicPoint网络针对所述目标道路图像以及标注出的特征点进行训练，得到MagicPoint网络的检测子，将所述MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子；
其中，所述SuperPoint深度神经网络包括编码器和解码器；编码器用于使目标道路图像得图像空间尺度减小而通道数增加；解码器分为两部分，第一个解码器输出目标道路图像中每个像素点为特征点的概率；第二个解码器对特征点使用双线次插值算法得到特征点的描述子，并使用L2范式使描述子统一长度；
根据两个所述解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化结束后，得到训练好的SuperPoint深度神经网络。
第三方面，本发明提供了一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现上述的无人矿卡定位方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现上述的无人矿卡定位方法。
与现有技术相比，本发明的有益效果如下：
本发明提供的无人矿卡定位方法，首先获取矿卡行驶过程中前方道路环境预设距离范围内的多张前方道路图像和红外图像；在得到前方道路图像后使用深度学习算法SuperPoint提取每张图片的特征关键点，再使用SuperGlue对相邻图片的关键点进行匹配，从而得到对车载相机进行位姿估计的条件，利用红外感知对实时地图的阴影误判进行修正，最终得到矿卡的实时位置变化，能够修正GNSS定位，并在山区信号较差的地方作为代替的定位手段。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一种无人矿卡定位方法的流程示例图；
图2为本发明实施例中SuperPoint深度神经网络模型示意图；
图3为本发明实施例一种无人矿卡定位装置的结构框图；
图4为本发明实施例一种电子设备的结构框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
实施例1
如图1所示，本发明提供了一种无人矿卡定位方法，包括如下步骤：
步骤S1、获取无人矿卡行驶过程中的前方道路图像和红外图像。
具体的，可以通过车载单目摄像头获取无人矿卡前方道路环境中，预设距离范围内的多张连续性的前方道路图像；通过车载红外传感器或红外相机获取前方道路环境中，预设距离范围内的多张连续性的红外图像。
步骤S2、使用预训练好的SuperPoint深度神经网络提取前方道路图像中的特征点。
具体的，本方案中SuperPoint深度神经网络的训练方式如下：
1)使用MagicPoint网络预先构建人工合成图像样本库；其中，人工合成图像样本库中包括人工合成图像样本，例如一些不同的形状、图形等，具体来说，可以是三角形、圆形、棱锥等形状；将人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练，从而使SuperPoint深度神经网络能够做出一些基本的特征点检测；本方案中，MagicPoint网络为全卷积神经网络。
2)获取多张预先拍摄的目标道路图像，在每张目标道路图像上分别标注出一些特征点，对标注出特征点的目标道路图像使用单应性变换，使这些目标道路图像呈现不同角度；然后再次使用MagicPoint网络针对这些目标道路图像以及标注出的特征点进行训练，整个步骤2)将重复多次，最终得到MagicPoint网络的检测子，将MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子。
3)上述的SuperPoint深度神经网络包括编码器和解码器；
编码器用于将目标道路图像的图像空间尺寸从H*W变成Hc*Wc，使得图像空间尺度减小而通道数增加；具体的，可以取H/8＝Hc以及W/8＝Wc；H为高，W为宽。
解码器分为两部分：
第一个解码器用于输出目标道路图像的每个像素点为特征点的概率；具体来说，是通过两次卷积，使目标道路图像最终拥有65个通道长度(宽和高分别为Wc和Hc)，得到不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道；然后，将不含特征点的1个通道去除(此时通道为64)；使用Softmax函数将每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率；将全部64个图的每个像素点都取出来拼成8*8的图，并且合并在一起使图片最终大小为H*W。
第二个解码器用于得到特征点的描述子；具体的，是通过两次卷积，得到最终图像的结构为Wc*Hc*256；对特征点使用双线次插值算法得到描述子，使用L2范式使描述子统一长度。
4)根据两个解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化完成后得到训练好的SuperPoint深度神经网络。
具体的，两个解码器得到的结果误差按照下式计算：
其中，
是判断是否为特征点的误差，是一个交叉熵损失函数；/>
是描述子误差，由两张经过单应性变换的目标道路图像所得到的结果与实际描述子相比得到，λ是用来权重优化对于关键特征点的观察力和对于特征点的描述力；X为目标道路图像中提取出的特征点的真实值；X′为经过单应性变换的目标道路图像中特征点的真实值；D为目标道路图像中提取的描述子的值；Y为相邻目标道路图像中提取出的特征点的真实值；Y′为经过单应性变换的相邻目标道路图像中特征点的真实值；S是相邻两张目标道路图像的相关性。
步骤S3、根据特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点，匹配特征点用于车辆的位置估计。
具体的，用SuperPoint深度神经网络检测出两幅相邻前方道路图像的特征点p以及描述子d，基于特征点p以及描述子d生成单一特征点的特征匹配向量x；
x＝d+MLP(p)
其中，MLP为多层感知编码器，可以将特征点p升维成高维向量，然后再和描述子d相加。
使用SuperPoint深度神经网络中包含的多路复用图神经网络连接同一前方道路图像上两个节点的边为内边，集合记为εself；使用多路复用图神经网络连接不同图像的特征点的边，集合记为εcross；基于εself和εcross的并集ε，生成所有特征点在ε上的聚合结果mε→i；其中，多路复用图神经网络的节点由两幅前方道路图像的特征点共同组成；
基于聚合结果mε→i更新每个特征点及其对应描述子的特征匹配向量，作为表示向量，如下式：
其中，
表示前方道路图像A中的特征i在第l层的表现形式；[·||·]表示为串联操作，从l为1层开始，奇数时ε＝εself，偶数时ε＝εcross；模拟人类浏览寻找特征的过程，沿着前方道路图像内和前方道路图像间交替聚合更新。
例如，当前方道路图像A的特征i经过多路复用图神经网络后，根据以下公式得到特征匹配向量fi A：
其中，W和b分别为权重和偏差；
根据同样的方法得到前方道路图像B的特征匹配向量为
基于前方道路图像A和前方道路图像B的特征匹配向量，利用预设的约束关系得到匹配特征点分配矩阵；其中，前方道路图像A和前方道路图像B相邻。
约束包括：一副前方道路图像中的特征点最多和另一幅前方道路图像的一个特征点产生对应关系；当某些特征点因为客观因素无法找到对应匹配的特征点，将其忽略；通过Sinkhorn算法利用fi A和
得到能够找到对应匹配的特征点的对应特征点分配矩阵。
步骤S4、将前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除。
具体的，在比较前方道路图像的灰度图和红外图像的灰度图时，通过人工经验对差异的程度预设置标准，将超过标准的位置认作为阴影部分，阴影部分上可能会存在一些匹配特征点，将这些匹配特征点删除。
步骤S5、基于去除阴影部分后剩余的匹配特征点，确定无人矿卡的移动轨迹。
具体的，基于5个或者5个以上的匹配特征点的坐标，使用5点法算出相机的位姿变换；作为示例，一对匹配特征点的坐标形式为(xi，yi)(x′i，，y′i)；
其中，位姿变换包括相机的旋转角度Ω和位移距离t，用本征矩阵E表示；在得到本征矩阵E后，利用奇异值分解的方法计算出旋转角度Ω和位移距离t，得到车辆的移动轨迹。
具体的，根据对极约束可得关系：
其中，
包含了5个对应匹配特征点的坐标信息，本征矩阵E是一个3×3的矩阵。
得到本征矩阵E后，利用奇异值分解的方法计算出旋转角度Ω和位移距离t，具体如下：
E＝ULVT
t＝ULWVT
Ω＝ULW-1VT
其中，U是m×m阶酉矩阵；VT是V的共轭转置，是n×n阶酉矩阵；L是半正定m×n阶对角矩阵。L对角线上的元素Li即为E的奇异值；W为用来调整矩阵内部信息位置的方阵：
在本发明可选的一种实施方式中，使用卡尔曼滤波器融合GNSS定位结果和无人矿卡的移动轨迹，得到融合结果；根据融合结果确定无人矿卡的位置定位。如果遇到山区信号弱而无法使用GNSS的情况，则直接使用步骤106的结果作为车辆的位置定位。
本方案无人矿卡定位方法，通过使用SuperPoint和SuperGlue深度学习算法对车载摄像头结果进行处理得到视觉SLAM并通过红外感知修正阴影误判，最终能够修正GNSS定位并在山区信号较差的地方作为代替的定位手段。
实施例2
如图3所示，基于与上述实施例的同一发明构思，本方案还提供了一种无人矿卡定位装置，包括：
图像获取模块，用于获取无人矿卡行驶过程中的前方道路图像和红外图像。
特征提取模块，用于使用预训练好的SuperPoint深度神经网络提取前方道路图像中的特征点。
特征提取模块中，SuperPoint深度神经网络的训练方式如下：
使用MagicPoint网络预先构建人工合成图像样本库；将人工合成图像样本库中的人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练；
获取预先拍摄的目标道路图像，在多张目标道路图像上标注出特征点，对目标道路图像使用单应性变换，使目标道路图像呈现不同角度；使用MagicPoint网络针对目标道路图像以及标注出的特征点进行训练，得到MagicPoint网络的检测子，将MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子；
其中，SuperPoint深度神经网络包括编码器和解码器；编码器用于使目标道路图像得图像空间尺度减小而通道数增加；解码器分为两部分，第一个解码器输出目标道路图像中每个像素点为特征点的概率；第二个解码器对特征点使用双线次插值算法得到特征点的描述子，并使用L2范式使描述子统一长度；
根据两个解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化结束后，得到训练好的SuperPoint深度神经网络。
特征匹配模块，用于根据特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
比对模块，用于将前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
定位模块，用于基于去除阴影部分后剩余的匹配特征点，确定无人矿卡的移动轨迹。
实施例3
如图4所示，本发明还提供一种用于实现无人矿卡定位方法的电子设备100；电子设备100包括存储器101、至少一个处理器102、存储在存储器101中并可在至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。存储器101可用于存储计算机程序103，处理器102通过运行或执行存储在存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1一种无人矿卡定位方法步骤。
存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
至少一个处理器102可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，处理器102是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
电子设备100中的存储器101存储多个指令以实现一种无人矿卡定位方法，处理器102可执行多个指令从而实现：
获取矿卡行驶过程中，前方道路环境预设距离范围内的多张前方道路图像和红外图像；
使用预训练好的SuperPoint深度神经网络提取前方道路图像中无人矿卡前进道路上的特征点；
根据特征点在无人矿卡前进道路上的位置和描述子信息，使用预训练好特征匹配网络SuperGlue，将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
将前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
基于去除阴影部分后剩余的匹配特征点，确定无人矿卡的移动轨迹，得到无人矿卡的位置定位。
实施例4
电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(ROM，Read-Only Memory)。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种无人矿卡定位方法，其特征在于，包括如下步骤：
获取无人矿卡行驶过程中的前方道路图像和红外图像；
使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点；
根据所述特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
将所述前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹。
2.根据权利要求1所述的无人矿卡定位方法，其特征在于，所述使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点的步骤中，所述SuperPoint深度神经网络的训练方式如下：
使用MagicPoint网络预先构建人工合成图像样本库；将人工合成图像样本库中的人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练；
获取多张预先拍摄的目标道路图像，在每张所述目标道路图像上标注出特征点，对所述目标道路图像使用单应性变换，使所述目标道路图像呈现不同角度；使用MagicPoint网络针对所述目标道路图像以及标注出的特征点进行训练，得到MagicPoint网络的检测子，将所述MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子；
其中，所述SuperPoint深度神经网络包括编码器和解码器；编码器用于使目标道路图像得图像空间尺度减小而通道数增加；解码器分为两部分，第一个解码器输出目标道路图像中每个像素点为特征点的概率；第二个解码器对特征点使用双线次插值算法得到特征点的描述子，并使用L2范式使描述子统一长度；
根据两个所述解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化结束后，得到训练好的SuperPoint深度神经网络。
3.根据权利要求2所述的无人矿卡定位方法，其特征在于，两个解码器得到的结果误差按照下式计算：
其中，
是判断是否为特征点的误差；/>
是描述子误差；λ是用来权重优化对于关键特征点的观察力和对于特征点的描述力；X为目标道路图像中提取出的特征点的真实值；X′为经过单应性变换的目标道路图像中特征点的真实值；D为目标道路图像中提取的描述子的值；Y为相邻目标道路图像中提取出的特征点的真实值；Y′为经过单应性变换的相邻目标道路图像中特征点的真实值；S是相邻两张目标道路图像的相关性。
4.根据权利要求1所述的无人矿卡定位方法，其特征在于，所述使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配的步骤，具体包括：
用所述SuperPoint深度神经网络检测出两幅相邻前方道路图像的特征点位置p以及描述子d，基于所述特征点位置p以及描述子d生成相关向量；
使用多路复用图神经网络连接同一前方道路图像上两个节点的边为内边，集合记为εself；使用多路复用图神经网络连接不同图像的特征点的边，集合记为εcross；基于所述εself和εcross的并集ε生成所有特征点在ε上的聚合结果mε→i；其中，所述多路复用图神经网络的节点由两幅前方道路图像的特征点共同组成；
基于所述聚合结果mε→i更新每个特征点及其对应的描述子的特征匹配向量；
基于前方道路图像A和前方道路图像B的特征匹配向量，利用预设的约束关系得到匹配特征点分配矩阵；其中，前方道路图像A和前方道路图像B相邻。
5.根据权利要求1所述的无人矿卡定位方法，其特征在于，所述基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹的步骤，具体包括：
基于所述匹配特征点的坐标，使用5点法算出相机的位姿变换；其中，所述位姿变换包括相机的旋转角度Ω和位移距离t，用本征矩阵E表示；
在得到本征矩阵E后，利用奇异值分解的方法计算出旋转角度Ω和位移距离t，得到车辆的移动轨迹。
6.根据权利要求1所述的无人矿卡定位方法，其特征在于，在基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹的步骤之后，还包括步骤：
使用卡尔曼滤波器融合GNSS定位结果和所述无人矿卡的移动轨迹，得到融合结果；
根据所述融合结果确定无人矿卡的位置定位。
7.一种无人矿卡定位装置，其特征在于，包括：
图像获取模块，用于获取无人矿卡行驶过程中的前方道路图像和红外图像；
特征提取模块，用于使用预训练好的SuperPoint深度神经网络提取所述前方道路图像中的特征点；
特征匹配模块，用于根据所述特征点在前方道路图像上的位置和描述子信息，使用预设的特征匹配网络SuperGlue将相邻的两张前方道路图像中的特征点进行匹配，得到匹配特征点；
比对模块，用于将所述前方道路图像和红外图像分别转化为灰度图，比对前方道路图像的灰度图和红外图像的灰度图，将差异超过预设标准的位置认作为阴影部分，将阴影部分上的匹配特征点删除；
定位模块，用于基于去除阴影部分后剩余的所述匹配特征点，确定无人矿卡的移动轨迹。
8.根据权利要求7所述的无人矿卡定位装置，其特征在于，特征提取模块中，SuperPoint深度神经网络的训练方式如下：
使用MagicPoint网络预先构建人工合成图像样本库；将人工合成图像样本库中的人工合成图像样本导入未训练的SuperPoint深度神经网络进行初步训练；
获取多张预先拍摄的目标道路图像，在每张所述目标道路图像上标注出特征点，对所述目标道路图像使用单应性变换，使所述目标道路图像呈现不同角度；使用MagicPoint网络针对所述目标道路图像以及标注出的特征点进行训练，得到MagicPoint网络的检测子，将所述MagicPoint网络的检测子作为SuperPoint深度神经网络的检测子；
其中，所述SuperPoint深度神经网络包括编码器和解码器；编码器用于使目标道路图像得图像空间尺度减小而通道数增加；解码器分为两部分，第一个解码器输出目标道路图像中每个像素点为特征点的概率；第二个解码器对特征点使用双线次插值算法得到特征点的描述子，并使用L2范式使描述子统一长度；
根据两个所述解码器得到的结果误差来确定SuperPoint深度神经网络的优化方向，基于优化方向对SuperPoint深度神经网络进行优化，优化结束后，得到训练好的SuperPoint深度神经网络。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的无人矿卡定位方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的无人矿卡定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183790.0A CN116311121A (zh) | 2023-02-20 | 2023-02-20 | 一种无人矿卡定位方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183790.0A CN116311121A (zh) | 2023-02-20 | 2023-02-20 | 一种无人矿卡定位方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311121A true CN116311121A (zh) | 2023-06-23 |
Family
ID=86814286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310183790.0A Pending CN116311121A (zh) | 2023-02-20 | 2023-02-20 | 一种无人矿卡定位方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311121A (zh) |
-
2023
- 2023-02-20 CN CN202310183790.0A patent/CN116311121A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2022203635B2 (en) | Crowdsourcing and distributing a sparse map, and lane measurements or autonomous vehicle navigation | |
| US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
| EP3887762B1 (en) | Lane mapping and navigation | |
| US11697427B2 (en) | Systems and methods for vehicle navigation | |
| US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
| Levinson | Automatic laser calibration, mapping, and localization for autonomous vehicles | |
| CN105667518A (zh) | 车道检测的方法及装置 | |
| CN108428254A (zh) | 三维地图的构建方法及装置 | |
| US20230341239A1 (en) | Systems and methods for road segment mapping | |
| EP3796261A1 (en) | Method and apparatus with location estimation | |
| CN116311121A (zh) | 一种无人矿卡定位方法、装置、设备及介质 | |
| Gao et al. | 3D reconstruction for road scene with obstacle detection feedback |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231218 Address after: 102209 building a, Huaneng talent innovation and entrepreneurship base, Beiqijia future science and Technology City, Changping District, Beijing Applicant after: HUANENG CLEAN ENERGY Research Institute Applicant after: Huaneng Jilin Power Generation Co.,Ltd. Address before: 102209 building a, Huaneng talent innovation and entrepreneurship base, Beiqijia future science and Technology City, Changping District, Beijing Applicant before: HUANENG CLEAN ENERGY Research Institute |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240630 Address after: 102209 building a, Huaneng talent innovation and entrepreneurship base, South District, future science and Technology City, Beiqijia Town, Changping District, Beijing Applicant after: HUANENG CLEAN ENERGY Research Institute Country or region after: China Applicant after: Huaneng Jilin Power Generation Co.,Ltd. Applicant after: Zhenlai wind power plant of Huaneng Jilin Power Generation Co.,Ltd. Address before: 102209 building a, Huaneng talent innovation and entrepreneurship base, Beiqijia future science and Technology City, Changping District, Beijing Applicant before: HUANENG CLEAN ENERGY Research Institute Country or region before: China Applicant before: Huaneng Jilin Power Generation Co.,Ltd. |
|
| TA01 | Transfer of patent application right |