CN117849708B - 一种基于多传感器建图的超宽带定位方法及系统 - Google Patents
一种基于多传感器建图的超宽带定位方法及系统 Download PDFInfo
- Publication number
- CN117849708B CN117849708B CN202410256946.8A CN202410256946A CN117849708B CN 117849708 B CN117849708 B CN 117849708B CN 202410256946 A CN202410256946 A CN 202410256946A CN 117849708 B CN117849708 B CN 117849708B
- Authority
- CN
- China
- Prior art keywords
- ultra
- wideband
- module
- information
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000007613 environmental effect Effects 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 230000004888 barrier function Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 37
- 239000000463 material Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 11
- 239000002184 metal Substances 0.000 description 8
- 229910052751 metal Inorganic materials 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241001464837 Viridiplantae Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229910052602 gypsum Inorganic materials 0.000 description 2
- 239000010440 gypsum Substances 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开一种基于多传感器建图的超宽带定位方法及系统,涉及定位技术领域,该方法包括:采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图;根据三维环境地图确定第一载体上第一超宽带接收机在每个位置的环境信息;得到每个位置的超宽带信号的超宽带编码数据;根据各位置的超宽带编码数据、环境信息和定位信息构建训练集;采用训练集训练机器学习网络得到超宽带定位模型;对当前位置的超宽带基站测距信号进行编码得到当前位置的超宽带编码数据;将当前位置的超宽带编码数据和上一位置的环境信息输入超宽带定位模型得到当前位置的定位信息。本发明提高了超宽带的定位效率。
Description
技术领域
本发明涉及定位技术领域,特别是涉及一种基于多传感器建图的超宽带定位方法及系统。
背景技术
目前,在现有的室内定位技术中,超宽带(UWB)技术以其精度高、穿透力强、功耗低、抗干扰等特性,成为最主流的室内定位技术之一。UWB技术是基于对时间的测量实现,根据算法的不同,一般包括基于到达时间差(Time Difference of Arrival,TDOA)定位,和基于到达时间(Time of Arrival,TOA)定位。在空旷视距环境中,通常可以实现10-30厘米的精度。
但是在实际推广应用中,往往存在以下问题,限制了UWB定位的大规模推广。
定位多数是用于人员物资的管理,相应的,需要以地图为载体实现相应的显示功能,但是现场环境复杂多样,人力绘图成本高,建筑的CAD图纸又没有环境中的设备,体验感差。
UWB技术属于无线电定位技术,此技术在视距环境中定位相对准确,非视距环境下,因其遮挡和多径效应,会使得定位精度下降。
现有技术中,确实有一些技术,通过在环境中布设好基站后,通过UWB标签遍历所有覆盖区域,获取在每个位置下的多径误差模型,实现误差纠正。但是遍历所有位置,工作量大,效率较低,不利于UWB系统的快速推广。
发明内容
本发明的目的是提供一种基于多传感器建图的超宽带定位方法及系统,提高了超宽带的定位效率。
为实现上述目的,本发明提供了如下方案:一种基于多传感器建图的超宽带定位方法,包括:采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图。
采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号。
根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息。
对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离。
采用训练集训练机器学习网络,得到超宽带定位模型。
在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号。
对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
可选地,采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图,具体包括:根据多线激光雷达对目标空间的扫描信息建图,得到第一地图。
根据超声波雷达对所述目标空间的扫描信息,确认所述第一地图上的障碍物,得到第二地图。
根据摄像头采集的所述目标空间的颜色信息,为所述第二地图添加颜色信息,并根据颜色信息确定所述第二地图中各像素点的电磁波屏蔽特性信息,得到第三地图。
根据毫米波雷达识别的所述目标空间中障碍物的可穿透性,更新所述第三地图中各障碍物的电磁波屏蔽特性信息,得到第四地图。
可选地,所述的基于多传感器建图的超宽带定位方法还包括:可视化显示所述三维环境地图。
可选地,对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据,具体包括:采用超宽带信号编码器对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
所述超宽带信号编码器为,采用超宽带信号数据集对超宽带编码解码网络进行训练得到的超宽带信号编码解码器中的编码器;所述超宽带编码解码网络包括编码网络和解码网络,所述编码网络用于对超宽带信号进行编码,所述解码网络用于对编码后的超宽带信号进行解码。
可选地,所述编码网络包括第一Conv模块、第二Conv模块、第三Conv模块、第四Conv模块、第一C2f模块、第二C2f模块、平均池化层和第一全连接层。
所述第一Conv模块用于输入超宽带信号,所述第一Conv模块的输出分别与所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输入连接,所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输出均与所述第一C2f模块的输入连接,所述第一C2f模块、所述第二C2f模块、所述平均池化层和所述第一全连接层依次连接。
所述第一Conv模块、所述第二Conv模块、所述第三Conv模块和所述第四Conv模块均包括依次连接的第一卷积层、正则化层和激活函数层。
所述解码网络包括依次连接的第二全连接层、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块、第九C2f模块和第五Conv模块。
所述第五Conv模块包括依次连接的第二卷积层、批归一化层和激活函数层。
可选地,采用超宽带信号数据集对超宽带编码解码网络进行训练时的损失函数为均方误差损失函数。
可选地,对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据,具体包括:采用超宽带信号编码器对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
可选地,所述机器学习网络包括依次连接的第一图卷积神经网络、第一长短时记忆网络和第一激活函数,所述神经网络还包括依次连接的第二图卷积神经网络、第二长短时记忆网络和第二激活函数,所述机器学习网络还包括全连接网络。
所述第一图卷积神经网络用于输入超宽带编码数据,所述第二图卷积神经网络用于输入环境信息,所述第一激活函数的输出和所述第二激活函数的输出求和后输入所述全连接网络,所述全连接网络用于输出定位信息。
本发明还公开了一种基于多传感器建图的超宽带定位系统,包括如下内容。
建图模块,用于采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图。
多个位置的超宽带基站测距信号采集模块,用于采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号。
环境信息确定模块,用于根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息。
第一超宽带信号编码模块,用于对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
训练集构建模块,用于构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离。
超宽带定位模型确定模块,用于采用训练集训练机器学习网络,得到超宽带定位模型。
当前位置的超宽带基站测距信号采集模块,用于在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号。
第二超宽带信号编码模块,用于对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
定位模块,用于将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明基于机器学习网络,将当前位置的超宽带编码数据和上一位置的环境信息输入超宽带定位模型,得到当前位置的定位信息,不用遍历多个位置数据,能够及时得到超宽带接收所在位置,提高了超宽带的定位效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多传感器建图的超宽带定位方法流程示意图。
图2为本发明实施例提供的多传感器与服务器的连接关系示意图。
图3为本发明实施例提供的超宽带编码解码网络结构示意图。
图4为本发明实施例提供的C2f模块结构示意图。
图5为本发明实施例提供的机器学习网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于多传感器建图的超宽带定位方法及系统,提高了超宽带的定位效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1,如图1所示,本实施例提供的一种基于多传感器建图的超宽带定位方法,包括如下步骤。
步骤101:采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图。
步骤102:采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号。
其中,步骤102采集的每个位置的超宽带基站测距信号均为多径的距离值。每个多路径下的UWB测距距离值,对应该多径的信号强度(RSS)。
步骤103:根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息。
步骤104:对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
步骤105:构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离。
其中,步骤105中位置与超宽带基站之间的距离,具体用位置与超宽带基站之间的TOA表示。
步骤106:采用训练集训练机器学习网络,得到超宽带定位模型。
步骤107:在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号。
步骤108:对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
步骤109:将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
其中,步骤109中上一位置为第二载体间距离当前时间隔设定时间之前时的位置。
本实施例用于超宽带系统布设时快速建图和针对非视距场景的误差修正。本实施例的应用场景为工厂管理,目标空间为车间内空间,第一载体可以为车辆,所述第二载体可以为携带UWB标签(超宽带接收机)的工人,本实施例用于实现对车间内环境的建图,以及各工人的定位。
本实施例中超宽带系统包括多线激光雷达、超声波雷达、摄像头、毫米波雷达、超宽带基站、第一超宽带接收机和服务器,如图2所示。
其中,多线激光雷达、超声波雷达、摄像头、毫米波雷达、第一超宽带接收机均安装在一个可以移动的载体(第一载体)上,并且多线激光雷达、超声波雷达、摄像头、毫米波雷达、第一超宽带接收机均与服务器连接。
超宽带基站安装在待建图的环境(目标空间)中,且超宽带基站的坐标通过测绘的方式获取得到。超宽带基站数量大于或者等于2。
具体的,所述的多线激光雷达,为多线三维(3D)激光雷达,一般需实现环视360度及俯仰±15度的扫描。
所述超声波雷达,需通过电机旋转机构等方式,对超声波波束进行朝向调整,实现对环视360度及俯仰±15度的扫描。
所述的摄像头,需通过旋转机构等方式,实现对周围场景的环视360度的数据采集。
所述毫米波雷达,需通过旋转机构等方式,实现对周围场景的环视360度及俯仰±15度的扫描。
所述服务器,接收汇总所有数据,并进行存储、运算和分析,实现步骤101的建图功能。
对于步骤101,本实施例中先初始化一个大小为X×Y×Z的3D网格化的ORGBE地图,其中,X×Y×Z网格共有三个空间维度,X维度为[0,X-1],Y维度为[0,Y-1],Z维度为[0,Z-1],每个网格可以根据实际项目需求,表示1-20厘米或者其他数值;每个空间具体网格坐标上,有各自网格的ORGBE信息,每个网格有5个字节大小。
其中,ORGBE中O为障碍物信息,每个障碍物信息用1个字节表示,O表示是否存在障碍物以及未知点云,其中激光发生器到激光点云之间的路径,定义为无障碍物,用数字0表示;激光点云本身,定义为障碍物,用数字1表示;物体内部或其他没有被点云测量到的点,定义为未知,用数字255表示。障碍物信息的识别,主要来源于激光雷达和超声波雷达。
其中,ORGBE中RGB为三原色像素信息,每个信息R、G、B各一个字节,总计3个字节,从数字0~255表示色彩颜色。色彩信息来源于摄像头。
其中,ORGBE中E为材质的电磁波屏蔽特性信息,每个电磁波屏蔽特性信息用1个字节(0-255)表示,电磁波屏蔽特性信息表示金属、非金属材质和混合材质对电磁波的遮挡特性,255表示最严重的金属遮挡,0表示自由空间完全无遮挡,1-254根据遮挡程度定义。电磁波特性主要来源于摄像头的图像识别分析和毫米波雷达。
其中,步骤101具体包括如下步骤。
根据多线激光雷达对目标空间的扫描信息建图,获得目标空间中基础障碍物的信息,得到第一地图。第一地图为根据激光特征得到的激光地图。第一地图生成后,第一地图中有环境的障碍物O信息,但是颜色材质的RGBE信息为空。
根据超声波雷达对所述目标空间的扫描信息,确认所述第一地图上的障碍物,得到第二地图。通过超声波雷达增加多线激光雷达不能识别的障碍物。超声波雷达的二次建图是在第一地图的基础上,增加或确定激光不易识别的镜子、玻璃、高亮面金属等物体,并命名为第二地图;所述的第二地图,以第一地图的信息为主体,对少数的镜子、玻璃、高亮面金属等物体进行标注,并清除因反射、折射形成的离散激光点云。
因超声波雷达颗粒度较粗,本次建图以第一地图为基础,依附原始数据标注部分信息,不做独立的障碍物生成。
所述第二地图生成后,地图中有精准的障碍物O信息,但是RGBE信息为空。
根据摄像头采集的所述目标空间的颜色信息,为所述第二地图添加颜色信息,并根据颜色信息确定所述第二地图中各像素点的电磁波屏蔽特性信息,得到第三地图。该步骤在第二地图的基础上,使用摄像头采集目标空间中的颜色信息,增加对目标空间中环境的可视化效果渲染,增加RGB信息。
进一步的,根据摄像头的图像信息,包括颜色和纹理等,对第二地图中的障碍物进行分类,进行材质的判断,一般包括白色特征的墙壁、柱子,木质纹理的桌柜,绿色纹理的植物等。
其中,金属色泽的柜子一般标识为金属材质,用255表示;墙壁一般标识为混合材质,用127表示;木质纹理的桌柜标识为非金属材质,用63表示;绿色植物标识为非金属材质,用31表示;无障碍物的自由空间表示为0,最终生成第三地图。即本实施例根据摄像头得到图像,对第二地图中的障碍物进行分类,每个分类赋予一设定值,从而得到包含E信息的第三地图。
进一步的,所述第三地图生成后,地图中有精准的障碍物O信息,有精准的RGB信息,有较为精准的E信息。
根据毫米波雷达识别的所述目标空间中障碍物的可穿透性,更新所述第三地图中各障碍物的电磁波屏蔽特性信息,得到第四地图。该步骤采用毫米波雷达识别障碍物材质信息,在第三地图的基础上,标识电磁波对环境中障碍物的可穿透性,判断第三地图中,难以区分材质的障碍物。
进一步的,材质区分包括石膏板墙壁和混凝土墙壁的区分,因毫米波雷达的特点,可以穿透石膏板墙壁,不能穿透混凝土墙壁。白色墙面可能是混凝土墙面,可能是石膏板墙面,用毫米波雷达进行区分。
进一步的,材质区分包括木质桌柜和金属桌柜的区分,因毫米波雷达的特点,可以穿透木质桌柜,不能穿透金属桌柜。
进一步的,针对以上材质的可穿透特点,分别用255-0表示,其中255表示完全不能穿透的材质,如加厚的混凝土墙壁和铁皮材质等,0表示对电磁波完全没有影响的材质,如自由空间、布帘和小型绿植等。
所述的材质以网格地图为区分度,如在5厘米尺度的网格中,有一根2厘米的金属杆,最终结果可能标识为小于255且大于0的中间值。
所述第四地图生成后,地图中精准的障碍物O信息,有精准的RGB信息,有精准的E信息。
本实施例所述的基于多传感器建图的超宽带定位方法,还包括:可视化显示所述三维环境地图。更具体的,采用服务器生成可视的、标注颜色和材质三维环境模型。
所述三维环境地图的空间维度包括[0,X-1]、[0,Y-1]和[0,Z-1],每个空间具体网格坐标上,有各自网格的ORGBE信息。
服务器还用于实现步骤102至步骤109的方法,对遮挡多径区域,生成误差校准模型(超宽带定位模型)。
超宽带定位模型训练过程为步骤102至步骤106,超宽带定位模型应用过程为步骤107至步骤109。
步骤101之前,目标空间中安装M个UWB基站,M为大于或者等于2的正整数,UWB基站位置通过人工测量的方式获取坐标,并转换到X×Y×Z的3D网格化的ORGBE地图坐标系中去。
在进行建图的同时,以多线激光雷达在ORGBE地图中的位置为真值,UWB接收机接收环境中UWB基站测距信号,分别记录到每个UWB基站的距离真值、N个多径的距离值和信号强度值。N为大于1的正整数。
进一步的,UWB接收机每个位置与周围所有M个基站,轮询测距一次,获得N×M个向量。
进一步的,每个位置,UWB接收机均会进行轮询测距,总计P个位置,获得P×N×M个向量数据。P为大于1的正整数。
建图之后,已经获得了表述障碍物、颜色信息和材质(电磁波屏蔽特性信息)的网格地图(第四地图),在此地图的基础上,分别获取P个位置中每个位置UWB接收机到M个UWB基站的路径信息向量,采用P×L×M个向量表述UWB接收机到达基站的路径上,每个网格的障碍物信息,P×L×M个向量中每个向量长度为L。
L的值为三维环境地图内的最长直线,及对角线((X^2+Y^2+Z^2)^0.5),当P×L×M个向量中向量长度不足L时,用0补齐到L长度。从而得到训练集的源数据。P×L×M个向量为环境张量,是P×L×M个ORGBE信息。
本实施例中对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据,具体包括:采用超宽带信号编码器对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
所述超宽带信号编码器为,采用超宽带信号数据集对超宽带编码解码网络进行训练得到的超宽带信号编码解码器中的编码器;所述超宽带编码解码网络包括编码网络和解码网络,所述编码网络用于对超宽带信号进行编码,所述解码网络用于对编码后的超宽带信号进行解码。超宽带编码解码网络的结构如图3所示。
使用编码网络对UWB信号进行编码,然后使用解码网络对UWB信号的进行恢复。通过对大量的UWB信号进行训练就可以得到一个超宽带信号编码解码器。
如图3所示,所述编码网络包括第一Conv模块(Conv[64,3,1])、第二Conv模块(Conv1[64,3,1])、第三Conv模块(Conv2[64,3,1])、第四Conv模块(Conv3[64,3,1])、第一C2f模块(C2f[256,128,3])、第二C2f模块(C2f[256,128,5])、平均池化层和第一全连接层。其中各Conv模块的中括号中第一项为信道维度,第二项为卷积核大小,第三项为步长。各C2f模块中第一项为输入维度,第二项为输出维度,第三项为图4中的N’。
所述第一Conv模块用于输入超宽带信号,所述第一Conv模块的输出分别与所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输入连接,所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输出均与所述第一C2f模块的输入连接,所述第一C2f模块、所述第二C2f模块、所述平均池化层和所述第一全连接层依次连接。
所述第一Conv模块、所述第二Conv模块、所述第三Conv模块和所述第四Conv模块均包括依次连接的第一卷积层、正则化层和激活函数层。
编码器的主要功能是对输入的信号进行转化,将输入的信号转化为一个2×N×M的向量。这个转化过程通常涉及到一些复杂的信号处理技术,例如采样、量化等。编码网络通过将这些信号转化为适合神经网络处理的格式,使得神经网络能够更好地学习和理解这些信号。
在编码器中,Conv模块是一个非常重要的组成部分。它由第一卷积层、正则化层和激活函数层组成,这三个层次的组合使得Conv模块能够有效地提取输入信号的特征。在Conv模块中,卷积层使用3×3的卷积核来提取特征,这种大小的卷积核能够在保持特征提取效果的同时,减少计算量和避免过拟合。正则化层通常采用批归一化(BatchNormalization)等技术来调整卷积后的特征,这有助于加快模型的训练速度并提高模型的泛化能力。激活函数层通常采用ReLU(Rectified Linear Unit)等非线性函数来增加模型的表达能力,因为只有非线性函数才能捕捉到输入信号中的复杂特征。
经过第一Conv模块的处理后,输出的特征图尺寸仍然是N×M,但信道数量增加到64。这意味着第一Conv模块成功地将输入信号转化为一个64维的特征向量。这个特征图接着被送入第二Conv模块、第三Conv模块和第四Conv模块,第二Conv模块、第三Conv模块和第四Conv模块的设计和第一Conv模块类似,卷积核大小都是3×3,但具有不同的维度(64、64、128)。这些卷积模块(Conv模块)的作用是进一步提取特征并增加信道数量,从而增加模型的表达能力。在这三个卷积模块的处理下,输出的特征图尺寸仍然是N×M,但信道数量变为64、64和128,输出维度分别为经过这三个卷积后分别得到的维度为64×N×M、64×N×M和128×N×M。这意味着这三个卷积模块成功地进一步提取了特征并增加了特征的维度。
将第二Conv模块、第三Conv模块和第四Conv模块的输出在维度上做拼接,得到256×N×M的向量输入到接下来的2个C2f模块(第一C2f模块和第二C2f模块),C2f模块来自YoloV8,是一种高效的特征提取模块。结构如图4所示,图4中Concat表示连接,k表示卷积核大小,s表示步幅,p表示边界扩充,h代表高度,w代表宽度,c_in表示输入的信道数,c_out表示输出的信道数。
第一C2f模块(图3中C2f[256,128,3])的输入是256维的,输出是128维,C2f[256,128,3]中的3代表图4中的N’,是Bottleneck的个数。第二C2f模块的输入和输出都是128维,第二C2f模块中Bottleneck的个数有5个,这样有利于提取更多的特征。经过这两个C2f模块的处理后,得到一个128×N×M的向量。为了使向量更适合全连接层的输入,对其进行平均池化操作,将向量变成128×1×1的形状。最后,这个向量被送入全连接层中,得到一个128维的向量作为最终输出。这个向量的维度相较于输入信号已经大大降低,但其中包含了输入信号的重要特征信息,可以应用于后续的任务中。
所述解码网络包括依次连接的第二全连接层、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块、第九C2f模块和第五Conv模块(Conv[2,3,1])。
所述第五Conv模块包括依次连接的第二卷积层、批归一化层和激活函数层。
解码器的主要功能是将编码器输出的高维向量解码为原始信号。在这个过程中,解码器通过一系列复杂的神经网络层来处理输入向量,并逐渐还原出原始信号。
首先,解码器的输入是编码器输出的128维向量。这个向量首先通过一个全连接层(Fully Connected Layer)进行升维,变为128×N×M的形状。全连接层是一种常见的神经网络层,它可以将输入数据映射到更高维的空间。
接下来,经过第二全连接层处理后的向量被送入一系列C2f模块中,本次建模用了7个C2f模块(第三C2f模块至第九C2f模块)。这些C2f模块的输入和输出都是128维,Bottleneck的个数设置为3。通过这些C2f模块的处理,可以提取到更深层次的语义信息。
需要注意的是,C2f模块的个数不是固定的,可以根据不同的训练情况增加或者减少。这种设计使得解码器具有更好的灵活性和适应性,能够根据不同的任务需求进行调整和优化。
经过C2f模块的处理后,得到的数据再经过一个Conv模块(第五Conv模块)。第五Conv模块的输出是2维的,得到2×N×M的向量。这个向量就是还原的信号。
采用超宽带信号数据集对超宽带编码解码网络进行训练时的损失函数为均方误差损失函数,将还原的信号和真实的信号通过使用均方误差(Mean Squared Error,MSE)进行比较,求出误差。通过计算误差,可以对解码器的性能进行评估和优化,从而不断提高模型的准确性和鲁棒性。
均方误差损失函数表示为:。
其中,MSE为均方误差值,n为超宽带信号数据集中样本信号数量,为还原的UWB信号,/>为真实的UWB信号。
其中,步骤106具体包括采用P×N×M个UWB信号数据,通过超宽带信号编码器得到P×N×M编码向量。将P×N×M编码向量和环境张量(P×L×M个向量)通过机器学习网络训练后,得到超宽带定位模型。
如图5所示,所述机器学习网络包括依次连接的第一图卷积神经网络、第一长短时记忆网络和第一激活函数,所述神经网络还包括依次连接的第二图卷积神经网络、第二长短时记忆网络和第二激活函数,所述机器学习网络还包括全连接网络。
所述第一图卷积神经网络用于输入超宽带编码数据,所述第二图卷积神经网络用于输入环境信息,所述第一激活函数的输出和所述第二激活函数的输出求和后输入所述全连接网络,所述全连接网络用于输出定位信息。
本实施例中当前位置的超宽带编码数据经过一个超宽带编码器,生成了P×128的编码向量。将原始的UWB信号数据转换为这种低维的编码表示。
接着,机器学习网络中编码向量和环境张量(P×L×M个向量)都通过图卷积神经网络进行处理。图卷积是一种特殊的卷积操作,适用于处理图结构的数据。在这个阶段,两个分支的图卷积的输出维度均为128。
然后,这两个128维的向量分别输入到各自的长短时记忆网络(LSTM)网络中。LSTM是一种特殊的循环神经网络,能够处理序列数据并记住长期依赖关系。在这里,LSTM的输入维度为128,输出维度为512。经过LSTM处理后,两个向量的维度都变为P×512。
上个步骤得到的两个维度为P×512的向量随后分别输入到激活函数层,这里激活函数层选择的是tanh激活函数。tanh激活函数可以增加模型的非线性特性,使得模型能够更好地学习和模拟复杂的信号处理过程。然后,这两个向量被求和,得到一个融合后的向量。最后,这个融合后的向量输入到一个全连接网络中,输出P×N×M的TOA值。
其中,步骤108具体包括:采用超宽带信号编码器对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
本实施例,将当前点的UWB信号进行编码得到向量编码和上个点的环境张量输入到模型中就可以预测出TOA值。
实施例2,本实施例提供的一种基于多传感器建图的超宽带定位系统,包括如下内容。
建图模块,用于采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图。
多个位置的超宽带基站测距信号采集模块,用于采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号。
环境信息确定模块,用于根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息。
第一超宽带信号编码模块,用于对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据。
训练集构建模块,用于构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离。
超宽带定位模型确定模块,用于采用训练集训练机器学习网络,得到超宽带定位模型。
当前位置的超宽带基站测距信号采集模块,用于在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号。
第二超宽带信号编码模块,用于对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
定位模块,用于将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于多传感器建图的超宽带定位方法,其特征在于,包括:
采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图;
采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号;
根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息;
对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据;
构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离;
采用训练集训练机器学习网络,得到超宽带定位模型;
在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号;
对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据;
将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
2.根据权利要求1所述的基于多传感器建图的超宽带定位方法,其特征在于,采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图,具体包括:
根据多线激光雷达对目标空间的扫描信息建图,得到第一地图;
根据超声波雷达对所述目标空间的扫描信息,确认所述第一地图上的障碍物,得到第二地图;
根据摄像头采集的所述目标空间的颜色信息,为所述第二地图添加颜色信息,并根据颜色信息确定所述第二地图中各像素点的电磁波屏蔽特性信息,得到第三地图;
根据毫米波雷达识别的所述目标空间中障碍物的可穿透性,更新所述第三地图中各障碍物的电磁波屏蔽特性信息,得到第四地图。
3.根据权利要求1所述的基于多传感器建图的超宽带定位方法,其特征在于,还包括:
可视化显示所述三维环境地图。
4.根据权利要求1所述的基于多传感器建图的超宽带定位方法,其特征在于,对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据,具体包括:
采用超宽带信号编码器对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据;
所述超宽带信号编码器为,采用超宽带信号数据集对超宽带编码解码网络进行训练得到的超宽带信号编码解码器中的编码器;所述超宽带编码解码网络包括编码网络和解码网络,所述编码网络用于对超宽带信号进行编码,所述解码网络用于对编码后的超宽带信号进行解码。
5.根据权利要求4所述的基于多传感器建图的超宽带定位方法,其特征在于,所述编码网络包括第一Conv模块、第二Conv模块、第三Conv模块、第四Conv模块、第一C2f模块、第二C2f模块、平均池化层和第一全连接层;
所述第一Conv模块用于输入超宽带信号,所述第一Conv模块的输出分别与所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输入连接,所述第二Conv模块、所述第三Conv模块和所述第四Conv模块的输出均与所述第一C2f模块的输入连接,所述第一C2f模块、所述第二C2f模块、所述平均池化层和所述第一全连接层依次连接;
所述第一Conv模块、所述第二Conv模块、所述第三Conv模块和所述第四Conv模块均包括依次连接的第一卷积层、正则化层和激活函数层;
所述解码网络包括依次连接的第二全连接层、第三C2f模块、第四C2f模块、第五C2f模块、第六C2f模块、第七C2f模块、第八C2f模块、第九C2f模块和第五Conv模块;
所述第五Conv模块包括依次连接的第二卷积层、批归一化层和激活函数层。
6.根据权利要求4所述的基于多传感器建图的超宽带定位方法,其特征在于,采用超宽带信号数据集对超宽带编码解码网络进行训练时的损失函数为均方误差损失函数。
7.根据权利要求4所述的基于多传感器建图的超宽带定位方法,其特征在于,对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据,具体包括:
采用超宽带信号编码器对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据。
8.根据权利要求1所述的基于多传感器建图的超宽带定位方法,其特征在于,所述机器学习网络包括依次连接的第一图卷积神经网络、第一长短时记忆网络和第一激活函数,所述神经网络还包括依次连接的第二图卷积神经网络、第二长短时记忆网络和第二激活函数,所述机器学习网络还包括全连接网络;
所述第一图卷积神经网络用于输入超宽带编码数据,所述第二图卷积神经网络用于输入环境信息,所述第一激活函数的输出和所述第二激活函数的输出求和后输入所述全连接网络,所述全连接网络用于输出定位信息。
9.一种基于多传感器建图的超宽带定位系统,其特征在于,包括:
建图模块,用于采用设置于第一载体的多个传感器对目标空间进行建图,得到包括障碍物信息、颜色信息和电磁波屏蔽特性信息的三维环境地图;
多个位置的超宽带基站测距信号采集模块,用于采用设置于所述第一载体的第一超宽带接收机,采集多个位置的超宽带基站测距信号;
环境信息确定模块,用于根据所述三维环境地图,确定所述第一超宽带接收机在每个所述位置的环境信息;所述环境信息包括障碍物信息、颜色信息和电磁波屏蔽特性信息;
第一超宽带信号编码模块,用于对每个位置的超宽带基站测距信号进行编码,得到超宽带编码数据;
训练集构建模块,用于构建训练集;所述训练集中样本数据包括输入数据和标签数据,所述输入数据包括一个位置的超宽带编码数据和环境信息,所述标签数据包括与所述输入数据中位置对应的定位信息,所述定位信息包括该位置与每个超宽带基站之间的距离;
超宽带定位模型确定模块,用于采用训练集训练机器学习网络,得到超宽带定位模型;
当前位置的超宽带基站测距信号采集模块,用于在所述目标空间内,采用设置于第二载体的第二超宽带接收机,采集当前位置的超宽带基站测距信号;
第二超宽带信号编码模块,用于对当前位置的超宽带基站测距信号进行编码,得到当前位置的超宽带编码数据;
定位模块,用于将当前位置的超宽带编码数据和上一位置的环境信息输入所述超宽带定位模型,得到当前位置的定位信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410256946.8A CN117849708B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多传感器建图的超宽带定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410256946.8A CN117849708B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多传感器建图的超宽带定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117849708A CN117849708A (zh) | 2024-04-09 |
CN117849708B true CN117849708B (zh) | 2024-05-17 |
Family
ID=90546844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410256946.8A Active CN117849708B (zh) | 2024-03-07 | 2024-03-07 | 一种基于多传感器建图的超宽带定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117849708B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107226087A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种结构化道路自动驾驶运输车及控制方法 |
CN112731922A (zh) * | 2020-12-14 | 2021-04-30 | 南京大学 | 基于室内定位的无人机辅助智能车驾驶方法与系统 |
KR20210104340A (ko) * | 2020-02-17 | 2021-08-25 | 충남대학교산학협력단 | Uwb 도로용 안테나 |
CN114646937A (zh) * | 2022-04-01 | 2022-06-21 | 北京理工大学重庆创新中心 | 一种slam与uwb的实时融合与建图方法 |
CN114928811A (zh) * | 2022-05-05 | 2022-08-19 | 南京理工大学 | 一种基于神经网络的超宽带矿井下人员精确定位方法 |
CN115046541A (zh) * | 2022-06-08 | 2022-09-13 | 湖南柿竹园有色金属有限责任公司 | 一种地下矿山环境下的拓扑地图构建与矿车定位系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7962150B2 (en) * | 2004-04-28 | 2011-06-14 | Lawrence Livermore National Security, Llc | Ultra-wideband radios for time-of-flight-ranging and network position estimation |
-
2024
- 2024-03-07 CN CN202410256946.8A patent/CN117849708B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107226087A (zh) * | 2017-05-26 | 2017-10-03 | 西安电子科技大学 | 一种结构化道路自动驾驶运输车及控制方法 |
KR20210104340A (ko) * | 2020-02-17 | 2021-08-25 | 충남대학교산학협력단 | Uwb 도로용 안테나 |
CN112731922A (zh) * | 2020-12-14 | 2021-04-30 | 南京大学 | 基于室内定位的无人机辅助智能车驾驶方法与系统 |
CN114646937A (zh) * | 2022-04-01 | 2022-06-21 | 北京理工大学重庆创新中心 | 一种slam与uwb的实时融合与建图方法 |
CN114928811A (zh) * | 2022-05-05 | 2022-08-19 | 南京理工大学 | 一种基于神经网络的超宽带矿井下人员精确定位方法 |
CN115046541A (zh) * | 2022-06-08 | 2022-09-13 | 湖南柿竹园有色金属有限责任公司 | 一种地下矿山环境下的拓扑地图构建与矿车定位系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117849708A (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766878A (zh) | 一种车道线检测的方法和设备 | |
CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
CN105069789B (zh) | 基于编码网格模板的结构光动态场景深度获取方法 | |
CN104134216B (zh) | 基于16维特征描述的激光点云自动配准方法及系统 | |
CN113064117A (zh) | 一种基于深度学习的辐射源定位方法及装置 | |
CN113269040A (zh) | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 | |
CN116543117B (zh) | 一种无人机影像的高精度大场景三维建模方法 | |
CN113408594A (zh) | 一种基于注意力网络尺度特征融合的遥感场景分类方法 | |
CN116343053B (zh) | 基于光学遥感影像和sar遥感影像融合的固废自动提取方法 | |
CN112630160A (zh) | 一种基于图像采集的无人机航迹规划土壤湿度监测方法、系统及可读存储介质 | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
CN111553204A (zh) | 一种基于遥感影像的输电杆塔检测方法 | |
CN113050083A (zh) | 一种基于点云的超宽带雷达人体姿态重构方法 | |
CN113269147B (zh) | 基于空间和形状的三维检测方法、系统、存储及处理装置 | |
CN117849708B (zh) | 一种基于多传感器建图的超宽带定位方法及系统 | |
CN115164776B (zh) | 一种结构光解码与深度学习融合的三维测量方法及装置 | |
CN116402713A (zh) | 一种基于二维图像和几何形状的电力三维点云补全方法 | |
CN115825946A (zh) | 基于无监督学习的毫米波雷达测距方法及装置 | |
CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
CN112862921B (zh) | 一种电网分布图像绘制方法 | |
CN115620150A (zh) | 基于孪生Transformer的多模态图像地面建筑识别方法及装置 | |
Gao et al. | Optimization of greenhouse tomato localization in overlapping areas | |
CN117974746B (zh) | 点云2d深度面三角剖分构图方法、装置、系统及设备 | |
CN112767469B (zh) | 一种城市海量建筑高度智能化获取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |