CN111272170A - 一种基于SoC的实时行人定位系统及方法 - Google Patents

Abstract

本发明公开了一种基于SoC的实时行人定位系统及方法，无需依赖外界信息，通过SoC终端即可进行自主定位，解决了无GPS信号场景下但是需要定位的问题，同时也解决了需要提前部署节点的且GPS信号较弱的问题。本发明使用FPGA进行位置解算，功耗很低，只有2.7W左右，可以长时间续航使用；此外SoC平台体积较小，确保整个SoC终端便于携带。本发明使用FPGA进行位置解算，相比于传统的ARM终端，本发明的处理速度更快，能够实时得到行人的位置信息。

Description

一种基于SoC的实时行人定位系统及方法

技术领域

本发明属于行人定位导航技术领域，具体涉及一种基于SoC的实时行人定位系统及方法的设计。

背景技术

地图导航、外卖点餐、滴滴打车等物联网的应用给我们的生活带来了极大便利，在这些应用中，GPS/BD定位技术起了关键的作用。即使在室内，我们也可以通过提前部署WiFi、蓝牙等节点来实现较精准的定位。但是，在森林、隧道、地下等外界信号(GPS/BD、WiFi等)很弱甚至没有的情况下，我们就需要寻找其他方法实现定位跟踪。

全球导航卫星系统(Global Navigation Satellite Systems，GNSS)已经日渐成熟，是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。这个系统可以保证在任意时刻，地球上任意一点都可以同时观测到4颗卫星，以保证卫星可以采集到该观测点的经纬度和高度，以便实现导航、定位、授时等功能。

民用的GNSS精度只有10米级别，并且由于卫星信号无法穿透绝大多数障碍物，全球卫星定位系统存在大量的盲区，如楼宇内、山洞、地下、水下、森林里等。同时，在上述环境中进行应急救援、行人导航、快速找到停车位，都需要精准定位。因而，提出不依靠GNSS的室内定位方法具有相当的实际意义。

目前室内定位方法主要利用WiFi、UWB、蓝牙(Bluetooth)以及无线射频识别技术(Radio Frequency Identification，RFID)等外源信号技术来实现精准定位。但这些方法需要提前布置硬件结点，依赖性较强，成本高。

发明内容

本发明的目的是针对现有定位技术都需要依赖外界条件进行定位的缺点，提出了一种基于SoC的实时行人定位系统及方法，可以依靠行人自身实时进行定位。

本发明的技术方案为：一种基于SoC的实时行人定位系统，包括惯性导航传感器、SoC终端以及显示器；惯性导航传感器穿戴于行人脚部，用于采集行人运动的三轴加速度和三轴角速度数据，并将其发送至SoC终端；SoC终端与惯性导航传感器通信连接，用于对接收到的行人运动的三轴加速度和三轴角速度数据进行处理，绘制得到行人位置信息；显示器与SoC终端通信连接，用于实时显示SoC终端绘制的行人位置信息。

进一步地，惯性导航传感器内置有WiFi发送模块，SoC终端包括ARM处理器部分和FPGA部分，ARM处理器部分设置有与WiFi发送模块对应的WiFi接收模块，WiFi发送模块和WiFi接收模块用于通过WiFi实现惯性导航传感器与SoC终端之间的数据传输；ARM处理器部分还包括AXI总线，AXI总线用于将ARM处理器获取的行人运动的三轴加速度和三轴角速度数据传输至FPGA部分进行处理；FPGA部分包括卷积神经网络模块、惯性导航解算模块和绘图模块；卷积神经网络模块的输入端与AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其判断是否有零速更新点；惯性导航解算模块的输入端分别与卷积神经网络模块的输出端以及AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其进行行人位置姿态解算，同时结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息；绘图模块的输入端与惯性导航解算模块的输出端连接，其输出端与显示器连接，用于将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

进一步地，卷积神经网络模块包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和输出层。

本发明还提供了一种基于SoC的实时行人定位方法，包括以下步骤：

S1、将惯性导航传感器穿戴在行人脚部，采集行人运动的三轴加速度和三轴角速度数据，并通过WiFi传输至行人携带的SoC终端的ARM处理器部分。

S2、通过ARM处理器部分的AXI总线将其接收到的三轴加速度和三轴角速度数据分别传输至SoC终端FPGA部分的卷积神经网络模块和惯性导航解算模块。

S3、采用卷积神经网络模块根据其得到的三轴加速度和三轴角速度数据判断是否有零速更新点。

S4、采用惯性导航解算模块根据其得到的三轴加速度和三轴角速度数据进行行人位置姿态解算，并结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息。

S5、通过绘图模块将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

进一步地，步骤S3包括以下分步骤：

S31、向卷积神经网络模块的输入层输入连续的54组三轴加速度和三轴角速度数据，三轴加速度和三轴角速度数据分为两个通道输入。

S32、在第一卷积层使用3*3*2个乘法器对输入数据进行并行计算，依次计算得到6个卷积核的运算结果，并将其作为第一卷积运算结果。

S33、在第一池化层对第一卷积运算结果进行2*2的最大值池化，得到6@27*2的第一特征图。

S34、对6@27*2的第一特征图进行填充，得到6@29*4的填充特征图。

S35、在第二卷积层使用3*3*6个乘法器对6@29*4的填充特征图进行并行计算，依次计算得到12个卷积核的运算结果，并将其作为第二卷积运算结果。

S36、在第二池化层对第二卷积运算结果进行2*2的最大值池化，得到12@14*1的第二特征图。

S37、在全连接层采用14个乘法器对12@14*1的第二特征图进行并行运算，得到最终结果。

S38、在输出层对最终结果进行Sigmoid函数运算，得到运算结果0或1，若运算结果为1表示第27组输入数据是零速更新点，运算结果为0则表示第27组输入数据是非零速更新点。

进一步地，步骤S4包括以下分步骤：

S41、在惯性导航解算模块中对三轴加速度和三轴角速度数据进行低通滤波，并对低通滤波后的三轴加速度和三轴角速度数据进行基本解算，得到行人的速度、姿态和位置数据。

S42、将卷积神经网络模块输出为1的对应行人的速度、姿态和位置数据进行零速更新，同时结合扩展卡尔曼滤波，得到误差状态向量。

S43、采用误差状态向量对行人的速度、姿态和位置数据进行惯性导航结算更新，得到校正后行人精确的位置信息。

本发明的有益效果是：

(1)能够实现自主定位：本发明无需依赖外界信息，通过SoC终端即可进行自主定位，解决了无GPS信号场景下但是需要定位的问题，如在GPS信号较弱的森林救援搜索时，救援人员可以携带本发明提供的定位系统进行搜救，确保救援人员不会迷路，顺利将被搜救人员按照绘图轨迹带回到安全点；同时本发明也解决了需要提前部署节点的且GPS信号较弱的问题，如地下停车场寻车，停车人员可以携带本发明提供的定位系统，依据离开停车场的轨迹记录，快速找到自己车辆所停位置，或者在火场救援时，由于室内一般都没有部署定位节点，同时GPS精度不够，消防人员可以携带本发明提供的定位系统进行火场救援，以确保消防人员可原路返回。

(2)低功耗且便携：由于本发明使用FPGA进行位置解算，功耗很低，只有2.7W左右，可以长时间续航使用；此外SoC平台体积较小，确保整个SoC终端便于携带。

(3)能够实时得到行人的位置信息：由于本发明使用FPGA进行位置解算，相比于传统的ARM终端，本发明的处理速度更快，能够实时得到行人的位置信息。

附图说明

图1所示为本发明实施例提供的一种基于SoC的实时行人定位系统结构框图。

图2所示为本发明实施例提供的卷积神经网络模块结构示意图。

图3所示为本发明实施例提供的一种基于SoC的实时行人定位方法流程图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：

(1)GPS：全球定位系统(Global Position System)。

(2)GNSS：全球导航卫星系统(Global Navigation Satellite Systems)。

(3)BD：北斗卫星定位系统。

(4)WiFi：无线局域网(Wireless Fidelity)。

(5)ZUPT：零速更新(zero velocity update)，零速更新的思想是，假设在行人行走过程中，任一侧脚跟接触地面到该侧脚跟再次接触地面的过程被称为一个步态周期。每个步态周期中，脚跟接触地面并作短暂停留的那一个小时间段，可以认为此时段脚的速度为零，结合扩展卡尔曼滤波可以得到速度误差向量，位置误差向量和姿态误差向量，并将得到的状态误差向量送入惯性导航系统中去更新速度，位置及姿态角。随着行人的不断向前行走，而不断的循环解算更新下去。

(6)UWB：超宽带(Ultra-wide Bandwidth)。

(7)SoC：片上系统(System On Chip)，片上系统的构成可以是片上系统控制逻辑模块、微处理器/微控制器CPU内核模块、数字信号处理器DSP模块、嵌入的存储器模块、和外部进行通讯的接口模块、含有ADC/DAC的模拟前端模块、电源提供和功耗管理模块，对于一个无线SoC还有射频前端模块、用户定义逻辑(它可以由FPGA或ASIC实现)以及微电子机械模块，更重要的是一个SoC芯片内嵌有基本软件(RDOS或COS以及其他应用软件)模块或可载入的用户软件等。

本发明实施例提供了一种基于SoC的实时行人定位系统，如图1所示，包括惯性导航传感器、SoC终端以及显示器。

其中，惯性导航传感器穿戴于行人脚部，用于采集行人运动的三轴加速度和三轴角速度数据，并将其发送至SoC终端。

SoC终端与惯性导航传感器通信连接，用于对接收到的行人运动的三轴加速度和三轴角速度数据进行处理，绘制得到行人位置信息。

显示器与SoC终端通信连接，用于实时显示SoC终端绘制的行人位置信息。

本发明实施例中，惯性导航传感器内置有WiFi发送模块，SoC终端包括ARM处理器部分和FPGA部分，ARM处理器部分设置有与WiFi发送模块对应的WiFi接收模块，WiFi发送模块和WiFi接收模块用于通过WiFi实现惯性导航传感器与SoC终端之间的数据传输。

ARM处理器部分还包括AXI总线，AXI总线用于将ARM处理器获取的行人运动的三轴加速度和三轴角速度数据传输至FPGA部分进行处理。

FPGA部分包括卷积神经网络模块、惯性导航解算模块和绘图模块。

卷积神经网络模块的输入端与AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其判断是否有零速更新点。

本发明实施例中，如图2所示，卷积神经网络模块包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和输出层。

惯性导航解算模块的输入端分别与卷积神经网络模块的输出端以及AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其进行行人位置姿态解算，同时结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息。

绘图模块的输入端与惯性导航解算模块的输出端连接，其输出端与显示器连接，用于将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

本发明实施例还提供了一种基于SoC的实时行人定位方法，如图3所示，包括以下步骤S1～S5：

S1、将惯性导航传感器穿戴在行人脚部，采集行人运动的三轴加速度和三轴角速度数据，并通过WiFi传输至行人携带的SoC终端的ARM处理器部分。

S2、通过ARM处理器部分的AXI总线将其接收到的三轴加速度和三轴角速度数据分别传输至SoC终端FPGA部分的卷积神经网络模块和惯性导航解算模块。

S3、采用卷积神经网络模块根据其得到的三轴加速度和三轴角速度数据判断是否有零速更新点。

如图2所示，步骤S3包括以下分步骤S31～S38：

S31、向卷积神经网络模块的输入层输入连续的54组三轴加速度和三轴角速度数据，三轴加速度和三轴角速度数据分为两个通道输入。

S32、在第一卷积层使用3*3*2个乘法器对输入数据进行并行计算，依次计算得到6个卷积核的运算结果，并将其作为第一卷积运算结果。

S33、在第一池化层对第一卷积运算结果进行2*2的最大值池化，得到6@27*2的第一特征图。

S34、对6@27*2的第一特征图进行填充，得到6@29*4的填充特征图。

S35、在第二卷积层使用3*3*6个乘法器对6@29*4的填充特征图进行并行计算，依次计算得到12个卷积核的运算结果，并将其作为第二卷积运算结果。

S36、在第二池化层对第二卷积运算结果进行2*2的最大值池化，得到12@14*1的第二特征图。

S37、在全连接层采用14个乘法器对12@14*1的第二特征图进行并行运算，得到最终结果。

S38、在输出层对最终结果进行Sigmoid函数运算，得到运算结果0或1，若运算结果为1表示第27组输入数据是零速更新点，运算结果为0则表示第27组输入数据是非零速更新点。

本发明实施例中，输入数据一共有54组，每次对第27组输入数据进行零速更新点的判定后，向右移动一组数据，继续采用步骤S31～S38相同的方法进行零速更新点的判定，直到遍历完所有的输入数据。

S4、采用惯性导航解算模块根据其得到的三轴加速度和三轴角速度数据进行行人位置姿态解算，并结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息。

步骤S4包括以下分步骤S41～S43：

S41、在惯性导航解算模块中对三轴加速度和三轴角速度数据进行低通滤波，以减少噪声干扰，并对低通滤波后的三轴加速度和三轴角速度数据进行基本解算，得到行人的速度、姿态和位置数据。

S42、将卷积神经网络模块输出为1的对应行人的速度、姿态和位置数据进行零速更新，同时结合扩展卡尔曼滤波，得到误差状态向量。

S43、采用误差状态向量对行人的速度、姿态和位置数据进行惯性导航结算更新(Inertial Navigation Solution and Update，INSU)，得到校正后行人精确的位置信息。

S5、通过绘图模块将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

本发明实施例中的实时行人定位系统采用了集成在SoC终端芯片上的ARM+FPGA的联合处理，ARM负责接收数据，FPGA负责位置实时解算，但从广义的角度来讲，单独使用ARM芯片和FPGA芯片联合处理，以及单独使用ARM芯片和DSP芯片联合处理，这两种情况和本发明实施例属于同一种原理，均属于CPU+硬件逻辑体系，其也在本发明方案保护之列。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于SoC的实时行人定位系统，其特征在于，包括惯性导航传感器、SoC终端以及显示器；

所述惯性导航传感器穿戴于行人脚部，用于采集行人运动的三轴加速度和三轴角速度数据，并将其发送至SoC终端；

所述SoC终端与惯性导航传感器通信连接，用于对接收到的行人运动的三轴加速度和三轴角速度数据进行处理，绘制得到行人位置信息；

所述显示器与SoC终端通信连接，用于实时显示SoC终端绘制的行人位置信息。

2.根据权利要求1所述的实时行人定位系统，其特征在于，所述惯性导航传感器内置有WiFi发送模块，所述SoC终端包括ARM处理器部分和FPGA部分，所述ARM处理器部分设置有与WiFi发送模块对应的WiFi接收模块，所述WiFi发送模块和WiFi接收模块用于通过WiFi实现惯性导航传感器与SoC终端之间的数据传输；

所述ARM处理器部分还包括AXI总线，所述AXI总线用于将ARM处理器获取的行人运动的三轴加速度和三轴角速度数据传输至FPGA部分进行处理；

所述FPGA部分包括卷积神经网络模块、惯性导航解算模块和绘图模块；所述卷积神经网络模块的输入端与AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其判断是否有零速更新点；

所述惯性导航解算模块的输入端分别与卷积神经网络模块的输出端以及AXI总线连接，用于获取行人运动的三轴加速度和三轴角速度数据，并根据其进行行人位置姿态解算，同时结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息；

所述绘图模块的输入端与惯性导航解算模块的输出端连接，其输出端与显示器连接，用于将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

3.根据权利要求2所述的实时行人定位系统，其特征在于，所述卷积神经网络模块包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和输出层。

4.一种基于SoC的实时行人定位方法，其特征在于，包括以下步骤：

S1、将惯性导航传感器穿戴在行人脚部，采集行人运动的三轴加速度和三轴角速度数据，并通过WiFi传输至行人携带的SoC终端的ARM处理器部分；

S2、通过ARM处理器部分的AXI总线将其接收到的三轴加速度和三轴角速度数据分别传输至SoC终端FPGA部分的卷积神经网络模块和惯性导航解算模块；

S3、采用卷积神经网络模块根据其得到的三轴加速度和三轴角速度数据判断是否有零速更新点；

S4、采用惯性导航解算模块根据其得到的三轴加速度和三轴角速度数据进行行人位置姿态解算，并结合卷积神经网络模块的零速更新点判断结果对行人位置姿态进行校正，得到行人精确的位置信息；

S5、通过绘图模块将惯性导航解算模块得到的行人精确的位置信息实时绘制在显示器上。

5.根据权利要求4所述的实时行人定位方法，其特征在于，所述步骤S3包括以下分步骤：

S31、向卷积神经网络模块的输入层输入连续的54组三轴加速度和三轴角速度数据，所述三轴加速度和三轴角速度数据分为两个通道输入；

S32、在第一卷积层使用3*3*2个乘法器对输入数据进行并行计算，依次计算得到6个卷积核的运算结果，并将其作为第一卷积运算结果；

S33、在第一池化层对第一卷积运算结果进行2*2的最大值池化，得到6@27*2的第一特征图；

S34、对6@27*2的第一特征图进行填充，得到6@29*4的填充特征图；

S35、在第二卷积层使用3*3*6个乘法器对6@29*4的填充特征图进行并行计算，依次计算得到12个卷积核的运算结果，并将其作为第二卷积运算结果；

S36、在第二池化层对第二卷积运算结果进行2*2的最大值池化，得到12@14*1的第二特征图；

S37、在全连接层采用14个乘法器对12@14*1的第二特征图进行并行运算，得到最终结果；

S38、在输出层对最终结果进行Sigmoid函数运算，得到运算结果0或1，若运算结果为1表示第27组输入数据是零速更新点，运算结果为0则表示第27组输入数据是非零速更新点。

6.根据权利要求5所述的实时行人定位方法，其特征在于，所述步骤S4包括以下分步骤：

S41、在惯性导航解算模块中对三轴加速度和三轴角速度数据进行低通滤波，并对低通滤波后的三轴加速度和三轴角速度数据进行基本解算，得到行人的速度、姿态和位置数据；

S42、将卷积神经网络模块输出为1的对应行人的速度、姿态和位置数据进行零速更新，同时结合扩展卡尔曼滤波，得到误差状态向量；

S43、采用误差状态向量对行人的速度、姿态和位置数据进行惯性导航结算更新，得到校正后行人精确的位置信息。

Images