CN111174781A - 一种基于可穿戴设备联合目标检测的惯导定位方法 - Google Patents

一种基于可穿戴设备联合目标检测的惯导定位方法 Download PDF

Info

Publication number
CN111174781A
CN111174781A CN201911409940.5A CN201911409940A CN111174781A CN 111174781 A CN111174781 A CN 111174781A CN 201911409940 A CN201911409940 A CN 201911409940A CN 111174781 A CN111174781 A CN 111174781A
Authority
CN
China
Prior art keywords
algorithm
value
target detection
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911409940.5A
Other languages
English (en)
Other versions
CN111174781B (zh
Inventor
许志鑫
刘儿兀
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911409940.5A priority Critical patent/CN111174781B/zh
Publication of CN111174781A publication Critical patent/CN111174781A/zh
Application granted granted Critical
Publication of CN111174781B publication Critical patent/CN111174781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205Details
    • G01S5/021Calibration, monitoring or correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

一种基于可穿戴设备联合目标检测的惯导定位方法,涉及位置服务领域,包括三个步骤,一是惯性传感器定位测量算法、二是目标检测算法、三是融合算法。步骤一,惯性传感器定位测量算法:包括步伐检测算法、步长估计算法以及航向估计算法。步骤二,目标检测算法。步骤三,融合算法,负责将惯导定位算法模块的结果与目标检测算法模块的结果进行融合,给出最终的位置坐标。基于惯性导航技术,同时联合目标检测技术实现特定标识物识别以消除惯性传感器累积误差为用户提供高精度定位服务;对盲道实现识别,当用户在行走过程中逐渐脱离盲道时给出警告反馈信息;识别盲道上的障碍物,当盲道上出现障碍物时给出预警,为用户行走安全提供保障。

Description

一种基于可穿戴设备联合目标检测的惯导定位方法
技术领域
本发明涉及位置服务(提供定位服务)领域。
背景技术
中国有着全球数量最多的视障人士,“出行难”是这一人群所面临的最主要问题。在无人陪伴的情况下,视障人士独自出行几乎不可能实现。目前存在几种基于惯性传感器的定位导航算法,可服务于视障人士出行。
现有技术文献
申请号为201910151202.9的专利利用检测出的零加速状态对智能手机的姿态信息进行修正,从而避免重建轨迹因累积误差的存在而发散;申请号为201410132831.4的专利提出一种基于Wi-Fi的室内定位方法,主要利用Wi-Fi信号强度结合其提出的公式实现;申请号为201910138838.X的专利提出基于动态权重的Wi-Fi与地磁深度融合的室内定位算法MagWi,通过定位精度和聚集度的关系模型动态确定Wi-Fi信号强度与二维地磁强度定位结果的权重;申请号为201710740109.2的专利提供一种基于UWB测距的惯导定位系统,包括:UWB定位基站,布置在目标定位区域中,用于通过与由待定位对象所携带的UWB标签的通信交互及布置方式所确定的定位基站的相对位置来确定待定位对象的UWB相对定位数据,UWB定位基站的绝对位置已知,从而确定定位目标的相对位置;申请号为201710063113.X的专利阐述了一种基于蓝牙和惯导的融合室内定位方法,采用卡尔曼滤波算法,融合蓝牙与惯导的定位数据,解决指纹定位反复回跳以及拐弯处定位不准的问题;申请号201711450555.6的专利阐述了一种基于可穿戴设备定位的预警方法及可穿戴设备,包括:可穿戴设备获取该可穿戴设备所处地点的经纬度,并判断该经纬度对应地点是否存在建筑物,当判断出存在建筑物时,可以获取该可穿戴设备所在位置的周边环境信息,当以获取到的周边环境信息为依据判断出该可穿戴设备当前位置存在隐患源时,向与该可穿戴设备连接的终端设备发送预警信息;申请号为201810781727.6的专利提出一种基于可穿戴设备的定位方法及可穿戴设备,可穿戴设备可以根据对环境图像的环境参数(至少包括环境图像的目标色温)进行计算,并确定出可穿戴设备所处当前环境的目标光源场景属于室外场景还是室内场景,如果属于室内场景,则说明可穿戴设备的确定出的当前定位不准确;申请号为201810190876.5的专利通过对可穿戴设备一段时间内的运动状态信息和网络状态信息进行比较,判断是否出现较大变化,若无较大变化则将上次获取的位置信息发送至服务器。在可穿戴设备监测到的当前运动状态信息和当前网络状态信息没有大的变化的情况下,可以推定可穿戴设备的位置没有发生大的改变,主要应用于监护人对被监护人位置的掌握。
基于目标检测的定位方法应用有以下几个方面,例如专利号201811003121.6提出的融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法;申请号为201811364650.9的专利提出的室内全景地图建模方法,利用高清相机配合激光雷达完成室内全景地图建模,并利用计算机视觉技术提取图像显著性特征,通过大量实景图像进行训练、校正和处理形成模型,最终通过智能设备实景拍照进行图像匹配提取空间结构数据实现精准定位;申请号为201710719898.1的专利提出一种用于室内定位且基于GNSS卫星信号的定位信息推送方法,在室内设置摄像设备,并以摄像设备为坐标系原点,将待测房间划分为平面网格状坐标系,利用动目标检测技术获取用户在室内的二维坐标值。
各现有技术采取的技术有如下几种,基于零速检测的方法,采用UWB定位基站的方法,或者联合其它的无线信号,例如基于蓝牙、Wi-Fi、地磁的定位方法,还有一些基于可见光通信的方法。这些方法各具优缺点,分析如下:对于当前基于零速检测的方法,行人运动过程中零速区间时间间隔短难以检测,如何准确可靠地检测零速区间仍然是一个重要问题;基于UWB的定位系统精度较高,但是与基于Wi-Fi、蓝牙、RFID等定位技术相比,成本很高,甚至是10倍以上的成本差距;蓝牙技术主要应用于小范围定位,对于复杂的空间环境,蓝牙定位系统稳定性差,受噪声信号干扰大,要求移动端集成蓝牙模块,还需要蓝牙基站,设备价格比较昂贵,另外蓝牙基站一般通过电池供电,有些可用3~5年,维护成本高;对于融合可见光通信的方法只适用于可见光到达的空间,可见光覆盖不到的空间其算法失效。
目前基于穿戴式设备的定位方法主要应用于室外定位,如定位预警,儿童手环等,其依靠的主要是GNSS卫星信号。
发明内容
针对以上各个现有技术的不足之处,本发明要求解决的技术问题如下,本发明不使用可见光通信技术,不基于零速检测,不需要UWB基站,也不基于蓝牙、Wi-Fi、RFID等其它定位技术所需要使用的硬件。本发明提出的基于可穿戴设备联合目标检测的惯导定位算法依赖的硬件有可穿戴式设备中的惯性传感器以及一定的运算能力。本发明基于惯性传感器的定位技术,包括加速度传感器、陀螺仪传感器、磁场传感器;考虑到惯性传感器测量误差问题,为纠正累积误差,辅以目标检测技术。
发明目的
本发明基于惯性导航技术,同时联合目标检测技术实现特定标识物识别以消除惯性传感器累积误差为用户提供高精度定位服务;对盲道实现识别,当用户在行走过程中逐渐脱离盲道时给出警告反馈信息;识别盲道上的障碍物,当盲道上出现障碍物时给出预警,为用户行走安全提供保障。
本发明给出技术方案
一种基于可穿戴设备联合目标检测的惯导定位方法,包括三个步骤,一是惯性传感器定位测量算法、二是目标检测算法、三是融合算法,整体流程图见图2:
所述惯性传感器定位测量算法,包括步伐检测算法、步长估计算法以及航向估计算法。步伐检测算法负责检测用户是否发生步伐动作,通过用户的步伐动作来更新用户的当前位置。因为人在行走过程中重心会发生高低的变化,当迈开腿时人的重心降低、当收腿时重心升高,因此,加速度传感器测量的模值会发生周期性的升高降低,步伐检测算法通过检测加速度模值的高低变化从而判断用户是否发生步伐动作。
所述步长估计算法,考虑到不同用户其步长不一致,即使是同一个用户,其步长不同时刻也不一致,因此,为减小误差,本发明采用步长估计算法对不同时刻的步长进行估计,步长估计如公式(1)所示,其中β为常量,根号内的差表示当前步伐发生时间内,gamaxgamin分别为地球坐标系加速度垂直分量的最大值与最小值。
L=β·(gamax-gamin)1/4 (1)
所述地球坐标系加速度垂直分量的最大值与最小值:假设可穿戴设备中的加速度传感器测量出的加速度为x,此加速度x为可穿戴设备在其自身坐标系即设备坐标系中的矢量,再通过可穿戴设备坐标系与地球坐标系的转换关系,将该加速度矢量映射到地球坐标系中,于是可以计算出在步伐发生的时间段内在地球坐标系下的重力方向加速度分量的最大值与最小值,分别表示为gamaxgamin
所述航向估计算法,从磁场传感器中可以读取到磁场的方向,磁场传感器的测量值可以作为参考值之一,但考虑到室内环境中磁场分布的不确定性,仅使用磁场传感器的测量值作为结果不准确,因此还需要借助陀螺仪传感器来进一步确定用户的行走方向,本发明使用融合滤波算法(已为现有成熟技术)来将两者进行融合。融合滤波如公式(2)与公式(3):
St=ASt-1+BUt+wt (2)
Zt=HSt+vt (3)
其中,
S表示航位估计值,t表示时刻,U表示外接的输入值,本发明中即表示陀螺仪传感器的输出值,
Z表示航位的测量值,即磁场传感器对航位的输出值,
w和v分别表示预测误差和测量误差,用高斯白噪声表示,
A、B、H表示矩阵变换因子,A=H=1,B=dt,即陀螺仪的采样时间间隔。
因此,最终的行人航位推算算法原理如图1所示,步长估计算法用于估计图中的L,航位估计算法用于估计图中的θ,因此,当L与θ以及用户的初始位置都已知时,则用户的任意时刻的位置都可以通过推算得出,由于L与θ都存在估计误差,因此要得到精确的估计结果,还需要辅助其他的手段,本发明联合目标检测算法提高估计的精度。
所述目标检测算法,算法详细流程图见附图部分的图4。此算法的输入数据来自于穿戴式设备的摄像头,此算法负责检测图像中是否存在锚点图像、盲道上是否存在障碍物以及图像中盲道出现的概率。首先,需要有一个数据库,此数据库记录锚点图像的绝对位置以及ID,即在感兴趣的区域中布置锚点图像,这些图像的真实位置是已知的,作为参考信号,通过这些图像来减小惯性传感器的累积误差。具体原理如下:
对于来自于摄像头的每帧图像,人工神经网络对输入图像进行检测,若检测当前帧中包含锚点图像(检测的概率大于给定的阈值),则返回结果为当前图像中包含锚点图像;若检测当前帧中存在盲道(检测结果得到的概率值大于给定的阈值),但是也存在障碍物(检测结果得到的概率值大于给定的阈值),并且两者在图像中的区域有重叠,重叠部分大于给定的阈值,则算法返回的结果为盲道上存在障碍物;若检测当前帧中盲道的概率小于给定的阈值,则返回结果为航迹偏离盲道,给出脱离盲道预警信号;最后的结果为,检测结果包含盲道,盲道上不存在障碍物,图像中也不包含锚点图像,则此时返回的是图像中的盲道的概率。
融合算法,算法的详细流程图见附图中的图5。此算法主要负责将惯导定位算法模块的结果与目标检测算法模块的结果进行融合,给出最终的位置坐标。若目标检测算法返回的结果是存在锚点图像,则此时融合算法给出的融合结果是此锚点图像的位置坐标,并且此时将惯性传感器的测量值都清零,去除累积误差以提高精确度,因为此时的锚点图像的位置坐标是绝对精确的并且是已知的;若目标检测算法返回的结果是障碍物预警信息,则此时融合算法返回的融合结果是惯导定位算法给出的位置坐标信息,但同时反馈系统给用户发出前方障碍物的预警信息;若目标检测算法返回的结果是盲道的概率,则融合算法将此概率值与给定的阈值进行比较,若小于给定的阈值,说明视野中盲道所占的比例很小,则反馈系统提示用户脱离盲道的预警信息,若大于给定的阈值,则融合算法返回的结果是惯导定位给出的位置坐标值。
解决的问题及获得的有益效果
考虑到前述技术的诸多缺陷,例如,UWB系统成本问题、蓝牙技术在复杂空间的稳定性问题、系统维护问题,本发明解决的技术问题如下:
一、利用惯性传感器实现定位存在的累积误差问题是固有的,不可避免的,前人基于零速度检测对手机的姿态进行修正是一种解决方法,但是零速度检测的一个难点是,行人运动过程中零速区间的时间间隔短难以检测,如何可靠地检测零速区间依然是一个重要问题,因此,本发明为了解决惯性传感器的累积误差问题,不采用零速度检测的方法,而是通过联合目标检测技术实现累积误差的消除;
二、考虑到无线信号的诸多问题,例如,稳定性问题、设备部署问题、系统维护问题、抗干扰问题、能耗问题、隐私问题等等问题,本发明不采用基于无线信号的方法,不涉及到蓝牙、Wi-Fi、地磁等等无线信号,依赖的硬件仅是惯性传感器,包括加速度传感器、磁场传感器、陀螺仪传感器以及设备的计算能力,从根本上避免无线信号可能出现的问题,增强系统的鲁棒性;
三、考虑到该算法的目标群体是视障人士,因此该算法运行在穿戴式设备中比较符合视障人士的使用习惯,同时这也给本发明提出了要求,即要求算法的能耗低、实时性强、可靠性高等。因此,为了提高算法的实时性,本发明采用专为嵌入式设备设计的人工神经网络,使得在CPU上也能达到理想的速度要求,具有轻量化的特点。
本发明具有如下的特点。惯性传感器在众多移动终端中都嵌入有,民用惯性传感器价格低廉,因此本发明实现的算法成本低,由于目标检测技术需要有相应目标,因此在盲道上需要有相应的标识物,作为纠正惯导系统累积误差之用。因此,本发明具有不受无线信号干扰,稳定性高,成本低,维护成本低等特点。
附图说明
图1行人航位推算原理
图2算法整体流程
图3惯导定位算法详细流程
图4目标检测算法详细流程
图5融合算法整体流程
图6终端构成示意图
具体实施方式
算法整体流程如图2,本发明算法可以分为三个部分,分别是惯导定位算法、目标检测算法、融合算法。
惯导定位算法原理是利用惯性传感器实现行人航位推算,这部分算法会给出其推算结果;
目标检测算法利用人工神经网络,对来自摄像头的图像进行检测,对图像中的内容进行判断,其输出有三种可能,分别是锚点位置(图像中包含锚点,锚点即已知点,该位置对于程序来说是已知的,在部署过程中,需要在感兴趣区域设置适当锚点,锚点的密集程度会影响算法的精度,因此会有一个锚点数据库,该数据库中存放的即是人工设置的锚点ID以及该锚点在感兴趣区域的的绝对位置)、障碍物预警信号以及图像中盲道存在的概率。
最后融合算法将来自于惯导定位的算法的输出结果与来自于目标检测算法的检测结果进行融合,最终产生判决输出,输出类型为用户位置或者障碍物预警信号或者脱离盲道的预警信号。
惯导定位算法的整体流程如图3所示,算法的输入为惯性传感器的测量数据,当启动算法时,会同时开启三个线程,分别为步伐检测线程、步长估计线程以及航向估计线程。三个线程各自分工为,
步伐检测线程负责检测用户是否发生步伐动作,通过用户的步伐动作来实时更新用户的当前位置,本发明采用步伐检测来更新用户的当前位置,步伐检测具体原理见技术解决方案部分(不再赘述);
步长估计线程负责估计用户每步的步长,考虑到步长因人而异,因此,本发明加入了步长估计的环节以减小算法计算误差,提高算法的精确度,具体的步长估计算法见技术解决方案部分;
航向估计线程负责估计用户的行走方向,本发明采用融合滤波算法对用户的航向进行估计,考虑到室内磁场分布的不确定性,本发明通过融合滤波算法将磁场传感器数据与陀螺仪传感器数据进行融合,以减小估计误差。
当步伐检测线程检测到用户发生步伐动作时,从步长估计线程读取用户过去的一步所走过的路程,从航向估计线程中读取用户的行走方向,通过步长与行走方向来确定用户的当前位置,同时将步长估计的值清零,以便开始下一次步长估计,将陀螺仪的积分值清零,以便进行下一次的航向估计。
目标检测算法流程图如图4所示,算法的输入为从摄像头采集的图像,算法启动之时即开启初始化过程,针对来自于摄像头的每幅图像进行检测,给出检测结果,其检测结果有三种,一是图像中包含锚点图像,二是盲道上存在障碍物,三是图像中盲道存在的概率。
当图像中出现锚点图像时,此时目标检测算法返回的结果是存在锚点;当图像中盲道上存在障碍物时,目标检测算法返回的是存在障碍物的预警信息;当图像中既没有锚点图像盲道上也没有障碍物时,此时目标检测算法返回的是图像中存在盲道的概率(对这些结果的判断以及处理交给后续的融合算法)。
融合算法流程图如图5所示,算法的输入为惯导定位结果以及目标检测算法的结果,融合算法对这两个算法给出的结果进行融合。首先判断目标检测算法给出的结果是锚点位置、障碍物预警信号还是图像中存在盲道的概率,如果目标检测算法给出的结果是障碍物预警信息,则融合算法给出的融合结果是输出障碍物预警信息;如果目标检测算法给出的结果是图像中存在锚点图像,则融合算法给出的融合结果是根据用户当前的位置,从数据库中匹配到离当前位置最近的锚点图像的位置,以此锚点的位置来代替惯导定位测量得到的用户位置,并将惯导定位算法的各个传感器置零,重新开始执行惯导算法,从而达到减小惯性传感器的累积误差的目的,提高算法的精确度;如果目标检测算法给出的结果是盲道的概率,则此时需要将此概率与设定的阈值进行比较,若算法返回的概率值小于阈值,说明图像中存在盲道的概率较小,此时用户很可能脱离了盲道,因此融合算法给出的融合结果是脱离盲道的预警信息,若算法给出的概率值大于阈值,则此时算法输出惯导定位算法给出的测量值。
以下结合实施例和附图,对本发明技术方案做进一步说明。
实施例1
第一、在感兴趣区域的盲道上部署锚点图像,记录每个锚点的真实位置,部署的距离几十米到上百米均可,密集程度会影响算法的精确度。部署完成之后可以得到锚点图像数据库。
第二、惯导定位算法的部署。
(a)步伐检测算法的部署。
利用的数据是来自于加速度传感器,首先加速度传感器一般是三轴加速度传感器,因此先对齐取模,若大于给定的阈值a,则将测量结果置为一个常数aa;若小于某个阈值b,则将测量结果置为另外一个数bb。这里a大于b,aa大于a,bb小于b。aa与测量值的最大值较为接近,bb与测量值的最小值较为接近。因此,这个过程之后便将连续信号变为方波信号,此时只需要对方波信号的上升沿或者下降沿进行判断即可。
(b)航位估计算法的部署。
在卡尔曼滤波方程中,将状态转换模型用磁场模型带入,观测模型用陀螺仪传感器的测量模型带入即可。算法的输出即为当前时刻的航位角。
(c)步长估计算法的部署。
此处算法只需在程序中实现公式(1)即可,输出值为当前步伐的步长,在当前时刻结束时需要将其置零。最后当步伐检测算法检测到步伐动作发生时再去(b)和(c)中取对应的结果即可。
第三、目标检测算法的部署。
(a)训练MobileNet网络,需要制作数据集,数据集标签包含锚点图像、盲道以及盲道上的障碍物,网络的输出可用0、1、2分别代表检测结果分别为锚点图像、盲道上存在障碍物以及单纯的盲道。
(b)在算法中加载MobileNet网络,将来自摄像头的图像帧送入MobileNet,网络将给出输出。
第四、融合算法的部署。
(a)取出惯导定位算法与目标检测算法的输出值,取值的时刻应为步伐检测算法检测到步伐发生的时刻,因为此时是更新用户位置坐标的时刻。从以上的程序中可以取出惯导定位算法的结果以及目标检测算法给出的结果。
(b)执行融合算法。
(1)当目标检测算法给出的结果为存在锚点图像时,融合算法在数据库中查找距离用户当前位置最近的锚点图像的绝对位置,将这个位置返回作为用户当前的位置,并对惯性传感器的测量值进行清零。
(2)当目标检测算法给出的结果为障碍物预警信息时,此时融合算法返回的是惯导定位算法给出的测量值,同时反馈系统给出预警信息的提示,例如可以向扬声器发出指令,播放提示音等。
(3)当目标检测算法给出的结果是当前盲道存在的概率,则融合算法进一步将该值与给定的阈值进行比较,若大于阈值,则融合算法返回的结果为惯导定位算法给出的结果;若小于给定的阈值,则融合算法返回的是脱离盲道的预警信息,例如可以向扬声器发出指令,播放提示音等。
系统实现
在硬件方面,可穿戴设备具备摄像头,具备CPU运算能力,有一定的GPU运算能力,穿戴方式可以是智能眼镜或者头戴式等其他位置相对固定的穿戴方式,这样便于摄像头对图像的采集。摄像头负责对用户前方的道路图像进行采集,采集的图像范围为用户前进方向的1~2米范围;CPU负责运行惯导定位算法和融合算法;GPU负责执行目标检测网络。

Claims (2)

1.一种基于可穿戴设备联合目标检测的惯导定位方法,其特征在于,包括三个步骤,一是惯性传感器定位测量算法、二是目标检测算法、三是融合算法;
步骤一,惯性传感器定位测量算法:
包括步伐检测算法、步长估计算法以及航向估计算法;
步伐检测算法负责检测用户是否发生步伐动作,通过用户的步伐动作来更新用户的当前位置;
步伐检测算法通过检测加速度模值的高低变化从而判断用户是否发生步伐动作;
采用步长估计算法对不同时刻的步长进行估计,步长估计如公式(1)所示,其中β为常量,根号内的差表示当前步伐发生时间内,gamaxgamin分别为地球坐标系加速度垂直分量的最大值与最小值;
L=β·(gamax-gamin)1/4 (1)
所述航向估计算法,从磁场传感器中读取到磁场的方向,磁场传感器的测量值作为参考值之一,还借助陀螺仪传感器来进一步确定用户的行走方向,使用融合滤波算法来将两者进行融合,融合滤波如公式(2)与公式(3):
St=ASt-1+BUt+wt (2)
Zt=HSt+vt (3)
其中,
S表示航位估计值,t表示时刻,U表示外接的输入值,即表示陀螺仪传感器的输出值,
Z表示航位的测量值,即磁场传感器对航位的输出值,
w和v分别表示预测误差和测量误差,用高斯白噪声表示,
A、B、H表示矩阵变换因子,A=H=1,B=dt,即陀螺仪的采样时间间隔;
步骤二,目标检测算法,此算法的输入数据来自于穿戴式设备的摄像头,此算法负责检测图像中是否存在锚点图像、盲道上是否存在障碍物以及图像中盲道出现的概率;需要有一个数据库,此数据库记录锚点图像的绝对位置以及ID,即在感兴趣的区域中布置锚点图像,这些图像的真实位置是已知的,作为参考信号,通过这些图像来减小惯性传感器的累积误差,具体如下:
对于来自于摄像头的每帧图像,人工神经网络对输入图像进行检测,若检测当前帧中包含锚点图像(检测的概率大于给定的阈值),则返回结果为当前图像中包含锚点图像;若检测当前帧中存在盲道(检测结果得到的概率值大于给定的阈值),但是也存在障碍物(检测结果得到的概率值大于给定的阈值),并且两者在图像中的区域有重叠,重叠部分大于给定的阈值,则算法返回的结果为盲道上存在障碍物;若检测当前帧中盲道的概率小于给定的阈值,则返回结果为航迹偏离盲道,给出脱离盲道预警信号;最后的结果为,检测结果包含盲道,盲道上不存在障碍物,图像中也不包含锚点图像,则此时返回的是图像中的盲道的概率;
步骤三,融合算法,负责将惯导定位算法模块的结果与目标检测算法模块的结果进行融合,给出最终的位置坐标:
若目标检测算法返回的结果是存在锚点图像,则此时融合算法给出的融合结果是此锚点图像的位置坐标,并且此时将惯性传感器的测量值都清零,去除累积误差以提高精确度,因为此时的锚点图像的位置坐标是绝对精确的并且是已知的;
若目标检测算法返回的结果是障碍物预警信息,则此时融合算法返回的融合结果是惯导定位算法给出的位置坐标信息,但同时反馈系统给用户发出前方障碍物的预警信息;
若目标检测算法返回的结果是盲道的概率,则融合算法将此概率值与给定的阈值进行比较,若小于给定的阈值,说明视野中盲道所占的比例很小,则反馈系统提示用户脱离盲道的预警信息,若大于给定的阈值,则融合算法返回的结果是惯导定位给出的位置坐标值。
2.如权利要求1所述的方法,其特征在于,所述地球坐标系加速度垂直分量的最大值与最小值:
假设可穿戴设备中的加速度传感器测量出的加速度为x,此加速度x为可穿戴设备在其自身坐标系即设备坐标系中的矢量,再通过可穿戴设备坐标系与地球坐标系的转换关系,将该加速度矢量映射到地球坐标系中,于是可以计算出在步伐发生的时间段内在地球坐标系下的重力方向加速度分量的最大值与最小值,分别表示为gamaxgamin
CN201911409940.5A 2019-12-31 2019-12-31 一种基于可穿戴设备联合目标检测的惯导定位方法 Active CN111174781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409940.5A CN111174781B (zh) 2019-12-31 2019-12-31 一种基于可穿戴设备联合目标检测的惯导定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409940.5A CN111174781B (zh) 2019-12-31 2019-12-31 一种基于可穿戴设备联合目标检测的惯导定位方法

Publications (2)

Publication Number Publication Date
CN111174781A true CN111174781A (zh) 2020-05-19
CN111174781B CN111174781B (zh) 2022-03-04

Family

ID=70655956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409940.5A Active CN111174781B (zh) 2019-12-31 2019-12-31 一种基于可穿戴设备联合目标检测的惯导定位方法

Country Status (1)

Country Link
CN (1) CN111174781B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925000A (zh) * 2021-01-25 2021-06-08 东南大学 基于可见光通信和惯性导航的隧道环境下车辆定位方法
CN113499173A (zh) * 2021-07-09 2021-10-15 中国科学技术大学 基于实时实例分割的下肢假肢地形识别与运动预测系统
CN113739817A (zh) * 2020-05-29 2021-12-03 上海华依科技集团股份有限公司 一种汽车组合导航设备信号融合算法参数的在线自动调试方法
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN114018267A (zh) * 2021-11-04 2022-02-08 国网新源控股有限公司 基于可穿戴式室内巡检定位装置的融合定位方法
CN115402953A (zh) * 2022-08-27 2022-11-29 北京神州云脑科技有限公司 塔吊安全预警方法、装置及系统
US11686809B1 (en) 2022-05-05 2023-06-27 Zhejiang Deqing Zhilu Navigation Technology Co., LTD Acoustic positioning system and method for smartphone and wearable device, and terminal
WO2023142633A1 (zh) * 2022-01-29 2023-08-03 宁波诺丁汉大学 一种运动轨迹确定方法、装置及系统
WO2023212983A1 (zh) * 2022-05-05 2023-11-09 浙江德清知路导航科技有限公司 一种智能手机和可穿戴设备的音频定位系统、方法及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
CN105241445A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于智能移动终端的室内导航数据获取方法及系统
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106017454A (zh) * 2016-06-16 2016-10-12 东南大学 一种基于新型多传感器融合技术的行人导航装置和方法
CN108106613A (zh) * 2017-11-06 2018-06-01 上海交通大学 基于视觉辅助的定位方法与系统
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN110095116A (zh) * 2019-04-29 2019-08-06 桂林电子科技大学 一种基于lift的视觉定位和惯性导航组合的定位方法
WO2019177471A1 (en) * 2018-01-29 2019-09-19 Uniwersytet Mikołaja Kopernika W Toruniu A method of object localization, particularly of human beings, and a device for human localization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
CN105241445A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于智能移动终端的室内导航数据获取方法及系统
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106017454A (zh) * 2016-06-16 2016-10-12 东南大学 一种基于新型多传感器融合技术的行人导航装置和方法
CN108106613A (zh) * 2017-11-06 2018-06-01 上海交通大学 基于视觉辅助的定位方法与系统
WO2019177471A1 (en) * 2018-01-29 2019-09-19 Uniwersytet Mikołaja Kopernika W Toruniu A method of object localization, particularly of human beings, and a device for human localization
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN110095116A (zh) * 2019-04-29 2019-08-06 桂林电子科技大学 一种基于lift的视觉定位和惯性导航组合的定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GIOFUSCO: "Self-Localization at Street Intersections", 《2014 CANADIAN CONFERENCE ON COMPUTER AND ROBOT VISION》 *
曲法义,等: "基于惯导/GPS/视觉的无人机容错相对导航方法", 《中国惯性技术学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739817A (zh) * 2020-05-29 2021-12-03 上海华依科技集团股份有限公司 一种汽车组合导航设备信号融合算法参数的在线自动调试方法
CN113739817B (zh) * 2020-05-29 2023-09-26 上海华依智造动力技术有限公司 汽车组合导航设备信号融合算法参数的在线自动调试方法
CN112925000A (zh) * 2021-01-25 2021-06-08 东南大学 基于可见光通信和惯性导航的隧道环境下车辆定位方法
CN113499173A (zh) * 2021-07-09 2021-10-15 中国科学技术大学 基于实时实例分割的下肢假肢地形识别与运动预测系统
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN113917452B (zh) * 2021-09-30 2022-05-24 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN114018267A (zh) * 2021-11-04 2022-02-08 国网新源控股有限公司 基于可穿戴式室内巡检定位装置的融合定位方法
WO2023142633A1 (zh) * 2022-01-29 2023-08-03 宁波诺丁汉大学 一种运动轨迹确定方法、装置及系统
US11686809B1 (en) 2022-05-05 2023-06-27 Zhejiang Deqing Zhilu Navigation Technology Co., LTD Acoustic positioning system and method for smartphone and wearable device, and terminal
WO2023212983A1 (zh) * 2022-05-05 2023-11-09 浙江德清知路导航科技有限公司 一种智能手机和可穿戴设备的音频定位系统、方法及终端
CN115402953A (zh) * 2022-08-27 2022-11-29 北京神州云脑科技有限公司 塔吊安全预警方法、装置及系统
CN115402953B (zh) * 2022-08-27 2023-10-27 深圳市神州云海智能科技有限公司 塔吊安全预警方法、装置及系统

Also Published As

Publication number Publication date
CN111174781B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN111174781B (zh) 一种基于可穿戴设备联合目标检测的惯导定位方法
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
CN109951830B (zh) 一种多信息融合的室内外无缝定位方法
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
JP2022106924A (ja) 自律的な自己位置推定のためのデバイス及び方法
US7804980B2 (en) Environment recognition device
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
JPWO2018025531A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111879305B (zh) 一种面向高危生产环境的多模态感知定位模型与系统
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
CN110553648A (zh) 一种用于室内导航的方法和系统
TW201425971A (zh) 圖資校正裝置、系統和方法
CN111174780B (zh) 盲人道路惯导定位系统
Aldibaja et al. LIDAR-data accumulation strategy to generate high definition maps for autonomous vehicles
CN108549376A (zh) 一种基于信标的导航定位方法及系统
KR102221817B1 (ko) 위치정보를 제공하는 단말기, 위치정보 측정 방법 및 시스템
CN109730910A (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
CN112261719B (zh) 一种slam技术结合深度学习的区域定位方法
Rydell et al. CHAMELEON: Visual-inertial indoor navigation
Somyat et al. NavTU: android navigation app for Thai people with visual impairments
CN108827308B (zh) 一种高精度行人室外定位系统及方法
CN115112121A (zh) 基于数据与模型结合的多源融合定位方法、系统及终端
CN113916221B (zh) 一种融合视觉里程计和bp网络的自适应行人航迹推算方法
JP6903955B2 (ja) 移動物状態量推定装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant