CN110543917B - 一种利用行人惯导轨迹与视频信息的室内地图匹配方法 - Google Patents

一种利用行人惯导轨迹与视频信息的室内地图匹配方法 Download PDF

Info

Publication number
CN110543917B
CN110543917B CN201910842065.3A CN201910842065A CN110543917B CN 110543917 B CN110543917 B CN 110543917B CN 201910842065 A CN201910842065 A CN 201910842065A CN 110543917 B CN110543917 B CN 110543917B
Authority
CN
China
Prior art keywords
track
path
door frame
video information
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910842065.3A
Other languages
English (en)
Other versions
CN110543917A (zh
Inventor
肖卓凌
李坤鑫
练恒
阎波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910842065.3A priority Critical patent/CN110543917B/zh
Publication of CN110543917A publication Critical patent/CN110543917A/zh
Application granted granted Critical
Publication of CN110543917B publication Critical patent/CN110543917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用行人惯导轨迹与视频信息的室内地图匹配方法，其包括以下步骤：S1、获取轨迹真值；S2、获取与轨迹真值可能匹配的路径；S3、获取所有与轨迹真值可能匹配的路径中的门框信息；S4、获取视频信息中的门框数据；S5、筛选目标路径；S6、提取所有目标路径中的建筑结构特征；S7、获取视频图像中的建筑结构特征；S8、将所有目标路径中的建筑结构特征分别与视频图像中的建筑结构特征进行匹配，将匹配度最高的目标路径作为行人的实际路径，完成室内地图匹配。本发明能够在不给出行人初始点的情况下，仅依靠惯导数据和视频数据实现室内地图匹配，进而实现行人定位。

Description

一种利用行人惯导轨迹与视频信息的室内地图匹配方法
技术领域
本发明涉及地图匹配领域，具体涉及一种利用行人惯导轨迹与视频信息的室内地图匹配方法。
背景技术
当今社会物联网技术飞速发展，社会对物联网技术依赖逐步上升，而对于物联网技术来说，位置服务是不可缺少的服务环节。当前定位技术中，室外定位技术由于GPS位置定位技术的成熟有很好的室外定位效果，然而，实际生活中，人们八成以上的时间待在室内，成熟的室内定位技术需求极为迫切，室内定位技术中，考虑到成本需求与定位效果之间的关系，目前为止没有综合最优室内定位方案。对商业需求来说，定位精度要求比较高，于是定位技术也在定位精度上不断提高满足需求，但是往往高精度方案成本高，或者因为需要提前部署电子相关设备导致定位方案不适用。总结以上，保证高精度的同时把成本尽可能降低、信息依赖少的相关定位技术无疑是未来市场的需求。
从室内定位技术是否需要部署电子设备来说，传统的室内定位方法可以分为依赖部署的定位技术和不依赖部署的定位技术。依赖部署的定位技术有：RFID定位技术、蓝牙定位技术、Wi-Fi定位技术、UWB定位技术等；不依赖部署的定位技术有：地磁定位技术、惯性传感器定位技术等。其中，惯性传感器定位技术有别于RFID定位等技术，由于其无需提前部署的特性，可以适用于更复杂的应用场景，如煤矿抢险、应急救援等，并且，惯性传感器应用广泛、成本较低，符合市场对于室内定位方案的要求。针对于以上问题，研究如何依靠惯性传感器结合其他容易获得的信息满足室内定位要求成为亟待解决的问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种利用行人惯导轨迹与视频信息的室内地图匹配方法解决了依靠惯性传感器结合其他容易获得的视频信息来进行室内地图匹配的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种利用行人惯导轨迹与视频信息的室内地图匹配方法，其包括以下步骤：
S1、采集并预处理行人在已知地图中的惯性导航数据，得到轨迹真值；
S2、根据轨迹真值在已知地图中进行轨迹匹配分析，将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径；
S3、获取所有与轨迹真值可能匹配的路径中的门框信息；
S4、采集并对行人行走过程中的视频信息进行时序图像分析，识别视频信息中的门框并得到视频信息中的门框数据；
S5、将所有与轨迹真值可能匹配的路径中的门框信息分别与视频信息中的门框数据进行匹配，根据欧氏距离去除距离大于阈值的路径，将剩余路径作为目标路径；
S6、提取所有目标路径中的建筑结构特征；
S7、获取视频图像中的建筑结构特征；
S8、将所有目标路径中的建筑结构特征分别与视频图像中的建筑结构特征进行匹配，将匹配度最高的目标路径作为行人的实际路径，完成室内地图匹配。
进一步地，步骤S1的具体方法为：
通过在行人身上佩戴惯性导航模块，采集行人在已知地图中的惯性导航数据，以像素点为基本单位，只选取x和y方向的惯性导航数据，将其导入同一坐标系中形成轨迹真值。
进一步地，步骤S2的具体方法包括以下子步骤：
S2-1、将轨迹真值的总长度记为Ltotal，将轨迹真值中第n次相对于上一时刻向左或向右转弯标记为ifturnn，并记录第n次转弯时对于轨迹起点的累积距离Ln，得到整个轨迹真值的特征向量routevector＝{Ltotal,ifturn1,L1,ifturn2,L2,...,ifturnn,Ln,...,ifturnN,LN}；其中N表示轨迹真值中的转弯总次数，ifturnN为第N次转弯，LN为第N次转弯时对于轨迹起点的累积距离；n＝1,2,...,N；
S2-2、在已知地图中以18个像素为步长进行打点记录，在打点记录后的已知地图中进行点遍历生成若干长度为Ltotal的空间路径；
S2-3、采用与步骤S2-1相同的方法将每个空间路径转换为带转弯标记的特征向量，得到与空间路径一一对应的特征向量；
S2-4、获取每个与空间路径对应的特征向量与整个轨迹真值的特征向量之间的向量距离，将向量距离小于阈值所对应的空间路径作为与轨迹真值可能匹配的路径，即将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径。
进一步地，步骤S3的具体方法包括以下子步骤：
S3-1、对于每一条与轨迹真值可能匹配的路径，以当前轨迹点作为初始状态点，以下一个轨迹点为第二状态点，两点向量方向为运动方向；以初始状态点为矩形上边中心，以运动方向为切割方向，切割设定长宽像素的局部地图；
S3-2、对于每个局部地图，沿局部地图中轴线从中间向两侧方向对门框结构进行判别，将上一墙体状态与下一墙体状态距离在设定阈值像素之间的结构判断为门框结构；
S3-3、获取检测出的门框至该门框所在路径初始点的累积距离，将路径左侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径左侧的门框信息；将路径右侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径右侧的门框信息。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、对行人行走过程中的视频信息进行时序图像分析后进行直方均衡化处理，得到待识别的图像数据；
S4-2、建立深度学习网络，采用带有标签的门框图像对其进行训练，得到训练后的深度学习网络；
S4-3、采用训练后的深度学习网络对待识别图像数据进行识别，获取待识别图像数据中的门框数据，进而得到视频信息中的门框数据。
进一步地，步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure BDA0002194033160000041
获取行人的步行速度V；其中Ltotal为轨迹真值的总长度；Ttotal为视频的总长度，即行人的步行时长；
S5-2、将视频信息中检测到第p个门框数据的时间戳记录为Tp，根据行人步行速度和时间戳获取视频信息中所有门框相对于初始点的距离；
S5-3、将位于视频信息中路径左侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径左侧的门框信息；将位于视频信息中路径右侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径右侧的门框信息；
S5-4、计算基于视频信息的路径左侧的门框信息与基于轨迹真值的路径左侧的门框信息的欧氏距离，计算基于视频信息的路径右侧的门框信息与基于轨迹真值的路径右侧的门框信息的欧氏距离，去除欧氏距离大于阈值的与轨迹真值可能匹配的路径，将剩余路径作为目标路径。
进一步地，步骤S6的具体方法为：
对于所有目标路径，沿其所在地图中轴线从中间向两侧的方向对局部地图空间结构进行判别，将判别结果根据建筑透视原理转换为模拟三维结构并作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征；其中局部地图空间结构的判别结果包括墙体、门框、建筑凸角和建筑凹角。
进一步地，步骤S7的具体方法为：
依次对视频图像进行时序图像分析、直方均衡化处理、高斯模糊处理和Canny边缘检测获取视频图像中的建筑结构，将视频图像中的建筑结构作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征。
进一步地，步骤S8的具体方法包括以下子步骤：
S8-1、根据公式
Figure BDA0002194033160000051
获取轨迹真值的总步数Npoint；其中Ltotal为轨迹真值的总长度；l为轨迹真值的点距步长；
S8-2、以一步长的视频图像对应的建筑结构特征为一个单位，采用自然语言处理分别对每个目标路径中的建筑结构特征和视频图像中的建筑结构特征进行类别匹配，获取每个步长下的类别匹配结果；
S8-3、根据公式
Figure BDA0002194033160000052
获取每个目标路径与轨迹真值的匹配概率Pk；其中i表示第i个步长；scoreclsi为第i步长下的类别匹配结果；
S8-4、将目标路径与轨迹真值的匹配概率最高的目标路径作为行人的实际路径，完成室内地图匹配。
本发明的有益效果为：
1、本方法能够在不给出行人初始点的情况下，仅依靠惯导数据和视频数据实现室内地图匹配，进而实现行人定位，系统定位点与真值点重合率高。
2、本方法无需知晓行人的初始点信息，使得系统适用性广，更符合实际行人室内定位条件。
3、本方法利用行人的惯导数据信息与视频信息，两者在当前环境中都十分容易获得，定位难度低。
4、本方法摒弃传统对于图像特征提取方法，使用深度学习网络提取门框信息特征与建筑空间结构特征等，计算速度有较大提升，本发明采用的深度学习网络只在训练时期需要大量数据与训练时间，模型训练完成后，可以直接利用已经保存的模型与参数完成室内地图匹配任务。
附图说明
图1为本发明的流程示意图；
图2为实施例部分惯性导航数据；
图3为部分惯性导航数据对应的真实轨迹示意图；
图4为与轨迹真值可能匹配的路径的示意图；
图5为局部地图示意图；
图6为与轨迹真值可能匹配的路径中的门框信息示意图；
图7为视频信息时序分析的示意图；
图8为视频信息中的门框数据示意图；
图9为视频图像中的建筑结构特征示意图；
图10为所有目标路径中的建筑结构特征示意图；
图11为匹配度最高的路径输出示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该利用行人惯导轨迹与视频信息的室内地图匹配方法包括以下步骤：
S1、采集并预处理行人在已知地图中的惯性导航数据，得到轨迹真值；
S2、根据轨迹真值在已知地图中进行轨迹匹配分析，将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径；
S3、获取所有与轨迹真值可能匹配的路径中的门框信息；
S4、采集并对行人行走过程中的视频信息进行时序图像分析，识别视频信息中的门框并得到视频信息中的门框数据；
S5、将所有与轨迹真值可能匹配的路径中的门框信息分别与视频信息中的门框数据进行匹配，根据欧氏距离去除距离大于阈值的路径，将剩余路径作为目标路径；
S6、提取所有目标路径中的建筑结构特征；
S7、获取视频图像中的建筑结构特征；
S8、将所有目标路径中的建筑结构特征分别与视频图像中的建筑结构特征进行匹配，将匹配度最高的目标路径作为行人的实际路径，完成室内地图匹配。
如图2和图3所示，步骤S1的具体方法为：通过在行人身上佩戴惯性导航模块，采集行人在已知地图中的惯性导航数据，以像素点为基本单位，只选取x和y方向的惯性导航数据，将其导入同一坐标系中形成轨迹真值。
如图4所示，步骤S2的具体方法包括以下子步骤：
S2-1、将轨迹真值的总长度记为Ltotal，将轨迹真值中第n次相对于上一时刻向左或向右转弯标记为ifturnn，并记录第n次转弯时对于轨迹起点的累积距离Ln，得到整个轨迹真值的特征向量routevector＝{Ltotal,ifturn1,L1,ifturn2,L2,...,ifturnn,Ln,...,ifturnN,LN}；其中N表示轨迹真值中的转弯总次数，ifturnN为第N次转弯，LN为第N次转弯时对于轨迹起点的累积距离；n＝1,2,...,N；
S2-2、在已知地图中以18个像素为步长进行打点记录，在打点记录后的已知地图中进行点遍历生成若干长度为Ltotal的空间路径；
S2-3、采用与步骤S2-1相同的方法将每个空间路径转换为带转弯标记的特征向量，得到与空间路径一一对应的特征向量；
S2-4、获取每个与空间路径对应的特征向量与整个轨迹真值的特征向量之间的向量距离，将向量距离小于阈值所对应的空间路径作为与轨迹真值可能匹配的路径，即将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径。
如图5和图6所示，步骤S3的具体方法包括以下子步骤：
S3-1、对于每一条与轨迹真值可能匹配的路径，以当前轨迹点作为初始状态点，以下一个轨迹点为第二状态点，两点向量方向为运动方向；以初始状态点为矩形上边中心，以运动方向为切割方向，切割设定长宽像素的局部地图；
S3-2、对于每个局部地图，沿局部地图中轴线从中间向两侧方向对门框结构进行判别，将上一墙体状态与下一墙体状态距离在设定阈值像素之间的结构判断为门框结构；
S3-3、获取检测出的门框至该门框所在路径初始点的累积距离，将路径左侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径左侧的门框信息；将路径右侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径右侧的门框信息。
如图7和图8所示，步骤S4的具体方法包括以下子步骤：
S4-1、对行人行走过程中的视频信息进行时序图像分析后进行直方均衡化处理，得到待识别的图像数据；
S4-2、建立深度学习网络，采用带有标签的门框图像对其进行训练，得到训练后的深度学习网络；
S4-3、采用训练后的深度学习网络对待识别图像数据进行识别，获取待识别图像数据中的门框数据，进而得到视频信息中的门框数据。
如图9所示，步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure BDA0002194033160000091
获取行人的步行速度V；其中Ltotal为轨迹真值的总长度；Ttotal为视频的总长度，即行人的步行时长；
S5-2、将视频信息中检测到第p个门框数据的时间戳记录为Tp，根据行人步行速度和时间戳获取视频信息中所有门框相对于初始点的距离；
S5-3、将位于视频信息中路径左侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径左侧的门框信息；将位于视频信息中路径右侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径右侧的门框信息；
S5-4、计算基于视频信息的路径左侧的门框信息与基于轨迹真值的路径左侧的门框信息的欧氏距离，计算基于视频信息的路径右侧的门框信息与基于轨迹真值的路径右侧的门框信息的欧氏距离，去除欧氏距离大于阈值的与轨迹真值可能匹配的路径，将剩余路径作为目标路径。
如图10所示，步骤S6的具体方法为：对于所有目标路径，沿其所在地图中轴线从中间向两侧的方向对局部地图空间结构进行判别，将判别结果根据建筑透视原理转换为模拟三维结构并作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征；其中局部地图空间结构的判别结果包括墙体、门框、建筑凸角和建筑凹角。
步骤S7的具体方法为：依次对视频图像进行时序图像分析、直方均衡化处理、高斯模糊处理和Canny边缘检测获取视频图像中的建筑结构，将视频图像中的建筑结构作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征。
如图11所示，步骤S8的具体方法包括以下子步骤：
S8-1、根据公式
Figure BDA0002194033160000101
获取轨迹真值的总步数Npoint；其中Ltotal为轨迹真值的总长度；l为轨迹真值的点距步长；
S8-2、以一步长的视频图像对应的建筑结构特征为一个单位，采用自然语言处理分别对每个目标路径中的建筑结构特征和视频图像中的建筑结构特征进行类别匹配，获取每个步长下的类别匹配结果；
S8-3、根据公式
Figure BDA0002194033160000102
获取每个目标路径与轨迹真值的匹配概率Pk；其中i表示第i个步长；scoreclsi为第i步长下的类别匹配结果；
S8-4、将目标路径与轨迹真值的匹配概率最高的目标路径作为行人的实际路径，完成室内地图匹配。
在本发明的一个实施例中，本发明采用的CNN网络包括三层卷积层(含池化层)和三层全连接层，网络的损失函数为：
loss＝-(labelcls*log(scorecls)+(1-labelcls)*log(1-scorecls))
其中scorecls为本网络输出匹配类别结果；labelcls为标签类别；log(·)为log函数。
综上所述，本发明能够在不给出行人初始点的情况下，仅依靠惯导数据和视频数据实现室内地图匹配，进而实现行人定位，便于使用者了解自己所在室内位置，有助于在无法采用RFID定位技术、GPS定位技术、蓝牙定位技术、Wi-Fi定位技术或UWB定位技术的环境中进行定位。

Claims (9)

1.一种利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，包括以下步骤：
S1、采集并预处理行人在已知地图中的惯性导航数据，得到轨迹真值；
S2、根据轨迹真值在已知地图中进行轨迹匹配分析，将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径；
S3、获取所有与轨迹真值可能匹配的路径中的门框信息；
S4、采集并对行人行走过程中的视频信息进行时序图像分析，识别视频信息中的门框并得到视频信息中的门框数据；
S5、将所有与轨迹真值可能匹配的路径中的门框信息分别与视频信息中的门框数据进行匹配，根据欧氏距离去除距离大于阈值的路径，将剩余路径作为目标路径；
S6、提取所有目标路径中的建筑结构特征；
S7、获取视频图像中的建筑结构特征；
S8、将所有目标路径中的建筑结构特征分别与视频图像中的建筑结构特征进行匹配，将匹配度最高的目标路径作为行人的实际路径，完成室内地图匹配。
2.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S1的具体方法为：
通过在行人身上佩戴惯性导航模块，采集行人在已知地图中的惯性导航数据，以像素点为基本单位，只选取x和y方向的惯性导航数据，将其导入同一坐标系中形成轨迹真值。
3.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：
S2-1、将轨迹真值的总长度记为Ltotal，将轨迹真值中第n次相对于上一时刻向左或向右转弯标记为ifturnn，并记录第n次转弯时对于轨迹起点的累积距离Ln，得到整个轨迹真值的特征向量routevector＝{Ltotal,ifturn1,L1,ifturn2,L2,...,ifturnn,Ln,...,ifturnN,LN}；其中N表示轨迹真值中的转弯总次数，ifturnN为第N次转弯，LN为第N次转弯时对于轨迹起点的累积距离；n＝1,2,...,N；
S2-2、在已知地图中以18个像素为步长进行打点记录，在打点记录后的已知地图中进行点遍历生成若干长度为Ltotal的空间路径；
S2-3、采用与步骤S2-1相同的方法将每个空间路径转换为带转弯标记的特征向量，得到与空间路径一一对应的特征向量；
S2-4、获取每个与空间路径对应的特征向量与整个轨迹真值的特征向量之间的向量距离，将向量距离小于阈值所对应的空间路径作为与轨迹真值可能匹配的路径，即将所有匹配度大于阈值的路径作为与轨迹真值可能匹配的路径。
4.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S3的具体方法包括以下子步骤：
S3-1、对于每一条与轨迹真值可能匹配的路径，以当前轨迹点作为初始状态点，以下一个轨迹点为第二状态点，两点向量方向为运动方向；以初始状态点为矩形上边中心，以运动方向为切割方向，切割设定长宽像素的局部地图；
S3-2、对于每个局部地图，沿局部地图中轴线从中间向两侧方向对门框结构进行判别，将上一墙体状态与下一墙体状态距离在设定阈值像素之间的结构判断为门框结构；
S3-3、获取检测出的门框至该门框所在路径初始点的累积距离，将路径左侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径左侧的门框信息；将路径右侧的门框至路径初始点的累积距离组合成向量作为基于轨迹真值的路径右侧的门框信息。
5.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：
S4-1、对行人行走过程中的视频信息进行时序图像分析后进行直方均衡化处理，得到待识别的图像数据；
S4-2、建立深度学习网络，采用带有标签的门框图像对其进行训练，得到训练后的深度学习网络；
S4-3、采用训练后的深度学习网络对待识别图像数据进行识别，获取待识别图像数据中的门框数据，进而得到视频信息中的门框数据。
6.根据权利要求4所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure FDA0002194033150000031
获取行人的步行速度V；其中Ltotal为轨迹真值的总长度；Ttotal为视频的总长度，即行人的步行时长；
S5-2、将视频信息中检测到第p个门框数据的时间戳记录为Tp，根据行人步行速度和时间戳获取视频信息中所有门框相对于初始点的距离；
S5-3、将位于视频信息中路径左侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径左侧的门框信息；将位于视频信息中路径右侧的门框相对于初始点的距离组合成向量作为基于视频信息的路径右侧的门框信息；
S5-4、计算基于视频信息的路径左侧的门框信息与基于轨迹真值的路径左侧的门框信息的欧氏距离，计算基于视频信息的路径右侧的门框信息与基于轨迹真值的路径右侧的门框信息的欧氏距离，去除欧氏距离大于阈值的与轨迹真值可能匹配的路径，将剩余路径作为目标路径。
7.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S6的具体方法为：
对于所有目标路径，沿其所在地图中轴线从中间向两侧的方向对局部地图空间结构进行判别，将判别结果根据建筑透视原理转换为模拟三维结构并作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征；其中局部地图空间结构的判别结果包括墙体、门框、建筑凸角和建筑凹角。
8.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S7的具体方法为：
依次对视频图像进行时序图像分析、直方均衡化处理、高斯模糊处理和Canny边缘检测获取视频图像中的建筑结构，将视频图像中的建筑结构作为CNN网络的输入，通过CNN网络获取对应的建筑结构特征。
9.根据权利要求1所述的利用行人惯导轨迹与视频信息的室内地图匹配方法，其特征在于，所述步骤S8的具体方法包括以下子步骤：
S8-1、根据公式
Figure FDA0002194033150000041
获取轨迹真值的总步数Npoint；其中Ltotal为轨迹真值的总长度；l为轨迹真值的点距步长；
S8-2、以一步长的视频图像对应的建筑结构特征为一个单位，采用自然语言处理分别对每个目标路径中的建筑结构特征和视频图像中的建筑结构特征进行类别匹配，获取每个步长下的类别匹配结果；
S8-3、根据公式
Figure FDA0002194033150000051
获取每个目标路径与轨迹真值的匹配概率Pk；其中i表示第i个步长；
Figure FDA0002194033150000052
为第i步长下的类别匹配结果；
S8-4、将目标路径与轨迹真值的匹配概率最高的目标路径作为行人的实际路径，完成室内地图匹配。
CN201910842065.3A 2019-09-06 2019-09-06 一种利用行人惯导轨迹与视频信息的室内地图匹配方法 Active CN110543917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842065.3A CN110543917B (zh) 2019-09-06 2019-09-06 一种利用行人惯导轨迹与视频信息的室内地图匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842065.3A CN110543917B (zh) 2019-09-06 2019-09-06 一种利用行人惯导轨迹与视频信息的室内地图匹配方法

Publications (2)

Publication Number Publication Date
CN110543917A CN110543917A (zh) 2019-12-06
CN110543917B true CN110543917B (zh) 2021-09-28

Family

ID=68712784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842065.3A Active CN110543917B (zh) 2019-09-06 2019-09-06 一种利用行人惯导轨迹与视频信息的室内地图匹配方法

Country Status (1)

Country Link
CN (1) CN110543917B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067005B (zh) * 2020-09-02 2023-05-05 四川大学 一种基于转弯点的离线地图匹配方法、装置及终端设备
CN113259855B (zh) * 2021-06-16 2021-10-01 北京奇岱松科技有限公司 室内目标运行轨迹识别系统
CN113888635B (zh) * 2021-09-29 2023-04-18 北京百度网讯科技有限公司 视觉定位方法、相关装置
CN114001736A (zh) * 2021-11-09 2022-02-01 Oppo广东移动通信有限公司 定位方法、定位装置、存储介质与电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872524A (zh) * 2009-08-14 2010-10-27 杭州海康威视数字技术股份有限公司 基于虚拟墙的视频监控方法、系统及装置
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104866460A (zh) * 2015-06-04 2015-08-26 电子科技大学 一种基于SoC的容错自适应可重构系统与方法
CN108426582A (zh) * 2018-03-03 2018-08-21 北京工业大学 行人室内三维地图匹配方法
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110009739A (zh) * 2019-01-29 2019-07-12 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN110047142A (zh) * 2019-03-19 2019-07-23 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9109917B2 (en) * 2013-09-26 2015-08-18 Google Inc. Systems and methods for providing input suggestions via the head unit of a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872524A (zh) * 2009-08-14 2010-10-27 杭州海康威视数字技术股份有限公司 基于虚拟墙的视频监控方法、系统及装置
CN104390643A (zh) * 2014-11-24 2015-03-04 上海美琦浦悦通讯科技有限公司 基于多信息融合实现室内定位的方法
CN104866460A (zh) * 2015-06-04 2015-08-26 电子科技大学 一种基于SoC的容错自适应可重构系统与方法
CN108426582A (zh) * 2018-03-03 2018-08-21 北京工业大学 行人室内三维地图匹配方法
CN110009739A (zh) * 2019-01-29 2019-07-12 浙江省北大信息技术高等研究院 移动摄像机的数字视网膜的运动特征的提取与编码方法
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110047142A (zh) * 2019-03-19 2019-07-23 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Robust real-time stereo matching system for indoor environments;Jiho Chang;《2015 12th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI)》;20151217;论文全文 *
一种基于OpenCL的高能效并行KNN算法及其GPU验证;贺江;《电子技术应用》;20160223;第42卷(第02期);论文全文 *
基于ROS的机器人即时定位及地图构建创新实验平台研制;杨亮;《实验技术与管理》;20170815;第34卷(第08期);论文全文 *
有限状态自动机辅助的行人导航状态匹配算法;方志祥;《测绘学报》;20170315;论文全文 *

Also Published As

Publication number Publication date
CN110543917A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110543917B (zh) 一种利用行人惯导轨迹与视频信息的室内地图匹配方法
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN111931684A (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN110765906A (zh) 一种基于关键点的行人检测算法
CN109190561B (zh) 一种视频播放中的人脸识别方法及系统
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN108288047A (zh) 一种行人/车辆检测方法
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN113095263B (zh) 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
CN112669350A (zh) 一种自适应特征融合的智能变电站人体目标跟踪方法
CN108334881A (zh) 一种基于深度学习的车牌识别方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN109740454A (zh) 一种基于yolo-v3的人体体态识别方法
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN112966736A (zh) 一种基于多视角匹配与局部特征融合的车辆再识别方法
CN109508698A (zh) 一种基于二叉树的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant