CN114998731A - 智能终端导航场景感知识别的方法 - Google Patents

智能终端导航场景感知识别的方法 Download PDF

Info

Publication number
CN114998731A
CN114998731A CN202210601762.1A CN202210601762A CN114998731A CN 114998731 A CN114998731 A CN 114998731A CN 202210601762 A CN202210601762 A CN 202210601762A CN 114998731 A CN114998731 A CN 114998731A
Authority
CN
China
Prior art keywords
scene
probability
behavior
hmm
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210601762.1A
Other languages
English (en)
Other versions
CN114998731B (zh
Inventor
朱锋
陈惟杰
罗科干
郭斐
张小红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210601762.1A priority Critical patent/CN114998731B/zh
Publication of CN114998731A publication Critical patent/CN114998731A/zh
Application granted granted Critical
Publication of CN114998731B publication Critical patent/CN114998731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能终端导航场景感知识别的方法，包括：基于多种手机传感器观测数据构建了顾及导航场景联通性的SVM‑HMM模型，能够有效减小导航场景切换的识别误差，最大化传感器利用率；构建了顾及前后时间步信息的LSTM模型，实现行人行为的快速识别；将行为信息与传感器观测特性结合，实现多传感器场景识别结果的组合；利用环境与行为的联系构建HMM，实现对场景预测结果的平滑。本发明可以得到更加精准的实时室内外及地下导航场景识别结果。

Description

智能终端导航场景感知识别的方法
技术领域
本发明属于导航场景识别的技术领域，具体涉及一种智能终端导航场景感知与识别的方法。
背景技术
全球导航卫星系统(Global Navigation Satellite System)已经能够满足开阔场景的定位需求，然而其存在固有的局限性和脆弱性，即无法在物理遮蔽、电磁干扰等信号拒止的复杂场景下提供高精度定位服务。导航场景感知作为一种终端导航增强技术，通过有效提取多PNT(Positioning，Navigation and Time)传感器的特征指纹，构建高可信的导航场景感知模型，进一步地实现导航终端在各种复杂场景下的自适应配置，能够用于解决复杂场景下连续可用的高精度定位难题。
目前，导航场景感知与识别技术已经成为导航领域关注的焦点。而智能手机作为一种移动终端，其内置有丰富的多PNT传感器，能够提供非常丰富的PNT信息。在室内场景，GNSS基本上被屏蔽无法提供定位服务，必须要选择其他导航源继续提高定位服务。并且，对智能终端来说，若仍维持GNSS则需要大量的功耗，因此准确识别手机所处的导航场景，从而能够让终端依据场景的不同完成相应的终端传感器重构，调整最优定位策略，实现场景自适应的无缝导航定位。
导航场景感知的一般方法是，首先通过时域、频域和几何等统计方法，提取具有差异性和可区分性的导航场景特征指纹，再利用机器学习或者深度学习方法对提取的导航场景特征进行学习和预测。机器(深度)学习模型作为热门的高级学习方法，能够有效建立起各种导航场景特征信息与对应导航场景类别之间的显性映射，并且，得益于GPU(GraphicsProcessing Unit)处理器的快速发展，深度学习具备处理大量数据和学习复杂模型的强大能力，目前深度学习已被广泛地应用于各种导航场景感知方法之中。
目前的导航场景感知与识别算法主要存在以下问题，
1)目前的研究基本聚焦于室内外场景，本发明将其扩展到地下场景；另外，大部分研究的场景颗粒度不够，尤其是很少覆盖导航场景切换的模糊区域；
2)智能终端行为特征包括时域特征和频域特征两类，观测环境之间在物理空间上具有场景联通性，从而在前后时间步上也存在联通性约束；
3)观测环境与载体行为都是导航场景的重要因子，已有的算法对二者之间的联系考虑不够。针对以上问题，急需开发一种能够减小了导航场景识别的误差的智能终端导航场景感知与识别的方法。
发明内容
本发明的目的在于针对现有技术的不足之处，提供一种智能终端导航场景感知识别的方法，提高了智能手机终端传感器的利用率，减小了导航场景识别的误差。
为解决上述技术问题，本发明采用如下技术方案：
一种智能终端导航场景感知识别的方法，包括如下步骤：
步骤1，从智能终端传感器观测值提取观测环境特征指纹，根据提取的观测环境特征指纹，基于每种传感器分别构建SVM模型并初步输出场景识别结果，然后根据场景识别结果构建HMM模型，对HMM模型进行平滑，得到多个SVM-HMM场景预测结果；
步骤2，从智能终端行为传感器观测值提取行为特征指纹，对提取的行为特征指纹进行处理得到多段行为观测值的时间序列和行为特征的时频图像，将得到的时间序列和时频图像分别提取特征信息，并对得到的特征信息进行连接得到组合特征信息，将组合特征信息输入到深度学习网络中，得到行为类别概率结果；
步骤3，根据步骤2得到的各行为类别概率结果，首先利用行为概率确定各类传感器的组合系数，然后对步骤1输出的多个SVM-HMM场景预测结果进行组合，得到组合的场景概率向量；
步骤4，用步骤3输出的组合场景概率向量和步骤2的行为类别概率结果构建HMM模型的观测概率矩阵，完成导航场景识别结果的平滑。
进一步地，步骤1中对每个传感器分别构建SVM模型，单个SVM模型预测结果表示为：
Figure BDA0003669632910000031
上式中，x表示输入的导航场景特征数据，xj、yj分别对应为样本的输入数据和标签，αij和b分别是SVM待求参数，φ为非线性核函数；
根据SVM模型的输出结果，进一步将到分离平面的距离归化为各场景类别的概率：
Figure BDA0003669632910000032
上式中，A和B分别是待求参数，由于该式对所有的样本x成立，因此根据最小二乘法可求解待求参数，从而得到各场景类别的概率。
进一步地，步骤1还包括：
根据SVM模型识别的场景类别的概率和场景类别构建场景联通性的HMM模型，HMM模型中的导航场景联通关系通过设置状态概率转移矩阵来表示，状态概率转移矩阵如下：
Figure BDA0003669632910000033
上式中，矩阵元素xij的含义是场景xj切换到场景xi的概率，当xij对应的概率为0时，即便当前历元发生了场景错误识别，则通过该状态概率转移矩阵将错误识别结果过滤掉；
基于维特比算法完成对HMM模型的学习训练，得到多组SVM-HMM输出与平滑的场景类别概率向量结果：
Figure BDA0003669632910000041
上式中，n表示传感器数目，m表示场景类别数目，
Figure BDA0003669632910000042
表示传感器i的场景概率向量预测结果。
进一步地，步骤2具体包括：
通过滑动窗口提取行为观测值的时间序列，通过包括但不限于离散傅里叶变换、小波变换的方法提取行为频域特征指纹信息，之后通过卷积神经网络CNN对时间序列特征提取得到行为的时域特征图、并对频域特征指纹信息进行提取得到特征图，之后对特征图进行Flatten(将多维向量数据“压平”为一维向量)操作后且与时域特征图连接，得到同时组合时域和频域的特征信息；
将得到的特征信息输入到LSTM模型中得到LSTM隐藏层信息，之后继续加入全连接层、softmax层以实现LSTM隐藏层信息到场景类别的映射，从而得到行为类别概率结果。
进一步地，步骤3中，对某种传感器si来说，对应的每种行为类别都确定一个组合系数
Figure BDA0003669632910000043
对每个场景类别xj，得到多传感器SVM-HMM组合后的场景概率向量预测结果为：
Figure BDA0003669632910000044
Figure BDA0003669632910000045
表示传感器si对场景类别xj的场景概率向量预测结果。
进一步地，步骤4具体包括：
步骤4.1，根据步骤3输出的场景概率向量和步骤2的行为类别概率结果构建HMM模型的观测概率矩阵，开始逐历元的场景状态平滑；
步骤4.2，对每个历元，先根据行为概率先完成状态概率转移矩阵的改正，再完成场景状态的转移和行为观测的预测；
步骤4.3，重复步骤4.2，直到HMM模型的观测概率矩阵收敛完毕。
进一步地，室内外地下场景细分为室外、半室外、室内、半室外地下和地下五类场景。
与现有技术相比，本发明的有益效果为：
1)采用顾及导航场景联通性的多分类SVM-HMM模型，提高了智能手机传感器的利用率，有效减小了导航场景切换的误识别；
2)设计了包含卷积层、LSTM、全连接层的深度学习网络，实现行为传感器的时域和频率特征提取，构建了“端到端”的神经网络模型，实现行为的精准识别；
3)利用行为信息确定多传感器SVM-HMM的组合系数，实现各类传感器的最优信息组合；利用观测环境和载体行为之间的场景关联性，构建HMM实现预测结果的平滑，有效提高导航场景的识别正确率。
附图说明
图1为本发明实施例中智能终端导航场景感知与识别的方法的总体结构图；
图2为本发明实施例中的导航场景联通示意图；
图3为本发明实施例中的HMM结构图；
图4为本发明实施例中的多传感器SVM-HMM观测环境检测算法流程图；
图5为本发明实施例中的LSTM网络结构图；
图6为本发明实施例中的载体行为深度学习网络模型结构图；
图7为本发明实施例中的载体行为检测算法流程图；
图8为本发明实施例中的多传感器SVM-HMM观测环境概率组合算法流程图；
图9为本发明实施例中的联合环境与行为的HMM平滑算法流程图。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
如图1所示，本发明实施例提供一种智能终端导航场景感知识别的方法，包括以下步骤：
一、顾及导航场景联通性的多分类SVM-HMM观测环境检测方法
在本实施例中，以手机为智能终端进行说明，当然并不限于手机。目前手机内置的环境传感器主要有GNSS、光照、压强、磁场强度、Wi-Fi和蓝牙等，尽管可用于导航场景分类的传感器种类比较丰富，但研究表明，以上传感器各具有局限性。如GNSS的分类性能非常好，但能耗较高；室内外场景的Wi-Fi、蓝牙信号变化较大，但由于无线信号传播的局限性，当载体与Wi-Fi信号源发生相对运动时，Wi-Fi和蓝牙信号波动较大，方法不具有稳定性；压强传感器则存在类似的问题，不过原因则更多是因为载体在竖直方向上的运动，如上下楼梯等；光照传感器的问题则在于需要考虑其他影响因素如遮挡、人造/自然光源、时间等。尽管存在着种种问题，但以上传感器确实存在可用于场景区分的传感器特征信息，因此，本实施例就此构建了一种多传感器的导航场景识别模型，具体包括：
首先，从智能终端传感器观测值提取观测环境特征指纹，根据提取的观测环境特征指纹对每个传感器分别构建SVM模型，SVM是一种基于样本特征向量构建最大间隔分离超平面的分类模型，单个SVM模型预测结果可表示为下式：
Figure BDA0003669632910000071
上式中，x表示输入的导航场景特征数据，xj和yj分别是样本的输入数据和标签，αij和b分别是SVM待求参数，φ为非线性核函数。SVM的输出结果本质上描述的是样本点到分离超平面的距离，因此下式可进一步将到分离平面的距离归化为各场景类别的概率：
Figure BDA0003669632910000072
上式中，A和B分别是待求参数，由于该式对所有的样本x成立，因此可根据最小二乘法可求解待求参数，从而得到各场景类别的概率。
对室内外及地下场景，在本实施例中，将室内外地下场景细分为室外、半室外、室内、半室外地下和地下五类场景。考虑到导航场景之间具有如图2所示的联通性，由图可以发现，室内及半室内外与半地下及地下之间不具有联通性，另一方面，从GNSS信号特征角度，场景联通性的意义也即是，这两类场景在特征域上具有相似性，如不加以手段区分，很容易造成场景误分类。因此，本实施例在SVM分类的基础上，进一步构建了如图3所示的基于场景类别的HMM模型。HMM的统计基础是一阶马尔可夫链，其条件是某一历元的场景只依赖于上一历元的场景，HMM包含观测信息链和状态信息链，每一历元的状态信息通过状态概率转移矩阵在状态链上传递，而观测只能由同一时刻的状态给出。在这里，观测信息和状态信息分别对应场景类别概率和场景类别，对应的映射为argmax函数。
在HMM中，基于图2的导航场景联通关系示意图，可以设置状态概率转移矩阵如下，由于对不同的数据集来说，由于样本内各种场景类别的数据比例不同，具体的转移概率会发生浮动，而理论上确定该状态概率转移矩阵则需要采集绝对多的数据来统计不同场景之间发生切换的概率，构建的状态概率转移矩阵如下：
Figure BDA0003669632910000081
上式中，矩阵元素xij的含义是场景xj切换到场景xi的概率；
在本实施例中，则选择简单地根据经验知识确定状态概率转移矩阵如下：
Figure BDA0003669632910000082
上式中，当矩阵元素xij对应的概率为0时，即便当前历元发生了场景错误识别，也能通过该状态概率转移矩阵将错误识别结果过滤掉。
HMM中，马尔可夫链基于维特比(Viterbi)算法完成模型的学习训练，该算法主要是通过最大期望(Expectation Maximum,EM)算法，逐步寻找不可观测参数的最大似然估计，方法结构图如图3所示，其具体做法为寻找受隐藏状态链S控制的最大概率观测状态O，计算的方法是通过逐历元的期望最大进行HMM参数的迭代优化。最终可以得到多组SVM-HMM输出与平滑的场景类别概率向量结果：
Figure BDA0003669632910000083
上式中，n表示传感器数目，m表示场景类别数目；
Figure BDA0003669632910000084
表示传感器i的场景概率向量预测结果。
具体方法流程图如图4所示，步骤如下：
步骤1.1，从手机传感器观测值中提取观测环境特征指纹，包括GNSS特征指纹、Wi-Fi特征指纹、压强特征指纹、光照特征指纹等；
步骤1.2，基于每类环境特征指纹，传感器分别构建SVM并输出各场景类别概率；
步骤1.3，构建场景联通性的HMM模型对场景预测结果进行平滑得到多个SVM-HMM场景概率结果。
二、基于深度学习网络模型的行人行为识别方法
智能手机终端的行为传感器包含加速度、角速度、重力加速度三类，一般手机传感器观测值的采样频率为50Hz，远高于环境传感器的采样频率，因此首先需要通过滑动窗口提取行为观测值的时间序列。不同行为类别的差异除了表现在时域统计特征上，另一显著差异则是由人体不同行为的主频差异导致，因此通过频域特征提取方法如离散傅里叶变换、小波变换等可以提取行为频域特征指纹信息。
深度学习网络的终极目标是构建“端到端”的神经网络模型，从而直接建立起原始观测数据到导航场景类别的映射模型。卷积神经网络(Convolutional Neural Network,CNN)作为一种被广泛用于图像特征学习的神经网络模型，能够通过卷积操作从原始图像中学习特征信息，十分适合抽象特征的提取。一方面，CNN的应用一般是在图像领域，即二维CNN，但是也可以用一维CNN对时间序列进行特征提取；另一方面，通过滑动窗口方法和前面所用的傅里叶变换等方法可以得到行为的时频信号图，时频图描述了信号的频率和幅度随时间变化的特征，对视频图可以用二维CNN对频域图像进行特征提取得到特征图，特征图进行Flatten(将多维向量数据“压平”为一维向量)操作后可与时域特征图连接，得到同时组合时域和频域的特征信息。
卷积操作可以实现抽象特征的提取，而LSTM模型则可以学习历元间(也称作时间步上)行为特征信息之间的联系，在行为问题上，本发明选择用LSTM模型替代HMM模型，原因是尽管行为传感器观测值在时间步上存在联系，但以滑动窗口为单位的特征数据对应的则是场景类别，而场景类别之间并不存在联系，因此这里需要采用学习能力更强的LSTM模型。LSTM模型的结构如图5所示，其结构主要包括遗忘门、更新门和输出门，LSTM模型与HMM模型不同的是，它通过记忆细胞来有选择性地传递相当长时间步上的隐藏层信息，LSTM模型的主要计算公式如下：
首先是在更新门和遗忘门分别计算更新比例因子it和遗忘比例因子ft：
it＝σ(Wi·[ht-1,xt]+bi)；
ft＝σ(Wf·[ht-1,xt]+bf)；
上式中，Wi、Wf分别对应为更新门、遗忘门的权重矩阵，bi和bf分别对应为偏置矩阵；ht-1表示的是上一时刻的隐藏层状态，xt表示当前时刻的输入数据，σ表示的是某种非线性映射，该映射将线性关系转换为非线性问题。然后是更新记忆细胞状态，先计算当前时刻记忆细胞的更新信息
Figure BDA0003669632910000101
然后根据上一时刻的记忆细胞状态Ct-1，以及更新比例因子it和遗忘比例因子ft来得到当前时刻的记忆细胞状态Ct，如下式：
Figure BDA0003669632910000102
Figure BDA0003669632910000103
上式中，WC、bC分别对应为记忆细胞更新的权重、偏置，其他同前式；最后是计算输出门的结果和更新隐藏层状态：
ot＝σ(Wo·[ht-1,xt]+bo)
hi＝ot*tanh(Ct)
上式中，Wo、bo分别是记忆细胞更新的权重与偏置，其他同前式。由上述各式可以看到，LSTM也是一个类似的“隐藏状态传播链”，其中计算的Ct相当于一个包含历史状态信息和当前状态信息的比例因子，它决定了隐藏状态被遗忘记忆的程度；图5中，yt为神经网络的输出结果，在本方法中对应分类的概率。
在LSTM后，本发明继续加入全连接层(linear)、softmax层来实现LSTM隐藏层信息到场景类别的映射，至此完整的深度学习网络结构如图6所示。在模型的学习训练中，还需要调整学习率、权重衰减等超参数，以及选择不同的损失函数和优化器来进行优化。
具体方法流程图如图7所示，步骤如下：
步骤2.1，通过滑动窗口方法从原始手机行为传感器观测值中提取行为传感器观测值序列；
步骤2.2，通过离散傅里叶变换得到行为传感器的时频图像；
步骤2.3，将行为传感器观测值的时间序列和时频图像数据输入到深度学习网络，得到行为类别概率结果。
三、多SVM-HMM结果自适应组合
本节根据主要是步骤2的行为概率输出确定SVM-HMM的组合系数，由前文所述可知，不同行为下每种传感器识别结果的置信程度不同，因此本节的核心在于需要分析不同传感器、不同行为的信号质量，对某种传感器si来说，对应的每种行为类别都有一个待确定的组合系数
Figure BDA0003669632910000111
具体地，由于观测环境或者载体行为对传感器的影响是已知，所以在训练学习阶段，通过分析各传感器的分类性能可以先确定一个具有经验性质的组合系数
Figure BDA0003669632910000112
因此，对每个场景类别，可以得到多传感器SVM-HMM组合后的场景概率向量预测结果为：
Figure BDA0003669632910000113
式中，
Figure BDA0003669632910000114
表示传感器si对场景类别xj的场景概率向量预测结果。
具体方法流程图如图8所示，实验步骤如下
步骤3.1，根据各行为概率确定各传感器的组合系数；
步骤3.2，由前述计算的多传感器SVM-HMM输出的场景概率向量以及步骤3.1中的组合系数计算组合后的SVM-HMM场景预测概率。
四、环境与行为关联的HMM平滑
HMM描述了显性的观测状态链下的隐性状态链的最大似然推测问题，这一内涵也适用于环境与行为，例如一个人若在上下楼，那么他大概率在室内或者半地下；若在跑步，则较大可能在室外，较小可能在半室内外、半地下，更小可能在室内、地下；以此递推，可以得到各种场景对应下的行为概率，在本问题中，行为作为观测、环境作为状态构成HMM模型的观测概率矩阵。首先，在本实例中，设由导航场景映射到行为的HMM观测概率矩阵如下：
Figure BDA0003669632910000121
该矩阵描述了各类行为对应的导航场景类别概率，值得注意地是，除非样本足够大，否则上述观测概率矩阵的元素受到样本中各类数据的比例影响；另一种构建该矩阵的方式则是根据样本中各类场景下的各类行为数据占比确定，矩阵每个元素的计算式如下(在足够大样本的条件下，这两种构建方式应该等价)：
Figure BDA0003669632910000122
上式中，pij表示场景状态为Contexti下对应行为为Activityj的，P(Contexti,Activityj)表示Contexti和Activityj的联合概率，P(Contexti)表示Contexti的概率；
对每一历元的状态概率转移矩阵，由于静止行为的载体其状态也保持不变，因此可以构建以下的逐历元状态概率转移改正，
Xt＝Pstanding·I+(1-Pstanding)·Xt-1；
上式中，I表示单位矩阵，Xt表示当前历元的状态概率转移矩阵，Xt-1表示前一历元的状态概率转移矩阵，Pstanding表示载体静止的概率。
具体方法流程图如图9所示，实验步骤如下：
步骤4.1，根据样本集确定HMM模型的观测概率矩阵，开始逐历元的场景状态平滑；
步骤4.2，对每个历元，先根据行为概率先完成状态概率转移矩阵的改正，再完成场景状态的转移和行为观测的预测；
步骤4.3，重复步骤4.2，直到HMM模型的观测概率矩阵收敛完毕。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (7)

1.一种智能终端导航场景感知识别的方法，其特征在于，包括如下步骤：
步骤1，从智能终端传感器观测值提取观测环境特征指纹，根据提取的观测环境特征指纹，基于每种传感器分别构建SVM模型并初步输出场景识别结果，然后根据场景识别结果构建HMM模型，对HMM模型进行平滑，得到多个SVM-HMM场景预测结果；
步骤2，从智能终端行为传感器观测值提取行为特征指纹，对提取的行为特征指纹进行处理得到多段行为观测值的时间序列和行为特征的时频图像，将得到的时间序列和时频图像分别提取特征信息，并对得到的特征信息进行连接得到组合特征信息，将组合特征信息输入到深度学习网络中，得到行为类别概率结果；
步骤3，根据步骤2得到的各行为类别概率结果，首先利用行为概率确定各类传感器的组合系数，然后对步骤1输出的多个SVM-HMM场景预测结果进行组合，得到组合的场景概率向量；
步骤4，用步骤3输出的组合场景概率向量和步骤2的行为类别概率结果构建HMM模型的观测概率矩阵，完成导航场景识别结果的平滑。
2.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，步骤1中对每个传感器分别构建SVM模型，单个SVM模型预测结果表示为：
Figure FDA0003669632900000011
上式中，x表示输入的导航场景特征数据，xj、yj分别对应为样本的输入数据和标签，αij和b分别是SVM待求参数，φ为非线性核函数；
根据SVM模型的输出结果，进一步将到分离平面的距离归化为各场景类别的概率：
Figure FDA0003669632900000012
上式中，A和B分别是待求参数，由于该式对所有的样本x成立，因此根据最小二乘法可求解待求参数，从而得到各场景类别的概率。
3.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，步骤1还包括：
根据SVM模型识别的场景类别的概率和场景类别构建场景联通性的HMM模型，HMM模型中的导航场景联通关系通过设置状态概率转移矩阵来表示，状态概率转移矩阵如下：
Figure FDA0003669632900000021
上式中，矩阵元素xij的含义是场景xj切换到场景xi的概率，当xij对应的概率为0时，即便当前历元发生了场景错误识别，则通过该状态概率转移矩阵将错误识别结果过滤掉；
基于维特比算法完成对HMM模型的学习训练，得到多组SVM-HMM输出与平滑的场景类别概率向量结果：
Figure FDA0003669632900000022
上式中，n表示传感器数目，m表示场景类别数目，
Figure FDA0003669632900000023
表示传感器i的场景概率向量预测结果。
4.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，步骤2具体包括：
通过滑动窗口提取行为观测值的时间序列，通过包括但不限于离散傅里叶变换、小波变换的方法提取行为频域特征指纹信息，之后通过卷积神经网络CNN对时间序列特征提取得到行为的时域特征图、并对频域特征指纹信息进行提取得到特征图，之后对特征图进行Flatten操作后且与时域特征图连接，得到同时组合时域和频域的特征信息；
将得到的特征信息输入到LSTM模型中得到LSTM隐藏层信息，之后继续加入全连接层、softmax层以实现LSTM隐藏层信息到场景类别的映射，从而得到行为类别概率结果。
5.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，步骤3中，对某种传感器si来说，对应的每种行为类别都确定一个组合系数
Figure FDA0003669632900000033
对每个场景类别xj，得到多传感器SVM-HMM组合后的场景概率向量预测结果为：
Figure FDA0003669632900000031
式中，
Figure FDA0003669632900000032
表示传感器si对场景类别xj的场景概率向量预测结果。
6.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，步骤4具体包括：
步骤4.1，根据步骤3输出的场景概率向量和步骤2的行为类别概率结果构建HMM模型的观测概率矩阵，开始逐历元的场景状态平滑；
步骤4.2，对每个历元，先根据行为概率先完成状态概率转移矩阵的改正，再完成场景状态的转移和行为观测的预测；
步骤4.3，重复步骤4.2，直到HMM模型的观测概率矩阵收敛完毕。
7.根据权利要求1所述的智能终端导航场景感知识别的方法，其特征在于，室内外地下场景细分为室外、半室外、室内、半室外地下和地下五类场景。
CN202210601762.1A 2022-05-30 2022-05-30 智能终端导航场景感知识别的方法 Active CN114998731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210601762.1A CN114998731B (zh) 2022-05-30 2022-05-30 智能终端导航场景感知识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210601762.1A CN114998731B (zh) 2022-05-30 2022-05-30 智能终端导航场景感知识别的方法

Publications (2)

Publication Number Publication Date
CN114998731A true CN114998731A (zh) 2022-09-02
CN114998731B CN114998731B (zh) 2024-10-18

Family

ID=83031628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210601762.1A Active CN114998731B (zh) 2022-05-30 2022-05-30 智能终端导航场景感知识别的方法

Country Status (1)

Country Link
CN (1) CN114998731B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721441A (zh) * 2023-08-03 2023-09-08 厦门瞳景智能科技有限公司 基于区块链的门禁安全管理方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040002838A1 (en) * 2002-06-27 2004-01-01 Oliver Nuria M. Layered models for context awareness
CN106960473A (zh) * 2017-03-27 2017-07-18 北京交通大学 一种行为感知系统及方法
CN114067160A (zh) * 2021-11-22 2022-02-18 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040002838A1 (en) * 2002-06-27 2004-01-01 Oliver Nuria M. Layered models for context awareness
CN106960473A (zh) * 2017-03-27 2017-07-18 北京交通大学 一种行为感知系统及方法
CN114067160A (zh) * 2021-11-22 2022-02-18 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱博;高翔;赵燕喃;: "机器人室内语义建图中的场所感知方法综述", 自动化学报, no. 04, 12 January 2017 (2017-01-12) *
苏宇;陈启安;吴海涛;: "基于SVM和HMM二级模型的行为识别方案", 计算机与现代化, no. 05, 15 May 2015 (2015-05-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721441A (zh) * 2023-08-03 2023-09-08 厦门瞳景智能科技有限公司 基于区块链的门禁安全管理方法与系统
CN116721441B (zh) * 2023-08-03 2024-01-19 厦门瞳景智能科技有限公司 基于区块链的门禁安全管理方法与系统

Also Published As

Publication number Publication date
CN114998731B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN110555881A (zh) 一种基于卷积神经网络的视觉slam测试方法
KR101779800B1 (ko) 기계학습 기반 다면적 성장 평가 방법 및 시스템
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN117475038B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
CN114841257A (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN108009571A (zh) 一种新的直推式半监督数据分类方法及系统
CN112489081A (zh) 一种视觉目标跟踪方法及装置
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN113392876B (zh) 一种基于图神经网络的小样本图像分类方法
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
CN118051831B (zh) 基于CNN-Transformer合作网络模型的水声目标识别方法
CN117152427A (zh) 基于扩散模型和知识蒸馏的遥感图像语义分割方法与系统
CN116738330A (zh) 一种半监督域自适应脑电信号的分类方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114998731A (zh) 智能终端导航场景感知识别的方法
CN114494152A (zh) 基于关联学习模型的无监督变化检测方法
CN117152763A (zh) 一种运动场景下目标文字识别通用增强方法及相关装置
CN114077666A (zh) 对话意图分类方法、装置和非易失性计算机存储介质
CN115731517B (zh) 一种基于Crowd-RetinaNet网络的拥挤人群检测方法
CN114495265B (zh) 多跨域场景下基于活动图加权的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant