CN114943344B - 联合svm和hmm的导航场景感知通用模型构建方法 - Google Patents
联合svm和hmm的导航场景感知通用模型构建方法 Download PDFInfo
- Publication number
- CN114943344B CN114943344B CN202210592460.2A CN202210592460A CN114943344B CN 114943344 B CN114943344 B CN 114943344B CN 202210592460 A CN202210592460 A CN 202210592460A CN 114943344 B CN114943344 B CN 114943344B
- Authority
- CN
- China
- Prior art keywords
- svm
- model
- scene
- probability
- hmm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 57
- 238000010276 construction Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000007704 transition Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010219 correlation analysis Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 description 73
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了联合SVM和HMM的导航场景感知通用模型构建方法，分别为基于结果层面融合的SVM‑HMM1构建方法以及基于概率层面融合的SVM‑HMM2构建方法。包括：联合SFFS特征选择与LDA特征降维算法建立导航场景感知特征指纹库；采用网格搜索发迭代训练SVM输出导航场景的分类结果与分类概率；引入HMM，实现对SVM识别结果进行平滑处理，提高场景识别的准确度，其中，采用SVM输出的分类结果与离散型HMM联合形成SVM‑HMM1模型，采用SVM输出的分类概率与连续型HMM联合形成SVM‑HMM2模型；针对构建完成的HMM模型，构建导航场景邻接矩阵，修正HMM不合理的状态转移参数，进一步提高模型的可靠性。本发明可实现快速、高精度导航场景感知，为多PNT传感器自适应配置，多场景无缝导航提供场景感知信息。
Description
技术领域
本发明属于导航场景感知领域，是两种导航场景感知通用模型构建方法。
背景技术
高精度导航定位技术在军事国防、自然监测、精密测量、交通出行等方面均具有广泛应用，涉及城区、室内、丛林、水下等信号多样，变化复杂的导航场景。为实现自适应多场景的无缝导航定位，弹性化集成以GNSS为主，其他定位终端协同配合的多PNT融合框架，已成为导航领域所关注的焦点。现有多源融合框架存在场景适应性差、配置灵活度低、系统坚韧性弱等问题，构建导航场景感知通用模型，可提供实时导航场景信息，是实现多PNT传感器的自适应调整与智能化配置的重要基础。
在高级自适应集成导航技术研究中，导航场景感知模型主要从场景类型、连通性、特征提取等方面进行系统性构建，并利用GNSS、Wi-Fi、惯性传感器等环境传感器采集观测数据实现导航场景感知。在场景感知模型构建方法上主要有两类：(1)基于阈值或规则的判定方法，利用传感器观测值构造导航场景检验量，通过设定阈值或规则区分导航场景。在室内外行人环境感知与车辆载体行为感知的研究中，通过经验设定或自适应阈值，构造隐马尔科夫模型与模糊推理系统进行分类识别的方法已得到有效应用。(2)监督学习方法，采用带有真实标签的特征数据集训练分类模型，实现目标分类任务的有效预测。与方法(1)相比，该方法可根据实际需求定制分类目标，通过智能学习环境/行为特征的方式实现更高精度的导航场景感知。其中，随机森林、支持向量机(SVM)、Adaboost等监督分类器在室内/室外、城市遮挡/非遮挡的场景感知领域均有所应用。
目前的导航场景感知模型主要存在以下问题：
1)现有导航场景感知模型应用领域较为局限，面向单一导航场景，针对多导航场景及其子场景构建的通用感知模型较少；
2)现有导航场景感知模型多为二分类模型，分类任务较为简单，无法满足无缝导航定位的精细化需求；
3)监督学习方法具有较高的分类精确度，但难以考虑导航场景的切换概率与联通关系；HMM方法分类精确度较低，但可通过构造状态转移与发射概率实现场景间概率推演。因此，仅采用一种方法难以兼顾单历元识别的准确率与场景切换的可靠性。
针对以上问题，本发明给出了两种联合SVM和HMM的导航场景感知通用模型构建方法，通过SVM分类与HMM平滑的方式实现快速、高精度的导航场景感知。
发明内容
本发明提供了两种联合SVM和HMM的导航场景感知模型构建方法，分别为基于结果层面融合的SVM-HMM1模型构建方法与基于概率层面联合的SVM-HMM2模型构建方法。构建得到的模型具有分类场景精细，分类精确度高，场景切换模糊区域小的特点。如图1所示，为达到上述目的，本发明采用相同的流程实现了两种构建方法，技术方案如下所述：
步骤1，利用环境传感器的观测数据与真实参考标签提取特征指纹，将其与目标导航场景进行相关性分析，提取强相关特征指纹构成特征向量，并联合SFFS特征选择与LDA特征降维算法，进一步形成细分导航场景下的特征指纹库。
步骤2，使用步骤1构建的指纹库对SVM模型进行监督训练，采用拉格朗日乘子算法构造目标函数，通过梯度下降的方式自适应确定最优化极值。由于训练前SVM的核函数、惩罚系数以及gama系数等超参数需要人为给定，为获取最优的SVM模型，利用基于网格搜素的最优化SVM训练策略，多次训练并选取分类精确度最高的SVM模型。此时，训练得到的SVM模型可实现测试数据的初步预测，分别可输出导航场景的分类结果与分类概率。
步骤3，通过监督学习分类方法构造HMM的状态转移与发射概率表达。若构造SVM-HMM1模型，利用步骤2得到的分类结果分别计算HMM的初始状态向量、状态转移矩阵以及发射概率矩阵，联合步骤2的SVM模型构造基于结果层面融合的场景感知模型SVM-HMM1。若构造SVM-HMM2模型，则通过GMM方法构造更为精细的HMM状态转移与发射概率表达，利用步骤2得到的分类概率拟合GMM，实现多维连续的概率向量与发射概率间的转换，并通过Baum-Welch算法获取状态转移矩阵，联合步骤2的SVM模型构造基于概率层面融合场景感知模型SVM-HMM2。
步骤4，考虑导航场景间的固有联通属性与切换概率，构建导航场景间的场景联通性邻接矩阵，并对步骤3中构造得到的HMM模型的状态转移参数进行修正，避免出现相邻时间内出现场景关联微弱的分类结果，从而提升导航场景感知的精度。
进一步的，步骤1的具体实现方式如下；
步骤11，获取原始观测数据的统计值；通过对单历元解算的观测值求算均值、标准差、最大值、最小值、极差、四分位值统计值，提取不同观测值的总体特征；通过设置阈值的方式提取场景间差异更为明显的特征；
步骤12，将数据特征归一化，消除历元或数据集间的绝对数量差异所导致的非必要差异；
步骤13，采用相关性分析联合的SFFS算法进行数据特征选择，首先相关性分析对数据特征进行初步筛选，随后将相关性较强的数据特征进行SFFS特征选择，通过构造评价函数，将数据特征x依次加入特征向量X*使得评价函数取值达到最优；
步骤14，采用LDA降维方法将特征向量投影至低维空间，降低训练模型所花费的时间；LDA降维方法采用监督学习算法实现，通过计算类内散度矩阵Sb与类间散度矩阵Sw获取映射矩阵并将特征向量投影至低维空间，表示为
式中，Y*为映射至低维空间后的特征向量；
经上述步骤处理后，计算得到的特征向量与真实场景标签通过设定的数据结构存储形成导航场景特征指纹库。
进一步的，步骤2中基于网格搜索法选定SVM模型的最优超参数，具体包括如下步骤；
步骤21，依据SVM模型的待定超参数，选取核函数、惩罚系数、gamma系数作为网格搜素对象，并依据各参数的候选范围，构建待定参数网格阵列；
步骤22，依据步骤21的待定参数网格阵列，迭代搜素超参数组合，训练SVM模型，根据分类精确度筛选确定最终模型；训练过程利用拉格朗日乘子法构造目标函数，并通过SMO算法求解最优化的SVM模型，拉格朗日目标函数可表示为：
式中，(Xi,Yi)为训练集中特征指纹与真实标签样本点，α为拉格朗日乘子算法引入的约束条常数，α为长度为n的向量，其第i个元素表示为αi，W、b为超平面参数，φ(·)为模型的映射函数；
步骤23，利用步骤22训练得到的SVM模型输出分类结果与分类概率。
进一步的，基于结果层面融合的场景感知模型SVM-HMM1中，初始状态概率、状态转移矩阵以及发射概率矩阵的计算方式如下；
(1)状态转移矩阵利用训练集真实标签数据进行求算，通过统计历元相邻标签两两之间的变化情况估计转移参数，表示为
式中，为状态转移矩阵的估计值，/>为状态转移矩阵i行j列的估计值，N表示隐藏状态的种类数，对应场景数量；p(St+1＝Sj|St＝Si)表示t时刻隐藏状态St+1为Si，t+1时刻隐藏状态St为Sj的频数；
(2)发射概率矩阵利用真实标签与预测结果的差异情况进行估计，通过统计真实标签对应的所有预测结果的频数，估计得到不同隐藏状态下不同观测状态的发射频率，表示为：
式中，为发射概率矩阵的估计值，/>为发射概率矩阵i行j列的估计值，/>表示隐藏状态S为Si时，观测状态O为Oj的频数；
(3)初始状态概率的估计值通过统计训练集真实标签数据的分类占比得到，表示为
式中，表示隐藏状态S为Si的频数。
进一步的，基于概率层面融合场景感知模型SVM-HMM2中，初始状态概率、状态转移矩阵的计算方式与SVM-HMM1相同，发射概率表达采用概率密度函数表示，采用GMM拟合得到概率密度函数，通过给定隐藏状态数量对分类概率进行聚类并独立拟合，实现不同隐藏状态的概率密度表达；
不同状态的发射概率密度函数可表示为：
式中，X为SVM输出的分类概率向量，Nmix为GMM的高斯分布数量，μik(·)表示训练后的GMM中隐藏状态i对应的第k概率密度函数。
进一步的，模型参数估计的具体实施步骤如下；
步骤31，通过训练集真实标签估计隐藏状态频数，并通过归一化方法求算得到初始概率向量π；
步骤32，通过训练集真实标签的状态转移关系估计转移频数，并进一步得到状态转移矩阵B，并利用联通性关系邻接矩阵对估计得到的状态转移矩阵进行修正，使HMM模型满足导航场景之间切换的固有属性；
步骤33，对于离散型HMM，即SVM-HMM1，发射概率估计利用训练集真实标签与实际预测结果求算频数，形成状态转移矩阵；对于连续型的HMM，SVM-HMM2，发射概率估计采用GMM模型拟合发射概率密度函数得到。
进一步的，步骤4中，根据先验信息对参数估计得到的状态转移矩阵B进行修正，并重新进行归一化，表示为
式中，L为N种场景联通性关系的邻接矩阵，为进行联通性修正后的状态转移矩阵，其中，邻接矩阵L根据场景间的邻接关系给出，邻接矩阵中lij取值为0或1，0表示场景i与场景j不联通，1表示场景i与场景j联通。
进一步的，步骤1中环境传感器包括：
依据导航场景感知环境差异，弹性应用多种PNT环境传感器获取观测数据，包括GNSS接收机、惯性导航系统、5G终端、WiFi、蓝牙、声呐、DVL；上述传感器将针对不同细分导航场景的环境特点，选择一类或多类进行组合实现原始环境观测数据的采集。
进一步的，步骤1中的目标导航场景包括：水下、地下、丛林、近地、峡谷、深空、城区、室内导航场景。
本发明使用SVM模型进行动态分类识别，并引入HMM模型构造导航场景的连通性与切换概率表达，设计了两种联合SVM和HMM的导航场景感知通用模型构建方法，构建得到的模型具有以下优点：
1)适用于多类导航场景及其细分场景，可满足多PNT传感器自适应配置需求。
2)采用监督学习算法针对性训练SVM模型，兼具较高的分类精确度与动态快速的导航场景感知。
3)基于SVM模型输出所构造HMM模型可有效实现导航场景间的平滑切换，与单一的SVM模型相比可有效减小场景切换的模糊区域与信号波动区域的分类误差。
4)与SVM-HMM1模型相比，SVM-HMM2包含更多的场景间关联信息，可进一步减小场景切换的模糊区域，具有更优的识别分类结果。
附图说明
图1为本发明实例的导航场景感知模型构建方法流程图；
图2为本发明实例的基于结果层面联合的SVM-HMM1模型示意图；
图3为本发明实例的基于概率层面联合的SVM-HMM2模型示意图；
图4为本发明实例的SVM模型一对一多分类策略示意图；
图5为本发明实例的细分导航场景特征分析流程图；
图6为本发明实例的细分导航场景联通关系示意图；
图7为本发明实例的SVM-HMM1、SVM-HMM2模型的水上/水下导航场景感知结果对比图。
具体实施方式
以下将结合具体实施方式对本发明的各模块进行详细说明。
本发明是联合SVM和HMM的导航场景感知模型构建方法，分别基于结果层面与基于概率层面提出了SVM-HMM1与SVM-HMM2两种融合模型的构建方法，具体的方法方法分别如图2与图3所示。两种模型均需采用SVM进行初步的预测，通过将特征指纹向量输入模型获取模型的分类结果与分类概率；并采用HMM模型实现SVM预测结果的平滑。SVM与HMM的算法原理分别介绍如下：
1.SVM模型预测原理
SVM预设模型为一个距离数据样本点距离最远的超平面，可实现特征向量的二分类，表示为
WTφ(X)+b＝0 (1)
式中，X为超平面上的特征向量；W、b维度与X相同，为超平面参数；φ(·)为模型的映射函数，将数据由低维映射至高维，解决低维空间中的非线性不可分问题；在实际应用中，可采用核函数K(x,z)＝φ(x)·φ(z)代替内积求解得到非线性SVM。
SVM预测通过将特征指纹X*输入构造分段决策函数实现，根据式(1)所导出的分类决策函数可表示为
f(X*)＝sign(WTφ(X*)+b) (2)
式中，sign(·)为符号函数，可输出-1或1作为二分类结果。
为将二分类SVM模型拓展至多分类场景感知问题中，需采用有效的SVM应用策略。如图所示，本发明采用一对多的SVM策略，针对N个分类分别构造N个SVM分类器，每个分类器分别划分该特征指纹是/否属于对应分类，并对每个分类器构造一个决策函数gi以衡量分类i在N个分类中的重要性。分类目标函数可表示为
g＝argmaxgi (3)
式中，g为最后输出的多分类结果。
除输出分类结果外，SVM模型还需输出各个分类向量的分类概率，表示为
式中，pi为分类i输出的分类概率；A、B为待定参量，通过最小二乘拟合支持向量得到。
2.HMM模型平滑原理
HMM通过构造观测历元间的状态转移与发射概率表达，平滑SVM输出的结果。常见的HMM主要有离散型与连续型两种，其中离散型的输入为有限离散分布的序列，而连续型的输入信息连续的特征向量。两种HMM模型均包含初始概率、状态转移与发射概率三个要素。其中，前两个要素均可采用矩阵形式表达，分别为状态转移矩阵A与初始状态向量π。离散型HMM的观测状态有限，发射概率表达为矩阵形式B；连续型HMM的观测状态连续，采用概率密度函数bj(X),j＝1,2,…,N表示发射概率分布。
以上SVM与HMM模型的预测原理是本发明的算法基础，下面结合图1所示的模型构建方法，对本发明中具体模块展开详细论述。
一、联合SFFS特征选择与LDA特征降维的指纹库算法
本发明导航定位常用的环境传感器可获得的观测数据大致可分为三类，分别为源端信号质量数据、源端信号数量数据、粗定位结果数据；其中环境传感器依据导航场景感知环境差异，弹性应用多种PNT环境传感器获取观测数据，包括GNSS接收机、惯性导航系统、5G终端、WiFi、蓝牙、声呐、DVL等；上述传感器将针对不同细分导航场景的环境特点，选择一类或多类进行组合实现原始环境观测数据的采集。针对上述原始数据，通过特征提取方法获取丰富导航场景特征，并通过SFFS特征选择与LDA特征降维算法构造特征指纹库，具体步骤如下：
步骤11，获取原始观测数据的统计值。通过对单历元解算的观测值求算均值、标准差、最大值、最小值、极差、四分位值等统计值，提取不同观测值的总体特征；通过设置阈值的方式提取场景间差异更为明显的特征，如设置卫星高度角阈值滤除卫星通视条件良好的卫星以加强GNSS开阔/半遮挡环境的可区分性。
步骤12，将数据特征归一化，消除历元/数据集间的绝对数量差异所导致的非必要差异。
步骤13，采用相关性分析联合的SFFS算法进行数据特征选择，首先相关性分析对数据特征进行初步筛选，随后将相关性较强的数据特征进行SFFS特征选择，通过构造评价函数，将数据特征x依次加入特征向量X*使得评价函数取值达到最优。
步骤14，采用LDA降维方法将特征向量投影至低维空间，降低训练模型所花费的时间。该方法采用监督学习算法实现，通过计算类内散度矩阵Sb与类间散度矩阵Sw获取映射矩阵并将特征向量投影至低维空间，表示为
式中，Y*为映射至低维空间后的特征向量。
经上述步骤处理后，计算得到的特征向量与真实场景标签通过设定的数据结构存储形成导航场景特征指纹库。
二、基于网格搜素的最优化SVM训练策略
SVM训练通常涉及多类超参数的确定，应对不同的分类问题，超参数的设置具有灵活性，为获取最适用于导航场景感知的SVM模型，本发明采用网格搜索法选定模型的最优超参数，具体步骤如下：
步骤21，依据SVM模型的待定超参数，选取核函数、惩罚系数、gamma系数作为网格搜素对象，并依据各参数的候选范围，构建待定参数网格阵列。
步骤22，依据步骤21的待定参数网格阵列，迭代搜素超参数组合，训练SVM模型，根据分类精确度筛选确定最终模型。训练过程利用拉格朗日乘子法构造目标函数，并通过SMO算法求解最优化的SVM模型。拉格朗日目标函数可表示为
式中，(Xi,Yi)为训练集中特征指纹与真实标签样本点，n为训练集的长度，α为拉格朗日乘子算法引入的约束条件常数(长度为n的向量，其第i个元素表示为αi)。
步骤23，利用步骤22训练得到的SVM模型输出分类结果与分类概率。三、基于SVM监督学习结果的HMM参数估计策略
与传统监督学习方法不同，SVM-HMM联合模型完成SVM训练还需要将SVM相关训练结果应用于HMM参数估计，实现两种模型在训练层面上的有机结合。依据利用SVM模型输出的不同，SVM-HMM分别可构造两种不同的HMM模型。
SVM模型输出分类结果为有限的离散值，基于结果层面融合得到的SVM-HMM1模型应用离散型的HMM，其观测状态为SVM的分类结果，隐藏状态为导航场景最终的分类结果。相应地，离散型HMM参数估计可采用SVM模型直接导出，为监督学习方法，具体公式如下：
(1)状态转移矩阵利用训练集真实标签数据进行求算，通过统计历元相邻标签两两之间的变化情况估计转移参数，表示为
式中，为状态转移矩阵的估计值，/>为状态转移矩阵i行j列的估计值，N表示隐藏状态的种类数，对应场景数量；p(St+1＝Sj|St＝Si)表示t时刻隐藏状态St+1为Si，t+1时刻隐藏状态St为Sj的频数。需要说明的是，本发明HMM模型起平滑作用，即观测状态与隐藏状态相同，观测状态为SVM模型的输出，隐藏状态为平滑后的导航场景感知结果。
(2)发射概率矩阵利用真实标签与预测结果的差异情况进行估计，通过统计真实标签对应的所有预测结果的频数，估计得到不同隐藏状态下不同观测状态的发射频率，表示为
式中，为发射概率矩阵的估计值(为方阵)，/>为发射概率矩阵i行j列的估计值，表示隐藏状态S为Si时，观测状态O为Oj的频数；
(3)初始状态概率估计值通过统计训练集真实标签数据的分类占比得到，表示为
式中，表示隐藏状态S为Si的频数。
与分类结果相对，SVM输出的分类概率为连续值，基于概率层面融合得到的SVM-HMM2模型应用连续型HMM，其发射概率表达采用概率密度函数表示。本发明采用GMM拟合得到概率密度函数，通过给定隐藏状态数量对分类概率进行聚类并独立拟合，实现不同隐藏状态的概率密度表达，为非监督学习方法。不同状态的发射概率密度函数可表示为
式中，X为SVM输出的分类概率向量，Nmix为GMM的高斯分布数量，gik(·)表示训练后的GMM中隐藏状态i对应的第k概率密度函数。HMM的状态转移矩阵与初始状态概率计算方式与离散型HMM相同，此处不做赘述。
上述两种HMM模型参数估计的具体实施步骤如下：
步骤31，通过训练集真实标签估计隐藏状态频数，并通过归一化方法求算得到初始概率向量π。
步骤32，通过训练集真实标签的状态转移关系估计转移频数，并进一步得到状态转移矩阵B，并利用联通性关系邻接矩阵对估计得到的状态转移矩阵进行修正，使HMM模型满足导航场景之间切换的固有属性。
步骤33，对于离散型HMM，发射概率估计利用训练集真实标签与实际预测结果求算频数，形成状态转移矩阵；对于连续型的HMM，发射概率估计采用GMM模型拟合概率密度函数得到。
四、基于邻接矩阵构造的导航场景联通性修正算法
导航场景联通性反应了导航场景之间切换的固有属性，利用这种联通性作为先验信息，构建场景联通图，可减少或避免出现时序先后关联关系微弱的分类结果，从而进一步提升场景感知的分类准确度。本发明对城区、丛林、水下、室内等常见场景固有联通关系进行分析，并给出了导航场景联通关系图，如图6所示。
在HMM模型中，状态转移矩阵表达了预测过程中前后历元数据的转换关系。为避免不符合场景联通性的转换概率表达，可将场景间的联通关系表示为与状态转移矩阵维度相同的邻接矩阵，以0/1两种取值表示场景间是否关联。根据先验信息对参数估计得到的转移状态矩阵B进行修正，并重新进行归一化，表示为
式中，L为N种场景联通性关系的邻接矩阵，为进行联通性修正后的状态转移矩阵。其中，邻接矩阵L根据场景间的邻接关系给出，邻接矩阵中lij取值为0/1，0表示场景i与场景j不联通，1表示场景i与场景j联通。
上述基于场景连通性的状态转移矩阵修正方法的具体实施步骤如下：
步骤41，依据目标导航场景的固有联通属性构建导航场景联通关系图。
步骤42，将步骤41构造得到的联通关系图转换为场景联通性邻接矩阵L。
步骤43，利步骤42得到的邻接矩阵L修正的HMM模型的状态转移矩阵A，并对A进行重新归一化。
五、联合SVM和HMM的水上/水下导航场景感知模型
为说明本发明中导航场景感知的具体实现方式，以水上/水下导航场景为例，阐述导航场景感知模型的具体构建步骤，提供相应的导航场景感知结果，已验证模型的有效性，具体描述如下。
步骤1，构造水上/水下导航场景感知特征指纹库：
1.1，选用GNSS作为环境传感器，将水上/水下进一步分为水上、浅水、深水三类细分导航场景，采集水上/水下导航场景的观测数据。
1.2，并利用1.1中的观测数据提取统计特征量，包括GNSS可见卫星数、CNR均值、CNR最大值、CNR最小值、CNR标准差、CNR极差、CNR四分位差、HDOP值、GDOP值、(历元内C/N0>15dB-Hz的频点数量)、/>(历元内C/N0>25dB-Hz的频点数量)等。
1.3，分析上述统计特征量与细分导航场景的相关性，并采用SFFS算法选取有效的统计特征量，并应用LDA算法进行特征降维，形成特征向量。
1.4，将采集得到的每个历元的特征向量与场景真值匹配，形成水上/树下导航场景感知特征指纹库。
步骤2，训练应用于水上/水下导航场景感知的SVM模型：
2.1，确定模型训练的超参数及其网格搜索的范围，具体包括核函数、惩罚因子、gama系数。核函数选取Linear、Poly、RBF、Sigmoid四类作为候选，惩罚因子C选取100～105作为5个候选数量级，gamma根据数据集分布情况自适应确定。
2.2，根据上述候选参数，多次训练SVM模型，并采用交叉验证法计算模型的分类准确度，选取分类准确度最高的SVM模型作为最终的水上/水下导航场景感知模型。网格化调参的结果如表1所示，最终选取C为100，核函数为Poly训练SVM模型。
表1网格化调参的SVM分类准确率对比
步骤3，利用SVM的分类结果估计HMM参数(3.1为SVM-HMM1的构造方法，3.2为SVM-HMM2的构造方法)：
3.1，SVM-HMM1的构造方法
3.1.1，将特征指纹输入SVM模型，得到SVM预测的分类结果。
3.1.2，根据真实标签的场景具体分布情况，结合公式(9)计算离散型HMM的初始概率分布π，为
3.1.3，根据分类结果前后历元导航场景的变化情况，结合公式(7)计算离散型HMM的状态转移矩阵，表示为
3.1.4，利用分类结果与真实场景标签的差异情况，结合公式(8)计算离散型HMM的发射概率矩阵，表示为
3.2，SVM-HMM2的构造方法
3.2.1，将特征指纹输入SVM模型，得到SVM预测的分类概率。
3.2.2，根据真实标签中的具体场景分布情况，结合公式(9)计算连续型HMM的初始概率分布π，表示为
3.2.3，根据真实标签前后历元导航场景的变化情况，结合公式(7)计算连续型HMM的状态转移矩阵，表示为
3.2.4，根据分类概率与真实标签的发射关系，拟合GMM模型参数，结合公式(10)计算连续型HMM的发射概率密度函数，拟合得到的具体参数为
步骤4，基于邻接矩阵修正构造得到的HMM模型的状态转移矩阵
4.1，构造水上、浅水、深水三类细分导航场景的场景连通性邻接矩阵，表示为
4.2，将邻接矩阵代入公式(11)，计算得到修正后的状态转移矩阵，表示为
步骤5，通过实测的GNSS数据，提取特征输入至SVM-HMM模型中，进行水上/水下导航场景感知验证(5.1介绍SVM-HMM1预测流程，5.2介绍SVM-HMM2预测流程)。
5.1，SVM-HMM1预测流程
5.1.1，提取实测得到GNSS数据的特征指纹，输入至训练完成的SVM模型中，输出分类结果。
5.1.2，将分类结果输入至构造得到的离散型HMM模型进行平滑，输出最终的导航场景感知结果。
5.1.3，将分类结果与真实结果对比，分析SVM-HMM1模型的分类准确率，分类结果如图7所示。
5.2，SVM-HMM2预测流程
5.2.1，提取实测得到GNSS数据的特征指纹，输入至训练完成的SVM模型中，输出分类概率。
5.2.2，将分类结果输入至构造得到的连续型HMM模型进行平滑，输出最终的导航场景感知结果。
5.2.3，将分类结果与真实结果对比，分析SVM-HMM2模型的分类准确率，分类结果如图7所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：包括基于结果层面融合的SVM-HMM1模型构建与基于概率层面联合的SVM-HMM2模型构建，具体实现步骤如下：
步骤1，利用环境传感器的观测数据与真实参考标签提取特征指纹，将其与目标导航场景进行相关性分析，提取强相关特征指纹构成特征向量，并联合SFFS特征选择与LDA特征降维算法，进一步形成细分导航场景下的特征指纹库；
步骤2，使用步骤1构建的指纹库对SVM模型进行监督训练，选取分类精确度最高的SVM模型，利用训练得到的SVM模型实现测试数据的初步预测，分别输出导航场景的分类结果与分类概率；
步骤3，通过监督学习分类方法构造HMM的状态转移与发射概率表达，构造SVM-HMM1模型时，利用步骤2得到的分类结果分别计算HMM的初始状态概率、状态转移矩阵以及发射概率矩阵，联合步骤2的SVM模型构造基于结果层面融合的场景感知模型SVM-HMM1；构造SVM-HMM2模型时，则通过GMM方法构造更为精细的HMM状态转移与发射概率表达，利用步骤2得到的分类概率拟合GMM，实现多维连续的概率向量与发射概率间的转换，并通过Baum-Welch算法获取状态转移矩阵，联合步骤2的SVM模型构造基于概率层面融合场景感知模型SVM-HMM2；
步骤4，根据导航场景间的固有联通属性与切换概率，对步骤3中构造得到的HMM模型的状态转移参数进行修正，避免出现相邻时间内出现场景关联微弱的分类结果，从而提升导航场景感知的精度。
2.如权利要求1所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：步骤1的具体实现方式如下；
步骤11，获取原始观测数据的统计值；通过对单历元解算的观测值求算均值、标准差、最大值、最小值、极差、四分位值统计值，提取不同观测值的总体特征；通过设置阈值的方式提取场景间差异更为明显的特征；
步骤12，将数据特征归一化，消除历元或数据集间的绝对数量差异所导致的非必要差异；
步骤13，采用相关性分析联合的SFFS算法进行数据特征选择，首先相关性分析对数据特征进行初步筛选，随后将相关性较强的数据特征进行SFFS特征选择，通过构造评价函数，将数据特征x依次加入特征向量X*使得评价函数取值达到最优；
步骤14，采用LDA降维方法将特征向量投影至低维空间，降低训练模型所花费的时间；LDA降维方法采用监督学习算法实现，通过计算类内散度矩阵Sb与类间散度矩阵Sw获取映射矩阵并将特征向量投影至低维空间，表示为
式中，Y*为映射至低维空间后的特征向量；
经上述步骤处理后，计算得到的特征向量与真实场景标签通过设定的数据结构存储形成导航场景特征指纹库。
3.如权利要求1所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：步骤2中基于网格搜索法选定SVM模型的最优超参数，具体包括如下步骤；
步骤21，依据SVM模型的待定超参数，选取核函数、惩罚系数、gamma系数作为网格搜素对象，并依据各参数的候选范围，构建待定参数网格阵列；
步骤22，依据步骤21的待定参数网格阵列，迭代搜素超参数组合，训练SVM模型，根据分类精确度筛选确定最终模型；训练过程利用拉格朗日乘子法构造目标函数，并通过SMO算法求解最优化的SVM模型，拉格朗日目标函数可表示为：
式中，(Xi,Yi)为训练集中特征指纹与真实标签样本点，α为拉格朗日乘子算法引入的约束条常数，α为长度为n的向量，其第i个元素表示为αi，W、b为超平面参数，φ(·)为SVM模型的映射函数；
步骤23，利用步骤22训练得到的SVM模型输出分类结果与分类概率。
4.如权利要求1所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：基于结果层面融合的场景感知模型SVM-HMM1中，初始状态概率、状态转移矩阵以及发射概率矩阵的计算方式如下；
(1)状态转移矩阵利用训练集真实标签数据进行求算，通过统计历元相邻标签两两之间的变化情况估计转移参数，表示为
式中，为状态转移矩阵的估计值，/>为状态转移矩阵i行j列的估计值，N表示隐藏状态的种类数，对应场景数量；p(St+1＝Sj|St＝Si)表示t时刻隐藏状态St+1为Si，t+1时刻隐藏状态St为Sj的频数；
(2)发射概率矩阵利用真实标签与预测结果的差异情况进行估计，通过统计真实标签对应的所有预测结果的频数，估计得到不同隐藏状态下不同观测状态的发射频率，表示为：
式中，为发射概率矩阵的估计值，/>为发射概率矩阵i行j列的估计值，/>表示隐藏状态S为Si时，观测状态O为Oj的频数；
(3)初始状态概率的估计值通过统计训练集真实标签数据的分类占比得到，表示为
式中，表示隐藏状态S为Si的频数。
5.如权利要求4所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：基于概率层面融合场景感知模型SVM-HMM2中，初始状态概率、状态转移矩阵的计算方式与SVM-HMM1相同，发射概率表达采用概率密度函数表示，采用GMM拟合得到概率密度函数，通过给定隐藏状态数量对分类概率进行聚类并独立拟合，实现不同隐藏状态的概率密度表达；
不同状态的发射概率密度函数可表示为：
式中，X为SVM输出的分类概率向量，Nmix为GMM的高斯分布数量，gik(·)表示训练后的GMM中隐藏状态i对应的第k个概率高斯密度函数。
6.如权利要求5所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：两种场景感知模型参数估计的具体实施步骤如下；
步骤31，通过训练集真实标签估计隐藏状态频数，并通过归一化方法求算得到初始概率向量π；
步骤32，通过训练集真实标签的状态转移关系估计转移频数，并进一步得到状态转移矩阵B，并利用联通性关系邻接矩阵对估计得到的状态转移矩阵进行修正，使HMM模型满足导航场景之间切换的固有属性；
步骤33，对于离散型HMM，即SVM-HMM1，发射概率估计利用训练集真实标签与实际预测结果求算频数，形成状态转移矩阵；对于连续型的HMM，SVM-HMM2，发射概率估计采用GMM模型拟合发射概率密度函数得到。
7.如权利要求6所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：步骤4中，根据先验信息对参数估计得到的状态转移矩阵B进行修正，并重新进行归一化，表示为
式中，L为N种场景联通性关系的邻接矩阵，为进行联通性修正后的状态转移矩阵，其中，邻接矩阵L根据场景间的邻接关系给出，邻接矩阵中lij取值为0或1，0表示场景i与场景j不联通，1表示场景i与场景j联通。
8.如权利要求1所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：步骤1中环境传感器包括：
依据导航场景感知环境差异，弹性应用多种PNT环境传感器获取观测数据，包括GNSS接收机、惯性导航系统、5G终端、WiFi、蓝牙、声呐、DVL；上述传感器将针对不同细分导航场景的环境特点，选择一类或多类组合实现原始环境观测数据的采集。
9.如权利要求1所述的联合SVM和HMM的导航场景感知通用模型构建方法，其特征在于：步骤1中的目标导航场景包括：水下、地下、丛林、近地、峡谷、深空、城区、室内导航场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210592460.2A CN114943344B (zh) | 2022-05-27 | 2022-05-27 | 联合svm和hmm的导航场景感知通用模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210592460.2A CN114943344B (zh) | 2022-05-27 | 2022-05-27 | 联合svm和hmm的导航场景感知通用模型构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943344A CN114943344A (zh) | 2022-08-26 |
| CN114943344B true CN114943344B (zh) | 2024-04-05 |
Family
ID=82908724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210592460.2A Active CN114943344B (zh) | 2022-05-27 | 2022-05-27 | 联合svm和hmm的导航场景感知通用模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943344B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971194A (zh) * | 2017-02-16 | 2017-07-21 | 江苏大学 | 一种基于改进hmm和svm双层算法的驾驶意图识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11635299B2 (en) * | 2020-02-06 | 2023-04-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for scene-aware interaction |
| EP3929803B1 (en) * | 2020-06-24 | 2023-06-28 | Tata Consultancy Services Limited | System and method for enabling robot to perceive and detect socially interacting groups |
-
2022
- 2022-05-27 CN CN202210592460.2A patent/CN114943344B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971194A (zh) * | 2017-02-16 | 2017-07-21 | 江苏大学 | 一种基于改进hmm和svm双层算法的驾驶意图识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 机器人室内语义建图中的场所感知方法综述;朱博;高翔;赵燕喃;;自动化学报;20170112(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943344A (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| McIver et al. | Estimating pixel-scale land cover classification confidence using nonparametric machine learning methods | |
| CN107451619A (zh) | 一种基于感知生成对抗网络的小目标检测方法 | |
| CN112312541B (zh) | 一种无线定位方法及系统 | |
| CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
| CN107563355A (zh) | 基于生成对抗网络的高光谱异常检测方法 | |
| CN107622229A (zh) | 一种基于融合特征的视频车辆重识别方法与系统 | |
| Tao et al. | Scene context-driven vehicle detection in high-resolution aerial images | |
| Yang et al. | Region-based change detection for polarimetric SAR images using Wishart mixture models | |
| Cui et al. | Statistical wavelet subband modeling for multi-temporal SAR change detection | |
| CN109359525B (zh) | 基于稀疏低秩的判别谱聚类的极化sar图像分类方法 | |
| CN110751087B (zh) | 一种基于eof的无人机信号识别系统和方法 | |
| CN101710422B (zh) | 基于全局流形原型聚类算法与分水岭算法的图像分割方法 | |
| CN108428220A (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
| CN114067118B (zh) | 一种航空摄影测量数据的处理方法 | |
| CN109002792A (zh) | 基于分层多模型度量学习的sar图像变化检测方法 | |
| CN111222575B (zh) | 一种基于hrrp目标识别的klxs多模型融合方法及系统 | |
| CN112270285A (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 | |
| Sun et al. | Image target detection algorithm compression and pruning based on neural network | |
| CN113723572B (zh) | 船只目标识别方法、计算机系统及程序产品、存储介质 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN117710745A (zh) | 一种基于证据多视角核化的目标分类方法及装置 | |
| CN115984646B (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |