CN111209942B - 一种足式机器人多模态感知的异常监测方法 - Google Patents

一种足式机器人多模态感知的异常监测方法 Download PDF

Info

Publication number
CN111209942B
CN111209942B CN201911399157.5A CN201911399157A CN111209942B CN 111209942 B CN111209942 B CN 111209942B CN 201911399157 A CN201911399157 A CN 201911399157A CN 111209942 B CN111209942 B CN 111209942B
Authority
CN
China
Prior art keywords
model
monitoring
data set
sensing
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911399157.5A
Other languages
English (en)
Other versions
CN111209942A (zh
Inventor
吴鸿敏
徐智浩
鄢武
周雪峰
唐观荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Intelligent Manufacturing
Original Assignee
Guangdong Institute of Intelligent Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201911399157.5A priority Critical patent/CN111209942B/zh
Publication of CN111209942A publication Critical patent/CN111209942A/zh
Application granted granted Critical
Publication of CN111209942B publication Critical patent/CN111209942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种足式机器人多模态感知的异常监测方法，所述方法包括：采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理；将所述采集到的传感数据集进行划分，得到划分后的传感数据集；基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型；输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测；基于所述异常监测的结果进行分析。在本发明实施中，提高了异常监测的可靠性和容错性，增强了学习复杂传感数据中潜在模式的能力，降低了建模的复杂性，提高异常监测的准确率。

Description

一种足式机器人多模态感知的异常监测方法
技术领域
本发明涉及足式机器人异常监测的技术领域，尤其涉及一种足式机器人多模态感知的异常监测方法。
背景技术
足式机器人的研发灵感源于哺乳动物，是仿生学与机器人技术的重要体现，其环境适应性好、运动范围广、负载能力强，具备一定的自主作业的能力，能够实现崎岖山地运输、危险灾难救援、负载能力强，具备一定的自主作业的能力；但是足式机器人往往是在野外或室内大范围的环境下作业，不可避免地引入对运动规划和系统控制的大量不确定性因素，造成异常事件，影响机器人的稳定性和自主操作性。
而传统足式机器人的异常监测技术通过采用参数化的隐形马尔科夫模型对关节编码器的关节角度信息进行建模的方式，具有训练样本数量少和计算复杂程度低等优点，初步实现了异常监测，具有一定的可行性；但是随着环境的复杂性和任务的多样性增加，主要存在两方面的问题：(1)仅考虑单模态的传感信息，无法实现对环境的感知及机器人系统的状态监测，降低了异常监测的容错性；(2)采用参数化贝叶斯的建模方法将存在模型的隐形状态数量不确定和隐形状态快速转换的问题，无法从复杂的传感数据中学习到实际的潜在模式，降低了异常监测的准确率。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种足式机器人多模态感知的异常监测方法，基于多模态感知的非参数化层次狄利克雷过程隐马尔科夫模型，用于足式机器人运行过程中关节编码器、IMU、关节力矩等传感信息的联合建模。
为了解决上述技术问题，本发明实施例提供了一种足式机器人多模态感知的异常监测方法，所述方法包括：
采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理；
将所述采集到的传感数据集进行划分，得到划分后的传感数据集；
基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型；
输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测；
基于所述异常监测的结果进行分析。
可选的，所述采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理包括：
采集真实足式机器人在常规路面上行走2米的传感数据集；其中，所述传感数据集包括30组无任何异常的数据和20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据；
基于非线性的卡尔曼滤波算法对所述传感数据集进行去噪处理；
在所述去噪处理之后，基于数值插补的算法对不同传感器所采集的数据进行频率对齐。
可选的，所述将所述采集到的传感数据集进行划分，得到划分后的传感数据集包括：
将所述采集到的传感数据集进行划分，划分为训练集和测试集；其中，
所述训练集包括所述20组无任何异常的数据；所述测试集包括所述10组无任何异常的数据和所述20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据。
可选的，所述基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型包括：
基于所述划分后的传感数据集来建立HDP-HMM模型；
基于所述HDP-HMM模型设置观察模型的参数和先验模型的参数；
基于所述观察模型的参数和所述先验模型的参数，对所述HDP-HMM模型进行训练，得到训练后的结果。
可选的，所述HDP-HMM模型中，HDD的具体公式如下：
则利用HDP对HMM的隐形状态转换概率进一步描述，具体公式如下：
其中，G0、Gj为设定的离散分布；H为任意的基分布；γ为离散分布G0的集中系数；α为离散分布Gj的集中系数；DP为狄利克雷过程；πj为隐形状态转换概率；β为变量；k为隐形状态的数量，取值为1，2，...；vk为中间变量；GEM表示折棍子的生成过程。
可选的，所述观察模型的参数为多维高斯模型的两个参数，分别为均值和协方差；
所述均值服从高斯分布；所述协方差服从逆威沙特分布；其中，
所述高斯分布的具体公式如下：
μ～N(μμ，∑μ)；
所述逆威沙特分布的具体公式如下：
∑～IW(v，Δ)；
其中，μ为均值；∑为协方差；μμ为μ的均值；∑μ为μ的协方差；v为自由度参数；Δ为协方差的对称正定比例矩阵；N为N个维度。
可选的，所述设置观察模型的参数具体公式如下：
其中，yt为各时刻的观察值；sF为均值矩阵的比例系数，设置sF＝1；μμ和为μ的均值；∑μ为μ的协方差；v为自由度参数；Δ为协方差的对称正定比例矩阵；D为N个维度D的样本；Tn为每个样本的数据长度；T为转置的运算。
可选的，所述输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测包括：
将所述测试集中的10组无任何异常的数据，分别输入到所述训练后的模型中，并通过计算得到10组对数似然函数值的向量；
根据所述10组对数似然函数值的向量，通过计算得到异常监测阈值；
基于所述异常监测阈值来进行异常监测。
可选的，所述通过计算得到异常监测阈值中，具体计算公式如下：
其中，每个时刻t的异常监测阈值为：
其中，设定B为足式机器人重复正常运动行为s的次数，一般地，B>20，则Be＝0.4B；为对数似然函数值的均值；/>为对数似然函数值的方差；c为比例常数；ρt,s为异常监测阈值。
可选的，所述基于所述异常监测的结果进行分析包括：
基于所述异常监测的结果，结合准确率、精确率、召回率、F1分数性能的评估指标，对所述异常监测的结果进行分析；其中，
所述准确率的具体计算公式如下：
所述精确率的具体计算公式如下：
所述召回率的具体计算公式如下：
所述F1分数的具体公式如下：
其中，precision为准确率；recall为召回率；accuracy为精确率；F1score为F1分数；TP为Ture Positive，即异常样本被监测为异常；FP为False Positive，即正常样本被监测为异常；FN为False Negative，即异常样本被监测为正常；TN为Ture Negative，即正常样本被监测为正常。
在本发明实施中，一种足式机器人多模态感知的异常监测方法基于多模态感知的非参数化层次狄利克雷过程隐马尔科夫模型，用于持续地监控足式机器人的运动状态，以识别执行过程中的异常事件，如倾倒、碰撞、滑移、零部件磨损等，实现足式机器人执行过程中的异常监测，有效地提高了足式机器人系统运行的安全性和稳定性；针对多模态感知问题，考虑不同模态之间具有完全不同的数据类型和复杂的耦合对应关系，利用层次狄利克雷过程隐马尔科夫模型把足式机器人执行过程中的多模态信息进行联合处理，能够获得更加全面的环境和系统状态，提高异常监测的可靠性和容错性；另外，所述非参数化层次狄利克雷过程隐马尔科夫模型，增强了学习复杂传感数据中潜在模式的能力，降低了建模的复杂性，提高了异常监测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的一种足式机器人多模态感知的异常监测方法的流程示意图；
图2是本发明实施例中的HDP-HMM的概率图模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的一种足式机器人多模态感知的异常监测方法的流程示意图。
如图1所示，一种足式机器人多模态感知的异常监测方法，所述方法包括：
S11：采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理；
在本发明具体实施过程中，所述采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理包括：采集真实足式机器人在常规路面上行走2米的传感数据集；其中，所述传感数据集包括30组无任何异常的数据和20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据；具体的，所考虑的模态信息包括关节编码器的关节角度和速度、IMU的姿态和加速度、关节电流及其相关的统计学信息；基于非线性的卡尔曼滤波算法对所述传感数据集进行去噪处理；在所述去噪处理之后，基于数值插补的算法对不同传感器所采集的数据进行频率对齐；需要说明的是，在正常运行的数据中可以得知：(1)重复执行该正常任务将得到相似的传感信号或相近的数据模式；(2)每次执行相同任务的持续时间有所差异。
S12：将所述采集到的传感数据集进行划分，得到划分后的传感数据集；
在本发明具体实施过程中，所述将所述采集到的传感数据集进行划分，得到划分后的传感数据集包括：将所述采集到的传感数据集进行划分，划分为训练集和测试集；其中，所述训练集包括所述20组无任何异常的数据；所述测试集包括所述10组无任何异常的数据和所述20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据。
需要说明的是，由于训练集较小，为了防止过拟合，在训练模型时采用留一交叉验证的方法(Leave-One-Out-Cross-Validation,LOOCV)来训练模型，将得到20个不同的训练模型；最后，利用测试集来评估各模型的平均误差，最小者为最终需要的最优模型。
S13：基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型；
在本发明具体实施过程中，所述基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型包括：基于所述划分后的传感数据集来建立HDP-HMM模型；基于所述HDP-HMM模型设置观察模型的参数和先验模型的参数；基于所述观察模型的参数和所述先验模型的参数，对所述HDP-HMM模型进行训练，得到训练后的结果。
具体的，所述HDP-HMM模型(Hierarchical Dirichlet Process Hidden MarkovModel，HDPHMM)是一种基于多模态感知的非参数化层次狄利克雷过程隐马尔科夫模型，通过采集到足式机器人正常运行过程中关节编码器、IMU、关力矩等传感信息进行去噪声、平滑、对齐等预处理后，把模态感知的问题转换成多维时间序列建模的问题。本发明构建的非参数化层次狄利克雷过程隐马尔科夫模型，其概率图结构表述结合附图2所示，附图2示出HDP-HMM的概率图模型，通过对隐形状态zt分布πj增加了参数β和超参数γ，有利于对动态复杂的多模态传感信息yt进行自动参数调整的建模，提高建模的简易性和计算效率，并且利用贝叶斯法则，计算新观测数据的似然函数值的方式实现对未知场景下的异常监测。
具体实施中，假设离散的分布G是一个对数据聚类的过程，它来自于狄利克雷过程DP(Dirichlet Process)，那么G～DP(γ，H)，其中H可以是任意的基分布，γ为集中系数；虽然分布是连续分布，但是从DP采用却是离散的，γ直接影响到DP的离散程度。层级狄利克雷过程HDP是狄利克雷过程DP的一种扩展形式，它主要用于解决DP中，当基分布是连续时所得到的采用参数与概率1不等的情况。HDP通过在基分布上又定义一个先验分布，由每个DP获得基分布的采样，这样就保证了基分布的离散型，从而得到HDP，其中，所述HDD的具体公式如下：
则利用HDP对HMM的隐形状态转换概率进一步描述，具体公式如下：
其中，G0、Gj为设定的离散分布；H为任意的基分布；γ为离散分布G0的集中系数；α为离散分布Gj的集中系数；DP为狄利克雷过程；πj为隐形状态转换概率；β为变量；k为隐形状态的数量，取值为1，2，...，这里假设是可以取到无穷大的值；vk为中间变量；GEM表示折棍子的生成过程。需要说明的是，中间变量vk由集中系数γ决定，集中系数γ也决定了变量β的相对离散比例，当γ越大表示数据越离散，反之，越集中。通过对HMM中状态转换概率增加HDP先验，即可获得HDP-HMM模型。
具体实施中，设定所述观察模型的参数为多维高斯模型的两个参数，分别为均值和协方差；当这两个参数都未知的情况，将采用正态逆威沙特分布(NIW)作为观察模型的先验分布，由该分布生成未知参数的样本。设置所述均值服从高斯分布和所述协方差服从逆威沙特分布；其中，
所述高斯分布的具体公式如下：
μ～N(μμ，∑μ)；
所述逆威沙特分布的具体公式如下：
∑～IW(v，Δ)；
其中，μ为均值；∑为协方差；μμ为μ的均值；∑μ为μ的协方差；v为自由度参数；Δ为协方差的对称正定比例矩阵；N为N个维度。
那么针对观察模型的参数，假定运动行为的训练数据集中含有N个维度D的样本，每个样本的数据长度为Tn，IW(v，Δ)分布中协方差的对称正定比例矩阵Δ和自由度参数v设置以下：
其中，yt为各时刻的观察值；sF为均值矩阵的比例系数，设置sF＝1；μμ和为μ的均值；∑μ为μ的协方差；v为自由度参数；Δ为协方差的对称正定比例矩阵；D为N个维度D的样本；Tn为每个样本的数据长度；T为转置的运算。
需要说明的是，由于先验模型HDP的参数往往为对HMM中的隐形状态转换矩阵进行建模，具有非参数化全贝叶斯的结构，其所有的参数均为超参数，即为参数模型的先验参数。HDP模型的集中系数γ和α+k的先验模型均为Gamma(a，b)分布，自转换系数ρ的先验模型为Beta(c，d)分布，其中设置两个先验模型的超参数为a＝0.5，b＝5，c＝10，d＝1，为了提高模型的收敛效率，对sHDP设置截断隐形状态数量(最大的隐形状态数量)为k＝5，此处采用基于优化的变分推断的方法对后验分布进行学习，最大学习迭代次数为1000。
S14：输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测；
在本发明具体实施过程中，所述输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测包括：将所述测试集中的10组无任何异常的数据，分别输入到所述训练后的模型中，并通过计算得到10组对数似然函数值的向量；根据所述10组对数似然函数值的向量，通过计算得到异常监测阈值；基于所述异常监测阈值来进行异常监测。
具体的，假设建立模型的参数为θs，由于足式机器人重复正常运动行为s时将产生相似的多模态传感数据，也就是说，对在任一时刻其所求解得到对数似然函数值在一定的倍数的方差值内。那么，设定足式机器人重复正常运动行为s的次数为B(一般地，B＞20)，其中用于测试的数量是Be＝0.4B。那么，基于Be个测试样本所得到Be个对数似然函数值的向量为其中Ts表示运动s的总体时间。由此，通过运动行为s的所有对数似然函数值的均值/>和方差/>的方式来实现异常监测，即：
其中，每个时刻t的异常监测阈值为：
其中，设定B为足式机器人重复正常运动行为s的次数，一般地，B＞20，则Be＝0.4B；为对数似然函数值的均值；/>为对数似然函数值的方差；c为比例常数；ρt，s为异常监测阈值。
因此，足式机器人在实际运行过程中，当表示监测到异常的发生，反之，正常执行。
需要说明的是，由于机器人运行中异常的不确定性、多样性及不可预期性等特点，唯有采用非监督学习的方法实现异常的监测；特别地，本发明采用基于非参数化贝叶斯概率统计模型的对数似然函数值的方式实现异常监测，主要原因是由正常数据学习好的概率模型，在测试异常数值时会表现出累积的对数似然函数值急剧下降的趋势。因此，提出了基于模型的对数似然函数值后由设定的异常下限阈值的方式来实现机器人运动行为的异常监测。
S15：基于所述异常监测的结果进行分析。
在本发明具体实施过程中，所述基于所述异常监测的结果进行分析包括：基于所述异常监测的结果，结合准确率、精确率、召回率、F1分数性能的评估指标，对所述异常监测的结果进行分析；其中，
所述准确率的具体计算公式如下：
所述精确率的具体计算公式如下：
所述召回率的具体计算公式如下：
所述F1分数的具体公式如下：
其中，precision为准确率；recall为召回率；accuracy为精确率；F1score为F1分数；TP为Ture Positive，即异常样本被监测为异常；FP为False Positive，即正常样本被监测为异常；FN为False Negative，即异常样本被监测为正常；TN为Ture Negative，即正常样本被监测为正常。
在本发明实施中，一种足式机器人多模态感知的异常监测方法基于多模态感知的非参数化层次狄利克雷过程隐马尔科夫模型，用于持续地监控足式机器人的运动状态，以识别执行过程中的异常事件，如倾倒、碰撞、滑移、零部件磨损等，实现足式机器人执行过程中的异常监测，有效地提高了足式机器人系统运行的安全性和稳定性；针对多模态感知问题，考虑不同模态之间具有完全不同的数据类型和复杂的耦合对应关系，利用层次狄利克雷过程隐马尔科夫模型把足式机器人执行过程中的多模态信息进行联合处理，能够获得更加全面的环境和系统状态，提高异常监测的可靠性和容错性；另外，所述非参数化层次狄利克雷过程隐马尔科夫模型，增强了学习复杂传感数据中潜在模式的能力，降低了建模的复杂性，提高了异常监测的准确率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种足式机器人多模态感知的异常监测方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种足式机器人多模态感知的异常监测方法，其特征在于，所述方法包括：
采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理；
将采集到的传感数据集进行划分，得到划分后的传感数据集，所述划分后的传感数据集包括测试集和训练集；
基于所述划分后的传感数据集中的训练集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型；
将所述划分后的传感数据集中测试集输入到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测；
基于所述异常监测的结果进行分析；
所述基于所述划分后的传感数据集来建立模型，并根据所述模型设置参数，以及对模型进行训练，得到训练后的模型包括：
基于所述划分后的传感数据集来建立HDP-HMM模型；
基于所述HDP-HMM模型设置观察模型的参数和先验模型的参数；
基于所述观察模型的参数和所述先验模型的参数，对所述HDP-HMM模型进行训练，得到训练后的结果；
所述观察模型的参数为多维高斯模型的两个参数，分别为均值和协方差；
所述均值服从高斯分布；所述协方差服从逆威沙特分布；其中，
所述高斯分布的具体公式如下：
μ～N(μμ，∑μ)；
所述逆威沙特分布的具体公式如下：
∑～IW(v，Δ)；
其中，μ为均值；∑为协方差；μμ为μ的均值；∑μ为μ的协方差；v为自由度参数；Δ为协方差的对称正定比例矩阵；N为N个维度；
针对观察模型的参数，假定运动行为的训练数据集中含有N个维度D的样本，每个样本的数据长度为Tn，IW(v,Δ)分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下：
其中，yt为各时刻的观察值；sF为均值矩阵的比例系数，设置sF＝1；μu和为μ的均值；Σμ为μ的协方差；T为转置的运算。
2.根据权利要求1所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述采集真实足式机器人在常规路面上行走一段距离的传感数据集，并对所述传感数据集进行预处理包括：
采集真实足式机器人在常规路面上行走2米的传感数据集；其中，所述传感数据集包括30组无任何异常的数据和20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据；
基于非线性的卡尔曼滤波算法对所述传感数据集进行去噪处理；
在所述去噪处理之后，基于数值插补的算法对不同传感器所采集的数据进行频率对齐。
3.根据权利要求2所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述将采集到的传感数据集进行划分，得到划分后的传感数据集包括：
将所述采集到的传感数据集进行划分，划分为训练集和测试集；其中，
所述训练集包括20组无任何异常的数据；所述测试集包括10组无任何异常的数据和20组存在一种或多种人为引入倾倒、碰撞、滑移的异常事件的数据。
4.根据权利要求1所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述HDP-HMM模型中，HDD的具体公式如下：
则利用HDP对HMM的隐形状态转换概率进一步描述，具体公式如下：
其中，G0、Gj为设定的离散分布；H为任意的基分布；γ为离散分布G0的集中系数；α为离散分布Gj的集中系数；DP为狄利克雷过程；πj为隐形状态转换概率；β为变量；k为隐形状态的数量，取值为1,2,…；vk为中间变量；GEM表示折棍子的生成过程。
5.根据权利要求1所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述输入所述传感数据集到所述训练后的模型，通过计算得出异常监测阈值来进行异常监测包括：
将所述测试集中的10组无任何异常的数据，分别输入到所述训练后的模型中，并通过计算得到10组对数似然函数值的向量；
根据所述10组对数似然函数值的向量，通过计算得到异常监测阈值；
基于所述异常监测阈值来进行异常监测。
6.根据权利要求1所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述通过计算得到异常监测阈值中，具体计算公式如下：
其中，每个时刻t的异常监测阈值为：
其中，设定B为足式机器人重复正常运动行为s的次数，B>20，则Be＝0.4B；为对数似然函数值的均值；/>为对数似然函数值的方差；c为比例常数；ρt,s为异常监测阈值。
7.根据权利要求1所述的一种足式机器人多模态感知的异常监测方法，其特征在于，所述基于所述异常监测的结果进行分析包括：
基于所述异常监测的结果，结合准确率、精确率、召回率、F1分数性能的评估指标，对所述异常监测的结果进行分析；其中，
所述准确率的具体计算公式如下：
所述精确率的具体计算公式如下：
所述召回率的具体计算公式如下：
所述F1分数的具体公式如下：
其中，precision为准确率；recall为召回率；accuracy为精确率；F1score为F1分数；TP为Ture Positive，即异常样本被监测为异常；FP为False Positive，即正常样本被监测为异常；FN为False Negative，即异常样本被监测为正常；TN为Ture Negative，即正常样本被监测为正常。
CN201911399157.5A 2019-12-27 2019-12-27 一种足式机器人多模态感知的异常监测方法 Active CN111209942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399157.5A CN111209942B (zh) 2019-12-27 2019-12-27 一种足式机器人多模态感知的异常监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399157.5A CN111209942B (zh) 2019-12-27 2019-12-27 一种足式机器人多模态感知的异常监测方法

Publications (2)

Publication Number Publication Date
CN111209942A CN111209942A (zh) 2020-05-29
CN111209942B true CN111209942B (zh) 2023-12-19

Family

ID=70784164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399157.5A Active CN111209942B (zh) 2019-12-27 2019-12-27 一种足式机器人多模态感知的异常监测方法

Country Status (1)

Country Link
CN (1) CN111209942B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255733B (zh) * 2021-04-29 2023-04-07 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN116300661B (zh) * 2023-05-18 2023-08-01 青岛宇方机器人工业股份有限公司 基于物联网的现场数据采集系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
CN103577707A (zh) * 2013-11-15 2014-02-12 上海交通大学 一种利用多模式融合推理的机器人故障诊断方法
CN103617347A (zh) * 2013-11-14 2014-03-05 杭州电子科技大学 跑步机用户异常状态监测方法
CN106446339A (zh) * 2016-08-29 2017-02-22 北京化工大学 基于狄利克雷混合模型的转动机械运行状态异常检测方法
FR3060147A1 (fr) * 2016-12-12 2018-06-15 Universite Paris Est Creteil Val De Marne Procede de caracterisation d'un cycle de marche d'un sujet au moyen d'un modele de markov cache
CN108462708A (zh) * 2018-03-16 2018-08-28 西安电子科技大学 一种基于hdp-hmm的行为序列的建模和检测方法
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6464447B2 (ja) * 2013-09-02 2019-02-06 本田技研工業株式会社 観測値の予測装置及び観測値の予測方法
US10272572B2 (en) * 2016-06-10 2019-04-30 The Boeing Company Remotely controlling robotic platforms based on multi-modal sensory data
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
CN103617347A (zh) * 2013-11-14 2014-03-05 杭州电子科技大学 跑步机用户异常状态监测方法
CN103577707A (zh) * 2013-11-15 2014-02-12 上海交通大学 一种利用多模式融合推理的机器人故障诊断方法
CN106446339A (zh) * 2016-08-29 2017-02-22 北京化工大学 基于狄利克雷混合模型的转动机械运行状态异常检测方法
FR3060147A1 (fr) * 2016-12-12 2018-06-15 Universite Paris Est Creteil Val De Marne Procede de caracterisation d'un cycle de marche d'un sujet au moyen d'un modele de markov cache
CN108462708A (zh) * 2018-03-16 2018-08-28 西安电子科技大学 一种基于hdp-hmm的行为序列的建模和检测方法
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Hierarchical Bayesian nonparametric models with applications;Y.W.Teh et al.;《Bayesian Nonparametrics》;20101230;第1卷;第158-207页 *
Incremental learning introspective movement primitives from multimodal unstructured demonstrations;Wu Hongmin et al.;《IEEE》;20191016;第159022-159036页 *
Robot Introspection with Bayesian Nonparametric Vector Autoregressive Hidden Markov Models;Wu hongmin et al.;《2017 IEEE-RAS 17th International Conference》;20171117;第882-888页 *
The sticky HDP-HMM: Bayesian nonparametric hidden markov models with persistent states;Emily B.Fox et al.;《srXiv》;20090515;第1-60页 *
吴鸿敏等.基于多模态时间序列建模的机器人安全监控.《哈尔滨工业大学学报》.2019,(第01期),第126-132页. *
基于HDP-HMM的机械设备故障预测方法研究;王恒等;《振动与冲击》;20190428(第08期);第178-184页 *
基于多模态时间序列建模的机器人安全监控;吴鸿敏等;《哈尔滨工业大学学报》;20191212(第01期);第126-132页 *
基于模仿学习的人机协作的研究;陈龙新等;《机械工程与自动化》;20180929(第05期);第20-22页 *
移动机器人异常检测及避让策略;段琢华等;《计算机工程》;20071020(第20期);第201-203页 *

Also Published As

Publication number Publication date
CN111209942A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
Yin et al. Intelligent particle filter and its application to fault detection of nonlinear system
CN102445902B (zh) 用于机器状况监视的条件多输出回归的系统和方法
CN109186610B (zh) 一种auv地形匹配导航的鲁棒bslam方法
CN111216126B (zh) 基于多模态感知的足式机器人运动行为识别方法及系统
CN115828140B (zh) 邻域互信息与随机森林相融合故障检测方法、系统及应用
CN111209942B (zh) 一种足式机器人多模态感知的异常监测方法
CN110991471B (zh) 一种高速列车牵引系统故障诊断方法
Xiong et al. Steering actuator fault diagnosis for autonomous vehicle with an adaptive denoising residual network
WO2023231374A1 (zh) 机械设备半监督故障检测分析方法、装置、终端及介质
CN112504682A (zh) 基于粒子群优化算法的底盘发动机故障诊断方法及系统
Park et al. Source term estimation using deep reinforcement learning with Gaussian mixture model feature extraction for mobile sensors
Lu et al. A modified active learning intelligent fault diagnosis method for rolling bearings with unbalanced samples
CN116739100A (zh) 量子神经网络的漏洞检测方法及自动驾驶漏洞检测方法
CN115218927B (zh) 基于二次卡尔曼滤波的无人机imu传感器故障检测方法
Pereira et al. Detecting docking-based structures for persistent ASVs using a volumetric neural network
Dong et al. Global wavelet-integrated residual frequency attention regularized network for hypersonic flight vehicle fault diagnosis with imbalanced data
JP2016520220A (ja) 隠れ属性モデル推定装置、方法およびプログラム
CN115342817B (zh) 无人履带车辆轨迹跟踪状态监测方法、系统、设备、介质
CN116701948B (zh) 管道故障诊断方法及系统、存储介质和管道故障诊断设备
KR102464945B1 (ko) 기계 학습을 이용한 신호 데이터 상태 분석 장치 및 방법
CN115577511B (zh) 基于无人机运动状态的短期航迹预测方法、装置及系统
CN114036948B (zh) 一种基于不确定性量化的命名实体识别方法
Du et al. A Comparative Evaluation of AutoEncoder-Based Unsupervised Anomaly Detection Methods Applied on Space Payload
CN117670111A (zh) 一种基于评价指标改进fcm的高速路交通参数估计方法
SiamiNamini A Data-Driven Decision Support System for Mobile Telematics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant