CN109407518B - 家庭服务机器人运行状态自主认知方法及系统 - Google Patents
家庭服务机器人运行状态自主认知方法及系统 Download PDFInfo
- Publication number
- CN109407518B CN109407518B CN201811563693.XA CN201811563693A CN109407518B CN 109407518 B CN109407518 B CN 109407518B CN 201811563693 A CN201811563693 A CN 201811563693A CN 109407518 B CN109407518 B CN 109407518B
- Authority
- CN
- China
- Prior art keywords
- robot
- data
- running state
- frame
- autonomous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 52
- 230000019771 cognition Effects 0.000 claims description 39
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000011217 control strategy Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000002567 autonomic effect Effects 0.000 claims 3
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 238000013178 mathematical model Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了家庭服务机器人运行状态自主认知方法及系统，包括：采集机器人内部运行数据和机器人外部环境数据；基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务；所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。
Description
技术领域
本公开涉及家庭服务机器人技术领域，特别是涉及家庭服务机器人运行状态自主认知方法及系统。
背景技术
本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。
大力发展家庭服务机器人是解决人口老龄化等问题的有效途径，但服务机器人的可靠性和安全性目前仍然较大不足，已成为限制其大规模推广应用的主要瓶颈因素之一。机器人运行状态自主认知方法能够在故障发生初期及时检测并诊断出故障类型，有效提升机器人的安全性和可靠性，具有重要的理论意义和实际应用价值。
传统的机器人运行状态自主认知方式大致可以划分为：基于数学模型的方法、基于专家系统的方法、基于模式识别的方法和基于信号处理的方法。基于数学模型的机器人运行状态自主认知方法在故障机理阐述方面有着独到的优势，但需要建立机器人精确的数学模型。由于工业机械臂的运动学和动力学理论相对完善，获取其精确数学模型获取相对容易，基于模型的机器人运行状态自主认知方法大多适用于工作环境固定、工作流程相对单一的工业机械臂的运行状态评价问题。家庭服务机器人是一类复杂耦合非线性的机电一体化设备，且其工作环境和服务任务多变，获取其精确的数学模型存在较大困难，因此，传统基于数学模型的机器人运行状态认知方法无法直接有效的用于家庭服务机器人。基于专家系统的机器人运行状态认知方法需要大量专家的专门知识，专家系统的运行状态评价精度与不同专家的经验知识具有直接的关系，评价客观性存在一定不足，且适用领域较窄。基于模式识别(如神经网络、支持向量机)的机器人运行状态认知方法在精度方面较前述两种方法有较好提升，但该类方法最关键的特征选择与提取环节需要依靠人工完成，难以保证所得特征是最优特征。基于信号处理的运行状态认知方法通过对信号进行时频域变换和分析实现对机器人设备的运行状态监测，但该类方法难以同时充分利用和挖掘机器人运行所产生的多源异构传感器数据。
综上，传统的机器人运行状态自主认知方式的主要缺陷有：
(1)数学模型精度对机器人运行状态自主认知结果有很大影响，而服务机器人的复杂机电结构和工作环境决定了其精确数学模型获取困难。
(2)服务机器人的运行状态样本数据是既包括了空间分布特性(如工作环境、故障部位等)又蕴含了时间变化规律(如故障的演变与传播等)的动态多模异构时序数据序列，传统的运行状态认知方法无法充分利用上述时空特征信息，影响机器人自主运行状态认知精度，导致机器人运行状态认知精度较低。
(3)没有统一的具备运行状态自主认知能力的机器人体系结构，导致机器人运行状态评估实施困难，另外没有设计相应的安全控制策略，无法根据机器人当前状态信息选择合适的安全控制策略，无法保证机器人控制子系统及冗余监控控制器模块故障等特殊情况下的机器人使用安全。
因此，亟需一种能够充分利用机器人自身装备的多源异构传感器数据，有效提取机器人动态多模异构时序运行状态样本数据中所蕴藏的深层时空特征，充分挖掘机器人运行状态知识的方法及系统，实现对机器人运行状态的有效监测。
发明内容
为了解决现有技术的不足，本公开提供了家庭服务机器人运行状态自主认知方法及系统，利用机器人装备的多种传感器数据，通过结合深度神经网络和多级决策融合等方法，能够对机器人的运行状态有效监测，实现在机器人故障出现的初期对故障类别准确识别，可有效提升家庭服务机器人的安全性和可靠性，对于促进家庭服务机器人的实际应用具有重要意义。
第一方面，本公开提供了家庭服务机器人运行状态自主认知方法；
家庭服务机器人运行状态自主认知方法，包括：
采集机器人内部运行数据和机器人外部环境数据；
基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务；
所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。
作为一种可能的实现方式，所述基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务的具体步骤为：
步骤(1)：采集机器人新的内部运行数据和新的外部环境数据；对采集的数据进行归一化预处理；
步骤(2)：将预处理得到的数据输入到预先训练好的机器人运行状态自主认知模型中；根据模型输出结果，首先判断机器人主控制器是否出现故障，如果无故障，则进入步骤(3)；如果有故障则进入步骤(4)；
步骤(3)：判断机器人是否正常运行，如果正常，则机器人正常执行服务任务；如果异常，则提示初期故障信息；
统计故障时间，判断故障时间是否超过设定时间阈值，如果超过就驱动断电，机器人停止动作，提示故障信息；如果否，机器人正常执行服务任务；
步骤(4)：判断冗余监控控制器是否发生故障，如果是，则控制驱动系统断电，机器人停止动作，提示故障信息，结束；如果否，则冗余监控控制器代替主控制器继续完成当前服务任务；完成当前服务任务后，控制驱动系统断电，机器人停止工作，提示故障信息，结束。
作为一种可能的实现方式，机器人运行状态自主认知模型的训练步骤为：
步骤(21)：数据采集与预处理：
采集机器人传感器数据，采样频率大于机器人控制频率的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为在运行状态K下采集到的第i帧样本；对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响；所述运行状态，包括：故障状态和非故障状态；
步骤(22)：机器人运行状态自主认知模型的构建与训练：
构建机器人运行状态自主认知模型，所述机器人运行状态自主认知模型，包括：依次连接的数据预处理层、特征学习层、特征融合层、决策层和池化层；其中数据预处理层的输入数据为步骤(21)预处理得到的数据；池化层输出数据为最终机器人运行状态；
训练机器人运行状态自主认知模型：
数据预处理层：机器人运行状态数据同时包含空间和时间两个维度的分布和变化特性；
设预处理后的运行状态样本数据序列X＝[X1,X2,...,XN]T共有N帧数据，计算运行状态数据流，即分别用第i帧数据减去N帧数据的均值，所有帧的计算结果组成机器人运行状态样本数据流栈Li；
对预处理后的状态样本数据求帧间差分，经高通滤波后，叠加成一阶差分栈
其中，和表示i′帧的帧间差分，c(X(i))代表第i帧与第i+1帧的帧间差分，表示属性为m*n维的第i帧数据，表示属性为m*n维的第i+1帧数据，T为高通滤波器的阈值。
对一阶差分栈继续求差分，经高通滤波后，得到二阶差分栈依次迭代得到高阶差分栈其中n为差分栈阶次；在实施过程中，差分栈阶次n的取值根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。
特征学习层：选用三线程卷积神经网络对预处理数据分别进行特征提取，所述三线程卷积神经网络，分别包括：并列的第一、第二和第三卷积神经网络；
利用第一个卷积神经网络对单帧机器人运行状态样本数据Xi进行空间特征提取；
利用第二个卷积神经网络对单帧机器人运行状态样本数据流栈Li进行时间特征提取；
利用第三个卷积神经网络对单帧机器人帧间差分栈进行时间特征提取；
特征融合层：将第一卷积神经网络输出k个置信值，与第二和第三卷积神经网络联合输出的k个置信值，串联构成2k维的时空联合决策空间；
决策层：采用支持向量机实现时空线程的融合，选择支持向量机输出概率最大的状态类别作为第i个数据帧的运行状态类别属性；
池化层：得到运行数据序列X的各帧属性判别标签，实现对最终运行数据序列X的整体属性标签判别：首先采用窗口长度为g的滑动窗口对N帧数据属性类别标签进行无重合的池化运算，然后对池化结果进行投票，选择个数最多的属性标签作为运行数据序列X的整体属性标签。
作为一种可能的实现方式，第一个卷积神经网络的特征提取结果为Ps：
其中，F为特征映射个数，代表第i个特征映射对应的激活函数。Ps的行向量以全连接的方式与特征融合层的k个节点相连，为了保证训练速度及泛化能力，连接权重按公式(3)的规则计算：
第二个卷积神经网络和第三个卷积神经网络联合输出Pt以及对应的权重Wt。
其中，Pt为时间线程联合输出，cat()表示矩阵左右拼接函数，Wt表示时间线程联合权重，Y为标签，ξ∈(0,0.1]为随机数，r2为卷积核大小，N为数据序列中的帧数，F为特征映射个数。
因此，在申请实施例中，将机器人装备的多种传感器数据作为家庭服务机器人运行状态自主认知的原始数据样本，通过构造多线程神经网络对运行状态数据中的深层时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的精准认知。
第二方面，本公开还提供了家庭服务机器人运行状态自主认知系统；
家庭服务机器人运行状态自主认知系统包括：感知系统、上位机系统、下位机系统、驱动系统、移动平台及执行机构；
上位机系统根据感知系统采集的数据信息对机器人运行状态进行自主评估，根据机器人运行状态评估信息以及服务任务选择相应的安全控制策略，完成相应的决策和规划；
所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。
所述感知系统分别与上位机系统、下位机系统及驱动系统相连；所述上位机系统还与下位机系统相连；所述下位机系统还与驱动系统相连；所述驱动系统还与机器人移动平台及执行机构相连。
所述感知系统包括内部传感器、外部传感器和可扩展传感器，所述外部传感器负责采集机器人工作环境信息，所述内部传感器负责采集机器人本体执行机构、移动平台及驱动系统的运行参数；感知系统采集机器人内部运行数据和机器人外部环境数据。
所述下位机系统，包括：主控制器、冗余监控控制器及应急管理模块；所述主控制器接收上位机系统的决策指令，完成对驱动系统的控制功能；所述冗余监控控制器实现对主控制器的监控和热备份，当主控制器故障时，冗余监控控制器可接管主控制器完成相应控制任务；所述应急管理模块由硬件看门狗电路构成，当底层主控制器及监控核心同时故障时，应急管理模块通过对驱动器及执行机构硬件断电的方式确保机器人安全。
所述驱动系统负责完成对移动平台及执行机构的驱动，完成机器人预定的服务任务。
与现有技术相比，本公开的有益效果是：
(1)提出了基于多线程深度神经网络和多级融合策略的机器人运行状态自主认知模型的训练与构建方法，实现了机器人运行状态样本数据深层时空特征协同自适应提取，避免了动态多模时序运行状态样本数据深层特征时空关系割裂的问题，提高了机器人运行状态自主认知的精度。
(2)所提方法以机器人自身装备的传感器数据作为出发点，通过结合机器学习和决策融合实现了对数据中蕴藏的运行状态知识的挖掘，解决了传统机器人运行状态自主认知方法对机器人数学模型精度要求高的问题。
(3)所提系统和方法无需专门增加配置机器人传感器或计算机等其他硬件设备，在原有的家庭服务机器人基础架构上进行了相应软件算法模块的增加，降低了机器人运行状态自主认知的成本。
(4)所提系统结构能够兼容现有的家庭服务机器人体系结构，具有实施容易的优点，有利于机器人运行状态自主认知方法的快速部署。
(5)所提的安全控制策略具备一定的冗余能力，能够在机器人底层控制核心和监控核心同时出错的极端情况下保证机器人系统的使用安全。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为具备运行状态自主认知能力的家庭服务机器人体系结构图；
图2为具备运行状态自主认知能力的家庭服务机器人的工作流程图；
图3为机器人运行状态自主认知模型训练原理图；
图4为基于运行状态信息的机器人安全控制策略。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提出了家庭服务机器人运行状态自主认知方法及系统。将机器人装备的多种传感器数据作为家庭服务机器人运行状态自主认知的原始数据样本，通过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态认知模型的训练和构建，通过机器人运行状态认知模型实现对机器人运行状态的识别。
如图1所示，家庭服务机器人运行状态自主认知系统包括：感知系统、上位机系统、下位机系统、驱动系统、移动平台及执行机构；
上位机系统根据感知系统采集的数据信息对机器人运行状态进行自主评估，根据机器人运行状态评估信息以及服务任务选择相应的安全控制策略，完成相应的决策和规划；
所述对机器人运行状态进行自主评估，是指过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别。
所述感知系统分别与上位机系统、下位机系统及驱动系统相连；所述上位机系统还与下位机系统相连；所述下位机系统还与驱动系统相连；所述驱动系统还与机器人移动平台及执行机构相连。
所述感知系统包括内部传感器、外部传感器和可扩展传感器，所述外部传感器负责采集机器人工作环境信息，所述内部传感器负责采集机器人本体执行机构、移动平台及驱动系统的运行参数；感知系统采集机器人内部运行数据和机器人外部环境数据。
所述下位机系统，包括：主控制器、冗余监控控制器及应急管理模块；所述主控制器接收上位机系统的决策指令，完成对驱动系统的控制功能；所述冗余监控控制器实现对主控制器的监控和热备份，当主控制器故障时，冗余监控控制器可接管主控制器完成相应控制任务；所述应急管理模块由硬件看门狗电路构成，当底层主控制器及监控核心同时故障时，应急管理模块通过对驱动器及执行机构硬件断电的方式确保机器人安全。
所述驱动系统负责完成对移动平台及执行机构的驱动，完成机器人预定的服务任务。
如图2所示，具备运行状态自主认知能力的家庭服务机器人工作流程，包括：
(1)感知：在任务执行过程中，内部传感器实现对机器人本体参数的监测；外部传感器实现对机器人工作环境的监测。
(2)运行状态评估：上位机系统的运行状态评估子系统根据感知模块的数据信息，通过本发明所提的机器人运行状态自主认知方法，挖掘数据中蕴藏的机器人运行状态知识，实现对机器人运行状态的自主评估。
(3)决策/规划：上位机系统的决策子系统，根据机器人所处的外部环境及机器人的运行状态，基于服务任务选择合适的安全控制策略，做出相应的决策和规划，并将决策规划结果反馈至底层主控制器。
(4)驱动控制：底层主控制器根据决策和规划结果发出运动控制指令至驱动模块，驱动模块实现机器人移动平台及执行机构的驱动，完成预定的服务任务。
如图3所示，机器人运行状态自主认知方法；
机器人运行状态自主认知方法主要包括数据采集与预处理，机器人运行状态自主认知模型训练及构建，决策层融合等核心步骤，具体如下：
(1)数据采集与预处理
首先，采集机器人传感器数据，采样频率一般大于机器人控制频率(控制周期倒数)的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为第i帧样本。对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响。
(2)机器人运行状态自主认知模型训练与构建
机器人运行状态数据同时包含了空间和时间两个维度的分布和变化特性。设预处理后的运行状态样本数据序列X＝[X1,X2,...,XN]T共有N帧数据，采用平均流提取方法计算故障数据流，对计算结果按照顺序叠加在一起形成运行状态样本数据流栈Li；
对预处理后的机器人运行状态数据，按照式(1)求帧间差分，经高通滤波后，叠加成一阶差分栈
其中，和表示i′帧的帧间差分，代表第i帧与第i+1帧的帧间差分，表示属性为mxn维的第i帧数据，表示属性为mxn维的第i+1帧数据，T为高通滤波器的阈值。对一阶差分栈继续求差分，经高通滤波后，可得二阶差分栈依次迭代可得高阶差分栈其中n为差分栈阶次。在实施过程中，差分栈阶次n的取值可根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。
然后，利用三线程卷积神经网络分别对对单帧机器人运行状态样本数据Xi、运行状态样本数据流栈Li、帧间差分栈进行空间和时间维度上的特征学习。记空间线程的输出为Ps：
式中，F为特征映射个数，代表第i个特征映射对应的激活函数。Ps的行向量以全连接的方式与k个输出节点相连，为了保证训练速度及泛化能力，连接权重可以按如下规则计算：
类似的，可以计算得到两个时间线程的联合输出Pt以及对应的权重Wt。
其中，Pt为时间线程联合输出，cat()表示矩阵左右拼接函数，Wt表示时间线程联合权重，其值可根据Pt计算，Y为标签，ξ∈(0,0.1]为随机数，r2为卷积核大小，N为数据序列中的帧数，F为特征映射个数。
(3)特征层和决策层的多级融合
将深度神经网络时间和空间线程将分别输出的k个置信值拼接构成2k维的时空联合决策空间，完成特征层的融合工作；
采用支持向量机实现时空线程的决策层融合，选择支持向量机输出概率最大的状态类别作为第i个数据帧的运行状态类别属性。
最后，得到故障数据序列X的各帧属性判别标签，采用两级多数池化策略或投票法实现对最终运行状态数据序列X的整体属性标签判别。
如图4所示，根据机器人运行状态信息，选择合适的安全控制策略；
采集新样本Xnew，对数据归一化操作后，将归一化后的数据输入训练好的机器人运行状态自主认知模型。首先，判断机器人底层主控制器是否故障，若主控制器无故障，则进一步判断机器人系统有无其它故障，若机器人主控制器正常但系统其它部位存在故障，则通过人机交互子系统提示故障信息，并调节相应控制量输出抵消初期微小故障带来的影响，当故障持续一定时间后，根据故障情况，主动停机以确保安全；若主控制器故障则通过冗余监控控制器接管机器人底层控制，完成当前服务任务后，对驱动系统断电，并通过人机交互子系统提醒用户介入；若主控制器和冗余监控控制器同时失效，则机器人运行状态认知模块直接控制机器人底层应急模块使得机器人硬件系统直接断电，停止工作以保证安全；若整个机器人系统无任何故障，则机器人按照正常流程执行服务任务直至任务完成。
本发明所提机器人运行状态自主认知方法从历史和当前在线数据出发，通过深度学习技术挖掘数据中蕴藏的运行状态知识实现对机器人系统运行状态的自主认知，避免了因数学模型不精确带来的弊端。
本发明通过结合多线程深度神经网络和多级融合策略实现了机器人运行状态样本数据深层时空特征协同自适应提取，避免了动态多模时序运行状态样本数据深层特征时空关系割裂的问题，提高了机器人运行状态自主认知的精度，保证了其安全性和可靠性。
提出一种具备运行状态自主认知能力的家庭服务机器人体通用体系结构和安全控制策略，使得机器人运行状态自主认知方法部署更加规范和便捷，另外，通过所提体系结构和安全控制策略能够处理机器人控制子系统及冗余监控控制器模块故障等特殊情况，进一步确保机器人使用安全。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.家庭服务机器人运行状态自主认知方法，其特征是，包括：
采集机器人内部运行数据和机器人外部环境数据；
基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务；
所述对机器人运行状态进行自主评估，是指通过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别；
所述机器人运行状态自主认知模型的训练步骤为：
步骤(21)：数据采集与预处理：
采集机器人传感器数据，采样频率大于机器人控制频率的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为在运行状态K下采集到的第i帧样本；对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响；所述运行状态，包括：故障状态和非故障状态；
步骤(22)：机器人运行状态自主认知模型的构建与训练：
构建机器人运行状态自主认知模型，所述机器人运行状态自主认知模型，包括：依次连接的数据预处理层、特征学习层、特征融合层、决策层和池化层；其中数据预处理层的输入数据为步骤(21)预处理得到的数据；两级池化层输出数据为最终机器人运行状态；
所述机器人运行状态自主认知模型，包括：
数据预处理层：机器人运行状态数据同时包含空间和时间两个维度的分布和变化特性；
设预处理后的运行状态样本数据序列X＝[X1,X2,...,XN]T共有N帧数据，计算运行状态数据流，即分别用第i帧数据减去N帧数据的均值，所有帧的计算结果组成机器人运行状态样本数据流栈Li；
对机器人运行状态样本数据求帧间差分，经高通滤波后，叠加成一阶差分栈
其中，和表示i′帧的帧间差分，c(X(i))代表第i帧与第i+1帧的帧间差分，表示属性为m*n维的第i帧数据，表示属性为m*n维的第i+1帧数据，T为高通滤波器的阈值；
对一阶差分栈继续求差分，经高通滤波后，得到二阶差分栈依次迭代得到高阶差分栈其中n为差分栈阶次；在实施过程中，差分栈阶次n的取值根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。
2.如权利要求1所述的方法，其特征是，所述基于采集的数据对机器人运行状态进行自主评估；根据自主评估结果，对机器人做出相应的决策和规划；根据决策和规划发出控制指令，完成机器人预定的服务任务的具体步骤为：
步骤(1)：采集机器人新的内部运行数据和新的外部环境数据；对采集的数据进行归一化预处理；
步骤(2)：将预处理得到的数据输入到预先训练好的机器人运行状态自主认知模型中；根据模型输出结果，首先判断机器人主控制器是否出现故障，如果无故障，则进入步骤(3)；如果有故障则进入步骤(4)；
步骤(3)：判断机器人是否正常运行，如果正常，则机器人正常执行服务任务；如果异常，则提示初期故障信息；
统计故障时间，判断故障时间是否超过设定时间阈值，如果超过就驱动断电，机器人停止动作，提示故障信息；如果否，机器人正常执行服务任务；
步骤(4)：判断冗余监控控制器是否发生故障，如果是，则控制驱动系统断电，机器人停止动作，提示故障信息，结束；如果否，则冗余监控控制器代替主控制器继续完成当前服务任务；完成当前服务任务后，控制驱动系统断电，机器人停止工作，提示故障信息，结束。
3.如权利要求1所述的方法，其特征是，机器人运行状态自主认知模型，包括：
特征学习层：选用三线程卷积神经网络对预处理数据分别进行特征提取，所述三线程卷积神经网络，分别包括：并列的第一、第二和第三卷积神经网络；
利用第一个卷积神经网络对单帧机器人运行状态样本数据Xi进行空间特征提取；
利用第二个卷积神经网络对单帧机器人运行状态样本数据流栈Li进行时间特征提取；
利用第三个卷积神经网络对单帧机器人帧间差分栈进行时间特征提取。
4.如权利要求1所述的方法，其特征是，机器人运行状态自主认知模型，包括：
特征融合层：将第一卷积神经网络输出k个置信值，与第二和第三卷积神经网络联合输出的k个置信值，串联构成2k维的时空联合决策空间；
决策层：采用支持向量机实现时空线程的融合，选择支持向量机输出概率最大的状态类别作为第i个数据帧的运行状态类别属性。
5.如权利要求1所述的方法，其特征是，机器人运行状态自主认知模型，包括：
池化层：得到运行数据序列X的各帧属性判别标签，实现对最终运行数据序列X的整体属性标签判别：首先采用窗口长度为g的滑动窗口对N帧数据属性类别标签进行无重合的池化运算，然后对池化结果进行投票，选择个数最多的属性标签作为运行数据序列X的整体属性标签。
6.如权利要求3所述的方法，其特征是，第一个卷积神经网络的特征提取结果为Ps：
其中，F为特征映射个数，代表第i个特征映射对应的激活函数；Ps的行向量以全连接的方式与特征融合层的k个节点相连，为了保证训练速度及泛化能力，连接权重按公式(3)的规则计算：
7.如权利要求3所述的方法，其特征是，第二个卷积神经网络和第三个卷积神经网络联合输出Pt以及对应的权重Wt；
其中，Pt为时间线程联合输出，cat()表示矩阵左右拼接函数，Wt表示时间线程联合权重，Y为标签，ξ∈(0,0.1]为随机数，r2为卷积核大小，N为数据序列中的帧数，F为特征映射个数。
8.家庭服务机器人运行状态自主认知系统，其特征是，包括：感知系统、上位机系统、下位机系统、驱动系统、移动平台及执行机构；
上位机系统根据感知系统采集的数据信息对机器人运行状态进行自主评估，根据机器人运行状态评估信息以及服务任务选择相应的安全控制策略，完成相应的决策和规划；
所述对机器人运行状态进行自主评估，是指通过构造多线程神经网络对机器人运行状态数据中的时空特征进行自适应学习，完成对机器人运行状态自主认知模型的训练和构建，通过决策层的多级融合策略实现对机器人运行状态的识别；所述机器人运行状态自主认知模型的训练步骤为：
步骤(21)：数据采集与预处理：
采集机器人传感器数据，采样频率大于机器人控制频率的2倍，设在运行状态K下采集得到的N帧传感器数据序列其中，为在运行状态K下采集到的第i帧样本；对采集得到的数据进行预处理，剔除野值后，对数据进行归一化，消除不同传感器量纲不同带来的影响；所述运行状态，包括：故障状态和非故障状态；
步骤(22)：机器人运行状态自主认知模型的构建与训练：
构建机器人运行状态自主认知模型，所述机器人运行状态自主认知模型，包括：依次连接的数据预处理层、特征学习层、特征融合层、决策层和池化层；其中数据预处理层的输入数据为步骤(21)预处理得到的数据；两级池化层输出数据为最终机器人运行状态；
所述机器人运行状态自主认知模型，包括：
数据预处理层：机器人运行状态数据同时包含空间和时间两个维度的分布和变化特性；
设预处理后的运行状态样本数据序列X＝[X1,X2,...,XN]T共有N帧数据，计算运行状态数据流，即分别用第i帧数据减去N帧数据的均值，所有帧的计算结果组成机器人运行状态样本数据流栈Li；
对机器人运行状态样本数据求帧间差分，经高通滤波后，叠加成一阶差分栈
其中，和表示i′帧的帧间差分，c(X(i))代表第i帧与第i+1帧的帧间差分，表示属性为m*n维的第i帧数据，表示属性为m*n维的第i+1帧数据，T为高通滤波器的阈值；
对一阶差分栈继续求差分，经高通滤波后，得到二阶差分栈依次迭代得到高阶差分栈其中n为差分栈阶次；在实施过程中，差分栈阶次n的取值根据机器人运行状态自主认知模型训练精度进行调整，选择使模型训练精度最高的n即可。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563693.XA CN109407518B (zh) | 2018-12-20 | 2018-12-20 | 家庭服务机器人运行状态自主认知方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811563693.XA CN109407518B (zh) | 2018-12-20 | 2018-12-20 | 家庭服务机器人运行状态自主认知方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109407518A CN109407518A (zh) | 2019-03-01 |
| CN109407518B true CN109407518B (zh) | 2019-06-25 |
Family
ID=65460215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811563693.XA Active CN109407518B (zh) | 2018-12-20 | 2018-12-20 | 家庭服务机器人运行状态自主认知方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109407518B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427536B (zh) * | 2019-08-12 | 2022-03-04 | 深圳忆海原识科技有限公司 | 一种类脑决策与运动控制系统 |
| CN110394804B (zh) * | 2019-08-26 | 2022-08-12 | 山东大学 | 一种基于分层线程框架的机器人控制方法、控制器及系统 |
| CN110806758B (zh) * | 2019-11-12 | 2022-12-30 | 中国人民解放军国防科技大学 | 一种基于情景模糊认知图的无人机群自主等级自适应调整方法 |
| SG10201910949PA (en) * | 2019-11-21 | 2020-11-27 | Lian Wang | Artificial Intelligence Brain |
| CN112702423B (zh) * | 2020-12-23 | 2022-05-03 | 杭州比脉科技有限公司 | 一种基于物联网互动娱乐模式的机器人学习系统 |
| CN113011558B (zh) * | 2021-02-25 | 2023-08-04 | 山东大学 | 基于多异构传感器信息融合的机器人故障诊断方法及系统 |
| CN117666452B (zh) * | 2024-02-01 | 2024-05-28 | 季华实验室 | 机器人的多重安全控制方法、装置、电子设备及存储介质 |
| CN117697769B (zh) * | 2024-02-06 | 2024-04-30 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制系统和方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103604591B (zh) * | 2013-11-14 | 2018-11-20 | 沈阳工业大学 | 一种轮式移动机器人故障检测方法 |
| CN103577707A (zh) * | 2013-11-15 | 2014-02-12 | 上海交通大学 | 一种利用多模式融合推理的机器人故障诊断方法 |
| CN105446821B (zh) * | 2015-11-11 | 2019-05-17 | 哈尔滨工程大学 | 一种基于改进神经网络的智能水下机器人推进器故障诊断方法 |
| CN106599794A (zh) * | 2016-11-21 | 2017-04-26 | 南京熊猫电子股份有限公司 | 一种基于ar模型的六轴工业机器人故障诊断方法及系统 |
| CN107717986A (zh) * | 2017-09-25 | 2018-02-23 | 珠海市领创智能物联网研究院有限公司 | 一种智能机器人的控制方法 |
| CN108764122A (zh) * | 2018-05-25 | 2018-11-06 | 哈尔滨工程大学 | 一种基于深度学习的auv控制系统优化与故障监测方法 |
-
2018
- 2018-12-20 CN CN201811563693.XA patent/CN109407518B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109407518A (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109407518B (zh) | 家庭服务机器人运行状态自主认知方法及系统 | |
| CN102637019B (zh) | 一种工业生产过程智能集成故障诊断方法及装置 | |
| US8781982B1 (en) | System and method for estimating remaining useful life | |
| CN110296124B (zh) | 基于专家系统的远程故障诊断系统及方法 | |
| CN110231156B (zh) | 基于时序特征的服务机器人运动系统故障诊断方法及装置 | |
| CN109409567B (zh) | 基于双层长短期记忆网络的复杂设备剩余寿命预测方法 | |
| CN111178553A (zh) | 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统 | |
| CN110515781B (zh) | 一种复杂系统状态监测及故障诊断方法 | |
| CN110705812A (zh) | 一种基于模糊神经网络的工业故障分析系统 | |
| CN101859128A (zh) | 一种基于知识的车铣复合机床故障预测专家系统 | |
| CN109514560A (zh) | 工业机器人故障监控系统、方法以及装置 | |
| CN111124852A (zh) | 一种基于bmc健康管理模块的故障预测方法及系统 | |
| WO2023197617A1 (zh) | 基于多维传感数据的工业系统生产异常检测与诊断方法 | |
| CN107025169A (zh) | 一种基于贝叶斯网络推理的软件错误分层诊断方法 | |
| KR102373827B1 (ko) | 표준 운용 수준 평가 기반 산업 설비 운용 제어 장치 및 그 동작 방법 | |
| CN109523030B (zh) | 一种基于机器学习的遥测参数异常监测系统 | |
| Yu-ming et al. | Research on intelligent manufacturing flexible production line system based on digital twin | |
| JP7348103B2 (ja) | 運転状態分類システム、および、運転状態分類方法 | |
| CN112560252A (zh) | 一种航空发动机剩余寿命预测方法 | |
| Borissova et al. | A concept of intelligent e-maintenance decision making system | |
| TWI794907B (zh) | 用於系統管理之故障預測與健康管理系統與相關方法 | |
| CN116127324A (zh) | 不间断电源内部关键部件的故障检测方法和装置 | |
| CN112966785B (zh) | 一种智能化星座状态识别方法和系统 | |
| CN110308669B (zh) | 一种模块机器人自修复仿真系统及方法 | |
| CN112819334A (zh) | 船舶区域配电电力系统发配电智能容错自愈控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |