CN115205782A - 一种基于数字孪生技术的喂饭机器人集群监测管理方法 - Google Patents
一种基于数字孪生技术的喂饭机器人集群监测管理方法 Download PDFInfo
- Publication number
- CN115205782A CN115205782A CN202210778801.5A CN202210778801A CN115205782A CN 115205782 A CN115205782 A CN 115205782A CN 202210778801 A CN202210778801 A CN 202210778801A CN 115205782 A CN115205782 A CN 115205782A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- feeding robot
- model
- digital twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及喂饭机器人技术领域,尤其涉及一种基于数字孪生技术的喂饭机器人集群监测管理方法,包括创建虚拟孪生空间,采集虚拟孪生空间中喂饭机器人的数据;采用K‑means算法对训练数据集进行预处理;采用PCA算法对预处理后的数据进行降维处理;将降维后的数据分别输入SVM分类器构建故障识别模型,LSTM网络构建寿命预测模型;对故障识别模型和寿命预测模型进行验证。本发明利用现实世界的物理实体构建数字孪生技术的高保真虚拟模型,虚拟模型仿真运行,采集运行时的仿真孪生数据以及喂饭机器人历史运行数据作为输入,通过SVM分类和LSTM网络进行训练,从而实现对喂饭机器人集群的运行监测、故障预警、寿命预测。
Description
技术领域
本发明涉及喂饭机器人技术领域,尤其涉及一种基于数字孪生技术的喂饭机器人集群监测管理方法。
背景技术
喂饭机器人是面向双手伤残或者失去双臂的残障人士,瘫痪卧床或者罹患重症的病患,甚至高龄老人等用户,适用于医院、辅助进食;然而在医院、疗养院等场景往往是多台喂饭机器人集群部署。随着机器人的数量和使用时间的上升,由于机器人故障可能带来的安全隐患也随之提高。医护资源的不足也很难实现用户在使用过程中一直保持有人看护,所以如何让喂饭机器人集群始终保持健康运行的状态和在故障发生前预警并及时发现异常个体进行维护仍是个待解决的问题。
发明内容
针对现有算法的不足,本发明利用现实世界的物理实体构建数字孪生技术的高保真虚拟模型,虚拟模型仿真运行,采集运行时的仿真孪生数据以及喂饭机器人历史运行数据作为输入,通过SVM分类和LSTM网络进行训练,从而实现对喂饭机器人集群的运行监测、故障预警、寿命预测以及喂饭机器人历史运行数据作为输入,通过SVM分类和LSTM网络进行训练,从而实现对喂饭机器人集群的运行监测、故障预警、寿命预测。
本发明所采用的技术方案是:一种基于数字孪生技术的喂饭机器人集群监测管理方法,包括以下步骤:
步骤一、创建虚拟孪生空间,并将喂饭机器人虚拟模型文件导入虚拟孪生空间;设置Rigidbody模拟虚拟孪生空间中物体之间发生碰撞接触后真实的动作反应;采集虚拟孪生空间中喂饭机器人的数据,与喂饭机器人历史数据构成训练数据集,将训练数据集设置健康与故障标签;
进一步的,喂饭机器人的数据包括:驱动器的负载、扭矩、位置、运行时间和温度;
步骤二、采用K-means算法对训练数据集进行预处理;
步骤三、采用PCA算法对预处理后的数据进行降维处理;
进一步的,详细包括:
首先,根据特征熵值判断特征的变异程度,得到各特征贡献率,选择贡献率大的特征参与模型构建;
其次,通过高斯函数进行特征映射,得到新的不同维度特征,将非线性关系的特征在高维空间中线性展开,得到各维度特征之间的线性相关性;
最后,再通过PCA算法对高维特征进行降维处理,得到各维度特征以及对应的权重,通过对高斯核函数的积分,利用非线性映射计算各特征在高维特征空间中的主成分,选自权重之和超过m的特征,表达式如下:
F=[F1,F2,...,Fi] (1)
步骤四、将降维后的数据分别输入SVM分类器构建故障识别模型和LSTM网络构建寿命预测模型;
进一步的,故障识别模型的输出为健康状态s(t,i):
s(t,i)=distance(Fnow,γ) (2)
式中,t为当前数据运行时刻,i为保留PCA主成分维度,distance为距离函数,γ为SVM分类器的几何间隔,根据s(t,i)对运行情况进行量化分析:
其中,β1健康状态上限,β2健康状态下限。
进一步的,寿命预测模型包括:第一双向LSTM层、第一Dropout层、第二双向LSTM层、第三双向LSTM层、注意力机制层、第二Dropout层、全连接层和输出层;双向LSTM层核心为128,通过tanh激活函数连接,第一Dropout层抛弃0.2的数据,第二Dropout层抛弃0.5的数据,全连接层采用linear激活函数。
进一步的,注意力机制层由全局池化层、两层全连接层与softmax激活函数组成,池化层将隐含层进行编码,计算各隐含层与当前输出的相似程度,并使用softmax函数输出各隐含层的权重,根据权重构建新的隐含层。
步骤五、利用实时机器人数据对故障识别模型和寿命预测模型进行验证。
本发明的有益效果:
1、能够实现机器人的预测性维护,取代原有的定期或故障后维护,减少机器人维修成本。
2、通过数据驱动方式实现故障识别与寿命预测,代替传统物理建模方式,减少寿命预测所需的时间和经济花费,提高模型精度。
3、通过数字孪生扩充历史数据库,减少机器人数据需求量,实现小样本的高精度寿命预测过程。
4、本发明在故障识别中引入信息熵,在寿命预测中引入注意力机制,相较于传统模型有更高的精度。
附图说明
图1是本发明的基于数字孪生技术的喂饭机器人集群监测管理方法流程图;
图2是本发明的基于神经网络的喂饭机器人寿命预测模型结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
如图1所示,一种基于数字孪生技术的喂饭机器人集群监测管理方法,包括以下步骤:
步骤一、创建虚拟孪生空间,虚拟孪生空间由喂饭机器人虚拟模型和环境三维模型组成,首先由谷歌地图定位机器人集群部署位置,从谷歌地图导出外部三维模型搭建进行外部环境搭建,例如医院、养老院。内部工作环境搭建则通过移动机器人扫描物理世界对象转化为三维模型导入,虚拟孪生空间随着部署环境而变化,将数字孪生模型中采集到的数据与历史数据库的数据进行汇总,根据机器人状态分别设置健康与故障标签。
机器人孪生模型则由在三维建模软件SolidWorks中使用内部加速渲染顶点面片的方法将三维零件模型显示出来,由于模型结构压缩比例不大,其中存在着冗余的数据集,不利于数据传输和快速显示;将模型导出成obj格式文件,导入3DMax软件进行进一步的图像渲染提高模型的逼真度和轻量化处理,去除冗余的顶点和线条,最终导出成FBX格式文件,虚拟现实开发软件选用Unity3D开发平台,将FBX格式的喂饭机器人虚拟模型文件导入,喂饭机器人虚拟模型导入Unity3D并进行物理属性设置,在层次面板中对零件子模型建立与物理实体相对应的父子级关系,从而在驱动过程中避免出现不符合现实的位姿状态;设置Rigidbody模拟虚拟孪生空间中物体之间发生碰撞接触后真实的动作反应,使用C#编写虚拟模型驱动脚本以及Socket作为数据通信方式,挂多个Camera组件分别编写脚本实现多个喂饭机器人运行状态监测视野。
现场喂饭机器人运行状态信息的采集和上传,数据是驱动数字孪生虚拟空间进行实时同步的关键,同时数据能够将几何、物理、行为维度进行连结,从而实现三维模型对物理空间实体真实映射;通过传感器读取到喂饭机器人的数据,包括:驱动器的负载、扭矩、位置、运行时间和温度,通过Sockert机器人的实时反馈端口自动上传机器人的数据,采样周期为8ms,能够保证数据的实时性;
步骤二、在云服务器上搭建实时数据库和历史数据库用于存储由喂饭机器人反馈端口上传的运行状态实时数据,然后对采集到的喂饭机器人的数据进行预处理,剔除数据异常值并对进行标准化处理消除量纲、数量级因素影响后,根据机器人集群部署场景、工作条件因素对数据进行聚类处理,采用K-means算法对状态数据进行处理,区分各工作条件下的机器人,将经过处理与分类的实际设计运行数据输入到数字孪生模型中,由真实的运行数据驱动数字孪生模型,采集喂饭机器人虚拟模型随时间进行喂饭作业中运行仿真得到的状态数据,模拟仿真喂饭机器人可能出现的故障,将期间采集的运行状态数据采集存储;
步骤三、在云服务器中部署数据处理模块,将设置过标签的运行状态数据进行降维处理;采用PCA算法对历史数据库中包含故障数据的孪生模型数据与真实机器人的数据进行降维处理;
首先,根据特征熵值判断特征的变异程度,得到各特征贡献率,选择贡献率大的特征参与模型构建,特征熵值判断特征的变异程度的公式为:
其中,H(x)为信息熵大小,p(x)为特征的概率密度分布。
其次,选择信息熵在于通过高斯函数将特征升维到相较于原始特征维度的高维空间中,将非线性关系的特征在高维空间中线性展开,得到各维度特征之间的线性相关性,表达式如下:
最后,再通过PCA算法对高维特征进行降维处理,得到各维度特征以及对应的权重,解决了PCA算法无法处理非线性关系特征的问题,能够通过对高斯核函数的积分,利用非线性映射计算各特征在高维特征空间中的主成分,选自权重之和超过m的特征进行下一步处理,表达式如下:
F=[F1,F2,...,Fi] (1)
步骤四、在云服务器中建立故障识别模块,对降维处理后数据进行故障判断,采用经过PCA算法降维后的运行状态数据训练SVM分类器,并利用机器人实时运行数据进行验证,当SVM输出准确率超过阈值n时,则认为故障识别准确性可靠。
将实时数据输入数据处理模块,采用PCA算法进行同样处理,得到实时运行状态数据的降维数据Fnow,将数据处理模块输出的实时数据输入到故障识别模块,故障识别模块输出实时数据的是否故障,并输出健康状态s(t,i),其表达式如下:
s(t,i)=distance(Fnow,γ) (2)
式中,t为当前数据运行时刻,i为保留PCA主成分维度,distance为距离函数,γ为SVM分类器的几何间隔,根据s(t,i)对运行情况进行量化分析:
寿命预测模型的实现步骤:将训练集输入到数据处理模块进行降维处理,在服务器中建立寿命预测模块,对降维处理后数据F进行寿命预测;F输入到寿命预测模块中,以时间窗长度τ构建时间序列,采用带有注意力机制的双向长短时记忆神经网络进行寿命预测。
将特征时间序列传入双向LSTM网络进行训练,使用双向LSTM网络对同时输入正向与反向的时间序列进行训练,提升模型精度;调整网络层数、节点数、训练批次、学习率、训练次数等参数,将时间序列作为神经网络输入进行网络训练;
寿命预测模型包括:第一双向LSTM层、第一Dropout层、第二双向LSTM层、第三双向LSTM层、注意力机制层、第二Dropout层、全连接层和输出层;双向LSTM层核心为128,通过tanh激活函数连接,第一Dropout层抛弃0.2的数据,第二Dropout层抛弃0.5的数据,全连接层采用linear激活函数。
模型注意力机制层由全局池化层、两层全连接层与softmax激活函数组成,池化层将隐含层进行编码,计算各隐含层与当前输出的相似程度,并使用softmax函数输出各隐含层的权重,根据权重构建新的隐含层;
注意力机制对网络隐含层权重进行迭代改进,挖掘并保留特征时间序列中的中长期信息,有效提升模型寿命预测精确度。
步骤五、将实时机器人的数据输入到数据处理模块进行降维处理,将数据处理模块输出的实时数据输入到寿命预测模块,采用相同时间窗长度,将实时数据Fnow构建为时间序列作为长短时记忆网络输入,以步骤四中寿命预测模型对输入时间序列进行处理,根据各隐含层权重对输入时间序列进行加权处理,得到网络输出结果,长短时记忆网络输出结果为实时数据的剩余使用寿命
客户端的反馈与交互:由Unity3D虚拟平台开发的虚拟孪生空间发布PC客户端和移动客户端,在客户端上可由实时数据驱动的喂饭机器人虚拟模型三维立体化监测机器人的运行状态,可选集群分屏监测或点开具体个体监测,监测界面在显示机器人实时运行状态的同时呈现机器人的各项指标,包括机器人健康状态、剩余预测寿命时间、是否需要维护提示。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种基于数字孪生技术的喂饭机器人集群监测管理方法,其特征在于,包括以下步骤:
步骤一、创建虚拟孪生空间,采集虚拟孪生空间中喂饭机器人的数据,并与喂饭机器人历史数据构成训练数据集,设置健康与故障标签;
步骤二、采用K-means算法对训练数据集进行预处理;
步骤三、采用PCA算法对预处理后的数据进行降维处理;
步骤四、将降维后的数据分别输入SVM分类器构建故障识别模型和LSTM网络构建寿命预测模型;
步骤五、利用实时机器人数据对故障识别模型和寿命预测模型进行验证。
2.根据权利要求1所述的基于数字孪生技术的喂饭机器人集群监测管理方法,其特征在于,所述喂饭机器人的数据包括:驱动器的负载、扭矩、位置、运行时间和温度。
3.根据权利要求1所述的基于数字孪生技术的喂饭机器人集群监测管理方法,其特征在于,所述步骤二的详细过程包括:
首先,根据特征熵值判断特征的变异程度,得到各特征贡献率,选择贡献率大的特征参与模型构建;
其次,通过高斯函数进行特征映射,得到新的不同维度特征,将非线性关系的特征在高维空间中线性展开,得到各维度特征之间的线性相关性;
最后,再通过PCA算法对高维特征进行降维处理,得到各维度特征以及对应的权重,通过对高斯核函数的积分,利用非线性映射计算各特征在高维特征空间中的主成分,选自权重之和超过m的特征,表达式如下:
F=[F1,F2,…,Fi] (1)
5.根据权利要求1所述的基于数字孪生技术的喂饭机器人集群监测管理方法,其特征在于,所述寿命预测模型包括:第一双向LSTM层、第一Dropout层、第二双向LSTM层、第三双向LSTM层、注意力机制层、第二Dropout层、全连接层和输出层;双向LSTM层核心为128,通过tanh激活函数连接,第一Dropout层抛弃0.2的数据,第二Dropout层抛弃0.5的数据,全连接层采用linear激活函数。
6.根据权利要求5所述的基于数字孪生技术的喂饭机器人集群监测管理方法,其特征在于,所述注意力机制层由全局池化层、两层全连接层与softmax激活函数组成,全局池化层将隐含层进行编码,计算各隐含层与当前输出的相似程度,并使用softmax激活函数输出各隐含层的权重,根据权重构建新的隐含层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778801.5A CN115205782A (zh) | 2022-07-04 | 2022-07-04 | 一种基于数字孪生技术的喂饭机器人集群监测管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778801.5A CN115205782A (zh) | 2022-07-04 | 2022-07-04 | 一种基于数字孪生技术的喂饭机器人集群监测管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115205782A true CN115205782A (zh) | 2022-10-18 |
Family
ID=83577587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210778801.5A Pending CN115205782A (zh) | 2022-07-04 | 2022-07-04 | 一种基于数字孪生技术的喂饭机器人集群监测管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205782A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116300661A (zh) * | 2023-05-18 | 2023-06-23 | 青岛宇方机器人工业股份有限公司 | 基于物联网的现场数据采集系统 |
CN117407771A (zh) * | 2023-12-13 | 2024-01-16 | 湘江实验室 | 基于数字孪生的轴承健康状态评估方法、装置及相关设备 |
-
2022
- 2022-07-04 CN CN202210778801.5A patent/CN115205782A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116300661A (zh) * | 2023-05-18 | 2023-06-23 | 青岛宇方机器人工业股份有限公司 | 基于物联网的现场数据采集系统 |
CN116300661B (zh) * | 2023-05-18 | 2023-08-01 | 青岛宇方机器人工业股份有限公司 | 基于物联网的现场数据采集系统 |
CN117407771A (zh) * | 2023-12-13 | 2024-01-16 | 湘江实验室 | 基于数字孪生的轴承健康状态评估方法、装置及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107516110B (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
CN115205782A (zh) | 一种基于数字孪生技术的喂饭机器人集群监测管理方法 | |
US20240046001A1 (en) | Automated standardized location digital twin and location digital twin method factoring in dynamic data at different construction levels, and system thereof | |
CN112668237A (zh) | 一种基于工业互联网云平台的数字孪生模型及其构建方法 | |
WO2022105117A1 (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN110503063B (zh) | 基于沙漏卷积自动编码神经网络的跌倒检测方法 | |
CN111753189A (zh) | 一种少样本跨模态哈希检索共同表征学习方法 | |
CN112838946B (zh) | 基于通信网故障智能感知与预警模型的构建方法 | |
CN113446988B (zh) | 基于云边融合架构的机场跑道道面状态监测系统及方法 | |
CN111352965A (zh) | 序列挖掘模型的训练方法、序列数据的处理方法及设备 | |
CN114919559B (zh) | 一种基于数字孪生的制动系统剩余使用寿命预测系统及方法 | |
CN110728186B (zh) | 一种基于多网融合的火灾检测方法 | |
CN113870160A (zh) | 一种基于变换器神经网络的点云数据处理方法 | |
CN117236677A (zh) | 一种基于事件抽取的rpa流程挖掘方法及装置 | |
CN112100486A (zh) | 一种基于图模型的深度学习推荐系统及其方法 | |
Qiao et al. | Group behavior recognition based on deep hierarchical network | |
CN117009785A (zh) | 安全监测方法、装置、服务器及系统 | |
KR102619200B1 (ko) | 인공지능 기반 환경설비 자동제어를 위한 뉴럴 네트워크 모델 생성 방법 및 컴퓨터 프로그램 | |
Miao | Emotion Analysis and Opinion Monitoring of Social Network Users Under Deep Convolutional Neural Network | |
CN116502123A (zh) | 一种航空发动机剩余使用寿命无监督跨域预测方法 | |
CN114912169B (zh) | 基于多源信息融合的工业建筑供热自主优化调控方法 | |
CN114580738B (zh) | 一种社交媒体危机事件预测方法及系统 | |
CN116257786A (zh) | 一种基于多元时序图结构的异步时间序列分类方法 | |
CN117591813B (zh) | 基于多维特征的复杂装备故障诊断方法及系统 | |
CN117633140B (zh) | 一种基于大数据云计算技术的城市地质调查方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |