CN113400353A - 基于数字孪生的多指灵巧手状态监测方法、装置及设备 - Google Patents
基于数字孪生的多指灵巧手状态监测方法、装置及设备 Download PDFInfo
- Publication number
- CN113400353A CN113400353A CN202110771131.XA CN202110771131A CN113400353A CN 113400353 A CN113400353 A CN 113400353A CN 202110771131 A CN202110771131 A CN 202110771131A CN 113400353 A CN113400353 A CN 113400353A
- Authority
- CN
- China
- Prior art keywords
- state
- dexterous hand
- sensor data
- fingered
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012706 support-vector machine Methods 0.000 claims description 53
- 230000036541 health Effects 0.000 claims description 39
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于数字孪生的多指灵巧手状态监测方法、装置及设备，该方法包括：构建多指灵巧手的数字孪生模型；收集多指灵巧手的状态相关传感器数据和关节位置传感器数据以及位姿图像数据；标记状态相关传感器数据并输入SVM多分类器中进行训练，获取状态信息；将位姿图像数据输入位姿判断器中进行训练，获取关节角度及坐标数据；将关节角度及坐标数据和关节位置传感器数据进行加权计算，获取多指灵巧手的位姿信息；将状态信息和位姿信息同步至数字孪生模型中，对多指灵巧手进行状态监测。本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失。
Description
技术领域
本发明涉及工业设备检测技术领域，具体涉及一种基于数字孪生的多指灵巧手状态监测方法、装置及设备。
背景技术
仿人型多指灵巧手是具有高集成度、高智能度的机电一体化系统，多指灵巧手一般具有3-5根手指，以及多于8个的独立自由度，拥有多种感知能力，能够分析环境并且可以针对目标类型对物体进行操作，灵巧手与人手十分相似，同样能够完成伸展、抓取等操作，具有高度的灵巧性和多方面的适用性。
由于技术原因，目前的多指灵巧手，其结构复杂、造价昂贵且容易损坏。然而，目前并没有能够对多指灵巧手的状态进行实时监测的方法，无法对多指灵巧手的状态做出有效评估，这样就易导致出现较为严重的后果，会使企业财产与人身安全受到不同程度的损失。
需要注意的是，本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
发明内容
本发明实施例提供一种基于数字孪生的多指灵巧手状态监测方法、装置及设备，以解决现有技术中无法对多指灵巧手的状态进行实时监测及有效评估而易导致出现较为严重的后果的问题。
第一方面，本发明实施例提供一种基于数字孪生模型的多指灵巧手故障预测方法，包括：
根据多指灵巧手的实体部件位置和关节运动关系，构建所述多指灵巧手的数字孪生模型；
收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据；
根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息；
将所述位姿图像数据输入位姿判断器中，通过所述位姿判断器获取所述多指灵巧手的关节角度及坐标数据；将所述关节角度及坐标数据和所述关节位置传感器数据进行加权计算，获取所述多指灵巧手的位姿信息；
将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测。
作为本发明第一方面的优选方式，所述状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；
所述位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。
作为本发明第一方面的优选方式，所述收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据之后，还包括：
通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对所述状态相关传感器数据和所述关节位置传感器数据进行去噪声处理；
通过形成去除高斯噪声的递进式残差融合密集网络的方法，对所述位姿图像数据进行去噪声处理。
作为本发明第一方面的优选方式，所述根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息，包括：
对所述多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；
根据所述健康标签标记所述状态相关传感器数据，并作为训练样本输入所述SVM多分类器中进行训练，使所述SVM多分类器输出训练好的SVM模型；
将所述SVM模型作为判断所述多指灵巧手状态的状态分类器，并通过所述状态分类器匹配当前所述多指灵巧手的状态，生成所述多指灵巧手的状态信息。
作为本发明第一方面的优选方式，所述将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测，包括：
在所述多指灵巧手运行过程中，将所述状态信息和所述位姿信息同步至所述数字孪生模型中，获取所述多指灵巧手的同步健康信息；
将所述同步健康信息与所述多指灵巧手的先验知识进行比较，确定所述多指灵巧手的状态监测结果，并对会造成所述多指灵巧手损坏的行为预警。
第二方面，本发明实施提供一种基于数字孪生的多指灵巧手状态监测装置，包括：
模型构建单元，用于根据多指灵巧手的实体部件位置和关节运动关系，构建所述多指灵巧手的数字孪生模型；
数据收集单元，用于收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据；
状态信息获取单元，用于根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息；
位姿信息获取单元，用于将所述位姿图像数据输入位姿判断器中，通过所述位姿判断器获取所述多指灵巧手的关节角度及坐标数据；将所述关节角度及坐标数据和所述关节位置传感器数据进行加权计算，获取所述多指灵巧手的位姿信息；
状态监测单元，用于将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测。
作为本发明第二方面的优选方式，所述状态信息获取单元具体用于：
对所述多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；
根据所述健康标签标记所述状态相关传感器数据，并作为训练样本输入所述SVM多分类器中进行训练，使所述SVM多分类器输出训练好的SVM模型；
将所述SVM模型作为判断所述多指灵巧手状态的状态分类器，并通过所述状态分类器匹配当前所述多指灵巧手的状态，生成所述多指灵巧手的状态信息。
作为本发明第二方面的优选方式，所述状态监测单元具体用于：
在所述多指灵巧手运行过程中，将所述状态信息和所述位姿信息同步至所述数字孪生模型中，获取所述多指灵巧手的同步健康信息；
将所述同步健康信息与所述多指灵巧手的先验知识进行比较，确定所述多指灵巧手的状态监测结果，并对会造成所述多指灵巧手损坏的行为预警。
第三方面，本发明实施例提供一种基于数字孪生的多指灵巧手状态监测设备，包括处理器和存储器，其中所述存储器内存储有执行指令，所述处理器读取所述存储器内的执行指令用于执行如第一方面及其优选方式中任一项所述的基于数字孪生的多指灵巧手状态监测方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述存储介质存储有计算机执行指令，所述计算机执行指令被用于执行如第一方面及其优选方式中任一项所述的基于数字孪生的多指灵巧手状态监测方法中的步骤。
本发明实施例提供的基于数字孪生的多指灵巧手状态监测方法、装置及设备，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。
本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测方法的实现流程图；
图2为本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测装置的结构示意图；
图3为本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
图1示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测方法的流程示意图，该方法能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。
参照图1所示，该方法主要包括如下步骤：
步骤101、根据多指灵巧手的实体部件位置和关节运动关系，构建多指灵巧手的数字孪生模型；
步骤102、收集多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及多指灵巧手的位姿图像数据；
步骤103、根据预设的健康标签标记状态相关传感器数据，并输入SVM多分类器中进行训练，通过SVM多分类器获取多指灵巧手的状态信息；
步骤104、将位姿图像数据输入位姿判断器中，通过位姿判断器获取多指灵巧手的关节角度及坐标数据；将关节角度及坐标数据和关节位置传感器数据进行加权计算，获取多指灵巧手的位姿信息；
步骤105、将状态信息和位姿信息同步至数字孪生模型中，对多指灵巧手进行状态监测。
多指灵巧手是具有高集成度、高智能度的机电一体化系统，多指灵巧手一般具有3-5根手指，以及多于8个的独立自由度，拥有多种感知能力，能够分析环境并且可以针对目标类型对物体进行操作，灵巧手与人手十分相似，同样能够完成伸展、抓取等操作，具有高度的灵巧性和多方面的适用性。
多指灵巧手内置了大量的传感器，可以实时采集多指灵巧手的多种运行参数。同时，在多指灵巧手的上方、前方和侧方分别设置有摄像头，可以实时采集多指灵巧手的位姿图像。
在步骤101中，主要根据多指灵巧手的实体部件位置和关节运动关系，使用建模软件来构建多指灵巧手的数字孪生模型。
具体地，先在ROS环境中的catkin_ws目录下创建工作空间，其中ROS(RobotOperating System，机器人操作系统)是提供一系列程序库和工具以帮助软件开发者创建机器人应用软件；然后，用catkin_init_workspace初始化工作空间，在工作空间catkin_ws/src/目录下通过catkin_create_pkg来创建硬件描述包并附加依赖。
接着，根据多指灵巧手的实体部件位置以及关节运动关系，创建并编辑多指灵巧手的urdf文件；然后，使用SolidWork或3D studio MAX等建模软件创建多指灵巧手的3D模型文件，即多指灵巧手的数字孪生模型，并导出为mesh格式，创建meshes文件夹并放入编辑好的mesh文件。
最后，编辑urdf配套的launch文件；然后，直接通过roslaunch命令运行launch文件，启动ROS中的三维可视化平台rviz界面和对应的数字孪生模型。
在步骤102中，通过订阅多指灵巧手中内置的传感器的方式收集这些传感器的数据，具体包括多指灵巧手的状态相关传感器数据和关节位置传感器数据。同时，还通过设置在多指灵巧手的上方、前方和侧方的三个摄像头，收集多指灵巧手在这三个方位的位姿图像数据。
其中，状态相关传感器数据可用于判断多指灵巧手的状态，而关节位置传感器数据和位姿图像数据则用于判断多指灵巧手的位姿。
在本申请提供的一种可选实施例中，状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。
具体地，多指灵巧手的状态相关传感器包括温度传感器、电流电压传感器和关节力矩传感器，其中温度传感器数据为温度传感器收集的多指灵巧手各部位的温度数据以及外部温度数据，电流电压传感器数据为电流电压传感器收集的多指灵巧手内部的供电电压数据及电流数据，关节力矩传感器数据为关节力矩传感器收集的多指灵巧手中关节与关节之间和关节与物体之间施加的作用力数据；而关节位置传感器数据为关节位置传感器收集的多指灵巧手的关节角度数据。
多指灵巧手的上方、前方和侧方分别设置有摄像头，其中上方位姿图像数据为多指灵巧手上方的摄像头收集的位姿图像，前方位姿图像数据为多指灵巧手前方的摄像头收集的位姿图像，侧方位姿图像数据为多指灵巧手侧方的摄像头收集的位姿图像。
上述收集的状态相关传感器数据、关节位置传感器数据以及位姿图像数据，通常都带有无法避免的噪声，因此可以通过去噪算法去除一部分噪声与异常值，以使数据可用。
在步骤102之后，还包括以下步骤：
通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对状态相关传感器数据和关节位置传感器数据进行去噪声处理；
通过形成去除高斯噪声的递进式残差融合密集网络的方法，对位姿图像数据进行去噪声处理。
上述步骤中，由于噪声的存在，导致传感器采集数据时出现异常值难以避免，对于异常值可以采用两种方法处理：对局部数据做平滑处理，或用异常值周围的数据插值出正常的数值。通过这两种方法，能够对状态相关传感器数据和关节位置传感器数据进行去噪声处理。
对于位姿图像数据中的噪声，使用针对去除高斯噪声的递进式残差融合密集网络DnRFD。该网络首先采用密集块来学习图像中的噪声分布，在充分提取图像局部特征的同时大幅降低网络参数；然后，利用递进策略将浅层卷积特征依次与深层特征短线连接形成残差融合网络，提取出更多针对噪声的全局特征；最后，将各密集块的输出特征图进行融合后输入给重建输出层，得到最后的输出结果，即可实现对位姿图像数据的去噪声处理。
在步骤103中，将多指灵巧手的状态进行划分，并将划分好的状态作为标签来对上述状态相关传感器数据进行标记，然后作为训练样本输入SVM多分类器中进行训练，最后将训练得到的SVM模型作为判断多指灵巧手状态的状态分类器，以获取多指灵巧手的状态信息。
其中，SVM(Support Vector Machine，支持向量机)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器。
在本申请提供的一种可选实施例中，步骤103可按照如下步骤具体实施：
步骤1031、对多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签。
该步骤中，预先将多指灵巧手的状态进行划分，如可以划分为健康、危险、损坏等状态，这些状态可充分体现多指灵巧手的健康情况，然后再将划分好的状态作为预设的健康标签用于数据标记。
步骤1032、根据健康标签标记状态相关传感器数据，并作为训练样本输入SVM多分类器中进行训练，使SVM多分类器输出训练好的SVM模型。
该步骤中，采用上述步骤得到的健康标签将收集的状态相关传感器数据打上标签，作为SVM多分类器的训练样本并输入SVM多分类器中进行训练，最后输出训练好的SVM模型。
使用SVM多分类器可实现多分类方法，SVM多分类器需求的计算量小，即使在一些边缘设备上也可以很好的运行。
步骤1033、将SVM模型作为判断多指灵巧手状态的状态分类器，并通过状态分类器匹配当前多指灵巧手的状态，生成多指灵巧手的状态信息。
该步骤中，将上述步骤训练得到的SVM模型作为判断多指灵巧手状态的状态分类器，然后使用该状态分类器匹配当前多指灵巧手的状态，从而得到多指灵巧手的状态信息。
在步骤104中，先利用网络数据集或自行收集的图像信息训练位姿判断器，然后将步骤102中得到的多指灵巧手的位姿图像数据输入训练好的位姿判断器中，通过位姿判断器来获取多指灵巧手的关节角度及坐标数据。
然后，给上述获取到的将关节角度及坐标数据和步骤102中得到的关节位置传感器数据乘以自定义的权重进行加权计算，从而获取多指灵巧手的位姿信息。示例性地，在关节位置传感器噪声过大甚至失真的情况下，可以缩小关节位置传感器数据的权重，而加大通过位姿判断器获取的关节角度及坐标数据的权重。
需要说明的是，步骤103和步骤104分别获取多指灵巧手的状态信息和位姿信息，这两个步骤没有严格的顺序要求，本领域技术人员可以按照实际情况选择先执行其中一个步骤，或者同时执行两个步骤。
在步骤105中，将步骤103中获取到的多指灵巧手的状态信息和步骤104中获取到的多指灵巧手的位姿信息同步至步骤101中构建好的数字孪生模型中，运行该数字孪生模型，对多指灵巧手的状态做出实时监测以及评估，并能够及时预测多指灵巧手的非法操作并预警，避免造成损失。
在本申请提供的一种可选实施例中，步骤105可按照如下步骤具体实施：
步骤1051、在多指灵巧手运行过程中，将状态信息和位姿信息同步至数字孪生模型中，获取多指灵巧手的同步健康信息。
该步骤中，在多指灵巧手的运行过程中，将步骤103中获取到的状态信息和步骤104中获取到的位姿信息同步至构建好的数字孪生模型中，运行该数字孪生模型，获取多指灵巧手的同步健康信息。
步骤1052、将同步健康信息与多指灵巧手的先验知识进行比较，确定多指灵巧手的状态监测结果，并对会造成多指灵巧手损坏的行为预警。
该步骤中，将上述步骤得到的多指灵巧手的同步健康信息与多指灵巧手的先验知识进行比较，来综合判断多指灵巧手的健康状态，最终确定多指灵巧手的状态监测结果，同时能够对会造成多指灵巧手损坏的行为进行预警，以避免企业财产与人身安全受到损失。
其中，上述的先验知识一般根据多指灵巧手的性能得到，如关节活动范围等。
需要说明的是，对于上述方法的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测方法，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。
本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。
基于同一发明构思，图2示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测装置，由于该装置解决技术问题的原理与一种基于数字孪生的多指灵巧手状态监测方法相似，因此该装置的具体实施方式可以参见方法的具体实施方式，重复之处不再赘述。
参照图2所示，该装置主要包括如下单元：
模型构建单元201，用于根据多指灵巧手的实体部件位置和关节运动关系，构建多指灵巧手的数字孪生模型；
数据收集单元202，用于收集多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及多指灵巧手的位姿图像数据；
状态信息获取单元203，用于根据预设的健康标签标记状态相关传感器数据，并输入SVM多分类器中进行训练，通过SVM多分类器获取多指灵巧手的状态信息；
位姿信息获取单元204，用于将位姿图像数据输入位姿判断器中，通过位姿判断器获取多指灵巧手的关节角度及坐标数据；将关节角度及坐标数据和关节位置传感器数据进行加权计算，获取多指灵巧手的位姿信息；
状态监测单元205，用于将状态信息和位姿信息同步至数字孪生模型中，对多指灵巧手进行状态监测。
此处需要说明的是，上述模型构建单元201、数据收集单元202、状态信息获取单元203、位姿信息获取单元204和状态监测单元205对应于上述方法实施例中的步骤101至步骤105，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述方法实施例所公开的内容。
优选地，所述状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；
所述位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。
优选地，数据收集单元202还用于：
通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对状态相关传感器数据和关节位置传感器数据进行去噪声处理；
通过形成去除高斯噪声的递进式残差融合密集网络的方法，对位姿图像数据进行去噪声处理。
优选地，状态信息获取单元203具体用于：
对多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；
根据健康标签标记状态相关传感器数据，并作为训练样本输入SVM多分类器中进行训练，使SVM多分类器输出训练好的SVM模型；
将SVM模型作为判断多指灵巧手状态的状态分类器，并通过状态分类器匹配当前多指灵巧手的状态，生成多指灵巧手的状态信息。
优选地，状态监测单元205具体用于：
在多指灵巧手运行过程中，将状态信息和位姿信息同步至数字孪生模型中，获取多指灵巧手的同步健康信息；
将同步健康信息与多指灵巧手的先验知识进行比较，确定多指灵巧手的状态监测结果，并对会造成多指灵巧手损坏的行为预警。
需要说明的是，本发明实施例提供的基于数字孪生的多指灵巧手状态监测装置与前述实施例所述的基于数字孪生的多指灵巧手状态监测方法属于相同的技术构思，其具体实施过程可参照前述实施例中对方法步骤的说明，在此不再赘述。
应当理解，以上一种基于数字孪生的多指灵巧手状态监测装置包括的单元仅为根据该装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种基于数字孪生的多指灵巧手状态监测装置所实现的功能与上述实施例提供的一种基于数字孪生的多指灵巧手状态监测方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例中已做详细描述，此处不再详细描述。
综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测装置，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。
本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。
基于同一发明构思，图3示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测设备，由于该设备解决技术问题的原理与一种基于数字孪生的多指灵巧手状态监测方法相似，因此该设备的具体实施方式可以参见方法的具体实施方式，重复之处不再赘述。
参照图3所示，本发明实施例提供一种基于数字孪生的多指灵巧手状态监测设备，该设备主要包括处理器301和存储器302，其中存储器302内存储有执行指令。该处理器301读取存储器302内的执行指令用于执行上述基于数字孪生的多指灵巧手状态监测方法任一个实施例中所述的步骤。或者，该处理器301读取存储器302内的执行指令用于实现上述基于数字孪生的多指灵巧手状态监测装置任一个实施例中各单元的功能。
图3为本发明实施例提供的基于数字孪生的多指灵巧手状态监测设备的一种结构示意图，如图3所示，该设备包括处理器301、存储器302和收发器303；其中，处理器301、存储器302和收发器303通过总线304相互实现相互间的通信。
上述提到的总线304可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条箭头线表示，但并不表示仅有一根总线或一种类型的总线。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测设备，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。
本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。
本发明实施例还提供一种计算机可读存储介质，包含计算机执行指令，所述计算机执行指令被用于执行上述基于数字孪生的多指灵巧手状态监测方法实施例中所述的步骤。或者，所述计算机执行指令被用于执行上述基于数字孪生的多指灵巧手状态监测装置实施例中各单元的功能。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于数字孪生的多指灵巧手状态监测方法，其特征在于，包括：
根据多指灵巧手的实体部件位置和关节运动关系，构建所述多指灵巧手的数字孪生模型；
收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据；
根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息；
将所述位姿图像数据输入位姿判断器中，通过所述位姿判断器获取所述多指灵巧手的关节角度及坐标数据；将所述关节角度及坐标数据和所述关节位置传感器数据进行加权计算，获取所述多指灵巧手的位姿信息；
将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测。
2.根据权利要求1所述的方法，其特征在于，所述状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；
所述位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。
3.根据权利要求1所述的方法，其特征在于，所述收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据之后，还包括：
通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对所述状态相关传感器数据和所述关节位置传感器数据进行去噪声处理；
通过形成去除高斯噪声的递进式残差融合密集网络的方法，对所述位姿图像数据进行去噪声处理。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息，包括：
对所述多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；
根据所述健康标签标记所述状态相关传感器数据，并作为训练样本输入所述SVM多分类器中进行训练，使所述SVM多分类器输出训练好的SVM模型；
将所述SVM模型作为判断所述多指灵巧手状态的状态分类器，并通过所述状态分类器匹配当前所述多指灵巧手的状态，生成所述多指灵巧手的状态信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测，包括：
在所述多指灵巧手运行过程中，将所述状态信息和所述位姿信息同步至所述数字孪生模型中，获取所述多指灵巧手的同步健康信息；
将所述同步健康信息与所述多指灵巧手的先验知识进行比较，确定所述多指灵巧手的状态监测结果，并对会造成所述多指灵巧手损坏的行为预警。
6.一种基于数字孪生的多指灵巧手状态监测装置，其特征在于，包括：
模型构建单元，用于根据多指灵巧手的实体部件位置和关节运动关系，构建所述多指灵巧手的数字孪生模型；
数据收集单元，用于收集所述多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及所述多指灵巧手的位姿图像数据；
状态信息获取单元，用于根据预设的健康标签标记所述状态相关传感器数据，并输入SVM多分类器中进行训练，通过所述SVM多分类器获取所述多指灵巧手的状态信息；
位姿信息获取单元，用于将所述位姿图像数据输入位姿判断器中，通过所述位姿判断器获取所述多指灵巧手的关节角度及坐标数据；将所述关节角度及坐标数据和所述关节位置传感器数据进行加权计算，获取所述多指灵巧手的位姿信息；
状态监测单元，用于将所述状态信息和所述位姿信息同步至所述数字孪生模型中，对所述多指灵巧手进行状态监测。
7.根据权利要求6所述的装置，其特征在于，所述状态信息获取单元具体用于：
对所述多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；
根据所述健康标签标记所述状态相关传感器数据，并作为训练样本输入所述SVM多分类器中进行训练，使所述SVM多分类器输出训练好的SVM模型；
将所述SVM模型作为判断所述多指灵巧手状态的状态分类器，并通过所述状态分类器匹配当前所述多指灵巧手的状态，生成所述多指灵巧手的状态信息。
8.根据权利要求6所述的装置，其特征在于，所述状态监测单元具体用于：
在所述多指灵巧手运行过程中，将所述状态信息和所述位姿信息同步至所述数字孪生模型中，获取所述多指灵巧手的同步健康信息；
将所述同步健康信息与所述多指灵巧手的先验知识进行比较，确定所述多指灵巧手的状态监测结果，并对会造成所述多指灵巧手损坏的行为预警。
9.一种基于数字孪生的多指灵巧手状态监测设备，其特征在于，包括处理器和存储器，其中所述存储器内存储有执行指令，所述处理器读取所述存储器内的执行指令用于执行如权利要求1～5中任一项所述的基于数字孪生的多指灵巧手状态监测方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机执行指令，所述计算机执行指令被用于执行如权利要求1～5中任一项所述的基于数字孪生的多指灵巧手状态监测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110771131.XA CN113400353B (zh) | 2021-07-07 | 2021-07-07 | 基于数字孪生的多指灵巧手状态监测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110771131.XA CN113400353B (zh) | 2021-07-07 | 2021-07-07 | 基于数字孪生的多指灵巧手状态监测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113400353A true CN113400353A (zh) | 2021-09-17 |
| CN113400353B CN113400353B (zh) | 2024-02-02 |
Family
ID=77685561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110771131.XA Active CN113400353B (zh) | 2021-07-07 | 2021-07-07 | 基于数字孪生的多指灵巧手状态监测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113400353B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114248283A (zh) * | 2021-12-30 | 2022-03-29 | 湖南农业大学 | 一种蓝牙感知的外骨骼维修机器手 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101088721A (zh) * | 2007-07-11 | 2007-12-19 | 哈尔滨工业大学 | 机器人灵巧手手指基关节机构 |
| CN106863309A (zh) * | 2015-12-14 | 2017-06-20 | 姚秋丽 | 一种基于dsp和fpga的欠驱动灵巧手控制系统 |
| CN108724190A (zh) * | 2018-06-27 | 2018-11-02 | 西安交通大学 | 一种工业机器人数字孪生系统仿真方法及装置 |
| CN108908345A (zh) * | 2018-08-31 | 2018-11-30 | 上海大学 | 一种欠驱动灵巧手传动系统状态感知系统 |
| CN209793788U (zh) * | 2019-01-22 | 2019-12-17 | 天津大学 | 一种用于仿人灵巧手手腕关节的传感系统 |
| US20200164516A1 (en) * | 2017-08-02 | 2020-05-28 | Abb Schweiz Ag | Robot control method |
| CN111230887A (zh) * | 2020-03-10 | 2020-06-05 | 合肥学院 | 一种基于数字孪生技术的工业涂胶机器人运行状态监测方法 |
| CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
| CN111633644A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工程大学 | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 |
-
2021
- 2021-07-07 CN CN202110771131.XA patent/CN113400353B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101088721A (zh) * | 2007-07-11 | 2007-12-19 | 哈尔滨工业大学 | 机器人灵巧手手指基关节机构 |
| CN106863309A (zh) * | 2015-12-14 | 2017-06-20 | 姚秋丽 | 一种基于dsp和fpga的欠驱动灵巧手控制系统 |
| US20200164516A1 (en) * | 2017-08-02 | 2020-05-28 | Abb Schweiz Ag | Robot control method |
| CN108724190A (zh) * | 2018-06-27 | 2018-11-02 | 西安交通大学 | 一种工业机器人数字孪生系统仿真方法及装置 |
| CN108908345A (zh) * | 2018-08-31 | 2018-11-30 | 上海大学 | 一种欠驱动灵巧手传动系统状态感知系统 |
| CN209793788U (zh) * | 2019-01-22 | 2019-12-17 | 天津大学 | 一种用于仿人灵巧手手腕关节的传感系统 |
| CN111230887A (zh) * | 2020-03-10 | 2020-06-05 | 合肥学院 | 一种基于数字孪生技术的工业涂胶机器人运行状态监测方法 |
| CN111563446A (zh) * | 2020-04-30 | 2020-08-21 | 郑州轻工业大学 | 一种基于数字孪生的人-机交互安全预警与控制方法 |
| CN111633644A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工程大学 | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114248283A (zh) * | 2021-12-30 | 2022-03-29 | 湖南农业大学 | 一种蓝牙感知的外骨骼维修机器手 |
| CN114248283B (zh) * | 2021-12-30 | 2024-05-24 | 湖南农业大学 | 一种蓝牙感知的外骨骼维修机器手 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113400353B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Simeonov et al. | A long horizon planning framework for manipulating rigid pointcloud objects | |
| JP2022554068A (ja) | ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス | |
| US20210114209A1 (en) | Robot control device, and method and non-transitory computer-readable storage medium for controlling the same | |
| CN111046587A (zh) | 一种机器人仿真方法、装置、电子设备及存储介质 | |
| JP7031685B2 (ja) | モデル学習装置、モデル学習方法及びコンピュータプログラム | |
| CN108122245B (zh) | 一种目标行为描述方法、装置和监控设备 | |
| EP4075388A1 (en) | Computing device and method for generating realistic synthetic image data | |
| CN113400353B (zh) | 基于数字孪生的多指灵巧手状态监测方法、装置及设备 | |
| JP2015191666A (ja) | オブジェクトパーツ位置の予測へのデータ駆動型検出の拡張 | |
| Fan et al. | A vision-based human digital twin modeling approach for adaptive human–robot collaboration | |
| US20230330858A1 (en) | Fine-grained industrial robotic assemblies | |
| Heravi et al. | Deep learning-based activity-aware 3D human motion trajectory prediction in construction | |
| Zhang et al. | Affordance-driven next-best-view planning for robotic grasping | |
| CN113762159A (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
| US20230158679A1 (en) | Task-oriented 3d reconstruction for autonomous robotic operations | |
| Gao et al. | Development of an automated system for the soldering of USB cables | |
| Che et al. | Detection-guided 3D hand tracking for mobile AR applications | |
| Kim et al. | Digital twin for autonomous collaborative robot by using synthetic data and reinforcement learning | |
| Qin et al. | IPPE-PCR: a novel 6D pose estimation method based on point cloud repair for texture-less and occluded industrial parts | |
| Mohammed et al. | Color matching based approach for robotic grasping | |
| JP2022097461A (ja) | コンピュータにより実現されるプロセス監視方法、装置、システム、コンピュータプログラム、および記録媒体 | |
| Mahalleh et al. | YOLO-based valve type recognition and localization | |
| Zhu et al. | Leveraging body pose estimation for gesture recognition in human-robot interaction using synthetic data | |
| Li et al. | Robotic Scene Segmentation with Memory Network for Runtime Surgical Context Inference | |
| Bingol et al. | Development of a Human-Robot Interaction System for Industrial Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |