CN114700950A - 基于数字孪生的医用护理机器人运动预测和故障诊断的方法 - Google Patents

基于数字孪生的医用护理机器人运动预测和故障诊断的方法 Download PDF

Info

Publication number
CN114700950A
CN114700950A CN202210443322.8A CN202210443322A CN114700950A CN 114700950 A CN114700950 A CN 114700950A CN 202210443322 A CN202210443322 A CN 202210443322A CN 114700950 A CN114700950 A CN 114700950A
Authority
CN
China
Prior art keywords
robot
mechanical arm
medical nursing
medical
nursing robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210443322.8A
Other languages
English (en)
Inventor
付明磊
郑家豪
刘锦元
张文安
仇翔
刘安东
杨旭升
史秀纺
周叶剑
吴麒
胡佛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210443322.8A priority Critical patent/CN114700950A/zh
Publication of CN114700950A publication Critical patent/CN114700950A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)

Abstract

基于数字孪生的医用护理机器人运动预测和故障诊断的方法，包括：步骤1.构建基于数字孪生的医用护理机器人系统总体框架；步骤2.创建包含医院环境与机器人硬件结构在内的基础3D模型；步骤3.将基础3D模型与传感器信息交互，形成医用护理机器人数字孪生体的虚拟区；步骤4.通过预先录入的多种局部路径规划方法之间的对比，预测、获取底盘的最佳运动控制；步骤5.采集物理层机械臂各关节运行的位姿数据，预测机械臂运动状态和对机械臂进行故障诊断。本发明能在医院复杂、快速变化的动态环境下，机器人移动底盘无法做到安全、高效动态避障以及医用护理机器人机械臂出现故障时，针对医用机器人复杂的机械结构快速诊断故障。

Description

基于数字孪生的医用护理机器人运动预测和故障诊断的方法
技术领域
本发明涉及医用机器人技术领域，具体涉及一种医用护理机器人运动预测和故障诊断的方法。
背景技术
随着移动机器人技术逐渐成熟，国内掀起了医用护理机器人研究和应用的热潮。
由于国内医用护理机器人起步较晚，大部分机器人无法做到面对医院庞大的人流量，快速变化的动态环境做出安全的局部路径规划，或是协助患者进行舒适、安全的交互。因此，需要提供一种方法使医用护理机器人可以加快机器人机械臂的故障检测进度、降低试错过程中不必要的损失，同时解决医用护理机器人在医疗护理环境中的安全性控制问题。
发明内容
本发明要解决在医院复杂，快速变化的动态环境下，机器人移动底盘无法做到安全、高效动态避障以及医用护理机器人机械臂出现故障时，因为其复杂的机械结构而无法快速诊断故障的问题，提出一种基于数字孪生的医用护理机器人运动预测和故障诊断的方法：
本发明采用的技术方案为：
提供了一种基于数字孪生的医用护理机器人的方法，包括医院环境数字孪生体的创建、基于数字孪生系统的医用护理机器人底盘移动路径的最优规划、基于数字孪生的医用护理机器人机械臂运动状态检测与故障诊断。
本发明的基于数字孪生的医用护理机器人运动预测和故障诊断的方法，具体包括以下步骤：
1、构建基于数字孪生的医用护理机器人系统总体框架。
2、创建包含医院环境与机器人硬件结构在内的基础3D模型。
3、将基础3D模型与传感器信息交互，形成医用护理机器人数字孪生体的虚拟区。
4、通过预先录入的多种局部路径规划方法之间的对比，预测、获取底盘的最佳运动控制。
5、采集物理层机械臂各关节运行的位姿数据，预测机械臂运动状态和对机械臂进行故障诊断。
步骤1中，将基于数字孪生的医用护理机器人系统分为以下四个区块：
区块1物理层，主要包含实物有：现实空间中的医院环境与医用护理机器人，其中医用护理机器人用于执行虚拟区下达指令。
区块2数据连接层，存放从物理层中采集的实时数据与历史数据以及虚拟层对物理层下达的指令。
区块3虚拟层，用于实现医用护理机器人与医院环境的逻辑交互。交互结果下达物理层的同时，服务于应用层。
区块4应用层，实现对医用护理机器人移动底盘的最优路径规划预测功能以及对机械臂故障的诊断与检测功能。
步骤2中，构建包含医院环境与机器人硬件结构在内的基础3D模型可具体包括：
步骤2.1在数字孪生系统的虚拟层中建立动态环境区，用于存放除医用护理机器人外的医院环境数字孪生体。根据医用护理机器人在医院现场进行循环建图时所反馈的建筑结构信息，采用Solid works建模软件，建立初始的医院环境 3D模型，该模型需要在建模过程中进行轻量化才可以加入动态环境区中，其中轻量化主要包括减少零件的个数与简化模型两方面。
步骤2.2采集医用护理机器人各零件的物理参数，与进行轻量化后的医用护理机器人模型(医用护理机器人的建模步骤同初始的医院环境3D模型的建模步骤)在Unity3D虚拟环境中共同构成医用护理机器人的数字孪生体，进而保证模型的高保真建模并将该模型放入虚拟层的机器人区中。
步骤3中，形成医用护理机器人数字孪生体的虚拟区具体包括：
步骤3.1在数据连接层中建立实时数据库用于存放医用护理机器人的传感器所采集的医院环境信息,所用的信息传递中间件选择为RabbitMQ。
实时数据库在医用护理机器人创建初始医院环境数字孪生体的同时，对各个房间位置加入语义信息。并加入容易变动的动态信息。
步骤3.2将实时数据库中的动态信息需要根据雷达或双目相机等传感器获得的物体与其位姿信息来进行快速地更新。
从而提高医用护理机器人在孪生空间中进行运动控制的安全性与精准性，如：路径规划，医疗物品抓取等。实时数据库中的动态采集信息内容需要通过 ORB算法提取相关特征才可放入动态环境区中，用于加快医院中动态环境在医院数字孪生体中的映射速度，达到实时映射的效果。
步骤3.3建立逻辑区，用于体现机器人与环境之间运行逻辑的认知能力。包括预测在当前环境下医用护理机器人移动底盘最优规划路径与机械臂的状态检测。
步骤4预测、获取底盘的最佳运动控制在步骤3中的逻辑区中进行，具体包括：
步骤4.1当路径规划开始时，率先由用户在人机交互平面输入医用护理机器人移动的目标点，继而对指令下达区发送通过全局路径规划算法得到的运动指令，物理层的机器人移动底盘收到指令开始移动。
步骤4.2将物理底盘依照控制信号所做出实际运动状态数据按照较短的时间周期进行传输至数据反馈库中，该数据无需进行轻量化处理，主要用于检测，分析故障，可直接上传至虚拟层的机器人区中。
步骤4.3当底盘传感器检测到有动态采集数据与规划的全局路径有所冲突时，虚拟层将机器人区的底盘移动位置，姿态信息与实时数据库中的冲突信息在逻辑区进行交互，再通过动态窗口法，遗传算法，时间弹性带法的对比，可预测、获取底盘的最优局部路径规划与最佳运动控制。
对比的主要指标按重要性从高到低分别为安全性，运动控制可行性，路径长短。
最终将规划的最优局部路径规划算法反馈给物理空间中的底盘芯片完成移动底盘的最佳运动。
步骤5中预测机械臂运动状态和进行机械臂故障诊断中，具体包括：
步骤5.1对医用护理机器人机械臂的数字模型的实现，虚拟层中机械臂的关节运动与物理层中的机械臂关节运动方式相同，但是由于传统机器人使用的运动描述方法D-H法与Unity所建机器人区的坐标系的方向有所不同，前者为右手坐标系，后者为左手坐标系，因此需要通过坐标系转换的方法来实现虚拟环境下对机械臂运动状态的描述即得到对Unity3D虚拟环境下机械臂各个关节的位姿变化的描述。
设物理区机械臂关节绕Z1轴旋转θ1角后，由O1-x1-y1-z1得到坐标系 O1′-x1′-y1′-z1′，对应Unity3D中机械臂关节绕y2旋转θ2，O2-x2-y2-z2到O2′-x′2-y2′-z2′，因为D-H坐标系为右手坐标系，局部坐标系为左手坐标系，因此有θ1＝-θ2。
坐标系转换的步骤可细分为以下三个步骤：
步骤5.1.1，此步骤中，O2′-x′2-y2′-z2′是最终的位置，只需要考虑如何在世界坐标系旋转对应欧拉角来变换到O2′-x′2-y2′-z2′。
主要获得从世界坐标系到O2-x2-y2-z2的欧拉角，设欧拉角为α1、β1、
Figure BDA0003614932860000049
。O2-x2-y2-z2到O2′-x′2-y2′-z2′的转换为原坐标轴绕y2旋转θ2。由上述符号表示转换矩阵R′见等式(1)。
Figure BDA0003614932860000041
其中，R(y,β1)，R(x,α1)，
Figure BDA0003614932860000042
R(y2,θ2)分别为O1-x1-y1-z1旋转到O2-x2-y2-z2有关欧拉角β1，α1，
Figure BDA0003614932860000043
以及O2-x2-y2-z2转动θ2角度到O2′-x′2-y2′-z2′的旋转矩阵。
步骤5.1.2通过直接用三个欧拉角α、β、
Figure BDA0003614932860000044
的旋转矩阵来表示o-x-y＝z 到O′2-x′2-y2′-z2′的旋转矩阵，得到以下等式：
Figure BDA0003614932860000045
步骤5.1.3将等式(2)与等式(3)进行等式运算，可得：
Figure BDA0003614932860000046
Figure BDA0003614932860000047
Figure BDA0003614932860000048
其中，有关参数见以下等式：
Figure BDA0003614932860000051
其中c表示cos,s表示sin。
然后将α、β、
Figure BDA0003614932860000052
作为transform eulerAngles函数的参数来实现虚拟环境下机械臂关节的转动。
步骤5.2将采集物理层机械臂各关节运行的位姿数据，传入数据反馈层中。通过与动态环境区的目标医用物体位姿在逻辑区进行交互，模拟机械臂各关节最优的运动姿态并规划机械臂运动控制。
步骤5.3将规划运动通过指令下达层反馈给物理层中的机械臂。通过数据反馈层和指令下达层的历史数据实现对机械臂在故障情况下的诊断以及正常情况下对机械臂运动状态的检测。
优选地，步骤2.1所述的建筑结构信息包括：房间布局、电梯、支撑柱的位置与体积；步骤2.2所述的医用护理机器人各零件的物理参数包括：减震器弹簧系数、相机与雷达有效范围、电机系数、机械臂各关节的惯性矩阵。
优选地，步骤3.1所述的对各个房间位置加入语义信息包括：病人房间，特定医用设备房间，医护人员房间，所述的容易变动的动态信息包括：医用物品位置，病房所对应的病人姓名，过道流动人群信息；步骤3.2所述的医用护理机器人在孪生空间中进行运动控制包括：路径规划、医疗物品抓取。
优选地，步骤4.3所述的各类算法的对比同样需要设置优先级，按重要等级排名为：动态窗口法，遗传算法，时间弹性带法，再按照重要等级排名依次进行评分，评估得分分别为：α，δ，β，采用合格分数为ε，当某算法评分达到合格分数时，选取该算法，当都不达标时，选取最高得分算法，可减少运算时间，得到最终得分的等式如下：
Figure BDA0003614932860000053
本发明可在虚拟层凭借其高保真建模与优化数据进行逻辑互动来进行预测医用护理机器人的运动，因此可妥善解决医院大量且快速变动的动态环境下局部路径规划的问题，可在做到安全避障的同时，做到最大效益即最短、最适合运动控制的最优局部路径规划，也可以检测机械臂的运动状态以及做到对机械臂故障地快速诊断，从而不耽误机器人工作的进程。
本发明的优点是：本发明能在医院复杂、快速变化的动态环境下，机器人移动底盘无法做到安全、高效动态避障以及医用护理机器人机械臂出现故障时，针对医用机器人复杂的机械结构快速诊断故障。
附图说明
图1是发明方法的流程图。
图2是实施本发明方法的医用护理机器人系统的示意图。
图3是实施本发明方法的应用护理机器人移动底盘的示意图。
图4是实施本发明方法的医用护理机器人的机械臂的示意图。
图5是本发明的机械臂物理空间的关节坐标系。
图6是本发明的机械臂在虚拟空间中的局部坐标系。
图中，101-双目相机1、102-机械臂搭载平台、103-激光雷达、104-力传感器、105-编码器、106-机械臂旋转关节1、107-旋转关节2、108-旋转关节3、 109-旋转关节4、110-旋转关节5、111-旋转关节6、112-旋转关节7、113-双目相机2、114-机械爪、201-工控机、401-应用界面。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地表达，显然，所描述的实施例也仅仅是本发明中一部分的实施例，并不是全部的实施例。
参照图1，一种基于数字孪生的医用护理机器人工作流程图，如图所示，该流程为：
步骤S101：构建基础的3D模型，其中包括物理区100中医用护理机器人硬件设备与初始医院中不易变化的环境的模型，在医护机器人硬件设备的建模中需要采集医用护理机器人各零件的物理参数，如减震器弹簧系数，相机与雷达有效范围，电机系数，机械臂各关节的惯性矩阵等，从而来确保数字孪生系统建模的高保真性。由于该部分基本不会发生大规模变动，因此采用solidworks 建模。
此步骤中，建模模块过多，采用轻量化处理，主要从两方面进行轻量化处理。一方面是减少零件的个数，对于不可见的零件进行隐藏或者压缩处理，隐藏零件可以简化模型的显示部分，提高模型的显示性能。另一方面是对模型进行简化，减少零件的不可见的圆角、凹槽、切角等信息，减少对资源的消耗。
建模完成后，将初始医院环境模型经过轻量化后放入虚拟层300中的动态环境区，医用护理机器人模型经过轻量化后放入虚拟层300中的机器人区。
步骤S102：将步骤S101构建的3D模型与医用护理机器人的传感器信息在三维软件中进行逻辑交互，形成医用护理机器人数字孪生体的虚拟区300。本发明提供一个优选实施例，选用Unity3D作为三维开发软件平台，该平台具有通用性、兼容性以及丰富的物理属性。
此步骤中，物理层100中的动态物体信息主要由双目摄像头101采集RGB 信息，激光雷达103采集深度信息，力传感器104采集。采集的主要信息内容有医用物品位置，病房所对应的病人姓名，过道流动人群等，采集完的数据直接放入数据连接层200中的实时数据库；
数据连接层200中的数据反馈库主要由编码器105采集信息与机械臂旋转关节1、旋转关节2、旋转关节3、旋转关节4、旋转关节5、旋转关节6、旋转关节7采集机械臂关节的位姿信息以及双目相机113与机械爪114的力传感器信息获取目标抓取的医用物品信息组成。
数据连接层200中的信息需要进行快速更新。从而提高医用护理机器人在孪生空间中进行运动控制的安全性与精准性，其次实时数据库中的动态采集信息内容需要进行提取相关特征才可放入动态环境区中，用于加快医院中动态环境在医院数字孪生体中的映射速度，本发明提供一个优选实施例，选取ORB算法提取特征提取。
数据连接层200中的历史数据与实时数据都存储于工控机201中。
此步骤中，虚拟区300中的动态环境区由轻量化后的初始医院环境模型与特征提取后的实时数据库中的信息组成。
此步骤中，虚拟区300中的机器人区由初始医用护理机器人模型以及数据反馈库组成。
动态环境区与机器人区完成了对医用护理机器人以及医院环境物理层面的实时映射。
虚拟区300中的逻辑区由动态环境区以及机器人区交互产生，该区数据主要用于应用层，产生逻辑由应用界面401反馈给用户以及下达逻辑指令传输到数据连接层200的指令下达库，再将指令传输至物理层100中的机器人硬件设备。
逻辑指令是对机器人与环境之间运行逻辑的认知能力。
此步骤中，本发明提供一个优选实施例，所用的信息传递中间件选择为RabbitMQ，其实现了Brocker架构，又支持AMQP、XMPP、SMTP、STOMP等多种通讯机制。
步骤S103，虚拟层300中的逻辑区通过多种局部路径规划方法的对比来预测在当前环境下医用护理机器人移动底盘最优规划路径。
此步骤中，当用户在应用平面401输入医用护理机器人移动的目标点，机器人开始导航任务，通过全局路径规划算法得到的运动指令，发送到指令下达区，物理层的机器人移动底盘收到指令开始移动。
将物理底盘依照控制信号所做出实际运动状态数据按照较短的时间周期进行传输至数据反馈库中，该数据无需进行轻量化处理，主要用于检测，分析故障，可直接上传至虚拟层的机器人区中。
当底盘传感器检测到有动态采集数据与规划的全局路径有所冲突时，虚拟层将底盘移动位置，姿态信息与实时数据库在逻辑区进行交互，进行多种局部路径规划方法之间的性能对比。
此步骤中，对最优局部路径规划的性能评估指标按重要性从高到低分别为：安全性，运动控制可行性，路径长短，其中安全性占比为60％，运动控制可行性为20％，路径长短为20％。
对比的局部路径规划主要包含动态窗口法，遗传算法，时间弹性带法。
此步骤中，提供一种优选实施例，对多种局部路径规划对比的方法并非每次遍历完所有算法，而是设定主要算法，例如动态窗口法，当对其进行性能评分达到合格阈值时，直接选取该法，当未达到阈值时，再进行后续算法的性能评分，当都未达到所设阈值，则选取最高评分算法来对数据连接层200的指令下达区传输底盘运动指令，因此可减少运算时间，得到最终得分的等式如下：
Figure BDA0003614932860000091
最终将规划的最优局部路径规划算法反馈给物理空间中的底盘芯片完成移动底盘的最佳运动。
步骤S104，通过存储在数据连接层200中数据反馈库以及指令下达库里的信息以及对各个机械臂关节的位姿分析，从而做到对医用护理机器人的机械臂的状态检测和故障诊断。
本步骤中，最主要的实现内容为当机械臂物理空间中各个关节旋转时，得到Unity3D虚拟环境下机械臂各个关节的位姿变化，从而存储于数据连接库200 中。
此步骤中，由于在Unity3D虚拟环境下机械臂的数字运动描述方法与传统机器人使用的运动描述方法D-H法有所不同，因此本方法主要通过将机器人区坐标系的原点作为关节中心，即将两个坐标系原点重合，再将局部坐标系的y 轴与D-H法的z轴重合，再将局部坐标系的x轴与D-H法的x轴平行。
具体案例可见图5为机械臂物理空间的关节坐标系、图6为机械臂在 Unity3D空间中的局部坐标系。
此步骤中，虚拟区的机械臂运动通过Unity3D中的Transform组件来实现。
此步骤中，为减少不必要工作量，不采取通过局部坐标轴直接表示虚拟区机械臂关节的运动规划，而是确定一个与局部坐标系原点重合且不随关节运动而发生变化的坐标系，命名世界坐标系来描述虚拟区机械臂关节的运动规划。
世界坐标轴与局部坐标轴是一组坐标系的对应关系，在Unity3D中它们只有旋转关系，设置物理区机械臂关节绕Z1轴旋转θ1角后，由O1-x1-y1-z1得到坐标系O1′-x1′-y1′-z1′，对应Unity3D中关节绕y2旋转θ2，O2-x2-y2-z2到O2′-x′2-y2′-z2′，因为D-H坐标系为右手坐标系，局部坐标系为左手坐标系，因此有θ1＝-θ2。
此步骤中，O2′-x′2-y2′-z2′是最终的位置，只需要考虑如何在世界坐标系旋转对应欧拉角来变换到O2′-x′2-y2′-z2′。
主要获得从世界坐标系到O2-x2-y2-z2的欧拉角，设欧拉角为α1、β1、
Figure BDA0003614932860000101
O2-x2-y2-z2到O2′-x′2-y2′-z2′的转换为原坐标轴绕y2旋转θ2。由上述符号表示转换矩阵R′见等式(1)。
Figure BDA0003614932860000102
等式(1)中等式右边各个矩阵见等式(2)、等式(3)、等式(4)、等式(5)：
Figure BDA0003614932860000103
Figure BDA0003614932860000104
Figure BDA0003614932860000105
Figure BDA0003614932860000106
又将转换矩阵R′合并为一个矩阵，见等式(6)：
Figure BDA0003614932860000107
等式(6)中个参数值在等式(7)中表示：
Figure BDA0003614932860000108
其中c表示cos,s表示sin。在欧拉角设置为以x、y、z的顺序旋转,所以从世界坐标轴直接转换到O′2-x′2-y2′-z2′需要以下转换矩阵R,
Figure BDA0003614932860000111
将等式(8)等式右边三个矩阵合并，得到等式(9):
Figure BDA0003614932860000112
因为都是从o-x-y＝z到O2′-x′2-y2′-z2′的旋转矩阵,所以R＝R′因此, 换算出α、β、
Figure BDA0003614932860000113
的值：
Figure BDA0003614932860000114
Figure BDA0003614932860000115
Figure BDA0003614932860000116
至此,只需要输入θ2,输出为α、β、
Figure BDA0003614932860000117
然后将α、β、
Figure BDA0003614932860000118
作为transform eulerAngles函数的参数来实现关节的转动。
此步骤中，以上方法可实现虚拟机器人的一个关节旋转一个角度,连续运动是依靠连续旋转多个角度来实现。
将世界坐标系作为描述坐标系的方法，不仅可以得到更加清晰，快速地表达虚拟环境中的机械臂的运动轨迹，也可以在数据传输库200中具体地记录下每个节点每次运动的位姿。
获得的位姿可以实时检测机械臂的运动状态以及当机械臂出现故障时，对其进行诊断，使具有较为复杂机械结构的机械臂可以省去复杂的维修时间，从而快速地再次投入到医护工作中。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

Claims (4)

1.基于数字孪生的医用护理机器人运动预测和故障诊断的方法，具体包括以下步骤：
步骤1.构建基于数字孪生的医用护理机器人系统总体框架；将基于数字孪生的医用护理机器人系统分为以下四个区块：
区块1物理层，主要包含实物有：现实空间中的医院环境与医用护理机器人，其中医用护理机器人用于执行虚拟区下达指令；
区块2数据连接层，存放从物理层中采集的实时数据与历史数据以及虚拟层对物理层下达的指令；
区块3虚拟层，用于实现医用护理机器人与医院环境的逻辑交互；交互结果下达物理层的同时，服务于应用层；
区块4应用层，实现对医用护理机器人移动底盘的最优路径规划预测功能以及对机械臂故障的诊断与检测功能；
步骤2.创建包含医院环境与机器人硬件结构在内的基础3D模型；具体包括：
步骤2.1在数字孪生系统的虚拟层中建立动态环境区，用于存放除医用护理机器人外的医院环境数字孪生体；根据医用护理机器人在医院现场进行循环建图时所反馈的建筑结构信息，采用Solid works建模软件，建立初始的医院环境3D模型，该医院环境3D模型需要在建模过程中进行轻量化才可以加入动态环境区中，其中轻量化主要包括减少零件的个数与简化模型两方面；
步骤2.2采集医用护理机器人各零件的物理参数，与进行轻量化后的医用护理机器人模型(在Unity3D虚拟环境中共同构成医用护理机器人的数字孪生体，进而保证模型的高保真建模并将该模型放入虚拟层的机器人区中；医用护理机器人的建模步骤同初始的医院环境3D模型的建模步骤；
步骤3.将基础3D模型与传感器信息交互，形成医用护理机器人数字孪生体的虚拟区；具体包括：
步骤3.1在数据连接层中建立实时数据库用于存放医用护理机器人的传感器所采集的医院环境信息,所用的信息传递中间件选择为RabbitMQ；
实时数据库在医用护理机器人创建初始医院环境数字孪生体的同时，对各个房间位置加入语义信息，如病人房间，特定医用设备房间，医护人员房间等；并加入容易变动的动态信息，如医用物品位置，病房所对应的病人姓名，过道流动人群等信息；
步骤3.2将实时数据库中的动态信息需要根据雷达或双目相机等传感器获得的物体与其位姿信息来进行快速地更新；
从而提高医用护理机器人在孪生空间中进行运动控制的安全性与精准性，如：路径规划，医疗物品抓取；实时数据库中的动态采集信息内容需要通过ORB算法提取相关特征才可放入动态环境区中，用于加快医院中动态环境在医院数字孪生体中的映射速度，达到实时映射的效果；
步骤3.3建立逻辑区，用于体现机器人与环境之间运行逻辑的认知能力；包括预测在当前环境下医用护理机器人移动底盘最优规划路径与机械臂的状态检测；
步骤4.通过预先录入的多种局部路径规划方法之间的对比，预测、获取底盘的最佳运动控制；具体包括：
步骤4.1当路径规划开始时，率先由用户在人机交互平面输入医用护理机器人移动的目标点，继而对指令下达区发送通过全局路径规划算法得到的运动指令，物理层的机器人移动底盘收到指令开始移动；
步骤4.2将物理底盘依照控制信号所做出实际运动状态数据按照较短的时间周期进行传输至数据反馈库中，该数据无需进行轻量化处理，用于检测，分析故障，直接上传至虚拟层的机器人区中；
步骤4.3当底盘传感器检测到有动态采集数据与规划的全局路径有所冲突时，虚拟层将机器人区的底盘移动位置，姿态信息与实时数据库中的冲突信息在逻辑区进行交互，再通过各类算法，即动态窗口法，遗传算法，时间弹性带法的对比，可预测、获取底盘的最优局部路径规划与最佳运动控制；
对比的主要指标按重要性从高到低分别为安全性，运动控制可行性，路径长短；
最终将规划的最优局部路径规划算法反馈给物理空间中的底盘芯片完成移动底盘的最佳运动；
步骤5.采集物理层机械臂各关节运行的位姿数据，预测机械臂运动状态和对机械臂进行故障诊断；具体包括：
步骤5.1对医用护理机器人机械臂的数字模型的实现，虚拟层中机械臂的关节运动与物理层中的机械臂关节运动方式相同，但是由于传统机器人使用的运动描述方法D-H法与Unity所建机器人区的坐标系的方向有所不同，前者为右手坐标系，后者为左手坐标系，因此需要通过坐标系转换的方法来实现虚拟环境下对机械臂运动状态的描述即得到对Unity3D虚拟环境下机械臂各个关节的位姿变化的描述；
设物理区机械臂关节绕Z1轴旋转θ1角后，由O1-x1-y1-z1得到坐标系O′1-x′1-y′1-z′1，对应Unity3D中机械臂关节绕y2旋转θ2，O2-x2-y2-z2到O′2-x′2-y′2-z′2，因为D-H坐标系为右手坐标系，局部坐标系为左手坐标系，因此有θ1＝-θ2；
坐标系转换的步骤可细分为以下三个步骤：
步骤5.1.1，此步骤中，O′2-x′2-y′2-z′2是最终的位置，只需要考虑如何在世界坐标系旋转对应欧拉角来变换到O′2-x′2-y′2-z′2；
主要获得从世界坐标系到O2-x2-y2-z2的欧拉角，设欧拉角为α1、β1、
Figure FDA0003614932850000039
O2-x2-y2-z2到O′2-x′2-y′2-z′2的转换为原坐标轴绕y2旋转θ2；由上述符号表示转换矩阵R′见等式(1)；
Figure FDA0003614932850000031
其中，R(y，β1)，R(x，α1)，
Figure FDA0003614932850000032
R(y2，θ2)分别为O1-x1-y1-z1旋转到O2-x2-y2-z2有关欧拉角β1，α1，
Figure FDA0003614932850000033
以及O2-x2-y2-z2转动θ2角度到O′2-x′2-y′2-z′2的旋转矩阵；
步骤5.1.2通过直接用三个欧拉角α、β、
Figure FDA0003614932850000034
的旋转矩阵来表示o-x-y＝z到O′2-x′2-y′2-z′2的旋转矩阵，得到以下等式：
Figure FDA0003614932850000035
步骤5.1.3将等式(1)与等式(2)进行等式运算，可得：
Figure FDA0003614932850000036
Figure FDA0003614932850000037
Figure FDA0003614932850000038
其中，有关参数见以下等式：
Figure FDA0003614932850000041
其中c表示cos,s表示sin；
然后将α、β、
Figure FDA0003614932850000042
作为transform eulerAngles函数的参数来实现虚拟环境下机械臂关节的转动；
步骤5.2将采集物理层机械臂各关节运行的位姿数据，传入数据反馈层中；通过与动态环境区的目标医用物体位姿在逻辑区进行交互，模拟机械臂各关节最优的运动姿态并规划机械臂运动控制；
步骤5.3将规划运动通过指令下达层反馈给物理层中的机械臂；通过数据反馈层和指令下达层的历史数据实现对机械臂在故障情况下的诊断以及正常情况下对机械臂运动状态的检测。
2.如权利要求1所述的基于数字孪生的医用护理机器人运动预测和故障诊断的方法，其特征在于：步骤2.1所述的建筑结构信息包括：房间布局、电梯、支撑柱的位置与体积；步骤2.2所述的医用护理机器人各零件的物理参数包括：减震器弹簧系数、相机与雷达有效范围、电机系数、机械臂各关节的惯性矩阵。
3.如权利要求1所述的基于数字孪生的医用护理机器人运动预测和故障诊断的方法，其特征在于：步骤3.1所述的对各个房间位置加入语义信息包括：病人房间，特定医用设备房间，医护人员房间，所述的容易变动的动态信息包括：医用物品位置，病房所对应的病人姓名，过道流动人群信息；步骤3.2所述的医用护理机器人在孪生空间中进行运动控制包括：路径规划、医疗物品抓取。
4.如权利要求1所述的基于数字孪生的医用护理机器人运动预测和故障诊断的方法，其特征在于：步骤4.3所述的各类算法的对比同样需要设置优先级，按重要等级排名为：动态窗口法，遗传算法，时间弹性带法，再按照重要等级排名依次进行评分，评估得分分别为：α，δ，β，采用合格分数为ε，当某算法评分达到合格分数时，选取该算法，当都不达标时，选取最高得分算法，可减少运算时间，得到最终得分的等式如下：
Figure FDA0003614932850000051
。
CN202210443322.8A 2022-04-25 2022-04-25 基于数字孪生的医用护理机器人运动预测和故障诊断的方法 Withdrawn CN114700950A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210443322.8A CN114700950A (zh) 2022-04-25 2022-04-25 基于数字孪生的医用护理机器人运动预测和故障诊断的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210443322.8A CN114700950A (zh) 2022-04-25 2022-04-25 基于数字孪生的医用护理机器人运动预测和故障诊断的方法

Publications (1)

Publication Number Publication Date
CN114700950A true CN114700950A (zh) 2022-07-05

Family

ID=82173691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210443322.8A Withdrawn CN114700950A (zh) 2022-04-25 2022-04-25 基于数字孪生的医用护理机器人运动预测和故障诊断的方法

Country Status (1)

Country Link
CN (1) CN114700950A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115752321A (zh) * 2022-11-09 2023-03-07 中山大学 医疗机器人运动轨迹测量比对方法及计算机可读存储介质
CN118181306A (zh) * 2024-05-17 2024-06-14 上海术之道医疗器械有限公司 机器人控制方法、装置、控制设备及可读取存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115752321A (zh) * 2022-11-09 2023-03-07 中山大学 医疗机器人运动轨迹测量比对方法及计算机可读存储介质
CN118181306A (zh) * 2024-05-17 2024-06-14 上海术之道医疗器械有限公司 机器人控制方法、装置、控制设备及可读取存储介质

Similar Documents

Publication Publication Date Title
CN114700950A (zh) 基于数字孪生的医用护理机器人运动预测和故障诊断的方法
Fallon et al. An architecture for online affordance‐based perception and whole‐body planning
CN111633644A (zh) 一种结合智能视觉的工业机器人数字孪生系统及其运行方法
US20160008988A1 (en) Robotics Platforms Incorporating Manipulators Having Common Joint Designs
CN107291811B (zh) 一种基于云端知识融合的感认知增强机器人系统
CN107544482B (zh) 面向医疗环境的自动配送机器人系统
Crowley et al. Integration and control of reactive visual processes
CN1947960A (zh) 用于识别环境和进行作业的仿人机器人
CN109116992B (zh) 一种用于虚拟手力反馈交互的碰撞响应系统
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及系统
CN106002910A (zh) 一种手术机器人的主从控制系统及方法
CN112959330A (zh) 基于主从动态运动基元的机器人双臂运动人机对应装置及方法
CN1710566A (zh) 虚拟环境中装配工具库建立的方法
Xue et al. Gesture-and vision-based automatic grasping and flexible placement in teleoperation
CN112650079B (zh) 一种七自由度机器人的运动学反解方法
CN111134974B (zh) 一种基于增强现实和多模态生物信号的轮椅机器人系统
Karlekar et al. Innovations in urban automation: Robotic arm integration in smart city environments
Shang-Liang et al. Using deep learning technology to realize the automatic control program of robot arm based on hand gesture recognition
Zeng et al. Construction of multi-modal perception model of communicative robot in non-structural cyber physical system environment based on optimized BT-SVM model
Yamane Kinematic redundancy resolution for humanoid robots by human motion database
JP4669941B2 (ja) ３次元デザイン支援装置及びプログラム
CN114536351A (zh) 冗余双臂机器人示教方法、装置、电子设备及系统
CN116160441A (zh) 一种基于人臂运动预测的机器人遥操作避碰方法
CN115268646A (zh) 一种人机协同建造过程感知系统、装置、分析方法和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220705