CN111571582B - 一种艾灸机器人人机安全监控系统及监控方法 - Google Patents

一种艾灸机器人人机安全监控系统及监控方法 Download PDF

Info

Publication number
CN111571582B
CN111571582B CN202010254408.7A CN202010254408A CN111571582B CN 111571582 B CN111571582 B CN 111571582B CN 202010254408 A CN202010254408 A CN 202010254408A CN 111571582 B CN111571582 B CN 111571582B
Authority
CN
China
Prior art keywords
human body
moxibustion
mechanical arm
safety monitoring
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010254408.7A
Other languages
English (en)
Other versions
CN111571582A (zh
Inventor
夏晶
朱蓉军
禹超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Juncon Robot Co ltd
Original Assignee
Shanghai Juncon Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Juncon Robot Co ltd filed Critical Shanghai Juncon Robot Co ltd
Priority to CN202010254408.7A priority Critical patent/CN111571582B/zh
Publication of CN111571582A publication Critical patent/CN111571582A/zh
Application granted granted Critical
Publication of CN111571582B publication Critical patent/CN111571582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Automation & Control Theory (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dentistry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种艾灸机器人人机安全监控系统及监控方法，包括以下步骤：搭建艾灸机器人人机安全监控系统，使用Kinect相机建立人体关键点模型，融合艾灸头获取人体关键部位的厚度信息，建立人体和机械臂的安全监测模型，构建人体与机械臂的碰撞检测对，使用求解凸体间最短距离的算法求解碰撞检测对之间的最短距离，构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与机械臂之间的安全距离。本方法的优势在于：一、建立了精确的人体安全监测模型，实时监测人体的运动；二、实时监测人体与机械臂之间的距离，采用虚拟排斥力确保人机之间始终保持安全距离，保证人体在艾灸过程中与机械臂安全舒适的交互。

Description

一种艾灸机器人人机安全监控系统及监控方法
技术领域
本发明涉及医疗保健设备领域，特别涉及一种艾灸机器人的人机安全控制技术。
背景技术
艾灸是中医针灸学中的灸法，使用艾叶的艾热刺激人体表穴位或者特定部位，通过激发经气的活动调整人体的生理生化功能，从能达到防病治病的目的。传统的艾灸机器人仅仅使用机械臂代替人臂手持艾条，使用拖动示教的方式控制机械臂进行艾灸，并没有建立人体与机械臂的安全监测模型，无法实时监测人体的运动，同时也无法保证人机交互时的安全距离。因此，无法在保证人机安全交互的前提下实现自动艾灸。
发明内容
本发明的目的是提供一种艾灸机器人人机安全监控系统及监控方法，建立了人体与机械臂的安全监测模型，实时监测人体的运动和人体与机械臂之间的距离，采用虚拟排斥力确保人机之间始终保持安全距离，可以在保证人机安全交互的前提下实现自动艾灸。
本发明的技术方案是，一种艾灸机器人人机安全监控系统，其特征是包括艾灸床、Kinect相机、艾灸机械臂、艾灸头、艾棒、艾灸机器人控制器；将艾棒与艾灸头安装到艾灸机械臂末端，将Kinect相机固定在艾灸床上方并保持Kinect相机摄像头焦距与视场适中的位置，使摄像头视场正对艾灸床床面，将艾灸机械臂固定到地面；使用串口通讯将Kinect相机与艾灸机器人控制器连接并进行实时通信，使用总线将艾灸头与艾灸机器人控制器连接并实时通信。
一种艾灸机器人人机安全监控方法，其特征是，所述方法包括以下步骤：
步骤一：搭建艾灸机器人人机安全监控系统；
步骤二：获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据；
步骤三：监测人体运动状态，包括：
(1)建立人体关键点模型，使用Kinect相机对人体关键点运动状态进行监测；
(2)融合Kinect相机和艾灸头获取人体厚度信息；
步骤四：建立人体运动安全监测模型和机械臂安全监测模型，包括：
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型；
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型；
步骤五：实时计算人机交互安全距离，包括：
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统，对艾灸机械臂进行自碰撞检测；
(2)基于人体安全监测模型和艾灸机械臂安全监测模型，构建人体与艾灸机械臂之间的碰撞检测对；
(3)实时计算碰撞检测对之间的最短距离；
步骤六：构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
一种艾灸机器人人机安全监控方法，其特征是，步骤二获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据的具体方法是：使用棋牌法标定Kinect相机，采集当前人体的图像信息、深度信息及艾棒的位置信息；通过艾灸机械臂关节位置传感器采集艾灸机械臂当前的位姿信息；使用艾灸头采集当前艾灸头到人体的距离，将采集到的数据发送到艾灸机器人控制器中，以一定的控制周期进行实时处理。
一种艾灸机器人人机安全监控方法，其特征是，步骤三(1)建立人体关键点模型，使用Kinect相机对人体关键点运动状态进行监测的具体方法是：当人体处于Kinect相机的视场范围内时，使用Kinect摄像头建立人体14个关键点模型；其中14个关键点是：头部，脊椎上部，左臂肩关节，右臂肩关节，左臀，右臀，左臂肘关节，左臂腕关节，右臂肘关节，右臂腕关节，左腿膝盖，右腿膝盖，左踝关节，右踝关节；使用机器学习的方法来识别Kinect相机获取的图像中人体的关键部位并获取14个关键点的位置和深度数据Pi(xc,yc,zc)，其中i＝6,7…19表示人体关键点。
一种艾灸机器人人机安全监控方法，其特征是：步骤三(2)融合Kinect相机和艾灸头获取人体厚度信息以解决Kinect相机获取深度信息不准确的问题，具体方法是：
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换，将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb)，其中其中i＝6,7…19表示人体关键点；
2)为保证机械臂不会与人体发生碰撞，以Pi(xb,yb,zb+a)为轨迹点，设置艾灸机械臂测试轨迹，其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离；
3)控制艾灸机械臂以一定的速度按测试轨迹运动，运行经过各个关键点，采集艾灸头到相应相应人体关键点的深度数据，以修正Kinect相机采集到的人体关键点深度数据，结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di，以用于人体安全监测模型的构建。
一种艾灸机器人人机安全监控方法，其特征是：步骤四(1)中根据人体关键点和相应厚度信息使用球扫掠凸体建立的人体安全监测模型的具体方法是：
以人体头部、四肢上两个关键点Pv(xb,yb,zb)、Pj(xb,yb,zb)为圆心，这两个关键点厚度Dv、Dj为直径建立圆Ov、Oj，以圆Ov、Oj的内切正多边形的顶点为顶点建立凸体convP，使用convP和半径r构建球扫掠凸体V(r,P)，其中r为人体头部、四肢球扫掠凸体的允许误差项；
以躯干上五个关键点Pk(xb,yb,zb)和相应关键点厚度Dk，构建以
Figure BDA0002436721670000051
为顶点的凸体convP'，使用convP'和半径r'构建球扫掠凸体V'(r',P')，其中r'为人体躯干球扫掠凸体的允许误差项；
将一个球扫掠凸体V(r,P)或V'(r',P')称为一个人体碰撞监测模块，所有的人体碰撞监测模块构成人体安全监测模型；其中v,j,k表示人体关键点，v＝6,8,9,12,13,14,15,16,17,18,19，j＝6,8,9,12,13,14,15,16,17,18,19，k＝7,8,9,10,11。
一种艾灸机器人人机安全监控方法，其特征是：步骤四(2)中使用球扫掠凸体建立基于包围盒的艾灸机械臂安全监测模型的具体方法是：
根据机械臂一个连杆的三维模型，以关节前端面内切多边形顶点、关节后端面内切多边形顶点为顶点建立凸体convP”，使用convP”和半径r”，构建球扫掠凸体V”(r”,P”)；将一个球扫掠凸体V”(r”,P”)称为一个机械臂碰撞监测模块，所有的机械臂碰撞监测模块构成机械臂安全监测模型，其中r”为机械臂球扫掠凸体的允许误差项。
一种艾灸机器人人机安全监控方法，其特征是：所述包围盒包括轴向包围盒、球包围盒、方向包围盒、离散方向多面体包围盒、扫掠体包围盒。
一种艾灸机器人人机安全监控方法，其特征是：步骤五(3)使用求解凸体间最短距离的算法实时计算每个碰撞检测对之间的最短距离Lmn和最近点的坐标
Figure BDA0002436721670000061
其中m表示第m个人体碰撞监测模块；n表示第n个机械臂碰撞监测模块；
Figure BDA0002436721670000062
表示碰撞检测对mn发生碰撞时在第m个人体碰撞监测模块上的碰撞点；
Figure BDA0002436721670000063
表示碰撞检测对mn发生碰撞时在第n个机械臂碰撞监测模块上的碰撞点。
一种艾灸机器人人机安全监控方法，其特征是：步骤六中构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间安全距离的具体方法是：
当计算出人体与机械臂碰撞检测对的最短距离Lmn时，为了防止机械臂与人体发生碰撞，构建一个虚拟排斥力F，虚拟排斥力F方向与艾灸机械臂的运行方向相反，大小为：
Figure BDA0002436721670000064
式中h(x)是一个非线性函数，Lmn表示人体与机械臂碰撞检测对之间的最短距离，L表示开始产生排斥力的距离，L0表示发生碰撞的极限距离；
当0＜Lmn＜L'时，h(x)与Lmn之间为指数关系；当L'＜Lmn＜L时，h(x)与Lmn之间为线性关系；当L＜Lmn时，h(x)为零，即随着Lmn减小h(x)越大、F增长的越快，对艾灸机械臂的阻碍作用越明显，其中L'表示安全阈值；使用τ＝JT(q)F将排斥力F转化为机械臂关节力矩τ，将关节力矩发送给各个关节控制机械臂实现避障运动，其中τ为关节力矩，JT(q)为雅克比转置矩阵。
本方法的优势在于：一、建立了精确的人体安全监测模型，实时监测人体的运动；二、实时监测人体与机械臂之间的距离，采用虚拟排斥力确保人机之间始终保持安全距离，保证人在艾灸过程中与机械臂安全舒适的交互。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，下面将实施例或现有技术描述中所需要使用的附图做简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的前提下，还可以根据这些附图获得其他的附图。
图1是艾灸机器人人机安全监控系统硬件示意图。
图2是人体关键点模型。
图3是人体上臂球扫掠凸体安全控制模型。
图4是机械臂关节球扫掠凸体安全控制模型。
图5是h(x)与Lmn的函数关系。
图6是本发明流程图。
附图标号说明：1-Kinect相机，2-艾灸机械臂，3-艾灸头，4-艾棒，5-艾灸机器人控制器，6-头部，7-脊椎上部，8-左臂肩关节，9-右臂肩关节，10-左臀，11-右臀，12-左臂肘关节，13-左臂腕关节，14-右臂肘关节，15-右臂腕关节，16-左腿膝盖，17-右腿膝盖，18-左踝关节，19-右踝关节。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式，都属于本发明所保护的范围。
一、搭建艾灸机器人人机安全监控系统
如图1所示，艾灸机器人人机安全控制系统包括Kinect相机1、艾灸机械臂2、艾灸头3、艾棒4和艾灸机器人控制器5。将艾棒4与艾灸头3安装到艾灸机械臂2末端，将Kinect相机1固定在艾灸床上方保持Kinect相机1摄像头焦距与视场适中的位置，使Kinect相机1摄像头视场正对艾灸床面，将艾灸机械臂2固定到地面。
二、艾灸机器人人机交互安全监控方法
如图6所示，一种艾灸机器人人机安全监控方法，其特征是，所述方法包括以下步骤：
步骤一：搭建艾灸机器人人机安全监控系统；
步骤二：获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据；
步骤三：监测人体运动状态，包括：
(1)建立人体关键点模型，使用Kinect相机对人体关键点运动状态进行监测；
(2)融合Kinect相机和艾灸头获取人体厚度信息；
步骤四：建立人体运动安全监测模型和机械臂安全监测模型，包括：
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型；
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型；
步骤五：实时计算人机交互安全距离，包括：
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统，对艾灸机械臂进行自碰撞检测；
(2)基于人体安全监测模型和艾灸机械臂安全监测模型，构建人体与艾灸机械臂之间的碰撞检测对；
(3)实时计算碰撞检测对之间的最短距离；
步骤六：构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
以下结合附图进行详细说明
1、传感器数据的获取
(1)通信方式
使用串口通讯、总线通讯的方式将所有硬件连接起来，组成控制系统，如图1所示，使用串口通讯(如USB3.0)将Kinect相机1与艾灸机器人控制器5连接并进行实时通信、使用总线将艾灸头3与艾灸机器人控制器5连接并实时通信。
(2)采集数据
使用棋牌法标定Kinect相机1，采集当前人体的图像信息、深度信息及艾棒的位置信息；通过艾灸机械臂关节位置传感器采集艾灸机械臂2当前的位姿信息；使用艾灸头3采集当前艾灸头到人体的距离，将采集到的数据发送到艾灸机器人控制器5中，以一定的控制周期进行实时处理。
2、人体运动状态监测
(1)建立人体关键点模型
当人体处于Kinect相机1的视场范围内时，使用Kinect摄像头建立人体14个关键点模型，6表示头部，7表示脊椎上部，8表示左臂肩关节，9表示右臂肩关节，10表示左臀，11表示右臀，12表示左臂肘关节，13表示左臂腕关节，14表示右臂肘关节，15表示右臂腕关节，16表示左腿膝盖，17表示右腿膝盖，18表示左踝关节，19表示右踝关节。如图2所示。
(2)基于机器学习的人体关键点运动状态监测
使用机器学习的方法来识别Kinect摄像头获取的图像中人体的关键部位。使用Kinect相机测量图2中14个骨骼关键点的位置和深度数据Pi(xc,yc,zc)(其中i＝6,7…19表示人体关键点)。
(3)融合艾灸头人体三维厚度信息获取
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换，将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb)，其中其中i＝6,7…19表示人体关键点；
2)为保证机械臂不会与人体发生碰撞，以Pi(xb,yb,zb+a)为轨迹点，设置艾灸机械臂测试轨迹，其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离；
3)控制艾灸机械臂以一定的速度按测试轨迹运动，运行经过各个关键点，采集艾灸头到相应相应人体关键点的深度数据，以修正Kinect相机采集到的人体关键点深度数据，结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di，以用于人体安全监测模型的构建。
3、人体与艾灸机械臂安全监测模型的构建
(1)构建三维人体运动安全监测模型
建立基于包围盒的人体14个关键点的三维人体运动安全监测模型。
本文以使用球扫掠凸体包围盒建立上臂运动安全监测模块为例进行说明，其他如基于轴向包围盒(AABB)、球包围盒(Sphere)、方向包围盒(OBB)、离散方向多面体包围盒(K-DOP)、扫掠体包围盒(SSV)等包围盒技术建立的三维人体运动安全监测模型都属于本专利保护范围。
现以图3所示的人体关键点模型及艾灸头采集的人体深度信息，建立人体上臂球扫掠凸体安全监测模块为例，说明人体运动安全监测模型的建立。
以左臂肩关节坐标P8(xc,yc)为圆心，该点厚度D8为直径建立圆O8，建立圆O8的内切六边形，顶点依次为a、b、c、d、e、f。同理，以左臂肘关坐标P12(xc,yc)为圆心，该点厚度D12为直径建立圆O12，建该圆的内切六边形，顶点依次为a'、b'、c'、d'、e'、f'。使用a,b,c,d,e,f,a',b',c'd12个点构成凸体convP1，即
Figure BDA0002436721670000111
使用convP1和半径r1(r1为人体上臂球扫掠凸体的允许误差项)构建球扫掠凸体V(r1,P1)即
V(r1,P1)＝convP1+r1 (公式3)
(2)建立基于包围盒的艾灸机械臂运动安全监测模型
现以机械臂一个关节为例，使用球扫掠凸体建立艾灸机械臂一个关节的安全监测模块，说明本文提出的基于包围盒的艾灸机械臂运动安全监测模型的建立过程。
如图4所示，根据机械臂连杆三维模型计算点20,21…35的点坐标，根据这16个点构建凸体convP2，即
Figure BDA0002436721670000121
使用convP2和半径r2(r2为机械臂连杆球扫掠凸体的允许误差项)构建球扫掠凸体V(r2,P2)即
V(r2,P2)＝convP2+r2 (公式4)
4、实时计算人机交互安全距离
(1)机械臂自碰撞检测
使用基于机械臂安全控制模型构建的机械臂自碰撞检测系统，在每个控制周期内实时进行艾灸机械臂的自碰撞检测。一旦监测到机械臂在某个位置可能发生自碰撞，就修改控制指令，使机械臂避免自碰撞。
(2)人体与机械臂碰撞检测对构建
基于人体运动安全监测模型和机械臂安全监测模型，构建二者之间的碰撞检测对。
(3)实时计算碰撞检测对的最短距离
本专利以GJK算法为例计算碰撞检测对之间的最短距离，其他计算碰撞检测对最短距离的方法也属于本专利的保护范围。使用GJK算法依次计算每个碰撞检测对之间的最短距离Lmn(m表示第m个人体碰撞监测模块，n表示第n个机械臂碰撞监测模块)和最近点的坐标
Figure BDA0002436721670000131
(
Figure BDA0002436721670000132
表示碰撞检测对mn发生碰撞时在第m个人体碰撞监测模块上的碰撞点，
Figure BDA0002436721670000134
表示碰撞检测对mn发生碰撞时在第n个机械臂碰撞监测模块上的碰撞点)。
5、保持安全距离的机器人控制策略
(1)构建最短碰撞检测对的虚拟排斥力
当计算出人体与机械臂碰撞检测对的最短距离Lmn时，为了防止艾灸机械臂与人体发生碰撞，构建一个虚拟排斥力F，虚拟排斥力F方向与艾灸机械臂的运行方向相反，大小由以下公式给出：
Figure BDA0002436721670000133
式中h(x)是一个非线性函数，Lmn表示人体与艾灸机械臂碰撞检测对之间的最短距离，L表示开始产生排斥力的距离，L0表示发生碰撞的极限距离。
从图5中可以看出，当Lmn小于L'(安全阈值)时，h(x)与Lmn之间为指数关系，当Lmn大于L'时，h(x)与Lmn之间为线性关系，即随着Lmn减小h(x)越大、F增长的越快，对艾灸机械臂的阻碍作用越明显。
(2)基于虚拟排斥力的机械臂避障运动控制
τ＝JT(q)F (公式6)
使用如下公式6将虚拟排斥力F转化为机械臂关节力矩τ，将关节力矩发送给各个关节控制艾灸机械臂实现避障运动。
以上所述，仅仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (9)

1.一种艾灸机器人人机安全监控方法，其特征是，所述方法包括以下步骤：
步骤一：搭建艾灸机器人人机安全监控系统；
步骤二：获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据；
步骤三：监测人体运动状态，包括：
(1)建立人体关键点模型，使用Kinect相机对人体关键点运动状态进行监测；
(2)融合Kinect相机和艾灸头获取人体厚度信息；
步骤四：建立人体运动安全监测模型和机械臂安全监测模型，包括：
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型；
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型；
步骤五：实时计算人机交互安全距离，包括：
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统，对艾灸机械臂进行自碰撞检测；
(2)基于人体安全监测模型和艾灸机械臂安全监测模型，构建人体与艾灸机械臂之间的碰撞检测对；
(3)实时计算碰撞检测对之间的最短距离；
步骤六：构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
2.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是，步骤二获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据的具体方法是：使用棋盘法标定Kinect相机(1)，采集当前人体的图像信息、深度信息及艾棒的位置信息；通过艾灸机械臂关节位置传感器采集艾灸机械臂(2)当前的位姿信息；使用艾灸头(3)采集当前艾灸头到人体的距离，将采集到的数据发送到艾灸机器人控制器(5)中，以一定的控制周期进行实时处理。
3.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是，步骤三(1)建立人体关键点模型，使用Kinect相机对人体关键点运动状态进行监测的具体方法是：当人体处于Kinect相机的视场范围内时，使用Kinect摄像头建立人体14个关键点模型；其中14个关键点是：头部，脊椎上部，左臂肩关节，右臂肩关节，左臀，右臀，左臂肘关节，左臂腕关节，右臂肘关节，右臂腕关节，左腿膝盖，右腿膝盖，左踝关节，右踝关节；使用机器学习的方法来识别Kinect相机获取的图像中人体的关键部位并获取14个关键点的位置和深度数据Pi(xc,yc,zc)，其中i＝6,7…19表示人体关键点。
4.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是：步骤三(2)融合Kinect相机和艾灸头获取人体厚度信息以解决Kinect相机获取深度信息不准确的问题，具体方法是：
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换，将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb)，其中i＝6,7…19表示人体关键点；
2)为保证机械臂不会与人体发生碰撞，以Pi(xb,yb,zb+a)为轨迹点，设置艾灸机械臂测试轨迹，其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离；
3)控制艾灸机械臂以一定的速度按测试轨迹运动，运行经过各个关键点，采集艾灸头到相应人体关键点的深度数据，以修正Kinect相机采集到的人体关键点深度数据，结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di，以用于人体安全监测模型的构建。
5.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是：步骤四(1)中根据人体关键点和相应厚度信息使用球扫掠凸体建立的人体安全监测模型的具体方法是：
以人体头部、四肢上两个关键点Pv(xb,yb,zb)、Pj(xb,yb,zb)为圆心，这两个关键点厚度Dv、Dj为直径建立圆Ov、Oj，以圆Ov、Oj的内切正多边形的顶点为顶点建立凸体convP，使用convP和半径r构建球扫掠凸体V(r,P)，其中r为人体头部、四肢球扫掠凸体的允许误差项；
以躯干上五个关键点Pk(xb,yb,zb)和相应关键点厚度Dk，构建以
Figure FDA0003954584790000041
为顶点的凸体convP'，使用convP'和半径r'构建球扫掠凸体V'(r',P')，其中r'为人体躯干球扫掠凸体的允许误差项；
将一个球扫掠凸体V(r,P)或V'(r',P')称为一个人体碰撞监测模块，所有的人体碰撞监测模块构成人体安全监测模型；其中v,j,k表示人体关键点，v＝6,8,9,12,13,14,15,16,17,18,19，j＝6,8,9,12,13,14,15,16,17,18,19，k＝7,8,9,10,11。
6.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是：步骤四(2)中使用球扫掠凸体建立基于包围盒的艾灸机械臂安全监测模型的具体方法是：
根据机械臂一个连杆的三维模型，以关节前端面内切多边形顶点、关节后端面内切多边形顶点为顶点建立凸体convP”，使用convP”和半径r”，构建球扫掠凸体V”(r”,P”)；将一个球扫掠凸体V”(r”,P”)称为一个机械臂碰撞监测模块，所有的机械臂碰撞监测模块构成机械臂安全监测模型，其中r”为机械臂球扫掠凸体的允许误差项。
7.如权利要求5或6所述的艾灸机器人人机安全监控方法，其特征是：所述包围盒包括轴向包围盒、球包围盒、方向包围盒、离散方向多面体包围盒、扫掠体包围盒。
8.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是：步骤五(3)使用求解凸体间最短距离的算法实时计算每个碰撞检测对之间的最短距离Lmn和最近点的坐标
Figure FDA0003954584790000051
其中m表示第m个人体碰撞监测模块；n表示第n个机械臂碰撞监测模块；
Figure FDA0003954584790000052
表示碰撞检测对mn发生碰撞时在第m个人体碰撞监测模块上的碰撞点；
Figure FDA0003954584790000053
表示碰撞检测对mn发生碰撞时在第n个机械臂碰撞监测模块上的碰撞点。
9.如权利要求1所述的艾灸机器人人机安全监控方法，其特征是：步骤六中构建最短碰撞检测对之间的虚拟排斥力，使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间安全距离的具体方法是：
当计算出人体与机械臂碰撞检测对的最短距离Lmn时，为了防止机械臂与人体发生碰撞，构建一个虚拟排斥力F，虚拟排斥力F方向与艾灸机械臂的运行方向相反，大小为：
Figure FDA0003954584790000054
式中h(x)是一个非线性函数，Lmn表示人体与机械臂碰撞检测对之间的最短距离，L表示开始产生排斥力的距离，L0表示发生碰撞的极限距离；
当0＜Lmn＜L'时，h(x)与Lmn之间为指数关系；当L'＜Lmn＜L时，h(x)与Lmn之间为线性关系；当L＜Lmn时，h(x)为零，即随着Lmn减小h(x)越大、F增长的越快，对艾灸机械臂的阻碍作用越明显，其中L'表示安全阈值，使用τ＝JT(q)F将排斥力F转化为机械臂关节力矩τ，将关节力矩发送给各个关节控制机械臂实现避障运动，其中τ为关节力矩，JT(q)为雅克比转置矩阵。
CN202010254408.7A 2020-04-02 2020-04-02 一种艾灸机器人人机安全监控系统及监控方法 Active CN111571582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010254408.7A CN111571582B (zh) 2020-04-02 2020-04-02 一种艾灸机器人人机安全监控系统及监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010254408.7A CN111571582B (zh) 2020-04-02 2020-04-02 一种艾灸机器人人机安全监控系统及监控方法

Publications (2)

Publication Number Publication Date
CN111571582A CN111571582A (zh) 2020-08-25
CN111571582B true CN111571582B (zh) 2023-02-28

Family

ID=72089626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254408.7A Active CN111571582B (zh) 2020-04-02 2020-04-02 一种艾灸机器人人机安全监控系统及监控方法

Country Status (1)

Country Link
CN (1) CN111571582B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112025705B (zh) * 2020-08-26 2021-10-29 哈尔滨理工大学 一种基于协作机器人的中医针灸系统及方法
CN112757274B (zh) * 2020-12-30 2022-02-18 华中科技大学 一种面向人机协同操作的动力学融合行为安全算法及系统
CN113238561B (zh) * 2021-05-31 2022-10-14 河北工业大学 一种人体洗浴避障方法及系统
CN113808163A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 机械臂位置的动图动态展示方法和控制终端
CN114434444B (zh) * 2022-01-27 2023-08-08 南京航空航天大学 一种重载工业机器人辅助装配安全空间的规划方法
CN114952854A (zh) * 2022-06-16 2022-08-30 山东大学 基于人机协作的人体碰撞物对接方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293154A (ja) * 2004-03-31 2005-10-20 Hiroshima Univ 障害物回避装置および移動体
CN103105851A (zh) * 2012-11-07 2013-05-15 吉林大学 一种遥操纵机器人基于视觉的动觉示教控制方法
CN103722565A (zh) * 2014-01-23 2014-04-16 哈尔滨工业大学 仿人机器人自碰撞监控系统及监控方法
CN107688342A (zh) * 2017-03-27 2018-02-13 平安科技（深圳）有限公司 机器人的避障控制系统及方法
CN108785064A (zh) * 2018-06-11 2018-11-13 珠海市万瑙特健康科技有限公司 机械手的控制方法、装置、计算机设备和存储介质
CN109718092A (zh) * 2018-12-28 2019-05-07 华中科技大学 基于关节机器人的热敏灸系统及方法
CN110037918A (zh) * 2019-05-24 2019-07-23 熊江华 一种全自动艾灸机械臂的艾灸系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293154A (ja) * 2004-03-31 2005-10-20 Hiroshima Univ 障害物回避装置および移動体
CN103105851A (zh) * 2012-11-07 2013-05-15 吉林大学 一种遥操纵机器人基于视觉的动觉示教控制方法
CN103722565A (zh) * 2014-01-23 2014-04-16 哈尔滨工业大学 仿人机器人自碰撞监控系统及监控方法
CN107688342A (zh) * 2017-03-27 2018-02-13 平安科技（深圳）有限公司 机器人的避障控制系统及方法
CN108785064A (zh) * 2018-06-11 2018-11-13 珠海市万瑙特健康科技有限公司 机械手的控制方法、装置、计算机设备和存储介质
CN109718092A (zh) * 2018-12-28 2019-05-07 华中科技大学 基于关节机器人的热敏灸系统及方法
CN110037918A (zh) * 2019-05-24 2019-07-23 熊江华 一种全自动艾灸机械臂的艾灸系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟膝关节镜手术中手术器械的运动控制与碰撞检测;魏杰;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20090715;I138-1185 *

Also Published As

Publication number Publication date
CN111571582A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111571582B (zh) 一种艾灸机器人人机安全监控系统及监控方法
CN108762495B (zh) 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
CN105137973B (zh) 一种人机协作场景下的机器人智能躲避人类方法
CN103112007B (zh) 基于混合传感器的人机交互方法
CN103170973B (zh) 人机协作装置及实现人机协作的方法
Tachi et al. Tele-existence master-slave system for remote manipulation. II
Almetwally et al. Real-time tele-operation and tele-walking of humanoid Robot Nao using Kinect Depth Camera
CN109983510A (zh) 机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质
Zhou et al. Applications of wearable inertial sensors in estimation of upper limb movements
KR101929451B1 (ko) 로봇의 제어 장치 및 방법
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
Wang et al. A real-time human imitation system
CN109529274B (zh) 基于冗余机械臂上肢关节主动康复系统及其训练方法
Kim et al. Resolving the redundancy of a seven dof wearable robotic system based on kinematic and dynamic constraint
CN115469576A (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN105676869B (zh) 一种六自由度眼球型水下机器人实时并发控制系统
Tao et al. Hierarchical shared control of cane-type walking-aid robot
CN108621164A (zh) 基于深度相机的太极推手机器人
CN116690564A (zh) 一种按摩机器人的控制方法及系统
CN111604897B (zh) 一种艾灸机械臂避碰撞安全防护方法
CN115781666A (zh) 一种用于机器人全身模仿系统的控制方法
CN115252369A (zh) 一种基于下肢外骨骼机器人的按需辅助控制方法
Nergui et al. Human gait behavior interpretation by a mobile home healthcare robot
Qian et al. DH Parameter Method-based Wearable Motion Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211208

Address after: 1 / F, building 28, 6055 Jinhai highway, Fengxian District, Shanghai, 201403

Applicant after: Shanghai juncon robot Co.,Ltd.

Address before: 710054 No. 58, middle section, Yanta Road, Shaanxi, Xi'an

Applicant before: Xia Jing

GR01 Patent grant
GR01 Patent grant