CN111571582A - 一种艾灸机器人人机安全监控系统及监控方法 - Google Patents
一种艾灸机器人人机安全监控系统及监控方法 Download PDFInfo
- Publication number
- CN111571582A CN111571582A CN202010254408.7A CN202010254408A CN111571582A CN 111571582 A CN111571582 A CN 111571582A CN 202010254408 A CN202010254408 A CN 202010254408A CN 111571582 A CN111571582 A CN 111571582A
- Authority
- CN
- China
- Prior art keywords
- moxibustion
- human body
- mechanical arm
- safety monitoring
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Automation & Control Theory (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Dentistry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种艾灸机器人人机安全监控系统及监控方法,包括以下步骤:搭建艾灸机器人人机安全监控系统,使用Kinect相机建立人体关键点模型,融合艾灸头获取人体关键部位的厚度信息,建立人体和机械臂的安全监测模型,构建人体与机械臂的碰撞检测对,使用求解凸体间最短距离的算法求解碰撞检测对之间的最短距离,构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与机械臂之间的安全距离。本方法的优势在于:一、建立了精确的人体安全监测模型,实时监测人体的运动;二、实时监测人体与机械臂之间的距离,采用虚拟排斥力确保人机之间始终保持安全距离,保证人体在艾灸过程中与机械臂安全舒适的交互。
Description
技术领域
本发明涉及医疗保健设备领域,特别涉及一种艾灸机器人的人机安全控制技术。
背景技术
艾灸是中医针灸学中的灸法,使用艾叶的艾热刺激人体表穴位或者特定部位,通过激发经气的活动调整人体的生理生化功能,从能达到防病治病的目的。传统的艾灸机器人仅仅使用机械臂代替人臂手持艾条,使用拖动示教的方式控制机械臂进行艾灸,并没有建立人体与机械臂的安全监测模型,无法实时监测人体的运动,同时也无法保证人机交互时的安全距离。因此,无法在保证人机安全交互的前提下实现自动艾灸。
发明内容
本发明的目的是提供一种艾灸机器人人机安全监控系统及监控方法,建立了人体与机械臂的安全监测模型,实时监测人体的运动和人体与机械臂之间的距离,采用虚拟排斥力确保人机之间始终保持安全距离,可以在保证人机安全交互的前提下实现自动艾灸。
本发明的技术方案是,一种艾灸机器人人机安全监控系统,其特征是包括艾灸床、Kinect相机、艾灸机械臂、艾灸头、艾棒、艾灸机器人控制器;将艾棒与艾灸头安装到艾灸机械臂末端,将Kinect相机固定在艾灸床上方并保持Kinect相机摄像头焦距与视场适中的位置,使摄像头视场正对艾灸床床面,将艾灸机械臂固定到地面;使用串口通讯将Kinect相机与艾灸机器人控制器连接并进行实时通信,使用总线将艾灸头与艾灸机器人控制器连接并实时通信。
一种艾灸机器人人机安全监控方法,其特征是,所述方法包括以下步骤:
步骤一:搭建艾灸机器人人机安全监控系统;
步骤二:获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据;
步骤三:监测人体运动状态,包括:
(1)建立人体关键点模型,使用Kinect相机对人体关键点运动状态进行监测;
(2)融合Kinect相机和艾灸头获取人体厚度信息;
步骤四:建立人体运动安全监测模型和机械臂安全监测模型,包括:
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型;
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型;
步骤五:实时计算人机交互安全距离,包括:
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统,对艾灸机械臂进行自碰撞检测;
(2)基于人体安全监测模型和艾灸机械臂安全监测模型,构建人体与艾灸机械臂之间的碰撞检测对;
(3)实时计算碰撞检测对之间的最短距离;
步骤六:构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
一种艾灸机器人人机安全监控方法,其特征是,步骤二获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据的具体方法是:使用棋牌法标定Kinect相机,采集当前人体的图像信息、深度信息及艾棒的位置信息;通过艾灸机械臂关节位置传感器采集艾灸机械臂当前的位姿信息;使用艾灸头采集当前艾灸头到人体的距离,将采集到的数据发送到艾灸机器人控制器中,以一定的控制周期进行实时处理。
一种艾灸机器人人机安全监控方法,其特征是,步骤三(1)建立人体关键点模型,使用Kinect相机对人体关键点运动状态进行监测的具体方法是:当人体处于Kinect相机的视场范围内时,使用Kinect摄像头建立人体14个关键点模型;其中14个关键点是:头部,脊椎上部,左臂肩关节,右臂肩关节,左臀,右臀,左臂肘关节,左臂腕关节,右臂肘关节,右臂腕关节,左腿膝盖,右腿膝盖,左踝关节,右踝关节;使用机器学习的方法来识别Kinect相机获取的图像中人体的关键部位并获取14个关键点的位置和深度数据Pi(xc,yc,zc),其中i=6,7…19表示人体关键点。
一种艾灸机器人人机安全监控方法,其特征是:步骤三(2)融合Kinect相机和艾灸头获取人体厚度信息以解决Kinect相机获取深度信息不准确的问题,具体方法是:
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换,将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb),其中其中i=6,7…19表示人体关键点;
2)为保证机械臂不会与人体发生碰撞,以Pi(xb,yb,zb+a)为轨迹点,设置艾灸机械臂测试轨迹,其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离;
3)控制艾灸机械臂以一定的速度按测试轨迹运动,运行经过各个关键点,采集艾灸头到相应相应人体关键点的深度数据,以修正Kinect相机采集到的人体关键点深度数据,结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di,以用于人体安全监测模型的构建。
一种艾灸机器人人机安全监控方法,其特征是:步骤四(1)中根据人体关键点和相应厚度信息使用球扫掠凸体建立的人体安全监测模型的具体方法是:
以人体头部、四肢上两个关键点Pv(xb,yb,zb)、Pj(xb,yb,zb)为圆心,这两个关键点厚度Dv、Dj为直径建立圆Ov、Oj,以圆Ov、Oj的内切正多边形的顶点为顶点建立凸体convP,使用convP和半径r构建球扫掠凸体V(r,P),其中r为人体头部、四肢球扫掠凸体的允许误差项;
将一个球扫掠凸体V(r,P)或V'(r',P')称为一个人体碰撞监测模块,所有的人体碰撞监测模块构成人体安全监测模型;其中v,j,k表示人体关键点,v=6,8,9,12,13,14,15,16,17,18,19,j=6,8,9,12,13,14,15,16,17,18,19,k=7,8,9,10,11。
一种艾灸机器人人机安全监控方法,其特征是:步骤四(2)中使用球扫掠凸体建立基于包围盒的艾灸机械臂安全监测模型的具体方法是:
根据机械臂一个连杆的三维模型,以关节前端面内切多边形顶点、关节后端面内切多边形顶点为顶点建立凸体convP”,使用convP”和半径r”,构建球扫掠凸体V”(r”,P”);将一个球扫掠凸体V”(r”,P”)称为一个机械臂碰撞监测模块,所有的机械臂碰撞监测模块构成机械臂安全监测模型,其中r”为机械臂球扫掠凸体的允许误差项。
一种艾灸机器人人机安全监控方法,其特征是:所述包围盒包括轴向包围盒、球包围盒、方向包围盒、离散方向多面体包围盒、扫掠体包围盒。
一种艾灸机器人人机安全监控方法,其特征是:步骤五(3)使用求解凸体间最短距离的算法实时计算每个碰撞检测对之间的最短距离Lmn和最近点的坐标其中m表示第m个人体碰撞监测模块;n表示第n个机械臂碰撞监测模块;表示碰撞检测对mn发生碰撞时在第m个人体碰撞监测模块上的碰撞点;表示碰撞检测对mn发生碰撞时在第n个机械臂碰撞监测模块上的碰撞点。
一种艾灸机器人人机安全监控方法,其特征是:步骤六中构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间安全距离的具体方法是:
当计算出人体与机械臂碰撞检测对的最短距离Lmn时,为了防止机械臂与人体发生碰撞,构建一个虚拟排斥力F,虚拟排斥力F方向与艾灸机械臂的运行方向相反,大小为:式中h(x)是一个非线性函数,Lmn表示人体与机械臂碰撞检测对之间的最短距离,L表示开始产生排斥力的距离,L0表示发生碰撞的极限距离;
当0<Lmn<L'时,h(x)与Lmn之间为指数关系;当L'<Lmn<L时,h(x)与Lmn之间为线性关系;当L<Lmn时,h(x)为零,即随着Lmn减小h(x)越大、F增长的越快,对艾灸机械臂的阻碍作用越明显,其中L'表示安全阈值;使用τ=JT(q)F将排斥力F转化为机械臂关节力矩τ,将关节力矩发送给各个关节控制机械臂实现避障运动,其中τ为关节力矩,JT(q)为雅克比转置矩阵。
本方法的优势在于:一、建立了精确的人体安全监测模型,实时监测人体的运动;二、实时监测人体与机械臂之间的距离,采用虚拟排斥力确保人机之间始终保持安全距离,保证人在艾灸过程中与机械臂安全舒适的交互。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案,下面将实施例或现有技术描述中所需要使用的附图做简单介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性的前提下,还可以根据这些附图获得其他的附图。
图1是艾灸机器人人机安全监控系统硬件示意图。
图2是人体关键点模型。
图3是人体上臂球扫掠凸体安全控制模型。
图4是机械臂关节球扫掠凸体安全控制模型。
图5是h(x)与Lmn的函数关系。
图6是本发明流程图。
附图标号说明:1-Kinect相机,2-艾灸机械臂,3-艾灸头,4-艾棒,5-艾灸机器人控制器,6-头部,7-脊椎上部,8-左臂肩关节,9-右臂肩关节,10-左臀,11-右臀,12-左臂肘关节,13-左臂腕关节,14-右臂肘关节,15-右臂腕关节,16-左腿膝盖,17-右腿膝盖,18-左踝关节,19-右踝关节。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式,都属于本发明所保护的范围。
一、搭建艾灸机器人人机安全监控系统
如图1所示,艾灸机器人人机安全控制系统包括Kinect相机1、艾灸机械臂2、艾灸头3、艾棒4和艾灸机器人控制器5。将艾棒4与艾灸头3安装到艾灸机械臂2末端,将Kinect相机1固定在艾灸床上方保持Kinect相机1摄像头焦距与视场适中的位置,使Kinect相机1摄像头视场正对艾灸床面,将艾灸机械臂2固定到地面。
二、艾灸机器人人机交互安全监控方法
如图6所示,一种艾灸机器人人机安全监控方法,其特征是,所述方法包括以下步骤:
步骤一:搭建艾灸机器人人机安全监控系统;
步骤二:获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据;
步骤三:监测人体运动状态,包括:
(1)建立人体关键点模型,使用Kinect相机对人体关键点运动状态进行监测;
(2)融合Kinect相机和艾灸头获取人体厚度信息;
步骤四:建立人体运动安全监测模型和机械臂安全监测模型,包括:
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型;
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型;
步骤五:实时计算人机交互安全距离,包括:
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统,对艾灸机械臂进行自碰撞检测;
(2)基于人体安全监测模型和艾灸机械臂安全监测模型,构建人体与艾灸机械臂之间的碰撞检测对;
(3)实时计算碰撞检测对之间的最短距离;
步骤六:构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
以下结合附图进行详细说明
1、传感器数据的获取
(1)通信方式
使用串口通讯、总线通讯的方式将所有硬件连接起来,组成控制系统,如图1所示,使用串口通讯(如USB3.0)将Kinect相机1与艾灸机器人控制器5连接并进行实时通信、使用总线将艾灸头3与艾灸机器人控制器5连接并实时通信。
(2)采集数据
使用棋牌法标定Kinect相机1,采集当前人体的图像信息、深度信息及艾棒的位置信息;通过艾灸机械臂关节位置传感器采集艾灸机械臂2当前的位姿信息;使用艾灸头3采集当前艾灸头到人体的距离,将采集到的数据发送到艾灸机器人控制器5中,以一定的控制周期进行实时处理。
2、人体运动状态监测
(1)建立人体关键点模型
当人体处于Kinect相机1的视场范围内时,使用Kinect摄像头建立人体14个关键点模型,6表示头部,7表示脊椎上部,8表示左臂肩关节,9表示右臂肩关节,10表示左臀,11表示右臀,12表示左臂肘关节,13表示左臂腕关节,14表示右臂肘关节,15表示右臂腕关节,16表示左腿膝盖,17表示右腿膝盖,18表示左踝关节,19表示右踝关节。如图2所示。
(2)基于机器学习的人体关键点运动状态监测
使用机器学习的方法来识别Kinect摄像头获取的图像中人体的关键部位。使用Kinect相机测量图2中14个骨骼关键点的位置和深度数据Pi(xc,yc,zc)(其中i=6,7…19表示人体关键点)。
(3)融合艾灸头人体三维厚度信息获取
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换,将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb),其中其中i=6,7…19表示人体关键点;
2)为保证机械臂不会与人体发生碰撞,以Pi(xb,yb,zb+a)为轨迹点,设置艾灸机械臂测试轨迹,其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离;
3)控制艾灸机械臂以一定的速度按测试轨迹运动,运行经过各个关键点,采集艾灸头到相应相应人体关键点的深度数据,以修正Kinect相机采集到的人体关键点深度数据,结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di,以用于人体安全监测模型的构建。
3、人体与艾灸机械臂安全监测模型的构建
(1)构建三维人体运动安全监测模型
建立基于包围盒的人体14个关键点的三维人体运动安全监测模型。
本文以使用球扫掠凸体包围盒建立上臂运动安全监测模块为例进行说明,其他如基于轴向包围盒(AABB)、球包围盒(Sphere)、方向包围盒(OBB)、离散方向多面体包围盒(K-DOP)、扫掠体包围盒(SSV)等包围盒技术建立的三维人体运动安全监测模型都属于本专利保护范围。
现以图3所示的人体关键点模型及艾灸头采集的人体深度信息,建立人体上臂球扫掠凸体安全监测模块为例,说明人体运动安全监测模型的建立。
以左臂肩关节坐标P8(xc,yc)为圆心,该点厚度D8为直径建立圆O8,建立圆O8的内切六边形,顶点依次为a、b、c、d、e、f。同理,以左臂肘关坐标P12(xc,yc)为圆心,该点厚度D12为直径建立圆O12,建该圆的内切六边形,顶点依次为a'、b'、c'、d'、e'、f'。使用a,b,c,d,e,f,a',b',c'd12个点构成凸体convP1,即使用convP1和半径r1(r1为人体上臂球扫掠凸体的允许误差项)构建球扫掠凸体V(r1,P1)即
V(r1,P1)=convP1+r1 (公式3)
(2)建立基于包围盒的艾灸机械臂运动安全监测模型
现以机械臂一个关节为例,使用球扫掠凸体建立艾灸机械臂一个关节的安全监测模块,说明本文提出的基于包围盒的艾灸机械臂运动安全监测模型的建立过程。
如图4所示,根据机械臂连杆三维模型计算点20,21…35的点坐标,根据这16个点构建凸体convP2,即使用convP2和半径r2(r2为机械臂连杆球扫掠凸体的允许误差项)构建球扫掠凸体V(r2,P2)即
V(r2,P2)=convP2+r2 (公式4)
4、实时计算人机交互安全距离
(1)机械臂自碰撞检测
使用基于机械臂安全控制模型构建的机械臂自碰撞检测系统,在每个控制周期内实时进行艾灸机械臂的自碰撞检测。一旦监测到机械臂在某个位置可能发生自碰撞,就修改控制指令,使机械臂避免自碰撞。
(2)人体与机械臂碰撞检测对构建
基于人体运动安全监测模型和机械臂安全监测模型,构建二者之间的碰撞检测对。
(3)实时计算碰撞检测对的最短距离
本专利以GJK算法为例计算碰撞检测对之间的最短距离,其他计算碰撞检测对最短距离的方法也属于本专利的保护范围。使用GJK算法依次计算每个碰撞检测对之间的最短距离Lmn(m表示第m个人体碰撞监测模块,n表示第n个机械臂碰撞监测模块)和最近点的坐标(表示碰撞检测对mn发生碰撞时在第m个人体碰撞监测模块上的碰撞点,表示碰撞检测对mn发生碰撞时在第n个机械臂碰撞监测模块上的碰撞点)。
5、保持安全距离的机器人控制策略
(1)构建最短碰撞检测对的虚拟排斥力
当计算出人体与机械臂碰撞检测对的最短距离Lmn时,为了防止艾灸机械臂与人体发生碰撞,构建一个虚拟排斥力F,虚拟排斥力F方向与艾灸机械臂的运行方向相反,大小由以下公式给出:
式中h(x)是一个非线性函数,Lmn表示人体与艾灸机械臂碰撞检测对之间的最短距离,L表示开始产生排斥力的距离,L0表示发生碰撞的极限距离。
从图5中可以看出,当Lmn小于L'(安全阈值)时,h(x)与Lmn之间为指数关系,当Lmn大于L'时,h(x)与Lmn之间为线性关系,即随着Lmn减小h(x)越大、F增长的越快,对艾灸机械臂的阻碍作用越明显。
(2)基于虚拟排斥力的机械臂避障运动控制
τ=JT(q)F (公式6)
使用如下公式6将虚拟排斥力F转化为机械臂关节力矩τ,将关节力矩发送给各个关节控制艾灸机械臂实现避障运动。
以上所述,仅仅是本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围内。
Claims (10)
1.一种艾灸机器人人机安全监控系统,其特征是包括艾灸床、Kinect相机(1)、艾灸机械臂(2)、艾灸头(3)、艾棒(4)、艾灸机器人控制器(5);将艾灸头(3)和艾棒(4)安装到艾灸机械臂(2)末端,将Kinect相机(1)固定在艾灸床上方并保持Kinect相机摄像头焦距与视场适中的位置,使摄像头视场正对艾灸床床面;使用串口通讯将Kinect相机(1)与艾灸机器人控制器(5)连接并进行实时通信,使用总线将艾灸头(3)与艾灸机器人控制器(5)连接并实时通信。
2.一种艾灸机器人人机安全监控方法,其特征是,所述方法包括以下步骤:
步骤一:搭建艾灸机器人人机安全监控系统;
步骤二:获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据;
步骤三:监测人体运动状态,包括:
(1)建立人体关键点模型,使用Kinect相机对人体关键点运动状态进行监测;
(2)融合Kinect相机和艾灸头获取人体厚度信息;
步骤四:建立人体运动安全监测模型和机械臂安全监测模型,包括:
(1)根据人体关键点和相应人体厚度信息建立基于包围盒的人体安全监测模型;
(2)根据机械臂的关节位置信息和运动学建立基于包围盒的艾灸机械臂安全监测模型;
步骤五:实时计算人机交互安全距离,包括:
(1)基于艾灸机械臂安全监测模型构建艾灸机械臂自碰撞监测系统,对艾灸机械臂进行自碰撞检测;
(2)基于人体安全监测模型和艾灸机械臂安全监测模型,构建人体与艾灸机械臂之间的碰撞检测对;
(3)实时计算碰撞检测对之间的最短距离;
步骤六:构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间的安全距离。
3.如权利要求2所述的艾灸机器人人机安全监控方法,其特征是,步骤二获取艾灸机械臂关节位置传感器数据、kinect相机图像及深度数据、艾灸头深度数据的具体方法是:使用棋牌法标定Kinect相机(1),采集当前人体的图像信息、深度信息及艾棒的位置信息;通过艾灸机械臂关节位置传感器采集艾灸机械臂(2)当前的位姿信息;使用艾灸头(3)采集当前艾灸头到人体的距离,将采集到的数据发送到艾灸机器人控制器(5)中,以一定的控制周期进行实时处理。
4.如权利要求2所述的艾灸机器人人机安全监控方法,其特征是,步骤三(1)建立人体关键点模型,使用Kinect相机对人体关键点运动状态进行监测的具体方法是:当人体处于Kinect相机的视场范围内时,使用Kinect摄像头建立人体14个关键点模型;其中14个关键点是:头部,脊椎上部,左臂肩关节,右臂肩关节,左臀,右臀,左臂肘关节,左臂腕关节,右臂肘关节,右臂腕关节,左腿膝盖,右腿膝盖,左踝关节,右踝关节;使用机器学习的方法来识别Kinect相机获取的图像中人体的关键部位并获取14个关键点的位置和深度数据Pi(xc,yc,zc),其中i=6,7…19表示人体关键点。
5.如权利要求4所述的艾灸机器人人机安全监控方法,其特征是:步骤三(2)融合Kinect相机和艾灸头获取人体厚度信息以解决Kinect相机获取深度信息不准确的问题,具体方法是:
1)建立Kinect相机坐标系与艾灸机械臂基坐标的坐标变换,将人体14个关键点在相机坐标系下的位置、深度数据Pi(xc,yc,zc)转换为机械臂基坐标系下的人体骨骼关键点位置、深度数据Pi(xb,yb,zb),其中i=6,7…19表示人体关键点;
2)为保证机械臂不会与人体发生碰撞,以Pi(xb,yb,zb+a)为轨迹点,设置艾灸机械臂测试轨迹,其中a为保证艾灸头采集精度最佳且艾灸机械臂不会与人体发生碰撞的安全距离;
3)控制艾灸机械臂以一定的速度按测试轨迹运动,运行经过各个关键点,采集艾灸头到相应人体关键点的深度数据,以修正Kinect相机采集到的人体关键点深度数据,结合Kinect相机相对于艾灸床的位置计算相应关键点人体厚度信息Di,以用于人体安全监测模型的构建。
6.如权利要求3所述的艾灸机器人人机安全监控方法,其特征是:步骤四(1)中根据人体关键点和相应厚度信息使用球扫掠凸体建立的人体安全监测模型的具体方法是:
以人体头部、四肢上两个关键点Pv(xb,yb,zb)、Pj(xb,yb,zb)为圆心,这两个关键点厚度Dv、Dj为直径建立圆Ov、Oj,以圆Ov、Oj的内切正多边形的顶点为顶点建立凸体convP,使用convP和半径r构建球扫掠凸体V(r,P),其中r为人体头部、四肢球扫掠凸体的允许误差项;
将一个球扫掠凸体V(r,P)或V'(r',P')称为一个人体碰撞监测模块,所有的人体碰撞监测模块构成人体安全监测模型;其中v,j,k表示人体关键点,v=6,8,9,12,13,14,15,16,17,18,19,j=6,8,9,12,13,14,15,16,17,18,19,k=7,8,9,10,11。
7.如权利要求3所述的艾灸机器人人机安全监控方法,其特征是:步骤四(2)中使用球扫掠凸体建立基于包围盒的艾灸机械臂安全监测模型的具体方法是:
根据机械臂一个连杆的三维模型,以关节前端面内切多边形顶点、关节后端面内切多边形顶点为顶点建立凸体convP”,使用convP”和半径r”,构建球扫掠凸体V”(r”,P”);将一个球扫掠凸体V”(r”,P”)称为一个机械臂碰撞监测模块,所有的机械臂碰撞监测模块构成机械臂安全监测模型,其中r”为机械臂球扫掠凸体的允许误差项。
8.如权利要求6或7所述的艾灸机器人人机安全监控方法,其特征是:所述包围盒包括轴向包围盒、球包围盒、方向包围盒、离散方向多面体包围盒、扫掠体包围盒。
10.如权利要求3所述的艾灸机器人人机安全监控方法,其特征是:步骤六中构建最短碰撞检测对之间的虚拟排斥力,使用基于虚拟排斥力的机械臂避障运动控制方法保证人体与艾灸机械臂之间安全距离的具体方法是:
当计算出人体与机械臂碰撞检测对的最短距离Lmn时,为了防止机械臂与人体发生碰撞,构建一个虚拟排斥力F,虚拟排斥力F方向与艾灸机械臂的运行方向相反,大小为:式中h(x)是一个非线性函数,Lmn表示人体与机械臂碰撞检测对之间的最短距离,L表示开始产生排斥力的距离,L0表示发生碰撞的极限距离;
当0<Lmn<L'时,h(x)与Lmn之间为指数关系;当L'<Lmn<L时,h(x)与Lmn之间为线性关系;当L<Lmn时,h(x)为零,即随着Lmn减小h(x)越大、F增长的越快,对艾灸机械臂的阻碍作用越明显,其中L'表示安全阈值。使用τ=JT(q)F将排斥力F转化为机械臂关节力矩τ,将关节力矩发送给各个关节控制机械臂实现避障运动,其中τ为关节力矩,JT(q)为雅克比转置矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010254408.7A CN111571582B (zh) | 2020-04-02 | 2020-04-02 | 一种艾灸机器人人机安全监控系统及监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010254408.7A CN111571582B (zh) | 2020-04-02 | 2020-04-02 | 一种艾灸机器人人机安全监控系统及监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111571582A true CN111571582A (zh) | 2020-08-25 |
CN111571582B CN111571582B (zh) | 2023-02-28 |
Family
ID=72089626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010254408.7A Active CN111571582B (zh) | 2020-04-02 | 2020-04-02 | 一种艾灸机器人人机安全监控系统及监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111571582B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112025705A (zh) * | 2020-08-26 | 2020-12-04 | 哈尔滨理工大学 | 一种基于协作机器人的中医针灸系统及方法 |
CN112757274A (zh) * | 2020-12-30 | 2021-05-07 | 华中科技大学 | 一种面向人机协同操作的动力学融合行为安全算法及系统 |
CN113238561A (zh) * | 2021-05-31 | 2021-08-10 | 河北工业大学 | 一种人体洗浴避障方法及系统 |
CN113808163A (zh) * | 2021-08-30 | 2021-12-17 | 中科尚易健康科技(北京)有限公司 | 机械臂位置的动图动态展示方法和控制终端 |
CN114434444A (zh) * | 2022-01-27 | 2022-05-06 | 南京航空航天大学 | 一种重载工业机器人辅助装配安全空间的规划方法 |
CN114952854A (zh) * | 2022-06-16 | 2022-08-30 | 山东大学 | 基于人机协作的人体碰撞物对接方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293154A (ja) * | 2004-03-31 | 2005-10-20 | Hiroshima Univ | 障害物回避装置および移動体 |
CN103105851A (zh) * | 2012-11-07 | 2013-05-15 | 吉林大学 | 一种遥操纵机器人基于视觉的动觉示教控制方法 |
CN103722565A (zh) * | 2014-01-23 | 2014-04-16 | 哈尔滨工业大学 | 仿人机器人自碰撞监控系统及监控方法 |
CN107688342A (zh) * | 2017-03-27 | 2018-02-13 | 平安科技(深圳)有限公司 | 机器人的避障控制系统及方法 |
CN108785064A (zh) * | 2018-06-11 | 2018-11-13 | 珠海市万瑙特健康科技有限公司 | 机械手的控制方法、装置、计算机设备和存储介质 |
CN109718092A (zh) * | 2018-12-28 | 2019-05-07 | 华中科技大学 | 基于关节机器人的热敏灸系统及方法 |
CN110037918A (zh) * | 2019-05-24 | 2019-07-23 | 熊江华 | 一种全自动艾灸机械臂的艾灸系统 |
-
2020
- 2020-04-02 CN CN202010254408.7A patent/CN111571582B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293154A (ja) * | 2004-03-31 | 2005-10-20 | Hiroshima Univ | 障害物回避装置および移動体 |
CN103105851A (zh) * | 2012-11-07 | 2013-05-15 | 吉林大学 | 一种遥操纵机器人基于视觉的动觉示教控制方法 |
CN103722565A (zh) * | 2014-01-23 | 2014-04-16 | 哈尔滨工业大学 | 仿人机器人自碰撞监控系统及监控方法 |
CN107688342A (zh) * | 2017-03-27 | 2018-02-13 | 平安科技(深圳)有限公司 | 机器人的避障控制系统及方法 |
CN108785064A (zh) * | 2018-06-11 | 2018-11-13 | 珠海市万瑙特健康科技有限公司 | 机械手的控制方法、装置、计算机设备和存储介质 |
CN109718092A (zh) * | 2018-12-28 | 2019-05-07 | 华中科技大学 | 基于关节机器人的热敏灸系统及方法 |
CN110037918A (zh) * | 2019-05-24 | 2019-07-23 | 熊江华 | 一种全自动艾灸机械臂的艾灸系统 |
Non-Patent Citations (1)
Title |
---|
魏杰: "虚拟膝关节镜手术中手术器械的运动控制与碰撞检测", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112025705A (zh) * | 2020-08-26 | 2020-12-04 | 哈尔滨理工大学 | 一种基于协作机器人的中医针灸系统及方法 |
CN112757274A (zh) * | 2020-12-30 | 2021-05-07 | 华中科技大学 | 一种面向人机协同操作的动力学融合行为安全算法及系统 |
CN112757274B (zh) * | 2020-12-30 | 2022-02-18 | 华中科技大学 | 一种面向人机协同操作的动力学融合行为安全算法及系统 |
CN113238561A (zh) * | 2021-05-31 | 2021-08-10 | 河北工业大学 | 一种人体洗浴避障方法及系统 |
CN113238561B (zh) * | 2021-05-31 | 2022-10-14 | 河北工业大学 | 一种人体洗浴避障方法及系统 |
CN113808163A (zh) * | 2021-08-30 | 2021-12-17 | 中科尚易健康科技(北京)有限公司 | 机械臂位置的动图动态展示方法和控制终端 |
WO2023030035A1 (zh) * | 2021-08-30 | 2023-03-09 | 中科尚易健康科技(北京)有限公司 | 机械臂位置的动图动态展示方法和控制终端 |
CN114434444A (zh) * | 2022-01-27 | 2022-05-06 | 南京航空航天大学 | 一种重载工业机器人辅助装配安全空间的规划方法 |
CN114434444B (zh) * | 2022-01-27 | 2023-08-08 | 南京航空航天大学 | 一种重载工业机器人辅助装配安全空间的规划方法 |
CN114952854A (zh) * | 2022-06-16 | 2022-08-30 | 山东大学 | 基于人机协作的人体碰撞物对接方法及系统 |
CN114952854B (zh) * | 2022-06-16 | 2024-07-09 | 山东大学 | 基于人机协作的人体碰撞物对接方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111571582B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111571582B (zh) | 一种艾灸机器人人机安全监控系统及监控方法 | |
CN108762495B (zh) | 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统 | |
Almetwally et al. | Real-time tele-operation and tele-walking of humanoid Robot Nao using Kinect Depth Camera | |
CN105137973B (zh) | 一种人机协作场景下的机器人智能躲避人类方法 | |
CN107953331B (zh) | 一种应用于人形机器人动作模仿的人体姿态映射方法 | |
Fritsche et al. | First-person tele-operation of a humanoid robot | |
Wang et al. | A real-time human imitation system | |
CN109529274B (zh) | 基于冗余机械臂上肢关节主动康复系统及其训练方法 | |
CN115469576B (zh) | 一种基于人-机械臂异构运动空间混合映射的遥操作系统 | |
Kim et al. | Resolving the redundancy of a seven dof wearable robotic system based on kinematic and dynamic constraint | |
Garrido et al. | Modular design and control of an upper limb exoskeleton | |
Tao et al. | Trajectory planning of upper limb rehabilitation robot based on human pose estimation | |
CN117697717A (zh) | 一种外骨骼物理人机双向交互仿真系统 | |
CN116690564A (zh) | 一种按摩机器人的控制方法及系统 | |
Du et al. | Data fusion of multiple kinect sensors for a rehabilitation system | |
CN115781666A (zh) | 一种用于机器人全身模仿系统的控制方法 | |
CN115252369A (zh) | 一种基于下肢外骨骼机器人的按需辅助控制方法 | |
CN111604897B (zh) | 一种艾灸机械臂避碰撞安全防护方法 | |
Bai et al. | Kinect-based hand tracking for first-person-perspective robotic arm teleoperation | |
Qian et al. | DH Parameter Method-based Wearable Motion Tracking | |
Gao et al. | Intention detection in upper limb kinematics rehabilitation using a GP-based control strategy | |
Ziherl et al. | Pick to place trajectories in human arm training environment | |
Guo et al. | Design of the Lower Limb Rehabilitation Training System Based on Virtual Reality | |
He et al. | Spherical parallel instrument for daily living emulation (SPINDLE) to restore motor function of stroke survivors | |
Zhao et al. | Interactive mechanical arm control system based on Kinect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211208 Address after: 1 / F, building 28, 6055 Jinhai highway, Fengxian District, Shanghai, 201403 Applicant after: Shanghai juncon robot Co.,Ltd. Address before: 710054 No. 58, middle section, Yanta Road, Shaanxi, Xi'an Applicant before: Xia Jing |
|
GR01 | Patent grant | ||
GR01 | Patent grant |