CN115556092A - 机器人智能指示穴位位置的方法及系统 - Google Patents
机器人智能指示穴位位置的方法及系统 Download PDFInfo
- Publication number
- CN115556092A CN115556092A CN202211130664.0A CN202211130664A CN115556092A CN 115556092 A CN115556092 A CN 115556092A CN 202211130664 A CN202211130664 A CN 202211130664A CN 115556092 A CN115556092 A CN 115556092A
- Authority
- CN
- China
- Prior art keywords
- acupoint
- mechanical arm
- target
- coordinate system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明提供了一种机器人智能指示穴位位置的方法及系统，该方法包括：获取人体目标区域的二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在二维图像上的第一位置，以及计算第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将三维位置转换为机械臂坐标系下的第二位置；根据第二位置生成运动指令以及将运动指令发送至机械臂控制系统，以控制机械臂末端指示出目标穴位的位置。本发明实施例基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。
Description
技术领域
本发明涉及人体穴位识别技术领域，具体而言，涉及一种机器人智能指示穴位位置的方法及系统。
背景技术
穴位在中医中占有重要地位，是指人体经络线上特殊的点区部位，可以通过针灸或者推拿、点按、艾灸刺激相应的经络点治疗疾病。
然而各个穴位的位置识别通常具备丰富穴位经验的中医医师完成，这种人体穴位识别方式，其可用性受到极大限制，无法适用于现代医疗设备。
发明内容
为解决上述问题，本发明实施例提供一种机器人智能指示穴位位置的方法，所述方法包括：获取人体目标区域的二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；根据所述第二位置生成运动指令以及将所述运动指令发送至机械臂控制系统，以控制机械臂末端指示出所述目标穴位的位置。
可选地，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
可选地，所述计算所述第一位置在相机坐标系下的三维位置，包括：查询所述第一位置在所述深度图像中对应的深度值；根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
可选地，所述空间坐标的计算公式如下：
其中，fx，fy，u0，v0表示相机内参，u，v为目标穴位在二维图像上的第一位置的坐标，(Xc,Yc,Zc)为第一位置在相机坐标系下的空间坐标。
可选地，所述目标穴位在机械臂坐标系下的变换矩阵如下：
其中，
为机械臂末端相对机械臂基坐标系的变换矩阵，
为相机坐标系到机械臂末端的变换齐次矩阵，
为目标穴位在相机坐标系下的变换的齐次矩阵，Tc＝[Xc,Yc,Zc]t，Rc为空间坐标(Xc,Yc,Zc)所在位置的法向量对应的旋转矩阵。
可选地，所述运动指令为控制所述机械臂末端运行至面对所述目标穴位所在位置，且所述机械臂末端安装的激光器出射的激光垂直照射于所述目标穴位所在位置。
本发明实施例提供一种机器人智能指示穴位位置的系统，所述系统包括：图像采集模块、穴位计算模块及执行模块；所述图像采集模块包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；所述穴位计算模块存储有预设的穴位识别算法，用于运行所述预设的穴位识别算法以及计算目标穴位的实际位置；所述执行模块包括运动控制系统及执行机构，所述执行机构末端安装有激光器；所述执行模块用于控制所述执行机构运行至面对所述实际位置，且所述激光器出射的激光垂直照射于所述实际位置。
可选地，所述穴位计算模块具体用于：获取所述二维图像及所述深度图像；根据所述预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；根据所述第二位置生成运动指令以及将所述运动指令发送至运动控制系统，以控制所述执行机构的激光器指示出所述目标穴位的位置。
可选地，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
可选地，所述穴位计算模块具体用于：查询所述第一位置在所述深度图像中对应的深度值；根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
本发明实施例基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种机器人智能指示穴位位置的方法的示意性流程图；
图2为本发明实施例中穴位识别定位的示意性流程图；
图3为本发明实施例中一种机器人智能指示穴位位置的系统的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例结合图像采集、神经网络和机器人技术，实现了穴位自动识别，机器人自动指示穴位，即在三维空间中指示出指定穴位，无需人工干预。
本发明实施例提供一种机器人智能指示穴位位置的系统，该系统包括：图像采集模块、穴位计算模块及执行模块。
图像采集模块，包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；该二维图像可以是彩色图像。
穴位计算模块，存储有预设的穴位识别算法，用于运行预设的穴位识别算法以及计算目标穴位的实际位置；
执行模块，包括运动控制系统及执行机构，执行机构末端安装有激光器；执行模块用于控制执行机构运行至面对实际位置，且激光器出射的激光垂直照射于实际位置。示例性地，执行机构采用7关节的机械臂，在机械臂末端携带激光笔。
图1是本发明实施例中一种机器人智能指示穴位位置的方法的示意性流程图，该方法可以应用于上位机，包括以下步骤：
S102，获取人体目标区域的二维图像及深度图像。
上述3D相机在预先选择的包括目标穴位的部位。以上肢部位为例，可以包含脸部，胳膊正反两面。采集该部位的彩色图片和深度图像返回给上位机。
S104，根据预设的穴位识别算法识别出目标穴位在二维图像上的第一位置，以及计算第一位置在相机坐标系下的三维位置。
可选地，该预设的穴位识别算法为Hourglass关键点识别算法。该Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
在识别得到二维图像上的第一位置后，即可查询该第一位置在上述深度图像中对应的深度值，然后可根据该第一位置、对应的深度值及相机内参计算第一位置在相机坐标系下的空间坐标。可选地，该空间坐标的计算公式如下：
其中，fx，fy，u0，v0表示相机内参，u，v为目标穴位在二维图像上的第一位置的坐标，(Xc,Yc,Zc)为第一位置在相机坐标系下的空间坐标。
S106，根据相机与机械臂的空间位置关系，将三维位置转换为机械臂坐标系下的第二位置。
具体地，根据相机和机械臂的空间位置关系将上述三维位置转换到机械臂坐标系下，然后发送运动指令给机械臂控制系统，控制系统控制机械臂末端移动到相应穴位上方。
可选地，目标穴位在机械臂坐标系下的变换矩阵如下：
其中，
为机械臂末端相对机械臂基坐标系的变换矩阵，
为相机坐标系到机械臂末端的变换齐次矩阵，
为目标穴位在相机坐标系下的变换的齐次矩阵，Tc＝[Xc,Yc,Zc]t，Rc为空间坐标(Xc,Yc,Zc)所在位置的法向量对应的旋转矩阵。
S108，根据第二位置生成运动指令以及将运动指令发送至机械臂控制系统，以控制机械臂末端指示出目标穴位的位置。
机械臂的移动由运行控制系统控制，控制系统在运动控制器中运行。计算完目标穴位在机械臂坐标系中的位置之后，发送移动命令让机械臂移动到对应的真实穴位处，移动抵达的最终位置与真实穴位保持一定距离，避免碰撞。
该运动指令为控制机械臂末端运行至面对目标穴位所在位置，且机械臂末端安装的激光器出射的激光垂直照射于目标穴位所在位置。可选地，机械臂控制器与上位机采用TCP/IP通讯方式对机械臂发送运动控制指令。该运动控制指令可以包括运动方式、机器人要达到的坐标位置等信息。机器人在接收到运动目标位置后进行逆解，计算出每个关节的关节角，使机器人运动到指定的目标位置。在此穴位位置处，控制激光器发射激光垂直照射穴位表面。
本发明实施例提供机器人智能指示穴位位置的方法，基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。可选地，采用激光指示穴位位置，避免发生碰撞，提高了安全性。
可选地，穴位识别算法根据人体的彩色图片识别穴位在图像上的坐标，使用的算法为一种基于神经网络的深度学习算法，例如为改进的Hourglass关键点识别算法。在训练神经网络的时候使用的数据集为标注后的人体穴位图片，使神经网络学习的特征变为人体穴位信息，网络收敛后保存模型参数，在推理的时候加载保存的模型参数即可识别人体穴位在图片上的像素坐标。
上述点云处理和坐标转换的过程具体如下:
用fx，fy，u0，v0表示相机内参，由相机提供；u，v为穴位在图像上面的坐标；Zc为从深度图读取的(u,v)位置的深度值；由公式(1)可以计算出[Xc,Yc,Zc]，即穴位在相机坐标系下的空间坐标。
根据深度图和相机内参合成拍摄场景的3d点云图像，使用PCA(PrincipalComponent Analysis，主成分分析)方法计算点[Xc,Yc,Zc]在点云表面的法向量，用[Rxc,Ryc,Rzc]表示。由此得到穴位在相机坐标系下的位置，为旋转向量[Xc,Yc,Zc,Rxc,Ryc,Rzc]。
使用罗德里格斯公式将法向量[Rxc,Ryc,Rzc]转换为3x3的旋转矩阵Rc，令Tc＝[Xc,Yc,Zc]t，则穴位在相机坐标系下的变换的齐次矩阵为
相机坐标系到机械臂末端的变换的齐次矩阵为
由手眼标定方法计算得到；机械臂拍照时机械臂末端相对机械臂基坐标系的变换记为
由机械臂控制系统得到；由公式(2)可以计算穴位在机械臂基坐标系下的变换
图2是本发明实施例中穴位识别定位的示意性流程图，示出了相机、上位机、机械臂控制器及机械臂。
在上位机中将RGB图像输入穴位识别算法中运行，得到目标穴位在RGB图像上的坐标u，v，并将其输入点云处理模块。将深度图像及相机内参输入上述点云处理模块，输出Rc及Tc至坐标转换模块，该坐标转换模块输出Rr及Tr。然后，机械臂控制器基于上位机输出的坐标位置控制机械臂运行至指定位置，进而激光垂直照射穴位。
可选地，机器人使用7关节机械臂，7关节机械臂同一位姿拥有无数组解，方便了姿态调整，使得点穴更加方便可行，提高了实用性。
本发明实施例可以使用采用hourglass关键点检测神经网络自动计算穴位位置，提高了穴位检测的稳定性；使用相机内参，结合深度图计算出穴位在3d空间中的位置；使用7关节机器人点穴，提高了点穴的可行性；使用激光指示穴位位置，避免了碰撞发生，提高了安全性。
图3是本发明实施例中一种机器人智能指示穴位位置的系统的结构示意图，所述系统包括：图像采集模块301、穴位计算模块302及执行模块303；
图像采集模块301包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；
穴位计算模块302存储有预设的穴位识别算法，用于运行预设的穴位识别算法以及计算目标穴位的实际位置；
执行模块303包括运动控制系统及执行机构，执行机构末端安装有激光器；执行模块用于控制执行机构运行至面对实际位置，且激光器出射的激光垂直照射于实际位置。
本发明实施例提供机器人智能指示穴位位置的系统，基于二维图像和深度图像，采用穴位识别算法自动识别目标穴位的位置，提高了穴位检测的稳定性；使用机械臂指示目标穴位位置，提高了点穴的可行性；该方法指示穴位位置的可用性更强，可以广泛应用于现代医疗设备。
可选地，穴位计算模块具体用于：获取二维图像及深度图像；根据预设的穴位识别算法识别出目标穴位在二维图像上的第一位置，以及计算第一位置在相机坐标系下的三维位置；根据相机与机械臂的空间位置关系，将三维位置转换为机械臂坐标系下的第二位置；根据第二位置生成运动指令以及将运动指令发送至运动控制系统，以控制执行机构的激光器指示出目标穴位的位置。
可选地，预设的穴位识别算法为Hourglass关键点识别算法，Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
可选地，穴位计算模块具体用于：查询第一位置在深度图像中对应的深度值；根据第一位置、对应的深度值及相机内参计算第一位置在相机坐标系下的空间坐标。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于图像分割的产量计量方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种机器人智能指示穴位位置的方法，其特征在于，所述方法包括：
获取人体目标区域的二维图像及深度图像；
根据预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；
根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；
根据所述第二位置生成运动指令以及将所述运动指令发送至机械臂控制系统，以控制机械臂末端指示出所述目标穴位的位置。
2.根据权利要求1所述的方法，其特征在于，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
3.根据权利要求1所述的方法，其特征在于，所述计算所述第一位置在相机坐标系下的三维位置，包括：
查询所述第一位置在所述深度图像中对应的深度值；
根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
4.根据权利要求3所述的方法，其特征在于，所述空间坐标的计算公式如下：
其中，fx，fy，u0，v0表示相机内参，u，v为目标穴位在二维图像上的第一位置的坐标，(Xc,Yc,Zc)为第一位置在相机坐标系下的空间坐标。
5.根据权利要求3所述的方法，其特征在于，所述目标穴位在机械臂坐标系下的变换矩阵如下：
其中，
为机械臂末端相对机械臂基坐标系的变换矩阵，
为相机坐标系到机械臂末端的变换齐次矩阵，
为目标穴位在相机坐标系下的变换的齐次矩阵，Tc＝[Xc,YC,ZC]t，Rc为空间坐标(Xc,Yc,Zc)所在位置的法向量对应的旋转矩阵。
6.根据权利要求1所述的方法，其特征在于，所述运动指令为控制所述机械臂末端运行至面对所述目标穴位所在位置，且所述机械臂末端安装的激光器出射的激光垂直照射于所述目标穴位所在位置。
7.一种机器人智能指示穴位位置的系统，其特征在于，所述系统包括：图像采集模块、穴位计算模块及执行模块；
所述图像采集模块包括安装于执行机构末端的3D相机，用于采集人体目标区域的二维图像和深度图像；
所述穴位计算模块存储有预设的穴位识别算法，用于运行所述预设的穴位识别算法以及计算目标穴位的实际位置；
所述执行模块包括运动控制系统及执行机构，所述执行机构末端安装有激光器；所述执行模块用于控制所述执行机构运行至面对所述实际位置，且所述激光器出射的激光垂直照射于所述实际位置。
8.根据权利要求7所述的系统，其特征在于，所述穴位计算模块具体用于：
获取所述二维图像及所述深度图像；
根据所述预设的穴位识别算法识别出目标穴位在所述二维图像上的第一位置，以及计算所述第一位置在相机坐标系下的三维位置；
根据相机与机械臂的空间位置关系，将所述三维位置转换为机械臂坐标系下的第二位置；
根据所述第二位置生成运动指令以及将所述运动指令发送至运动控制系统，以控制所述执行机构的激光器指示出所述目标穴位的位置。
9.根据权利要求8所述的系统，其特征在于，所述预设的穴位识别算法为Hourglass关键点识别算法，所述Hourglass关键点识别算法由包括标注穴位种类及位置的人体穴位图片的数据集训练至模型收敛后得到。
10.根据权利要求8所述的系统，其特征在于，所述穴位计算模块具体用于：
查询所述第一位置在所述深度图像中对应的深度值；
根据所述第一位置、所述对应的深度值及相机内参计算所述第一位置在相机坐标系下的空间坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211130664.0A CN115556092A (zh) | 2022-09-15 | 2022-09-15 | 机器人智能指示穴位位置的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211130664.0A CN115556092A (zh) | 2022-09-15 | 2022-09-15 | 机器人智能指示穴位位置的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115556092A true CN115556092A (zh) | 2023-01-03 |
Family
ID=84740928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211130664.0A Pending CN115556092A (zh) | 2022-09-15 | 2022-09-15 | 机器人智能指示穴位位置的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115556092A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861322A (zh) * | 2023-02-28 | 2023-03-28 | 江西省智能产业技术创新研究院 | 口腔区域定位方法、系统、可读存储介质及电子设备 |
-
2022
- 2022-09-15 CN CN202211130664.0A patent/CN115556092A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861322A (zh) * | 2023-02-28 | 2023-03-28 | 江西省智能产业技术创新研究院 | 口腔区域定位方法、系统、可读存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8693730B2 (en) | Method of real-time tracking of moving/flexible surfaces | |
| JP4689107B2 (ja) | 自律行動ロボット | |
| JP2022505498A (ja) | 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体 | |
| JP4479194B2 (ja) | 動作識別装置、及び対象物の姿勢識別装置 | |
| CN112669371A (zh) | 一种艾灸机器人控制装置、系统、设备及存储介质 | |
| CN113766997A (zh) | 用于引导机械臂的方法、引导系统 | |
| CN111085997A (zh) | 基于点云获取和处理的抓取训练方法及系统 | |
| JP7097956B2 (ja) | ロボットの移動を管理するための装置、及び関連する処理ロボット | |
| Peng et al. | Autonomous recognition of multiple surgical instruments tips based on arrow OBB-YOLO network | |
| CN115556092A (zh) | 机器人智能指示穴位位置的方法及系统 | |
| WO2024027647A1 (zh) | 机器人控制方法、系统和计算机程序产品 | |
| JP4164737B2 (ja) | 物体認識装置及び方法並びにロボット装置 | |
| Chu et al. | The helping hand: An assistive manipulation framework using augmented reality and tongue-drive interfaces | |
| Shen et al. | Robot-to-human feedback and automatic object grasping using an RGB-D camera–projector system | |
| US20220414291A1 (en) | Device for Defining a Sequence of Movements in a Generic Model | |
| US20210145412A1 (en) | Assisted steering of intracardiac echocardiogram catheters | |
| Huang et al. | Automatic ultrasound scanning system based on robotic arm. | |
| WO2023030036A1 (zh) | 基于多摄像头的人体经络识别方法和装置及人体经络调理设备 | |
| Luo et al. | Human body trajectory generation using point cloud data for robotics massage applications | |
| US10832422B2 (en) | Alignment system for liver surgery | |
| Yin et al. | Collaborative robot-surgeon assistant | |
| Huang et al. | Robot-Assisted Autonomous Ultrasound Imaging for Carotid Artery | |
| US20220005199A1 (en) | Image segmentation with kinematic data in a robotic surgical system | |
| CN117398252B (zh) | 一种自动定位人体背部图像采集方法及按摩系统 | |
| KR102446345B1 (ko) | 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법, 장치 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |