CN112107363A - 一种基于深度相机的超声溶脂机器人系统及辅助操作方法 - Google Patents

一种基于深度相机的超声溶脂机器人系统及辅助操作方法 Download PDF

Info

Publication number
CN112107363A
CN112107363A CN202010892660.0A CN202010892660A CN112107363A CN 112107363 A CN112107363 A CN 112107363A CN 202010892660 A CN202010892660 A CN 202010892660A CN 112107363 A CN112107363 A CN 112107363A
Authority
CN
China
Prior art keywords
image
identification code
depth camera
ultrasonic transducer
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010892660.0A
Other languages
English (en)
Other versions
CN112107363B (zh
Inventor
谢叻
严旻芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010892660.0A priority Critical patent/CN112107363B/zh
Publication of CN112107363A publication Critical patent/CN112107363A/zh
Application granted granted Critical
Publication of CN112107363B publication Critical patent/CN112107363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N7/02—Localised ultrasound hyperthermia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N2007/0004—Applications of ultrasound therapy
    • A61N2007/0008—Destruction of fat cells

Abstract

本发明提供一种基于深度相机的超声溶脂机器人系统，包括：机械臂，其上设置末端夹具，末端夹具用于安装超声换能器；标识码，设置于患者身上；图像获取单元，采用深度相机，用于扫描患者待治疗部位皮肤曲面，得到彩色和深度图像，该图像中包含标识码；图像获取单元在术中还实时识别标识码位置；图像处理单元接收图像获取单元的图像，用于控制末端夹具姿态；图像处理单元还将图像获取单元在术中实时识别的标识码位置与术前规划时的标识码位置进行对比并计算相对位移量，根据相对位移量对机械臂的路径进行实时调整，实现机械臂跟踪患者的功能。本发明还提供对应操作方法。本发明能够保证安全性，实现自动化，降低医生的劳动强度。

Description

一种基于深度相机的超声溶脂机器人系统及辅助操作方法
技术领域
本发明涉及医疗机器人技术领域，具体地，涉及一种基于深度相机的超声溶脂机器人系统及辅助操作方法。
背景技术
随着我国经济的不断发展，人民生活不断变得富足，导致越来越多的人体重超标。一方面肥胖严重影响人体形体美观，另一方面肥胖已成为高血压、糖尿病、冠心病等多种疾病的主要危险因素，严重威胁人的健康。于是各种消除脂肪减轻体重的方法应运而生，超声溶脂作为其中的一种，能选择性破坏脂肪细胞而不损伤其他正常组织，从而具有无创、安全的特点。但是医生在实施超声溶脂时，需要长时间握持超声换能器并以一定压力按压于患者皮肤表面，这就导致医生劳动强度大，肌肉、骨骼疲劳损伤的几率大。采用计算机视觉引导、机器人辅助的超声消融系统能在保证安全性的条件下自动、精准地完成超声溶脂，这样就能让医生从长时间的体力操作中解放出来。
随着机器人技术不断发展，机器人在医疗方面地应用也在不断深入，机器人辅助诊断、治疗渐渐成为国际医疗领域的研究热点。目前应用于临床最先进的机器人系统——达芬奇机器人手术系统，集成了外科医生控制台、床旁机械臂系统、成像系统等部分，能够完成泌尿外科、心胸外科、腹部外科等多个科室的微创手术。将机器人技术配合计算机图像技术应用于医疗领域，能够辅助医生实现更加精密、微创、安全的操作，能提高治疗的成功率。目前，将机器人技术应用于超声检测的尝试较多，有使用主从控制的方式，医生在控制台操纵主手来控制机器人从手运动，有的利用图像技术在术前规划路径从而控制机器人运动。但是与超声检测相比，超声消脂操作时间更长，这就要求机器人系统更加自动化，并且需要考虑患者在长时间治疗过程中发生位置变化时需要实时调整机器人路径的问题。
经对现有技术的检索，申请号为：201710772086.3，发明名称为：基于无创温度监测的聚焦超声溶脂系统，该发明公开一种聚焦超声溶脂系统，该发明虽然能提高治疗过程的安全性和有效性。但是其仍旧无法解决上述的技术问题。因此急需研发一种超声溶脂机器人系统。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度相机的超声溶脂机器人系统及辅助操作方法，利用计算机辅助医疗技术、计算机视觉技术以及机器人控制技术实现的自动超声溶脂系统针对超声溶脂这一特殊的临床需求，能够保证安全性，实现自动化，降低医生的劳动强度。
根据本发明的一个方面，提供一种基于深度相机的超声溶脂机器人系统，包括：
机械臂，其上设置末端夹具，所述末端夹具用于安装超声换能器；
标识码，设置于患者身上；
图像获取单元，用于扫描患者待治疗部位皮肤曲面，得到彩色和深度图像，该图像中包含所述标识码；所述图像获取单元在术中还实时识别标识码位置；
图像处理单元，接收所述图像获取单元的图像，在所述图像上选取的治疗区域中自动生成均匀点阵，该点阵为超声换能器需要到达的位置，同时利用深度信息求出皮肤表面各点的法向量，用于控制末端夹具姿态，从而控制所述超声换能器；所述图像处理单元还将所述图像获取单元在术中实时识别的标识码位置与术前规划时的标识码位置进行对比并计算相对位移量，根据所述相对位移量对所述机械臂的路径进行实时调整，实现所述机械臂跟踪患者的功能。
可选地，所述图像获取单元采用深度相机，作为机器人的视觉系统。
可选地，所述机械臂为多自由度机械臂，作为操作机器人。
可选地，所述末端夹具包括第一部件和第二部件，其中：第一部件带有法兰，能与机械臂末端的安装法兰连接；所述第一部件和第二部件内表面与所述超声换能器表面吻合，两者配合用于夹持所述超声换能器握持部位，从而使得超声换能器在治疗过程中能紧密贴合于人体皮肤表面。
根据本发明第二方面，提供一种基于深度相机的超声溶脂辅助操作方法，包括：
进行手眼标定，将相机坐标系与机械臂坐标系进行匹配；
由图像获取单元获取患者与标识码的彩色图像与深度图像，并传送回图像处理单元，在图像中选取待治疗区域，在待治疗区域内生成均匀点阵，这些点就是机器人末端需要到达的位置，求取患者皮肤表面法向来控制机器人末端姿态；
图像处理单元完成机器人运动路径的规划，实时调整机器人路径与末端姿态，使用图像获取单元实时扫描标识码位置，与术前规划的位置对比计算出转换矩阵，使用该转换矩阵调整机器人路径。
可选地，将一标识码固定于机械臂末端，使用深度相机读取标识码在相机坐标系下的三维坐标pc，同时获取标识码在机器人坐标系下的三维坐标pr，改变机器人末端位姿得到多组对应的Pc＝(pc1,pc2,…,pcn)和Pr＝(pr1,pr2,…,prn)；假设机器人坐标系到相机坐标系的转换矩阵为
Figure RE-GDA0002738781960000031
则有
Figure RE-GDA0002738781960000032
取
Figure RE-GDA0002738781960000033
Figure RE-GDA0002738781960000034
为Pr的伪逆矩阵，即可求得转换矩阵，完成手眼标定。
根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于深度相机的超声溶脂辅助操作方法。
根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行上述的基于深度相机的超声溶脂辅助操作方法。
与现有技术相比，本发明具有如下的有益效果：
针对目前超声溶脂操作时间长，劳动强度高，医生容易产生肌肉与骨骼疲劳损伤等问题，本发明上述系统和方法兼顾术前规划和术中操作两个部分，并且利用相机获得的深度信息来控制机器人末端位姿，加上术中实时对机器人的位姿进行调整，实时调整机器人路径，从而使得超声换能器在治疗过程中能紧密贴合于人体皮肤表面，保证治疗效果。
本发明上述系统的自动化程度高，安全性好，能将医生从长时间的体力操作中解放出来，降低医师肌肉、骨骼疲劳损伤发生的可能性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例的整体系统图；
图2为本发明一优选实施例的超声换能器装配图；
图3为本发明一优选实施例的末端夹具零件图；
图4为本发明一优选实施例的术前规划流程图；
图中：
机械臂1，深度相机2，末端夹具3，超声换能器4，标识码5，第一部件31，第二部件32，连接部件33，法兰34。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明一优选实施例的整体系统图。如图1所示，本实施例的基于深度相机的机器人辅助超声溶脂系统包括机械臂1，深度相机2，末端夹具3，超声换能器4，标识码5，当然，该系统还包括图像处理单元，该单元可以采用PC主机(未画出)，或者其他计算处理设备。具体的，机械臂1一端固定，另一端设置末端夹具3，末端夹具 3安装超声换能器4；标识码5设置于患者身上；深度相机2扫描患者待治疗部位皮肤曲面，得到彩色和深度图像，该图像中包含标识码5，同时，深度相机2在术中还实时识别标识码5位置；图像处理单元，接收深度相机2的图像，在图像上选取的治疗区域中自动生成均匀点阵，该点阵为超声换能器4需要到达的位置，同时利用深度信息求出皮肤表面各点的法向量，用于控制末端夹具3姿态，从而控制超声换能器4；图像处理单元还将深度相机2在术中实时识别的标识码位置与术前规划时的标识码位置进行对比并计算相对位移量，根据相对位移量对机械臂1的路径进行实时调整，实现机械臂跟踪患者的功能。
在部分优选实施例中，机械臂1为多自由度机械臂，作为操作机器人。末端夹具 3采用法兰，将超声换能器4夹持于机械臂1的末端。超声换能器1作为机器人的末端执行器。图像获取单元采用深度相机，作为机器人的视觉系统。
在机器人辅助医疗中，定位导航系统起着至关重要的作用，定位导航系统能定位机器人、医疗器材、患者在空间中的相对位置。目前定位导航系统大致可以分为光学导航与磁导航。光学导航与磁导航相比更加精准、迅速、稳定，更加适合机器人辅助超声溶脂。光学导航主要利用计算机视觉技术，使用各种相机，加上图像处理、识别、分割等算法，能让计算机识别或划分特定区域，进而实现为医生提供术中的图像引导，或机器人运动的精确控制。目前医疗机器人系统使用较多的光学导航系统主要有NDI公司的Polaris系统、ClaroNav公司的MicronTracker系统等，这些系统精度高，响应迅速，但是价格昂贵，操作复杂。本实施例中，深度相机2可以优选RealSense D435深度相机。为此本发明实施例中采用Intel公司的RealSense D435深度相机作为机器人的视觉系统，该深度相机体积小巧，精度高，成像稳定，并且价格低廉。RealSense还提供开发工具包，有良好的编程接口。RealSense D435 能同时获取彩色图像与深度图像，根据深度信息能够得到患者待治疗区域的曲面信息，据此可以规划机器人路径以及末端姿态。
图2为本发明一优选实施例的超声换能器装配图。参照图2所示，末端夹具3与超声换能器4按照图2所示装配，超声换能器4通过末端夹具3安装在机械臂1的末端。机械臂1末端设有安装法兰，用于与末端夹具3上的部件进行安装配合。
图3为本发明一优选实施例的末端夹具零件图。如图3所示，末端夹具由两部分构成，即第一部件31和第二部件32，第一部件31带有法兰，该法兰设置在第一部件31 的外表面，且连接部分与第一部件31的外表面平行，通过该法兰可以将末端夹具3安装在机械臂1末端的安装法兰上，第二部件32与第一部件31内表面与超声换能器表面吻合，夹持于超声换能器4握持部位。具体的，图3中，除了第一部件31带有法兰外，第一部件31和第二部件32其他结构相同，两者总体为长方形，长方形的一侧长边开设 C形缺口，其中两者的两个C形缺口相对设置，从而在第一部件31和第二部件32两者配合时形成一个用于容纳超声换能器4握持部位的空间，C形缺口的内侧形状与超声换能器的握持部位的形状完全匹配。同时，在第一部件31和第二部件32长方形的短边的两端部均设置有连接部件33，该连接部件33上设置有安装孔，在超声换能器4握持部位安装到位后，通过第一部件31和第二部件32两端的安装孔使用螺栓连接紧固，从而可以保证完全贴合超声换能器的握持部位。
当然，以上只是本发明的一优选实施例，在其他实施例中，第一部件31和第二部件32也可以是其他形状，末端夹具是依据超声换能器表面设计而成，具体的形状可以根据超声换能器的握持部位的形状进行设置，保证能完全贴合超声换能器的握持部位，进而保证夹具能牢固地固定超声换能器，使其在运动中不发生松动，保证运动精度。
在本发明另一实施例中，提供一种上述实施例系统的使用方法，具体的，在使用本发明上述实施例的系统前，需要进行手眼标定，将相机坐标系与机械臂坐标系进行匹配。将一标识码5固定于机械臂1末端，使用深度相机2读取标识码5在相机坐标系下的三维坐标pc，同时可以获取标识码5在机器人坐标系下的三维坐标pr，改变机器人末端位姿得到多组对应的Pc＝(pc1,pc2,…,pcn)和Pr＝(pr1,pr2,…,prn)。假设机器人坐标系到相机坐标系的转换矩阵为
Figure RE-GDA0002738781960000061
则有
Figure RE-GDA0002738781960000062
取
Figure RE-GDA0002738781960000063
(
Figure RE-GDA0002738781960000064
为Pr的伪逆矩阵)，即可求得转换矩阵，完成手眼标定。
本发明上述实施例的系统具体使用时，大致可分为术前规划和术中操作两部分。
图4为本发明一优选实施例的术前规划流程图，如图4所示，首先由深度相机2 获取患者与标识码的彩色图像与深度图像并传送回PC主机(图像处理单元)。医生在 PC上选取待治疗区域，然后会自动在待治疗区域内生成均匀点阵，这些点就是机器人末端需要到达的位置。为了使超声换能器在治疗时能够贴合患者皮肤表面，需要使超声换能器沿着患者皮肤表面法向下压，为此需要求取患者皮肤表面法向来控制机器人末端姿态。法向的求取使用最小二乘拟合平面的方法。
术中操作是一个全自动过程。术前规划完成后，机器人运动路径已经规划完成，但考虑超声溶脂是一个长时间的过程，患者在术中总会发生移动，为此需要实时调整机器人路径与末端姿态。使用深度相机2实时扫描标识码位置，与术前规划的位置对比计算出转换矩阵，使用该转换矩阵调整机器人路径。这样机器人就能根据患者的移动实时自动地调整运动，用于辅助完成整个过程。
在本发明另一实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项实施例的基于深度相机的超声溶脂辅助操作方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
在本发明另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的基于深度相机的超声溶脂辅助操作方法。
可选地，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。
本发明上述实施例的基于深度相机的机器人辅助超声溶脂系统、方法及设备等，通过术前规划和术中操作两个部分实现了安全、自动的超声溶脂操作，术前规划由医生选取治疗区域，由系统规划机器人运动路径，术中操作则依靠系统实时调整机器人运动路径。整个操作由机器人自动完成，减少了医生的劳动强度。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种基于深度相机的超声溶脂机器人系统，其特征在于，包括：
机械臂，其上设置末端夹具，所述末端夹具用于安装超声换能器；
标识码，设置于患者身上；
图像获取单元，采用深度相机，用于扫描患者待治疗部位皮肤曲面，得到彩色和深度图像，该图像中包含所述标识码；所述图像获取单元在术中还实时识别标识码位置；
图像处理单元，接收所述图像获取单元的图像，在所述图像上选取的治疗区域中自动生成均匀点阵，该点阵为超声换能器需要到达的位置，同时利用深度信息求出皮肤表面各点的法向量，用于控制末端夹具姿态，从而控制所述超声换能器；所述图像处理单元还将所述图像获取单元在术中实时识别的标识码位置与术前规划时的标识码位置进行对比并计算相对位移量，根据所述相对位移量对所述机械臂的路径进行实时调整，实现所述机械臂跟踪患者的功能。
2.根据权利要求1所述的基于深度相机的超声溶脂机器人系统，其特征在于，所述机械臂为多自由度机械臂。
3.根据权利要求1所述的基于深度相机的超声溶脂机器人系统，其特征在于，所述末端夹具依据超声换能器表面设计而成，能完全贴合超声换能器的握持部位，进而保证末端夹具能牢固地固定所述超声换能器。
4.根据权利要求1所述的基于深度相机的超声溶脂机器人系统，其特征在于，所述末端夹具包括第一部件和第二部件，其中：第一部件带有法兰，能与机械臂末端的安装法兰连接；所述第一部件和第二部件内表面与所述超声换能器表面吻合，两者配合用于夹持所述超声换能器握持部位。
5.一种基于深度相机的超声溶脂辅助操作方法，其特征在于，包括：
进行手眼标定，将相机坐标系与机械臂坐标系进行匹配；
由深度相机获取患者与标识码的彩色图像与深度图像，并传送回图像处理单元；
图像处理单元在图像中的待治疗区域内生成均匀点阵，该点阵为超声换能器需要到达的位置；所述图像处理单元还将所述深度相机在术中实时识别的标识码位置与术前规划时的标识码位置进行对比并计算相对位移量，根据所述相对位移量对所述机械臂的路径进行实时调整，实现所述机械臂跟踪患者的功能。
6.根据权利要求5所述的基于深度相机的超声溶脂辅助操作方法，其特征在于，所述进行手眼标定，将相机坐标系与机械臂坐标系进行匹配，包括：
将一标识码固定于机械臂末端，使用深度相机读取标识码在相机坐标系下的三维坐标pc，同时获取标识码在机器人坐标系下的三维坐标pr，改变机器人末端位姿得到多组对应的Pc＝(pc1,pc2,…,pcn)和pr＝(pr1,pr2,…,prn)；假设机器人坐标系到相机坐标系的转换矩阵为
Figure FDA0002657450260000021
则有
Figure FDA0002657450260000022
取
Figure FDA0002657450260000023
Figure FDA0002657450260000024
为Pr的伪逆矩阵，即可求得转换矩阵，完成手眼标定。
7.根据权利要求5所述的基于深度相机的超声溶脂辅助操作方法，其特征在于，为了使超声换能器在治疗时能够贴合患者皮肤表面，需要使超声换能器沿着患者皮肤表面法向下压，为此利用深度信息求出皮肤表面各点的法向量，求取患者皮肤表面法向来控制机器人末端夹具姿态。
8.根据权利要求7所述的基于深度相机的超声溶脂辅助操作方法，其特征在于，所述求取患者皮肤表面法向，其中法向的求取使用最小二乘拟合平面的方法。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求5-8任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求5-8任一所述的方法。
CN202010892660.0A 2020-08-31 2020-08-31 一种基于深度相机的超声溶脂机器人系统及辅助操作方法 Active CN112107363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892660.0A CN112107363B (zh) 2020-08-31 2020-08-31 一种基于深度相机的超声溶脂机器人系统及辅助操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892660.0A CN112107363B (zh) 2020-08-31 2020-08-31 一种基于深度相机的超声溶脂机器人系统及辅助操作方法

Publications (2)

Publication Number Publication Date
CN112107363A true CN112107363A (zh) 2020-12-22
CN112107363B CN112107363B (zh) 2022-08-02

Family

ID=73805069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892660.0A Active CN112107363B (zh) 2020-08-31 2020-08-31 一种基于深度相机的超声溶脂机器人系统及辅助操作方法

Country Status (1)

Country Link
CN (1) CN112107363B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103235A (zh) * 2021-04-20 2021-07-13 亿嘉和科技股份有限公司 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN114631892A (zh) * 2022-03-15 2022-06-17 哈尔滨工业大学 一种自动诊断治疗智能型皮肤病医疗机器人系统
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116549116A (zh) * 2023-07-10 2023-08-08 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN117398122A (zh) * 2023-09-07 2024-01-16 深圳高性能医疗器械国家研究院有限公司 一种超声诊疗设备及控制方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984601A (zh) * 2003-12-30 2007-06-20 利普索尼克斯股份有限公司 用于去除脂肪组织的系统和方法
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN101549190A (zh) * 2009-02-25 2009-10-07 北京汇福康医疗技术有限公司 一种用于超声减脂设备的波源承载装置
CN201631935U (zh) * 2009-12-18 2010-11-17 北京汇福康医疗技术有限公司 超声波换能器驱动装置、控制系统及超声波减脂塑形机
CN202236920U (zh) * 2011-10-09 2012-05-30 北京汇福康医疗技术有限公司 利用超声减脂换能器的治疗装置
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US20180061036A1 (en) * 2016-08-24 2018-03-01 Varian Medical Systems, Inc. System and method for determining position and orientation of depth cameras
CN108290053A (zh) * 2015-08-10 2018-07-17 福斯移动有限公司 图像引导的聚焦超声治疗设备和瞄准装置
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
CN208464999U (zh) * 2017-08-31 2019-02-05 中国科学院苏州生物医学工程技术研究所 基于无创温度监测的聚焦超声溶脂系统
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
US20190380792A1 (en) * 2018-06-19 2019-12-19 Tornier, Inc. Virtual guidance for orthopedic surgical procedures
CN209847231U (zh) * 2019-02-27 2019-12-27 王朝红 一种b超探头支架
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质
CN111449680A (zh) * 2020-01-14 2020-07-28 深圳大学 一种超声扫描路径的优化方法及超声设备
CN211934106U (zh) * 2020-02-21 2020-11-17 常州市第二人民医院 一种超声探头表面压力检测装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984601A (zh) * 2003-12-30 2007-06-20 利普索尼克斯股份有限公司 用于去除脂肪组织的系统和方法
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN101549190A (zh) * 2009-02-25 2009-10-07 北京汇福康医疗技术有限公司 一种用于超声减脂设备的波源承载装置
CN201631935U (zh) * 2009-12-18 2010-11-17 北京汇福康医疗技术有限公司 超声波换能器驱动装置、控制系统及超声波减脂塑形机
CN202236920U (zh) * 2011-10-09 2012-05-30 北京汇福康医疗技术有限公司 利用超声减脂换能器的治疗装置
CN108290053A (zh) * 2015-08-10 2018-07-17 福斯移动有限公司 图像引导的聚焦超声治疗设备和瞄准装置
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US20180061036A1 (en) * 2016-08-24 2018-03-01 Varian Medical Systems, Inc. System and method for determining position and orientation of depth cameras
CN208464999U (zh) * 2017-08-31 2019-02-05 中国科学院苏州生物医学工程技术研究所 基于无创温度监测的聚焦超声溶脂系统
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
US20190380792A1 (en) * 2018-06-19 2019-12-19 Tornier, Inc. Virtual guidance for orthopedic surgical procedures
CN209847231U (zh) * 2019-02-27 2019-12-27 王朝红 一种b超探头支架
CN110238845A (zh) * 2019-05-22 2019-09-17 湖南视比特机器人有限公司 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN110834333A (zh) * 2019-11-14 2020-02-25 中科新松有限公司 一种机器人手眼标定方法及存储介质
CN111449680A (zh) * 2020-01-14 2020-07-28 深圳大学 一种超声扫描路径的优化方法及超声设备
CN211934106U (zh) * 2020-02-21 2020-11-17 常州市第二人民医院 一种超声探头表面压力检测装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103235A (zh) * 2021-04-20 2021-07-13 亿嘉和科技股份有限公司 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN113103235B (zh) * 2021-04-20 2022-09-27 亿嘉和科技股份有限公司 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN114631892A (zh) * 2022-03-15 2022-06-17 哈尔滨工业大学 一种自动诊断治疗智能型皮肤病医疗机器人系统
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116549116A (zh) * 2023-07-10 2023-08-08 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN116549116B (zh) * 2023-07-10 2023-09-01 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN117398122A (zh) * 2023-09-07 2024-01-16 深圳高性能医疗器械国家研究院有限公司 一种超声诊疗设备及控制方法

Also Published As

Publication number Publication date
CN112107363B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN112107363B (zh) 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
Li et al. An overview of systems and techniques for autonomous robotic ultrasound acquisitions
US20220218305A1 (en) Systems and methods for determining clinical indications
Azizian et al. Visual servoing in medical robotics: a survey. Part I: endoscopic and direct vision imaging–techniques and applications
CN109077752B (zh) 移动机器臂
Preising et al. A literature review: robots in medicine
Suligoj et al. RobUSt–an autonomous robotic ultrasound system for medical imaging
CN111870344B (zh) 术前导航方法、系统及终端设备
CN109124835B (zh) 股骨头中心点的定位方法和系统
EP3381384A1 (en) A medical device having a reusable position sensor
CN114727847A (zh) 用于计算坐标系变换的系统和方法
Elek et al. Robotic platforms for ultrasound diagnostics and treatment
Zhang et al. Design and control of a bionic needle puncture robot
CN113954082B (zh) 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统
Li et al. Telerobotic control by virtual fixtures for surgical applications
US20230210603A1 (en) Systems and methods for enhancing imaging during surgical procedures
Mansouri et al. Feasibility of infrared tracking of beating heart motion for robotic assisted beating heart surgery
Huang et al. Robot-Assisted Deep Venous Thrombosis Ultrasound Examination Using Virtual Fixture
Zhou et al. Development and control of a robotic arm for percutaneous surgery
Huang et al. Robot-Assisted Autonomous Ultrasound Imaging for Carotid Artery
Fröhlich et al. Robot assisted internal mammary artery detection for coronary revascularisation surgery
Sadeghian et al. Robotic needle positioning based on ct-scan images: Constrained admittance realization
Deng et al. A Portable Robot-Assisted Device with Built-in Intelligence for Autonomous Ultrasound Acquisitions in Follow-Up Diagnosis
Lin et al. Trajectory tracking control of robotic transcranial magnetic stimulation
Mariani et al. High-Intensity Focused Ultrasound Surgery Based on KUKA Robot: A Computer-Assisted Platform for Noninvasive Surgical Treatments on Static and Moving Organs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant