CN113133832B - 一种双臂机器人穿刺系统标定方法及系统 - Google Patents

一种双臂机器人穿刺系统标定方法及系统 Download PDF

Info

Publication number
CN113133832B
CN113133832B CN202110324432.8A CN202110324432A CN113133832B CN 113133832 B CN113133832 B CN 113133832B CN 202110324432 A CN202110324432 A CN 202110324432A CN 113133832 B CN113133832 B CN 113133832B
Authority
CN
China
Prior art keywords
ultrasonic probe
parameter
ultrasonic
arm robot
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110324432.8A
Other languages
English (en)
Other versions
CN113133832A (zh
Inventor
熊璟
李强云
夏泽洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110324432.8A priority Critical patent/CN113133832B/zh
Publication of CN113133832A publication Critical patent/CN113133832A/zh
Application granted granted Critical
Publication of CN113133832B publication Critical patent/CN113133832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3413Needle locating or guiding means guided by ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Abstract

本申请涉及一种双臂机器人穿刺系统标定方法及系统。包括:对双臂机器人穿刺系统进行运动学分析,得到所述双臂机器人穿刺系统的待标定参数;使用多点法对穿刺针的第一初始参数进行标定,并对所述穿刺针的针尖进行双平面超声成像,根据双平面超声成像对所述超声探头的第二初始参数进行标定;利用所述超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用所述S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,并通过轨迹拟合对所述第一平移参数、第二平移参数和旋转参数进行标定。本申请实施例能够高效地对双臂机器人穿刺系统的穿刺针和经直肠超声探头同时进行标定,且无需采用第三方跟踪设备。

Description

一种双臂机器人穿刺系统标定方法及系统
技术领域
本申请属于医学图像处理技术领域,特别涉及一种双臂机器人穿刺系统标定方法及系统。
背景技术
近年来,随着机器人技术和医学图像处理技术的高速发展,使得影像引导的机器人在医学领域取得了优秀的成果。特别是具有多自由度末端的双臂机器人穿刺系统,该系统不仅能分开控制超声探头与穿刺针,实现在狭小的手术空间内灵活地控制入针角度与姿态;而且能提供三维影像,实现高精度的影像定位与良好的视觉效果。
目前,多自由度末端的双臂机器人穿刺系统标定方案主要包括:
一、采用定位传感器和标定模板进行标定。该方法在机器人的左右末端法兰分别安装定位传感器,通过机器人手眼标定,完成定位传感器的标定;然后控制机器人以不同的姿态让超声探头扫描标定模板,通过定位传感器建立超声图像和标定模板之间的坐标变换等式,通过解最小二乘问题,得到超声图像坐标系至定位传感器坐标系间的坐标变换矩阵。
二、使用机器人操作和平面校准装置的超声探头标定方法。该方法通过使用机器人操作超声探头扫描平面校准装置,进而建立超声图像和对应平面校准装置实际物理位置之间标定的方程式组合,然后采用方程式求解出超声图像坐标系到机器人操作器坐标系之间的坐标变换矩阵。
然而,综上所述的标定方法通常面向零自由度末端的双臂机器人穿刺系统进行设计,难以高效地完成对多自由度末端的双臂机器人穿刺系统进行标定。同时,现有标定方法常需要借助定位传感器、相机、模型等第三方跟踪设备,这些设备本身的定位和尺寸具有一定误差,且成本较高。
发明内容
本申请提供了一种双臂机器人穿刺系统标定方法及系统,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种双臂机器人穿刺系统标定方法,包括:
对双臂机器人穿刺系统进行运动学分析,得到所述双臂机器人穿刺系统的待标定参数;所述待标定参数包括穿刺针的第一初始参数、第一平移参数,以及超声探头的第二初始参数、第二平移参数和旋转参数;
使用多点法对所述穿刺针的第一初始参数进行标定,并对所述穿刺针的针尖进行双平面超声成像,根据所述双平面超声成像对所述超声探头的第二初始参数进行标定;
利用所述超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用所述S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,并通过轨迹拟合对所述第一平移参数、第二平移参数和旋转参数进行标定。
本申请实施例采取的技术方案还包括:所述对双臂机器人穿刺系统进行运动学分析包括:
对所述穿刺针进行运动学分析;所述穿刺针绕自身旋转不改变自身的位置,所述穿刺针的位置BP(dn)由其初始位置RP(0)和平移距离dn决定,所述穿刺针的运动学等式为:
BP(dn)=BTR·RP(dn)
RP(dn)=RP(0)+vn·dn
上式中,BTR为{R}到{B}的齐次坐标变换矩阵,{R}表示双臂机器人右臂的末端法兰坐标系,{B}为双臂机器人的基坐标系;RP(dn)为穿刺针平移dn时,其针尖在{R}中的坐标;vn为穿刺针平移时在{R}中的单位方向向量,即第一平移参数。
本申请实施例采取的技术方案还包括:所述对双臂机器人穿刺系统进行运动学分析包括:
对所述超声探头进行运动学分析;所述超声探头绕自身旋转时,其位置由其旋转角度θ决定;所述超声探头平移时,其位置由平移距离dp决定;所述超声探头的运动学等式为:
BP(dp/θ)=BTL·LTST(dp/θ)·STP
Figure BDA0002994019750000031
Figure BDA0002994019750000032
n=n(0)+dp·vp
c=c(0)+dp·vp
上式中,BTL为{L}到{B}的齐次坐标变换矩阵,{L}表示双臂机器人左臂的末端法兰坐标系;BP(dp/θ)为超声探头平移dp或旋转θ时,超声探头在{B}中的位置向量。LTST(dp/θ)为LTs(dp/θ)和LTT(dp/θ)组成的集合,为超声探头平移dp或旋转θ时,{S}或{T}到{L}的齐次坐标变换矩阵;{S}和{T}分别对应超声探头的S平面超声图像坐标系和T平面超声图像坐标系;STP为SP和TP组成的集合,表示S平面超声图像或T平面超声图像中的像素坐标;R(n,θ)为坐标系绕轴n旋转θ角度时,坐标系的旋转变换矩阵;n和c分别为超声探头旋转平面的法向量和旋转中心坐标;n(0)和C(0)分别为超声探头处于初始位置时,在{L}中旋转平面的单位法向量和旋转中心坐标,即旋转参数;vp为超声探头在{L}中平移的单位方向向量,即第二平移参数。
本申请实施例采取的技术方案还包括:所述使用多点法对所述穿刺针的第一初始参数进行标定具体为:
将所述穿刺针复位至初始位置;
控制所述双臂机器人以不同的姿态让针尖碰一个固定参考点,记录所述双臂机器人不同姿态下的参数BTR(i)
基于所述参数BTR(i),对下述等式解最小二乘,得到所述穿刺针的第一初始参数RP(0):
BTR(i-1)·RP(0)=BTR(i)·RP(0),i=1...n
本申请实施例采取的技术方案还包括:所述根据所述双平面超声成像对所述超声探头的第二初始参数进行标定具体为:
将所述穿刺针和超声探头复位至初始位置;
控制所述双臂机器人以不同的姿态让所述超声探头扫描标定好的针尖,记录所述双臂机器人不同姿态下的参数(BTL(i),BTR(i));
基于所述参数(BTL(i),BTR(i)),对下述等式解最小二乘,得到所述超声探头的第二初始参数LTST(0,0):
Figure BDA0002994019750000051
本申请实施例采取的技术方案还包括:所述对所述第一平移参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让所述S平面能够扫描到针尖;
保持所述双臂机器人姿态不变,并控制电机,使所述穿刺针开始平移,并保存不同平移距离下的S平面超声图像;
基于所述S平面超声图像,根据下述等式,求得所述针尖在{ER}下平移的轨迹点坐标RP(i),对所述轨迹点做三维空间中的直线拟合,得到所述穿刺针的第一平移参数vn
RP(i)=BT-1 R·BTL·LTS(0,0)·SP(i)
本申请实施例采取的技术方案还包括:所述对所述第二平移参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让S平面能扫描到针尖;
保持所述双臂机器人姿态不变,控制电机,使所述超声探头开始平移,并保存不同平移距离下的S平面超声图像;
基于所述S平面超声图像,根据下述等式,求得所述超声探头在{EL}下平移轨迹点的坐标向量LP(i),对所述轨迹点做三维空间中的直线拟合,求得所述超声探头的第二平移参数vp
LP(i)=LTS(0,0)·SP(i)
本申请实施例采取的技术方案还包括:所述对所述旋转参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让T平面与穿刺针相交;
保持所述双臂机器人姿态不变,控制电机,使所述超声探头开始旋转,并保存不同旋转角度下的T平面超声图像;
基于所述T平面超声图像,根据下述等式,求得所述超声探头在{L}下旋转轨迹点的坐标向量LP(i),对所述轨迹点做三维空间中的圆拟合,得到所述超声探头的旋转参数(n(0),c(0)):
LP(i)=LTT(0,0)·TP(i)
本申请实施例采取的另一技术方案为:一种双臂机器人穿刺系统标定系统,包括:
运动学分析模块:用于对双臂机器人穿刺系统进行运动学分析,得到所述双臂机器人穿刺系统的待标定参数,所述待标定参数包括穿刺针的第一初始参数、第一平移参数、以及超声探头的第二初始参数、第二平移参数和旋转参数;
第一参数标定模块:用于使用多点法对所述穿刺针的第一初始参数进行标定,并对所述穿刺针的针尖进行双平面超声成像,根据所述双平面超声成像对所述超声探头的第二初始参数进行标定;
第二参数标定模块:用于利用所述超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用所述S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,并通过轨迹拟合对所述第一平移参数、第二平移参数和旋转参数进行标定。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的双臂机器人穿刺系统标定方法及系统利用双臂机器人高精度定位性能和经直肠超声探头能够提供两个垂直超声平面的特点,对多自由度的超声探头和多自由度针管进行运动学分析,得到穿刺针和超声探头的待标定参数,并基于经直肠超声探头提供的两个垂直超声平面同时实现对穿刺针和经直肠超声探头的参数标定,使得穿刺针管标定和超声探头标定成为一个闭环,能够高效地对双臂机器人穿刺系统的穿刺针和经直肠超声探头同时进行标定,且无需采用第三方跟踪设备,有利于节约成本。
附图说明
图1是本申请实施例的双臂机器人穿刺系统标定方法的流程图;
图2为具有多自由度末端的双臂机器人穿刺系统的结构示意图;
图3为经直肠超声探头的几何模型示意图;
图4为本申请实施例的双臂机器人穿刺系统的坐标系设置示意图;
图5为本申请实施例的双臂机器人穿刺系统的待标定参数标定框架图;
图6为本申请实施例的双臂机器人穿刺系统标定系统结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
针对现有技术的不足,本申请实施例的双臂机器人穿刺系统标定方法在不利用第三方跟踪设备的情况下,利用双臂机器人高精度定位性能和经直肠超声探头能够提供两个垂直超声平面的特点,建立了一种基于双平面超声图像的标定方法,对多自由度的超声探头和多自由度针管进行运动学分析,根据超声探头和穿刺针的不同运动状态,将待标定参数分为初始参数和运动参数,然后基于双平面超声图像完成初始参数和运动参数的标定。
具体地,请参阅图1,是本申请实施例的双臂机器人穿刺系统标定方法的流程图。本申请实施例的双臂机器人穿刺系统标定方法包括以下步骤:
S10:对双臂机器人穿刺系统进行运动学分析,得到双臂机器人穿刺系统的待标定参数,将待标定参数划分为初始参数和运动参数;
本步骤中,请一并参阅图2,为双臂机器人穿刺系统的结构示意图。其包括一个双臂机器人、一台带有经直肠超声探头的超声仪以及两个末端执行器;其中,两个末端执行器分别安装在双臂机器人的左右臂的末端法兰上,右臂末端执行器装配有穿刺针,穿刺针可绕自身平移和旋转。左臂末端执行器装配有经直肠超声探头,经直肠超声探头可绕自身平移和旋转。每个末端执行器都设有初始位置,每次运动由初始位置开始,操作完成后再复位至初始位置。经直肠超声探头的几何模型如图3所示,它提供了两个相互垂直的S平面和T平面。
进一步地,请参阅图4,为双臂机器人穿刺系统的坐标系设置示意图,其中,{L}和{R}分别表示左、右臂的末端法兰坐标系;{S}和{T}分别对应经直肠超声探头提供的S平面超声图像坐标系和T平面超声图像坐标系;{B}为双臂机器人的基坐标系(即整个系统的世界坐标系)。本申请实施例中,对双臂机器人穿刺系统进行的运动学分析包括穿刺针的运动学分析和超声探头的运动学分析两个部分,具体包括:
S11:对穿刺针进行运动学分析,得到穿刺针的待标定参数;穿刺针的待标定参数包括第一初始参数RP(0)和第一平移参数vn
穿刺针绕自身旋转不改变自身的位置,穿刺针的位置(BP(dn))由其初始位置(RP(0))和平移距离(dn)决定。其运动学等式如下:
BP(dn)=BTR·RP(dn) (1)
RP(dn)=RP(0)+vn·dn (2)
式(1)、(2)中,BTR为{R}到{B}的齐次坐标变换矩阵,由机器人操作系统(ROS)提供;RP(dn)为穿刺针平移dn时,其针尖在{R}中的坐标;vn为穿刺针在{R}中平移时的单位方向向量,为待标定参数。
S12:对超声探头进行运动学分析,得到超声探头的待标定参数,超声探头的待标定参数包括第二初始参数LTST(0,0)、第二平移参数vp和旋转参数(n(0),c(0));
当超声探头绕自身旋转时,超声探头的位置(BP(dp/θ))由初始位置和旋转角度(θ)决定;当超声探头平移时,超声探头的位置由初始位置和平移距离(dp)决定。其运动学等式如下:
BP(dp/θ)=BTL·TST(dp/θ)·STP
Figure BDA0002994019750000101
Figure BDA0002994019750000102
n=n(0)+dp·vp
c=c(0)+dp·vp (3)
式(3)中,BTL为{L}到{B}的齐次坐标变换矩阵,由ROS提供;LTST(dp/θ)为为LTs(dp/θ)和LTT(dp/θ)组成的集合,表示超声探头平移dp或旋转θ时,图像坐标系{S}或{T}到{L}的齐次坐标变换矩阵;STP为sP和TP组成的集合,表示S平面超声图像或T平面超声图像中的像素坐标;R(n,θ)为坐标系绕轴n旋转θ时,坐标系的旋转变换矩阵;n和c分别为超声探头旋转平面的法向量和旋转中心坐标;n(0)和C(0)分别为超声探头处于初始位置时,在{L}中旋转平面的单位法向量和旋转中心坐标,为待标定参数;vp为超声探头在{L}中平移的单位方向向量,为待标定参数。
根据上述运动学分析结果,得到的待标定参数包括穿第一初始参数、第一平移参数、第二初始参数、第二平移参数和旋转参数,其中,第一平移参数、第二平移参数以及旋转参数为运动参数,具体如下表1所示:
表1待标定参数分类
Figure BDA0002994019750000103
当超声探头和穿刺针都处于初始位置时,需求得第一初始参数RP(0)和第二初始参数LTST(0,0)才可进行运动学建模;当超声探头和穿刺针平移时,还需求得第一平移参数vn和第二平移参数vp才可进行平移时的运动学建模;当超声探头旋转时,还需求得旋转参数(n(0),c(0))才可进行旋转时的运动学建模。
S20:基于运动学分析结果,使用多点法对穿刺针的第一初始参数进行标定,并对穿刺针的针尖进行双平面超声成像,根据双平面超声成像对超声探头的第二初始参数进行标定;
本步骤中,第一初始参数和第二初始参数的标定过程具体如下:
穿刺针的第一初始参数RP(0)为穿刺针在初始位置时,针尖在{R}下的坐标。本申请实施例采用多点法对初始参数RP(0)进行标定,具体标定过程为:首先,让穿刺针复位至初始位置;然后控制机器人以不同的姿态让针尖去碰一个固定的参考点,记录下机器人不同姿态下的参数BTR(i);最后对下述等式解最小二乘,得到穿刺针的第一初始参数RP(0):
BTR(i-1)·RP(0)=BTR(i)·RP(0),i=1...n (4)
超声探头的第二初始参数LTST(0,0)是参数LTS(0,0)和LTT(0,0)的集合,为超声探头处于初始位置时,图像坐标系({S}和{T})到{L}的齐次坐标变换矩阵。本申请实施例采用针尖的双平面超声成像对第二初始参数LTST(0,0)进行标定。具体标定过程为:首先,让穿刺针和超声探头复位至初始位置;然后控制机器人以不同的姿态让超声探头扫描标定好的针尖,记录机器人不同姿态下的参数(BTL(i),BTR(i));最后,通过对下述等式解最小二乘,得到超声探头的第二初始参数LTST(0,0):
Figure BDA0002994019750000111
S30:利用双臂机器人穿刺系统的经直肠超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,通过轨迹拟合对双臂机器人穿刺系统的运动参数进行标定;
本步骤中,双臂机器人穿刺系统的待标定参数标定过程如图5所示,运动参数的标定过程具体包括:
第一平移参数vn为穿刺针在{R}下平移的单位方向向量。本申请实施例采用超声S平面跟踪穿刺针的平移轨迹,并通过三维空间的直接拟合对vn进行标定。具体标定过程为:首先,控制机器人,使穿刺针和超声探头接近平行,让S平面能扫描到针尖;然后,保持机器人姿态不变,并控制电机,使穿刺针开始平移,并保存不同平移距离下的S平面超声图像;最后,根据下述等式(6),求得穿刺针尖在{R}下平移的轨迹点,对轨迹点做三维空间中的直线拟合,得到穿刺针的第一平移参数vn
RP(i)=BT-1 R·BTL·LTS(0,0)·SP(i) (6)
第二平移参数vp为超声探头在{L}下平移的单位方向向量。本申请实施例采用超声S平面跟踪超声探头的平移轨迹,并通过三维空间的直接拟合对vp进行标定。具体标定过程为:首先,控制机器人,使穿刺针和超声探头接近平行,让S平面能扫描到针尖;然后,保持机器人姿态不变,控制电机,使超声探头开始平移,保存不同平移距离下的S平面超声图像;最后,根据下述等式(7),求得超声探头在{L}下平移轨迹点的坐标向量LP(i),对轨迹点做三维空间中的直线拟合,求得超声探头的第二平移参数vp
LP(i)=LTS(0,0)·SP(i) (7)
旋转参数(n(0),c(0))为超声探头旋转时,旋转平面的法向量和旋转中心坐标。本申请实施例采用T平面跟踪超声探头的旋转轨迹,然后通过三维空间的圆拟合,完成对旋转参数(n(0),c(0))的标定。具体标定过程为:首先,控制机器人,使穿刺针和超声探头接近平行,让T平面与针相交;然后,保持机器人姿态不变,控制电机,使超声探头开始旋转,并保存不同旋转角度下的T平面超声图像;最后,根据下述等式(8),求得超声探头在{L}下旋转轨迹点的坐标向量LP(i),对轨迹点做三维空间中的圆拟合,得到超声探头的旋转参数(n(0),c(0)):
LP(i)=LTT(0,0)·TP(i) (8)
本申请实施例的双臂机器人穿刺系统标定方法利用双臂机器人高精度定位性能和经直肠超声探头能够提供两个垂直超声平面的特点,对多自由度的超声探头和多自由度针管进行运动学分析,得到穿刺针和超声探头的待标定参数,并基于经直肠超声探头提供的两个垂直超声平面同时实现对穿刺针和经直肠超声探头的参数标定。本申请实施例融合了双臂机器人的机构和超声图像,使得穿刺针管标定和超声探头标定成为一个闭环,能够高效地对双臂机器人穿刺系统的穿刺针和经直肠超声探头同时进行标定,且无需采用第三方跟踪设备,有利于节约成本。
为了验证本申请实施例的可行性和有效性,以下实施例通过在已有的经直肠超声探头引导的双臂机器人穿刺系统上进行了实验测试。在整个系统完成标定后,通过超声探头对双臂机器人穿刺系统在不同的运动状态(初始状态、平移和旋转)下的针尖进行扫描。分别计算针管标定下的针尖坐标以及探头标定下的针尖坐标,以两者的距离为定位误差,实验得到的不同运动状态下的针尖定位误差均可达到1mm以内。实验结果表明,本申请实施例能够高效的对双臂机器人穿刺系统进行标定,且标定精度较高。
请参阅图6,为本申请实施例的双臂机器人穿刺系统标定系统结构示意图。本申请实施例的双臂机器人穿刺系统标定系统40包括:
运动学分析模块41:用于对双臂机器人穿刺系统进行运动学分析,得到双臂机器人穿刺系统的待标定参数,将待标定参数划分为初始参数和运动参数;
第一参数标定模块42:用于基于运动学分析结果,使用多点法对穿刺针的第一初始参数进行标定,并对穿刺针的针尖进行双平面超声成像,根据双平面超声成像对超声探头的第二初始参数进行标定;
第二参数标定模块43:用于利用双臂机器人穿刺系统的经直肠超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,通过轨迹拟合对双臂机器人穿刺系统的运动参数进行标定。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本申请所示的这些实施例,而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种双臂机器人穿刺系统标定方法,所述双臂机器人穿刺系统包括双臂机器人,其特征在于,所述双臂机器人穿刺系统标定方法包括:
对双臂机器人穿刺系统进行运动学分析,得到所述双臂机器人穿刺系统的待标定参数;所述待标定参数包括穿刺针的第一初始参数、第一平移参数,以及超声探头的第二初始参数、第二平移参数和旋转参数;
使用多点法对所述穿刺针的第一初始参数进行标定,并对所述穿刺针的针尖进行双平面超声成像,根据所述双平面超声成像对所述超声探头的第二初始参数进行标定;
利用所述超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用所述S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,并通过轨迹拟合对所述第一平移参数、第二平移参数和旋转参数进行标定。
2.根据权利要求1所述的双臂机器人穿刺系统标定方法,其特征在于,所述对双臂机器人穿刺系统进行运动学分析包括:
对所述穿刺针进行运动学分析;所述穿刺针绕自身旋转不改变自身的位置,所述穿刺针的位置BP(dn)由其初始位置RP(0)和平移距离dn决定,所述穿刺针的运动学等式为:
BP(dn)=BTR·RP(dn)
RP(dn)=RP(0)+vn·dn
上式中,BTR为{R}到{B}的齐次坐标变换矩阵,{R}表示双臂机器人右臂的末端法兰坐标系,{B}为双臂机器人的基坐标系;RP(dn)为穿刺针平移dn时,其针尖在{R}中的坐标;vn为穿刺针平移时在{R}中的单位方向向量,即第一平移参数。
3.根据权利要求2所述的双臂机器人穿刺系统标定方法,其特征在于,所述对双臂机器人穿刺系统进行运动学分析包括:
对所述超声探头进行运动学分析;所述超声探头绕自身旋转时,其位置由其旋转角度q决定;所述超声探头平移时,其位置由平移距离dp决定;所述超声探头的运动学等式为:
BP(dp/q)=BTL·LTST(dp/q)·STP
Figure FDA0003765640210000021
Figure FDA0003765640210000022
n=n(0)+dp·vp
c=c(0)+dp·vp
上式中,BTL为{L}到{B}的齐次坐标变换矩阵,{L}表示双臂机器人左臂的末端法兰坐标系;BP(dp/q)为超声探头平移dp或旋转q时,超声探头在{B}中的位置向量,LTST(dp/q)为LTS(dp/q)和LTT(dp/q)组成的集合,为超声探头平移dp或旋转q时,{S}或{T}到{L}的齐次坐标变换矩阵;{S}和{T}分别对应超声探头的S平面超声图像坐标系和T平面超声图像坐标系;STP为SP和TP组成的集合,表示S平面超声图像或T平面超声图像中的像素坐标;R(n,θ)为坐标系绕轴n旋转θ角度时,坐标系的旋转变换矩阵;n和c分别为超声探头旋转平面的法向量和旋转中心坐标;n(0)和C(0)分别为超声探头处于初始位置时,在{L}中旋转平面的单位法向量和旋转中心坐标,即旋转参数;vp为超声探头在{L}中平移的单位方向向量,即第二平移参数。
4.根据权利要求2所述的双臂机器人穿刺系统标定方法,其特征在于,所述使用多点法对所述穿刺针的第一初始参数进行标定具体为:
将所述穿刺针复位至初始位置;
控制所述双臂机器人以不同的姿态让针尖碰一个固定参考点,记录所述双臂机器人不同姿态下的参数BTR(i);
基于所述参数BTR(i),对下述等式解最小二乘,得到所述穿刺针的第一初始参数RP(0):
BTR(i-1)·RP(0)=BTR(i)·RP(0),i=1...n。
5.根据权利要求3所述的双臂机器人穿刺系统标定方法,其特征在于,所述根据所述双平面超声成像对所述超声探头的第二初始参数进行标定具体为:
将所述穿刺针和超声探头复位至初始位置;
控制所述双臂机器人以不同的姿态让所述超声探头扫描标定好的针尖,记录所述双臂机器人不同姿态下的参数(BTL(i),BTR(i));
基于所述参数(BTL(i),BTR(i)),对下述等式解最小二乘,得到所述超声探头的第二初始参数LTST(0,0):
Figure FDA0003765640210000031
6.根据权利要求5所述的双臂机器人穿刺系统标定方法,其特征在于,所述对所述第一平移参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让所述S平面能够扫描到针尖;
保持所述双臂机器人姿态不变,并控制电机,使所述穿刺针开始平移,并保存不同平移距离下的S平面超声图像;
基于所述S平面超声图像,根据下述等式,求得所述针尖在{R}下平移的轨迹点坐标RP(i),对所述针尖在{R}下平移的轨迹点做三维空间中的直线拟合,得到所述穿刺针的第一平移参数vn
RP(i)=BT-1 R·BTL·LTS(0,0)·SP(i)。
7.根据权利要求6所述的双臂机器人穿刺系统标定方法,其特征在于,所述对所述第二平移参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让S平面能扫描到针尖;
保持所述双臂机器人姿态不变,控制电机,使所述超声探头开始平移,并保存不同平移距离下的S平面超声图像;
基于所述S平面超声图像,根据下述等式,求得所述超声探头在{L}下平移轨迹点的坐标向量LP(i),对所述超声探头在{L}下平移的轨迹点做三维空间中的直线拟合,求得所述超声探头的第二平移参数vp
LP(i)=LTS(0,0)·SP(i)。
8.根据权利要求7所述的双臂机器人穿刺系统标定方法,其特征在于,所述对所述旋转参数进行标定包括:
控制所述双臂机器人,使所述穿刺针和超声探头接近平行,让T平面与穿刺针相交;
保持所述双臂机器人姿态不变,控制电机,使所述超声探头开始旋转,并保存不同旋转角度下的T平面超声图像;
基于所述T平面超声图像,根据下述等式,求得所述超声探头在{L}下旋转轨迹点的坐标向量LP(i),对所述超声探头在{L}下旋转的轨迹点做三维空间中的圆拟合,得到所述超声探头的旋转参数(n(0),c(0)):
LP(i)=LTT(0,0)·TP(i)。
9.一种双臂机器人穿刺系统标定系统,其特征在于,包括:
运动学分析模块:用于对双臂机器人穿刺系统进行运动学分析,得到所述双臂机器人穿刺系统的待标定参数,所述待标定参数包括穿刺针的第一初始参数、第一平移参数、以及超声探头的第二初始参数、第二平移参数和旋转参数;
第一参数标定模块:用于使用多点法对所述穿刺针的第一初始参数进行标定,并对所述穿刺针的针尖进行双平面超声成像,根据所述双平面超声成像对所述超声探头的第二初始参数进行标定;
第二参数标定模块:用于利用所述超声探头获取两个相互垂直的S平面超声图像和T平面超声图像,使用所述S平面超声图像和T平面超声图像分别跟踪超声探头和穿刺针的运动轨迹,并通过轨迹拟合对所述第一平移参数、第二平移参数和旋转参数进行标定。
CN202110324432.8A 2021-03-26 2021-03-26 一种双臂机器人穿刺系统标定方法及系统 Active CN113133832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110324432.8A CN113133832B (zh) 2021-03-26 2021-03-26 一种双臂机器人穿刺系统标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110324432.8A CN113133832B (zh) 2021-03-26 2021-03-26 一种双臂机器人穿刺系统标定方法及系统

Publications (2)

Publication Number Publication Date
CN113133832A CN113133832A (zh) 2021-07-20
CN113133832B true CN113133832B (zh) 2022-09-20

Family

ID=76810511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110324432.8A Active CN113133832B (zh) 2021-03-26 2021-03-26 一种双臂机器人穿刺系统标定方法及系统

Country Status (1)

Country Link
CN (1) CN113133832B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113413216B (zh) * 2021-07-30 2022-06-07 武汉大学 一种基于超声影像导航的双臂穿刺机器人
CN113749694B (zh) * 2021-10-11 2023-08-15 上海交通大学医学院附属第九人民医院 穿刺取活检及消融系统
CN114376610B (zh) * 2022-03-24 2022-06-10 北京智愈医疗科技有限公司 一种双平面超声图像规划方法和装置
CN114905548A (zh) * 2022-06-29 2022-08-16 武汉库柏特科技有限公司 一种双臂机器人基坐标系标定方法及其装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104161546A (zh) * 2014-09-05 2014-11-26 深圳先进技术研究院 基于可定位穿刺针的超声探头标定系统及方法
WO2015161297A1 (en) * 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
CN108814691A (zh) * 2018-06-27 2018-11-16 无锡祥生医疗科技股份有限公司 针的超声引导辅助装置及系统
WO2019019024A1 (zh) * 2017-07-25 2019-01-31 三爱医疗科技(深圳)有限公司 一种双平面超声引导的前列腺活检及粒子植入系统
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN208926538U (zh) * 2018-07-11 2019-06-04 深圳熙康医疗科技有限公司 一种穿刺手术系统
CN110200683A (zh) * 2019-07-03 2019-09-06 北京积水潭医院 超声引导下穿刺姿态监测方法及装置
CN111956329A (zh) * 2020-08-12 2020-11-20 中国科学院深圳先进技术研究院 一种双臂机器人标定方法、系统、终端以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104207801B (zh) * 2013-06-05 2016-08-24 上海工程技术大学 一种超声检测图像三维标定方法
CN112336420A (zh) * 2020-08-21 2021-02-09 徐鹏 粘贴式超声探头平面外穿刺导引架

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161297A1 (en) * 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
CN104161546A (zh) * 2014-09-05 2014-11-26 深圳先进技术研究院 基于可定位穿刺针的超声探头标定系统及方法
WO2019019024A1 (zh) * 2017-07-25 2019-01-31 三爱医疗科技(深圳)有限公司 一种双平面超声引导的前列腺活检及粒子植入系统
CN108814691A (zh) * 2018-06-27 2018-11-16 无锡祥生医疗科技股份有限公司 针的超声引导辅助装置及系统
CN208926538U (zh) * 2018-07-11 2019-06-04 深圳熙康医疗科技有限公司 一种穿刺手术系统
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN110200683A (zh) * 2019-07-03 2019-09-06 北京积水潭医院 超声引导下穿刺姿态监测方法及装置
CN111956329A (zh) * 2020-08-12 2020-11-20 中国科学院深圳先进技术研究院 一种双臂机器人标定方法、系统、终端以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MR 与 TRUS 图像辅助前列腺穿刺技术研究;王炜荣;《硕士学位论文》;20190118;全文 *

Also Published As

Publication number Publication date
CN113133832A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113133832B (zh) 一种双臂机器人穿刺系统标定方法及系统
CN110355754B (zh) 机器人手眼系统、控制方法、设备及存储介质
WO2022032964A1 (zh) 一种双臂机器人标定方法、系统、终端以及存储介质
JP4191080B2 (ja) 計測装置
US11247340B2 (en) Method and apparatus of non-contact tool center point calibration for a mechanical arm, and a mechanical arm system with said calibration function
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN113288429A (zh) 一种乳腺微创介入手术机器人空间配准与实时导航方法
JP4021413B2 (ja) 計測装置
WO2021196633A1 (zh) 一种穿刺手术机器人系统
CN111012506B (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
WO2022141153A1 (zh) 超声定位穿刺系统和存储介质
Zhang et al. Autonomous scanning for endomicroscopic mosaicing and 3D fusion
CN112754616B (zh) 超声定位穿刺系统和存储介质
JP2019502462A (ja) 画像ベースのロボット誘導
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
CN111759463A (zh) 一种提高手术机械臂定位精度的方法
US11786326B2 (en) Treatment apparatus
WO2022198615A1 (zh) 一种双臂机器人穿刺系统标定方法及系统
CN112743546B (zh) 机器人手眼标定位姿选择方法、装置、机器人系统及介质
CN114452004B (zh) 一种手术机器人末端位置和姿态的控制方法
CN114310873A (zh) 位姿转换模型的生成方法、控制方法、系统、设备和介质
CN114391958A (zh) 一种机械臂有效工作空间计算方法及其控制方法
CN114589682A (zh) 一种机器人手眼自动标定的迭代方法
Vicentini et al. High-accuracy hand-eye calibration from motion on manifolds
Yoshida et al. Image plane positioning by pneumatic actuators for ultrasound guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant