CN117653336A - 入针点误差确定方法、系统和手术机器人 - Google Patents
入针点误差确定方法、系统和手术机器人 Download PDFInfo
- Publication number
- CN117653336A CN117653336A CN202211045663.6A CN202211045663A CN117653336A CN 117653336 A CN117653336 A CN 117653336A CN 202211045663 A CN202211045663 A CN 202211045663A CN 117653336 A CN117653336 A CN 117653336A
- Authority
- CN
- China
- Prior art keywords
- needle
- point
- distance
- needle track
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003780 insertion Methods 0.000 title claims abstract description 224
- 230000037431 insertion Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims description 56
- 238000012790 confirmation Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请涉及一种入针点误差确定方法、系统和手术机器人。所述方法包括:获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。采用本方法能够提高机械臂的入针点误差确定的准确性。
Description
技术领域
本申请涉及机器人技术领域,特别是涉及一种入针点误差确定方法、系统和手术机器人。
背景技术
神经外科手术机器人在注册完毕后,通常会进行注册验证,在注册验证过程中,可以基于事先通过CT(Computed Tomography,计算机断层扫描)设备对目标对象进行拍摄的三维医学影像,在三维医学影像对应的医学影像坐标系下,根据三维医学影像中显示的目标入针点和靶点,确定机械臂末端应该到达的点,并将该点的坐标位置定义为第一坐标位置。
通过注册可以计算出医学影像坐标系与机械臂基座坐标系之间的转换矩阵,根据转换矩阵确定第一坐标位置在机械臂基座坐标系下的第二坐标位置。在机械臂基座坐标系下,控制机械臂末端运动至第二坐标位置,机械臂末端到达第二坐标位置后,可以在机械臂末端固定导向器,使穿刺针通过导向器的通道进行运动。
若注册精度非常高,则转换矩阵能够很好地反映医学影像坐标系与机械臂基座坐标系之间的转换关系,则穿刺针到达目标对象表面的点应该与目标入针点相一致;若注册精度较低,则计算出的转换矩阵并不准确,则会导致穿刺针实际到达目标对象表面的点与目标入针点之间存在一定距离,该距离即为入针点误差。
现有技术中,可以通过使用直尺等测量工具,以人工的方式来测量入针点误差。然而,此种方式容易受到操作者主观因素的影响,导致入针点误差测量不准确。而且,在长期使用的情况下,可能会导致穿刺针变形,进一步影响入针点误差测量的准确性。
因此,目前的入针点误差确定技术存在准确性不高的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高准确性的机械臂的入针点误差确定方法、系统、装置、计算机设备、计算机可读存储介质和手术机器人。
第一方面,本申请提供了一种机械臂的入针点误差确定方法。所述方法包括:
获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
在其中一个实施例中,在获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像之前,还包括:
基于所述目标入针点在所述目标对象的医学影像中的位置,以及所述目标对象的靶点在所述医学影像中的位置,在所述医学影像中确定验证点的位置;
基于所述机械臂的注册矩阵,以及所述验证点在所述医学影像中的位置,确定所述验证点在所述机械臂所在环境中的位置;
控制所述机械臂的末端运动至所述验证点在所述环境中的位置。
在其中一个实施例中,所述方法还包括:
若所述针道图像不包含所述目标入针点,则确定所述针道图像中针道的中心点与所述针道的边缘线之间的第二像素距离;
根据所述映射关系,确定与所述拍摄距离和所述第二像素距离相对应的第二物理距离,并判定所述入针点误差大于所述第二物理距离。
在其中一个实施例中,所述方法还包括:
展示所述针道图像;
接收针对于所述针道图像的第一确认消息或第二确认消息;所述第一确认消息用于表示所述针道图像包含所述目标入针点,所述第二确认消息用于表示所述针道图像不包含所述目标入针点。
在其中一个实施例中,在接收到所述第二确认消息的情况下,所述方法还包括:
展示所述针道图像中的至少一个候选入针点;
响应于针对所述至少一个候选入针点的选择操作,确定所述针道图像中的目标入针点。
在其中一个实施例中,在获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像之前,还包括:
获取激光模块从所述针道向所述目标对象发射激光,所生成的激光点;
若所述激光点与所述目标入针点之间的距离小于预设阈值,则执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤。
在其中一个实施例中,所述获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离,包括:
获取所述激光模块与所述激光点之间的激光测距距离;
根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
第二方面,本申请还提供了一种机械臂的入针点误差确定系统。所述系统包括器械适配器和控制器;所述器械适配器上设置有摄像模块;
所述摄像模块,用于朝向所述器械适配器的针道对目标对象进行拍摄,得到针道图像,并将所述针道图像发送至所述控制器;
所述控制器,用于获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
在其中一个实施例中,所述器械适配器上设置有激光模块;所述激光模块,用于从所述针道向所述目标对象发射激光,以生成激光点。
在其中一个实施例中,所述控制器还用于基于触发指令,执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤;其中,所述触发指令为所述激光点与所述目标入针点之间的距离小于预设阈值时所生成。
在其中一个实施例中,所述激光模块,还用于确定所述激光模块与所述激光点之间的激光测距距离,并发送所述激光测距距离至所述控制器;
所述控制器,还用于接收所述激光测距距离,根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
第三方面,本申请还提供了一种手术机器人。所述手术机器人包括机械臂以及上述实施例所述的机械臂的入针点误差确定系统。
第四方面,本申请还提供了一种机械臂的入针点误差确定装置。所述装置包括:
获取模块,用于获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
计算模块,用于若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
确定模块,用于根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
第五方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
第六方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
上述机械臂的入针点误差确定方法、系统、装置、计算机设备、存储介质和手术机器人,通过获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离,若针道图像包含目标入针点,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离,根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差;可以在拍摄到的针道图像中包含目标入针点时,将图像中针道的中心点作为实际入针点,计算实际入针点与目标入针点之间的像素距离,再根据像素距离与物理距离之间的映射关系,将像素距离转换为物理距离,得到实际入针点与目标入针点之间的实际误差距离,由于无需使用穿刺针,也无需人工测量,因此可以提高入针点误差确定的准确性。
附图说明
图1为一个实施例中机械臂的入针点误差确定方法的应用环境图;
图2为一个实施例中机械臂的入针点误差确定方法的流程示意图;
图3为一个实施例中针道图像获取的示意图;
图4为一个实施例中基于针道图像确定入针点误差的示意图;
图5为另一个实施例中机械臂的入针点误差确定方法的流程示意图;
图6为一个实施例中机械臂的入针点误差确定系统的结构框图;
图7为一个实施例中手术机器人的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的机械臂的入针点误差确定方法,可以应用于如图1所示的应用环境中。其中,器械适配器120上设置有摄像模块130,摄像模块130通过有线链路或者无线链路与控制器140进行通信。其中,器械适配器120可以但不限于是神经外科手术器械的适配器,摄像模块130可以但不限于是各种光学摄像头、数码摄像头、光学相机和数码相机,控制器140可以为终端或者服务器。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等,便携式可穿戴设备可为智能手表、智能手环、头戴设备等,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种机械臂的入针点误差确定方法,以该方法应用于图1中的控制器140为例进行说明,包括以下步骤:
步骤S210,获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离。
其中,器械适配器可以安装在手术机器人机械臂的末端,器械适配器上可以固定有针,还可以在器械适配器上设置针道,针在针道内运行。
其中,目标对象可以为入针操作的对象,例如,可以为人体头部。
其中,拍摄距离可以为针道图像的拍摄距离。
具体实现中,可以在器械适配器上安装摄像模块,摄像模块可以朝向针道对目标对象进行拍摄,将拍摄得到的针道图像发送给控制器,使控制器获取到针道图像。还可以针对摄像模块朝向器械适配器的针道对目标对象进行拍摄,得到针道图像,测量针道图像的拍摄距离,将拍摄距离发送给控制器,使控制器获取到拍摄距离。
步骤S220,若针道图像包含目标入针点,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离。
其中,目标入针点可以为在目标对象上期望入针的位置。
其中,像素距离可以为间隔的像素个数。
具体实现中,可以检测拍摄到的针道图像中是否存在目标入针点,若不存在目标入针点,则表示实际入针点与目标入针点之间的距离,即入针点误差,大于针道半径,此时,无法定量确定入针点误差;否则,若针道图像中存在目标入针点,则可以将针道图像中针道的中心点看作是即将执行的入针操作的实际入针点,通过计算针道中心点与目标入针点之间的像素距离,得到实际入针点与目标入针点之间的像素距离。
步骤S230,根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差。
其中,第一物理距离可以为针道中心点与目标入针点之间的实际距离。
具体实现中,可以预先设置映射关系d2=f(d1,dp),其中,dp表示针道图像中的像素距离,d1表示摄像模块与目标入针点之间的实际距离,可以看作是摄像模块朝向器械适配器的针道对目标对象进行拍摄的实际拍摄距离,d2表示像素距离dp所对应的实际距离。在获取针道图像的拍摄距离,以及确定针道中心点与目标入针点之间的第一像素距离后,可以使得拍摄距离为d1,第一像素距离为dp,根据映射关系d2=f(d1,dp),确定第一像素距离dp对应的第一物理距离d2。由于可以将针道的中心点看作是即将执行的入针操作的实际入针点,因此可以将第一物理距离作为实际入针点与目标入针点之间的实际距离,即机械臂的入针点误差。
实际应用中,可以先对摄像模块进行标定,例如,可以根据焦距和原点对摄像模块进行标定,然后可以利用标定好的摄像模块,在不同的拍摄距离处对目标物体进行拍摄,根据得到的图像,建立不同拍摄距离时,像素距离与实际距离之间的对应关系,例如,可以利用相似三角形原理来确定像素距离与实际距离之间的对应关系,得到实际距离=像素距离×拍摄距离/像素距离参数,其中,像素距离参数可以是与拍摄距离相对应的像素距离。在获取针道图像的拍摄距离,以及确定针道图像中针道中心点与目标入针点之间的第一像素距离后,可以根据像素距离与实际距离之间的对应关系,确定在该拍摄距离下,第一像素距离对应的第一物理距离,将针道中心点与目标入针点之间的像素距离转换为实际距离,将该实际距离作为机械臂的入针点误差。
图3提供了一个针道图像获取的示意图。根据图3,可以预先在目标对象上设置目标入针点,注册完毕后,进行注册验证,提示用户更换注册验证专用器械适配器120,器械适配器120顶端可以安装有轮盘,轮盘上设置有激光模块和摄像模块,器械适配器120更换好后可以将轮盘调整至激光模块,并将器械适配器120运动至验证姿态,例如,可以使机械臂末端运动至验证点,使得器械适配器120上的针道朝向目标入针点,开启激光模块开关,激光通过器械适配器120上的针道照射到目标对象上,形成激光点,用户可以通过将激光点的位置与目标入针点的位置相比对,主观确定入针点误差,例如,可以估算激光点位置与目标入针点位置之间的距离,得到入针点误差;还可以使用激光模块进行激光测距,得到激光点与激光模块原点之间的距离。之后,将轮盘调整至摄像模块,使摄像模块朝向器械适配器120上的针道,对目标对象进行拍摄,根据拍摄得到的针道图像对入针点误差进行客观评估,在客观评估过程中,可以将激光点与激光模块原点之间的距离,作为针道图像的拍摄距离DistA。
图4提供了一个基于针道图像确定入针点误差的示意图。根据图4,针道可以为圆孔,则针道图像中的针道为圆形,圆心为针道中心点,圆心至针道边缘线的距离为针道半径,从针道图像中可以确定针道半径的像素个数为rp,并获取针道图像的拍摄距离DistA,根据映射关系d2=f(d1,dp),得到针道半径DistB=f(DistA,rp)。摄像模块可以将针道图像发送至操控台,用户可以在操控台对针道图像进行确认,若用户确认针道图像中不存在目标入针点,则表示入针点误差大于针道半径DistB,可以在操控台显示当前误差大于DistB,建议重新注册;否则,若用户确认针道图像中存在目标入针点,确定目标入针点与针道中心点之间的像素距离dp,并获取针道图像的拍摄距离DistA,根据映射关系d2=f(d1,dp),得到入针点误差DistC=f(DistA,dp)。
上述机械臂的入针点误差确定方法,通过获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离,若针道图像包含目标入针点,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离,根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差;可以在拍摄到的针道图像中包含目标入针点时,将图像中针道的中心点作为实际入针点,计算实际入针点与目标入针点之间的像素距离,再根据像素距离与物理距离之间的映射关系,将像素距离转换为物理距离,得到实际入针点与目标入针点之间的实际误差距离,由于无需使用穿刺针,也无需人工测量,因此可以提高入针点误差确定的准确性。
在一个实施例中,上述步骤S210之前,具体还可以包括:基于目标入针点在目标对象的医学影像中的位置,以及目标对象的靶点在医学影像中的位置,在医学影像中确定验证点的位置;基于机械臂的注册矩阵,以及验证点在医学影像中的位置,确定验证点在机械臂所在环境中的位置;控制机械臂的末端运动至验证点在环境中的位置。
其中,医学影像可以为目标对象的三维影像。
其中,靶点可以为针对目标对象进行入针操作,所期望到达的目标对象内部的点。
其中,验证点可以为期望机械臂末端到达的点。
其中,注册矩阵可以为医学影像坐标系与机械臂基座坐标系之间的转换矩阵。
具体实现中,控制器可以在目标对象的三维医学影像中,确定靶点坐标位置和目标入针点坐标位置,在靶点坐标位置与目标入针点坐标位置之间连线的延长线上,确定验证点坐标位置,根据医学影像坐标系与机械臂基座坐标系之间的转换矩阵,将验证点坐标位置由医学影像坐标系转换至机械臂基座坐标系,得到验证点在机械臂基座坐标系下的坐标位置,之后可以在机械臂基座坐标系下,控制机械臂末端运动至验证点的坐标位置。
例如,根据图3,在目标对象的医学影像中确定靶点和目标入针点,将靶点连线至目标入针点,并将连线延长至验证点,将验证点在医学影像中的坐标位置转换至机械臂基座坐标系下的坐标位置,在确定入针点误差之前,可以在机械臂基座坐标系下,将机械臂末端运动至验证点所在的位置。其中,可以预先设置目标入针点与验证点之间的距离,根据该距离确定验证点的位置,也可以在靶点至目标入针点连线的延长线上通过人工调节来确定验证点的位置,本申请实施例对此不作限制。
本实施例中,通过基于目标入针点在目标对象的医学影像中的位置,以及目标对象的靶点在医学影像中的位置,在医学影像中确定验证点的位置,基于机械臂的注册矩阵,以及验证点在医学影像中的位置,确定验证点在机械臂所在环境中的位置,控制机械臂的末端运动至验证点在环境中的位置,可以使机械臂末端尽量对准目标入针点,入针点误差尽量小,增加机器人执行入针操作的精确性。
在一个实施例中,上述步骤S210之后,还可以包括:若针道图像不包含目标入针点,则确定针道图像中针道的中心点与针道的边缘线之间的第二像素距离;根据映射关系,确定与拍摄距离和第二像素距离相对应的第二物理距离,并判定入针点误差大于第二物理距离。
其中,第二物理距离可以为针道中心点与针道边缘线之间的实际距离。
具体实现中,控制器可以确定针道图像中针道中心点与针道边缘线之间的像素距离rp,并获取针道图像的拍摄距离DistA,根据预先设置的映射关系得到第二物理距离DistB=f(DistA,rp)。控制器还可以检测针道图像中是否存在目标入针点,若检测到不存在目标入针点,则表示实际入针点与目标入针点之间的距离将会超过第二物理距离,判定入针点误差大于第二物理距离。
例如,根据图4,控制器识别到针道图像中的针道半径为5像素,并确定DistA=10cm,根据映射关系可以得到实际针道半径DistB=f(10cm,5像素)=0.01cm。若检测到针道图像中不存在目标入针点,则可以判定入针点误差大于0.01cm。
本实施例中,通过在针道图像不包含目标入针点的情况下,确定针道图像中针道的中心点与针道的边缘线之间的第二像素距离;根据映射关系,确定与拍摄距离和第二像素距离相对应的第二物理距离,并判定入针点误差大于第二物理距离,可以在入针点误差较大,摄像头视野范围内看不到目标入针点时,快速定量地确定入针点误差,提高入针点误差确定的效率。
在一个实施例中,上述步骤S210之后,还可以包括:展示针道图像;接收针对于入针道图像的第一确认消息或第二确认消息;第一确认消息用于表示针道图像包含目标入针点,第二确认消息用于表示针道图像不包含目标入针点。
具体实现中,还可以人工检测针道图像中是否存在目标入针点。控制器可以对针道图像进行展示,用户对展示的针道图像进行识别,若识别到针道图像中包含目标入针点,则向控制器输入第一确认消息,若识别到针道图像中不包含目标入针点,则向控制器输入第二确认消息。
本实施例中,通过展示针道图像,接收针对于针道图像的第一确认消息或第二确认消息,可以通过人机交互来确定针道图像中是否存在目标入针点,提高对是否存在目标入针点的判断的准确性。
在一个实施例中,在接收到第二确认消息的情况下,还可以包括:展示针道图像中的至少一个候选入针点;响应于针对至少一个候选入针点的选择操作,确定针道图像中的目标入针点。
其中,候选入针点可以为待进行验证的目标入针点。
具体实现中,控制器若接收到第二确认消息,则表示针道图像中包含目标入针点,控制器可以对针道图像中的至少一个候选入针点进行展示,用户可以从至少一个候选入针点中选择一个目标候选入针点,对目标候选入针点执行选择操作,将其确定为目标入针点。
例如,当用户判定针道图像中包含目标入针点时,向控制器输入第二确认消息,控制器在接收到第二确认消息时,可以对针道图像中的全体候选入针点A、B、C、D、E进行展示,用户从中选取目标入针点A,控制器将针对目标入针点A计算入针点误差。
本实施例中,通过展示针道图像中的至少一个候选入针点,响应于针对至少一个候选入针点的选择操作,确定针道图像中的目标入针点,可以通过人机交互来确定需要进行误差确定的目标入针点,进一步提高入针点误差确定的准确性。
在一个实施例中,上述步骤S210之前,还可以包括:获取激光模块从针道向目标对象发射激光,所生成的激光点;若激光点与目标入针点之间的距离小于预设阈值,则执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定机械臂的入针点误差的步骤。
其中,激光模块可以但不限于是各种激光发射器。激光模块可以通过有线或者无线链路与控制器进行通信。
具体实现中,可以在器械适配器上安装激光模块,激光模块可以从器械适配器的针道向目标对象发射激光,在目标对象上生成激光点,控制器可以采集激光点的位置,并将激光点的位置与目标入针点的位置相比较,若激光点与目标入针点之间的距离大于或等于预设阈值,则表示入针点误差较大,需要重新进行注册;否则,若激光点与目标入针点之间的距离小于预设阈值,则执行本申请上述实施例的机械臂的入针点误差确定方法,由于机械臂的入针点误差确定方法在前述实施例中已经详细叙述,在此不再赘述。
实际应用中,可以在器械适配器顶端安装轮盘,轮盘上设置有激光模块和摄像模块,将轮盘调整至激光模块,并将器械适配器运动至验证姿态,例如,可以使机械臂末端运动至验证点,且器械适配器上的针道朝向目标入针点,开启激光模块开关,激光通过针道照射到目标对象上,在目标对象上形成激光点,控制器可以识别激光点的位置和目标入针点的位置,根据识别到的位置计算激光点和目标入针点之间的实际距离,还可以人工测量激光点与目标入针点之间的实际距离,并将测量到的实际距离输入控制器,控制器可以将获取到的激光点与目标入针点之间的实际距离与预设阈值相比较,若在预设阈值以上,则表示入针点误差较大,需要重新注册;否则,若激光点与目标入针点之间的实际距离未超过预设阈值,则表示入针点误差不大,可以进一步通过摄像模块来确定入针点误差,此时可以将轮盘调整至摄像模块,控制器获取摄像模块朝向器械适配器的针道对目标对象进行拍摄所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离,若针道图像包含目标入针点,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离,根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差。
本实施例中,通过获取激光模块从针道向目标对象发射激光,所生成的激光点;若激光点与目标入针点之间的距离小于预设阈值,则执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定机械臂的入针点误差的步骤,可以在使用摄像模块确定入针点误差之前,使用激光模块进行预判,在入针点误差不大的情况下,进一步使用摄像模块确定入针点误差,提高了入针点误差确定的效率。
在一个实施例中,上述步骤S210,可以具体包括:获取激光模块与激光点之间的激光测距距离;根据激光模块与所述摄像模块之间的位置关系,以及激光测距距离,确定摄像模块朝向针道对所述目标对象进行拍摄的拍摄距离。
其中,激光测距距离可以为激光模块原点与激光点之间的实际距离。
具体实现中,可以在器械适配器上先后分别安装激光模块和摄像模块,计算激光模块原点与摄像模块原点之间的空间位置关系,还可以使用器械适配器上的激光模块,从针道向目标对象发射激光,进行激光测距,得到激光模块原点与目标对象上激光点之间的实际距离,控制器可以获取到激光模块原点与摄像模块原点之间的空间位置关系,以及激光模块原点与激光点之间的实际距离,根据空间位置关系以及激光模块原点与激光点之间的实际距离,得到摄像模块朝向针道对所述目标对象进行拍摄的拍摄距离。
实际应用中,可以先将器械适配器上的轮盘调整至激光模块,获取激光模块原点的空间位置坐标,然后将轮盘调整至摄像模块,获取摄像模块原点的空间位置坐标,根据激光模块原点空间位置坐标与摄像模块原点空间位置坐标之间的相对位置,确定激光模块原点与摄像模块原点之间的空间位置关系;还可以将轮盘调整至激光模块,使激光模块从针道向目标对象上的目标入针点发射激光进行激光测距,得到激光模块原点与激光点之间的实际距离,根据空间位置关系对激光模块原点与激光点之间的实际距离进行调整,可以得到针道图像的拍摄距离。
本实施例中,通过获取激光模块与激光点之间的激光测距距离,根据激光模块与摄像模块之间的位置关系,以及激光测距距离,确定摄像模块朝向针道对所述目标对象进行拍摄的拍摄距离,使得能够高效、准确地确定摄像模块朝向针道对目标对象进行拍摄的拍摄距离,提高入针点误差确定的效率和准确率。
为了便于本领域技术人员深入理解本申请实施例,以下将结合一个具体示例进行说明。
为解决神经外科手术机器人的注册验证过程受操作者主观因素影响,以及穿刺针长期使用导致变形,进而引起误差值测量不准确的问题,可以在器械适配器顶端安装摄像模块或者激光模块,对准针道,形成新的注册验证专用末端工具。入针点误差确定方法,可以包括以下步骤:
1、出厂前,需对摄像模块做内参标定,获得摄像模块的畸变参数、焦距、原点坐标,以及像素距离和物理距离,根据上述参数建立不同拍摄距离时,像素距离与实际距离之间的对应关系;还可以针对分别安装至器械适配器顶端的摄像模块和激光模块,对摄像模块原点与激光模块原点之间的空间位置关系进行标定;
2、注册验证开始,提示用户更换注册验证专用器械适配器,并安装激光模块,然后运动到验证姿态,打开激光开关,激光通过小孔照射到头颅上,用户可以肉眼主观判断其误差大小程度;主观判断误差可接受后,通过激光模块测量激光点与激光模块原点之间的距离。然后更换摄像模块进行误差客观评估,此时目标入针点与摄像模块原点之间的距离可以根据激光模块原点与摄像模块原点之间的空间位置关系计算得出,记作拍摄距离;
3、通过圆孔,获取针道图像,根据像素距离与实际距离的对应关系和拍摄距离,可计算出针道中心点与针道边缘线之间的距离(圆孔半径),记作第二物理距离,第二物理距离也可以直接采用机械加工参数与相机内参作为已知数据;
4、将针道图像上传到Console(操作台)做显示,请用户确认针道图像中,是否存在目标入针点;若不存在,则入针点误差大于第二物理距离,并呈现给用户当前误差大于第二物理距离,建议重新注册;若存在,因担心孔内会出现多个目标入针点,请用户点选目标入针点,通过像素距离与实际距离的对应关系和拍摄距离,可计算出用户点击的目标入针点在针道图像中的位置与针道图像中心点之间的距离,记作第一物理距离,即为实际入针点误差值。
上述入针点误差确定方法,采用一个可安装激光模块和摄像模块的器械适配器,通过激光模块从器械适配器的针道向目标对象发射激光,基于在目标对象上形成的激光点,让用户可以肉眼看到该激光点与目标对象上的目标入针点之间的距离,也即入针点误差;同时,还可通过激光测距与摄像模块朝向器械适配器的针道对目标对象进行拍摄得到针道图像,在针道图像中存在目标入针点的情况下,基于针道图像中针道的中心点与目标入针点的像素距离,以及摄像模块与目标入针点的物理距离,计算入针点误差,并在针道图像中不存在目标入针点的情况下,判定入针点误差大于针道半径。通过该方法,使得工作流简单化,无需用户通过穿刺针接触入针点,不用担心针太短无法接触或者长期使用导致针变弯的问题,通过在图像上执行简单的点击操作即可计算入针点误差。
而且,联合使用激光模块和摄像模块,采用主观与客观相结合的评估方法,可以不受用户主观读数判断导致参考值不具备一致性的影响,同时也提供了优于传统穿刺针的激光照射主观评估法。
进一步地,现有技术中往往是通过直尺或人眼判断得到的入针点误差的预估值,该值软件并不知道,因此无法通过该预估值做一些决策或建议。通过图像计算得出的入针点误差,省去了直尺或目视估值的过程,同时软件内部知道该值,且可通过其给出用户一些操作建议,甚至通过多组入针点误差给出机械臂路径执行补偿建议。
在一个实施例中,如图5所示,提供了一种机械臂的入针点误差确定方法,以该方法应用于图1中的控制器140为例进行说明,包括以下步骤:
步骤S310,基于目标入针点在目标对象的医学影像中的位置,以及目标对象的靶点在医学影像中的位置,在医学影像中确定验证点的位置;基于机械臂的注册矩阵,以及验证点在医学影像中的位置,确定验证点在机械臂所在环境中的位置;控制机械臂的末端运动至验证点在环境中的位置;
步骤S320,获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离;
步骤S330,展示针道图像;接收针对于针道图像的第一确认消息或第二确认消息;
步骤S340,若接收到第一确认消息,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离;根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差;
步骤S350,若接收到第二确认消息,则确定针道图像中针道的中心点与针道的边缘线之间的第二像素距离;根据映射关系,确定与拍摄距离和第二像素距离相对应的第二物理距离,并判定入针点误差大于第二物理距离。
由于控制器的处理过程在前述实施例中已有详细说明,在此不再赘述。
上述机械臂的入针点误差确定方法,通过基于目标入针点在目标对象的医学影像中的位置,以及目标对象的靶点在医学影像中的位置,在医学影像中确定验证点的位置;基于机械臂的注册矩阵,以及验证点在医学影像中的位置,确定验证点在机械臂所在环境中的位置;控制机械臂的末端运动至验证点在环境中的位置;获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离;展示针道图像;接收针对于针道图像的第一确认消息或第二确认消息;若接收到第一确认消息,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离;根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差;若接收到第二确认消息,则确定针道图像中针道的中心点与针道的边缘线之间的第二像素距离;根据映射关系,确定与拍摄距离和第二像素距离相对应的第二物理距离,并判定入针点误差大于第二物理距离;可以通过使用户确认针道图像中是否存在目标入针点,针对不同的目标入针点情况来确定入针点误差,便于通过人机交互,进一步提高入针点误差确定的效率。而且,由于无需使用穿刺针,也无需人工测量,可以提高入针点误差确定的准确性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种机械臂的入针点误差确定系统400,包括器械适配器120和控制器140;所述器械适配器120上设置有摄像模块;
所述摄像模块,用于朝向所述器械适配器120的针道对目标对象进行拍摄,得到针道图像,并将所述针道图像发送至所述控制器140;
所述控制器140,用于获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
在一个实施例中,上述控制器140,还用于基于所述目标入针点在所述目标对象的医学影像中的位置,以及所述目标对象的靶点在所述医学影像中的位置,在所述医学影像中确定验证点的位置;基于所述机械臂的注册矩阵,以及所述验证点在所述医学影像中的位置,确定所述验证点在所述机械臂所在环境中的位置;控制所述机械臂的末端运动至所述验证点在所述环境中的位置。
在一个实施例中,上述控制器140,还用于若所述针道图像不包含所述目标入针点,则确定所述针道图像中针道的中心点与所述针道的边缘线之间的第二像素距离;根据所述映射关系,确定与所述拍摄距离和所述第二像素距离相对应的第二物理距离,并判定所述入针点误差大于所述第二物理距离。
在一个实施例中,上述控制器140,还用于展示所述针道图像;接收针对于所述针道图像的第一确认消息或第二确认消息;所述第一确认消息用于表示所述针道图像包含所述目标入针点,所述第二确认消息用于表示所述针道图像不包含所述目标入针点。
在一个实施例中,上述控制器140,还用于展示所述针道图像中的至少一个候选入针点;响应于针对所述至少一个候选入针点的选择操作,确定所述针道图像中的目标入针点。
在一个实施例中,上述器械适配器120上设置有激光模块;所述激光模块,用于从所述针道向所述目标对象发射激光,以生成激光点。
在一个实施例中,上述控制器140还用于基于触发指令,执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤;其中,所述触发指令为所述激光点与所述目标入针点之间的距离小于预设阈值时所生成。
在一个实施例中,上述激光模块,还用于确定所述激光模块与所述激光点之间的激光测距距离,并发送所述激光测距距离至所述控制器140;上述控制器140,还用于接收所述激光测距距离,根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
在一个实施例中,如图7所示,提供了一种手术机器人500,包括机械臂600和机械臂的入针点误差确定系统400,该机械臂的入针点误差确定系统400用于实现上述各方法实施例中的步骤。
上述机械臂的入针点误差确定系统和手术机器人,通过器械适配器上的摄像头模块朝向器械适配器的针道对目标对象进行拍摄,得到针道图像,并将针道图像发送至控制器,控制器获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取摄像模块朝向针道对目标对象进行拍摄的拍摄距离,若针道图像包含目标入针点,则确定针道图像中针道的中心点与目标入针点之间的第一像素距离,根据预设的映射关系,确定与拍摄距离和第一像素距离相对应的第一物理距离,并将第一物理距离确定为机械臂的入针点误差;可以在拍摄到的针道图像中包含目标入针点时,将图像中针道的中心点作为实际入针点,计算实际入针点与目标入针点之间的像素距离,再根据像素距离与物理距离之间的映射关系,将像素距离转换为物理距离,得到实际入针点与目标入针点之间的实际误差距离,由于无需使用穿刺针,也无需人工测量,因此可以提高入针点误差确定的准确性。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的机械臂的入针点误差确定方法的机械臂的入针点误差确定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个机械臂的入针点误差确定装置实施例中的具体限定可以参见上文中对于机械臂的入针点误差确定方法的限定,在此不再赘述。
在一个实施例中,提供了一种机械臂的入针点误差确定装置,包括:获取模块、计算模块和确定模块,其中:
获取模块,用于获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
计算模块,用于若所述针道图像包含所述目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
确定模块,用于根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
在一个实施例中,上述机械臂的入针点误差确定装置,还包括:
位置确定模块,用于基于所述目标入针点在所述目标对象的医学影像中的位置,以及所述目标对象的靶点在所述医学影像中的位置,在所述医学影像中确定验证点的位置;
位置转换模块,用于基于所述机械臂的注册矩阵,以及所述验证点在所述医学影像中的位置,确定所述验证点在所述机械臂所在环境中的位置;
运动控制模块,用于控制所述机械臂的末端运动至所述验证点在所述环境中的位置。
在一个实施例中,上述机械臂的入针点误差确定装置,还包括:
第二像素距离确定模块,用于若所述针道图像不包含所述目标入针点,则确定所述针道图像中针道的中心点与所述针道的边缘线之间的第二像素距离;
第二物理距离确定模块,用于根据所述映射关系,确定与所述拍摄距离和所述第二像素距离相对应的第二物理距离,并判定所述入针点误差大于所述第二物理距离。
在一个实施例中,上述机械臂的入针点误差确定装置,还包括:
针道图像展示模块,用于展示所述针道图像;
确认消息接收模块,用于接收针对于所述针道图像的第一确认消息或第二确认消息;所述第一确认消息用于表示所述针道图像包含所述目标入针点,所述第二确认消息用于表示所述针道图像不包含所述目标入针点。
在一个实施例中,上述机械臂的入针点误差确定装置,还包括:
候选入针点展示模块,用于展示所述针道图像中的至少一个候选入针点;
目标入针点确定模块,用于响应于针对所述至少一个候选入针点的选择操作,确定所述针道图像中的目标入针点。
在一个实施例中,上述机械臂的入针点误差确定装置,还包括:
激光点获取模块,用于获取激光模块从所述针道向所述目标对象发射激光,所生成的激光点;
距离判断模块,用于若所述激光点与所述目标入针点之间的距离小于预设阈值,则执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤。
在一个实施例中,上述获取模块,还用于获取所述激光模块与所述激光点之间的激光测距距离;根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
上述机械臂的入针点误差确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机械臂的入针点误差确定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (14)
1.一种机械臂的入针点误差确定方法,其特征在于,所述方法包括:
获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以及获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离;
若所述针道图像包含目标入针点,则确定所述针道图像中针道的中心点与所述目标入针点之间的第一像素距离;
根据预设的映射关系,确定与所述拍摄距离和所述第一像素距离相对应的第一物理距离,并将所述第一物理距离确定为所述机械臂的入针点误差。
2.根据权利要求1所述的方法,其特征在于,在获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像之前,还包括:
基于所述目标入针点在所述目标对象的医学影像中的位置,以及所述目标对象的靶点在所述医学影像中的位置,在所述医学影像中确定验证点的位置;
基于所述机械臂的注册矩阵,以及所述验证点在所述医学影像中的位置,确定所述验证点在所述机械臂所在环境中的位置;
控制所述机械臂的末端运动至所述验证点在所述环境中的位置。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述针道图像不包含所述目标入针点,则确定所述针道图像中针道的中心点与所述针道的边缘线之间的第二像素距离;
根据所述映射关系,确定与所述第一物理距离拍摄距离和所述第二像素距离相对应的第二物理距离,并判定所述入针点误差大于所述第二物理距离。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示所述针道图像;
接收针对于所述针道图像的第一确认消息或第二确认消息;所述第一确认消息用于表示所述针道图像包含所述目标入针点,所述第二确认消息用于表示所述针道图像不包含所述目标入针点。
5.根据权利要求4所述的方法,其特征在于,在接收到所述第二确认消息的情况下,所述方法还包括:
展示所述针道图像中的至少一个候选入针点;
响应于针对所述至少一个候选入针点的选择操作,确定所述针道图像中的目标入针点。
6.根据权利要求1所述的方法,其特征在于,在获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像之前,还包括:
获取激光模块从所述针道向所述目标对象发射激光,所生成的激光点;
若所述激光点与所述目标入针点之间的距离小于预设阈值,则执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤。
7.根据权利要求6所述的方法,其特征在于,所述获取所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离,包括:
获取所述激光模块与所述激光点之间的激光测距距离;
根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
8.一种机械臂的入针点误差确定系统,其特征在于,所述系统包括器械适配器和控制器;所述器械适配器上设置有摄像模块;
所述摄像模块,用于朝向所述器械适配器的针道对目标对象进行拍摄,得到针道图像,并将所述针道图像发送至所述控制器;
所述控制器,用于执行权利要求1至5中任一项所述的方法。
9.根据权利要求8所述的系统,其特征在于,所述器械适配器上设置有激光模块;
所述激光模块,用于从所述针道向所述目标对象发射激光,以生成激光点。
10.根据权利要求9所述的系统,其特征在于,所述控制器还用于基于触发指令,执行获取摄像模块朝向器械适配器的针道对目标对象进行拍摄,所得到的针道图像,以确定所述机械臂的入针点误差的步骤;其中,所述触发指令为所述激光点与所述目标入针点之间的距离小于预设阈值时所生成。
11.根据权利要求9所述的系统,其特征在于,所述激光模块,还用于确定所述激光模块与所述激光点之间的激光测距距离,并发送所述激光测距距离至所述控制器;
所述控制器,还用于接收所述激光测距距离,根据所述激光模块与所述摄像模块之间的位置关系,以及所述激光测距距离,确定所述摄像模块朝向所述针道对所述目标对象进行拍摄的拍摄距离。
12.一种手术机器人,其特征在于,所述手术机器人包括机械臂以及权利要求8至11中任一项所述的系统。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211045663.6A CN117653336A (zh) | 2022-08-30 | 2022-08-30 | 入针点误差确定方法、系统和手术机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211045663.6A CN117653336A (zh) | 2022-08-30 | 2022-08-30 | 入针点误差确定方法、系统和手术机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117653336A true CN117653336A (zh) | 2024-03-08 |
Family
ID=90084992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211045663.6A Pending CN117653336A (zh) | 2022-08-30 | 2022-08-30 | 入针点误差确定方法、系统和手术机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117653336A (zh) |
-
2022
- 2022-08-30 CN CN202211045663.6A patent/CN117653336A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110464463B (zh) | 手术器械尖端标定方法、装置、计算机设备和存储介质 | |
CN114469343B (zh) | 标定件、手术导航坐标系配准系统、方法、设备和介质 | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN106514651A (zh) | 测量装置以及校准方法 | |
CN112907727A (zh) | 相对变换矩阵的标定方法、装置及系统 | |
KR102082272B1 (ko) | 엑스선 장치의 캘리브레이션 방법 및 이를 위한 캘리브레이션 장치 | |
CN112729345B (zh) | 用于光学定位器精度检测的方法及装置 | |
TWI515455B (zh) | 星型探針量測校正系統及方法 | |
CN113840695B (zh) | 标定检验组件、机器人系统、检验方法和标定方法 | |
CN112635042B (zh) | 监护仪校准方法、装置、设备和存储介质 | |
CN117653336A (zh) | 入针点误差确定方法、系统和手术机器人 | |
CN116019562A (zh) | 机器人控制系统和方法 | |
KR20180046606A (ko) | 방사선 촬영 시스템에서 프로토콜을 재배열하기 위한 장치 및 방법 | |
CN115670660A (zh) | 标定方法、装置、手术机器人、电子设备及存储介质 | |
CN112743546B (zh) | 机器人手眼标定位姿选择方法、装置、机器人系统及介质 | |
CN114052915B (zh) | 手术机器人定位精度的测试方法、系统和模体 | |
EP3457353B1 (en) | Method and system for obtaining a true shape of objects in a medical image | |
CN114022612A (zh) | 模型构建方法、装置、计算机设备和存储介质 | |
CN102421367A (zh) | 医用图像显示装置及医用图像显示方法 | |
CN114211493B (zh) | 机械臂的远程控制系统和方法 | |
CN109805902A (zh) | 脉象感知位置的确定方法、装置、计算机设备及存储介质 | |
CN118021443A (zh) | 避障信息确定方法、装置、设备、系统和存储介质 | |
US11433542B2 (en) | Calibration detecting apparatus, method, and program | |
EP3971768A1 (en) | Detection of off-label use of a magnetic resonance imaging coil | |
US20230255695A1 (en) | Interventional medical device tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |