CN113876433A - 机器人系统以及控制方法 - Google Patents
机器人系统以及控制方法 Download PDFInfo
- Publication number
- CN113876433A CN113876433A CN202110658339.0A CN202110658339A CN113876433A CN 113876433 A CN113876433 A CN 113876433A CN 202110658339 A CN202110658339 A CN 202110658339A CN 113876433 A CN113876433 A CN 113876433A
- Authority
- CN
- China
- Prior art keywords
- surgical tool
- tool base
- visual positioning
- tip
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 144
- 239000003550 marker Substances 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 7
- 239000011541 reaction mixture Substances 0.000 claims description 4
- 238000005481 NMR spectroscopy Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002594 fluoroscopy Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本公开涉及机器人技术领域,公开一种机器人系统以及控制方法。该机器人系统包括视觉定位设备、手术工具基座和手术工具,手术工具包括手术工具末端。该控制方法包括:获得由视觉定位设备获得的信息,信息包括关于设置在手术工具末端上的末端定位标识的信息,基于关于末端定位标识的信息,确定手术工具末端与视觉定位设备的相对位姿关系,基于手术工具末端与视觉定位设备的相对位姿关系以及手术工具基座与视觉定位设备的相对位姿关系,确定手术工具末端与手术工具基座的相对位姿关系,以及基于手术工具末端与手术工具基座的相对位姿关系,确定手术工具末端的当前位姿。以基于视觉反馈,控制手术工具精确运动到目标位置。
Description
技术领域
本公开涉及机器人技术领域,尤其涉及一种机器人系统以及控制方法。
背景技术
手术机器人是一个对精度要求和人机互动体验要求很高的设备,现有的手术机器人主要通过机械运动间的映射换算实现主控制手的遥操作运动控制。
现有的主从映射控制实现的遥操作会因为硬件的不可抗因素,比如螺杆间隙、驱动丝的变形以及数学模型和实际差异导致目标位置与理想位置会有一定差异,且此差异难以预测,尤其是针对柔性多构节臂体,其到位情况难以通过检查关节到位情况进行确认,因此这类产品的闭环控制具有较大的技术困难。
发明内容
在一些实施例中,本公开提供了一种用于机器人系统的控制方法,所述机器人系统包括视觉定位设备、手术工具基座和手术工具,所述手术工具包括手术工具末端,所述控制方法包括:获得由所述视觉定位设备获得的信息,所述信息包括关于设置在所述手术工具末端上的末端定位标识的信息;基于关于所述末端定位标识的信息,确定所述手术工具末端与所述视觉定位设备的相对位姿关系;基于所述手术工具末端与所述视觉定位设备的相对位姿关系以及所述手术工具基座与所述视觉定位设备的相对位姿关系,确定所述手术工具末端与所述手术工具基座的相对位姿关系;以及基于所述手术工具末端与所述手术工具基座的相对位姿关系,确定所述手术工具末端的当前位姿。
在一些实施例中,本公开提供了一种机器人系统,包括:视觉定位设备,用于拍摄图像;至少一个手术工具基座;至少一个手术工具,包括手术工具末端以及设置在所述手术工具末端上的末端定位标识;以及控制装置,所述控制装置被配置成用于执行如上述实施例所述的控制方法。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅示出本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本公开实施例的内容和这些附图获得其他的实施例。
图1示出根据本公开一些实施例的机器人系统的结构示意图;
图2示出根据本公开一些实施例的用于机器人系统的控制方法的流程图;
图3示出根据本公开一些实施例的用于确定手术工具基座和视觉定位设备的相对位姿关系的控制方法的流程图;
图4示出根据本公开一些实施例的辅助工具基座的辅助工具基座定位标识结构示意图;
图5示出根据本公开一些实施例的机器人系统的各坐标系的结构示意图。
具体实施方式
为使本公开解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本公开实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本公开示例性实施例,而不是全部的实施例。
在本公开的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。在本公开的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“耦合”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连;可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本公开中的具体含义。在本公开中,定义靠近操作者(例如医生)的一端为近端、近部或后端、后部,靠近手术患者的一端为远端、远部或前端、前部。本领域技术人员可以理解,本公开的实施例可以用于医疗器械或手术机器人,也可以用于其他非医疗装置。
在本公开中,术语“位置”指对象或对象的一部分在三维空间中的定位(例如,可使用笛卡尔X、Y和Z坐标方面的变化描述三个平移自由度,例如分别沿笛卡尔X轴、Y轴和Z轴的三个平移自由度)。在本公开中,术语“姿态”指对象或对象的一部分的旋转设置(例如三个旋转自由度,可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中,术语“位姿”指对象或对象的一部分的位置和姿态的组合,例如可使用以上提到的六个自由度中的六个参数来描述。
为了便于描述,可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系,这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
图1示出根据本公开一些实施例的机器人系统100的结构示意图。如图1所示,机器人系统100包括视觉定位设备10、手术工具基座20和至少一个手术工具30,手术工具30包括手术工具末端31。在一些实施例中,机器人系统100还可以包括控制装置40。控制装置40可以通过视觉定位设备10捕获手术工具30或手术工具基座20的视觉信息,基于捕获的视觉信息控制手术工具末端31运动。
在一些实施例中,手术工具基座20可以包括手术工具远端处的位置、鞘管、驱动传动机构或者驱动模组。应理解,手术工具远端处的位置可以包括位于手术工具臂体远端的且位姿不变的部分。在一些实施例中,手术工具30可以包括柔性手术工具臂体32和设置在位于柔性手术工具臂体32远端的手术工具末端31。应理解,手术工具末端31可以包括末端器械。在一些实施例中,柔性手术工具臂体32可以包括柔性连续体结构,例如,柔性多构节臂体。在一些实施例中,手术工具末端31上设有末端定位标识,可以用于对手术工具末端31进行定位。
在一些实施例中,视觉定位设备10包括但不限于摄像头,可以用于拍摄图像。例如可以拍摄设置在手术工具末端31上的末端定位标识的图像。在一些实施例中,机器人系统100可以通过检测识别所拍摄图像中的末端定位标识,以确定视觉定位设备10与末端定位标识所在物的位姿关系,例如视觉定位标识位于手术工具末端31的末端定位标识,以确定视觉定位设备10与手术工具末端31的位姿关系,以此为例。
本公开提供了一种可以用于机器人系统的控制方法。图2示出了根据本公开一些实施例的用于机器人系统(例如机器人系统100)的控制方法200的流程图。方法200可以由机器人系统100的控制装置(例如控制装置40)来执行。控制装置40配置在计算设备上。方法200可以由软件和/或硬件来实现。
如图2所示,在步骤201,获得由视觉定位设备获得的信息。在一些实施例中,信息可以包括关于设置在手术工具末端上的末端定位标识的信息。在一些实施例中,可以获得由视觉定位设备10拍摄的图像,图像可以包括设置在手术工具末端31上的末端定位标识的图像。例如,通过机器人系统100的控制装置40获取视觉定位设备10拍摄的图像。
在步骤203,基于关于末端定位标识的信息,确定手术工具末端与视觉定位设备的相对位姿关系。例如,可以通过识别图像中的末端定位标识,以确定末端定位标识与视觉定位设备10的相对位姿关系,从而确定手术工具末端31与视觉定位设备10的相对位姿关系。
在步骤205,基于手术工具末端与视觉定位设备的相对位姿关系以及手术工具基座与视觉定位设备的相对位姿关系,确定手术工具末端31与手术工具基座的相对位姿关系。应当理解,手术工具基座20的位姿不变,手术工具末端31或视觉定位设备10的位姿可以发生改变。通过视觉定位设备10作为中间转换,以确定手术工具末端31与手术工具基座20的相对位姿关系。
在一些实施例中,可以获得预先确定的手术工具基座与视觉定位设备的相对位姿关系,确定手术工具基座与视觉定位设备的相对位姿关系。例如,机器人系统100还可以包括视觉定位设备基座,视觉定位设备10设置于视觉定位设备基座上。手术工具基座20与视觉定位设备基座的位姿不变,且彼此之间的相对位姿关系可以预先确定。在一些实施例中,响应于视觉定位设备10与视觉定位设备基座相对位姿关系不变,基于视觉定位设备基座与手术工具基座20的相对位姿关系,确定手术工具基座20与视觉定位设备10的相对位姿关系。在一些实施例中,响应于视觉定位设备10与视觉定位设备基座相对位姿关系发生变化,基于视觉定位设备10与视觉定位设备基座的相对位姿关系以及视觉定位设备基座与手术工具基座20的相对位姿关系,确定手术工具基座20与视觉定位设备10的相对位姿关系。
在一些实施例中,可以基于设置在手术工具基座上的工具基座定位标识,确定手术工具基座与视觉定位设备的相对位姿关系。具体步骤可以参见后文如图3所示方法详述。
在步骤207,基于手术工具末端与手术工具基座的相对位姿关系,确定手术工具末端的当前位姿。在一些实施例中,由于手术工具基座20的位姿不变,可以通过手术工具末端31与手术工具基座20的相对位姿关系,确定手术工具末端31的当前位姿。
在一些实施例中,机器人系统100还可以包括视觉定位设备基座。手术工具末端与视觉定位设备的位置关系可以通过以下公式计算:
toolbaseptip=toolbaseRTrackerbase TrackerRTrackerbase T(Trackerptip-Trackerptoolbase)
式中,坐标系tip和Trackerbase分别为手术工具末端坐标系和视觉定位设备基座坐标系。toolbaseRTrackerbase和TrackerRTrackerbase分别为视觉定位设备基座与手术工具基座和视觉定位设备基座的相对姿态关系,Trackerptip和Trackerptoolbase分别为手术工具末端31、手术工具基座20与视觉定位设备10的相对位置关系。其中,
TrackerRtoolbase T=toolbaseRTrackerbase TrackerRTrackerbase T
其中,视觉定位设备10与视觉定位设备基座的关系可以基于其中间运动臂体的运动学控制算法数据获得,对于任一运动臂的运动控制有一套既定的运动学控制算法,该算法为运动臂设计之初已有的控制算法,不同的可控制运动臂具有其独有的控制算法以实现对运动臂的有效控制,是机器人领域的公知常识,因此视觉定位设备与视觉定位设备基座之间的相对位置关系的映射也必然可以基于既有的运动学控制算法获得,这类运动臂的运动学控制算法有很多方法可以表示和实现,常用的方法有DH参数法和指数积表示法,以此为例,不限于此。
应当理解,确定手术工具末端与视觉定位设备的位置关系、手术工具末端与手术工具基座的位置关系是示例性的而非限制性的,手术工具末端与视觉定位设备的姿态关系、手术工具末端与手术工具基座的姿态关系也可以类似的确定。
在一些实施例中,例如,手术工具末端31与手术工具基座20的位置关系可以通过以下公式计算:
toolbaseptip=TrackerRtoolbase T(Trackerptip-Trackerptoolbase)
式中,Trackerptoolbase和TrackerRtoolbase为手术工具基座与视觉定位设备的相对位置关系与相对姿态关系(或手术工具基座坐标系toolbase在视觉定位设备坐标系Trcaker的表达),Trackerptip为手术工具末端31与视觉定位设备10的相对位置关系(或手术工具末端坐标系tip在视觉定位设备坐标系Trcaker的表达),Tracker为视觉定位设备坐标系,tip为手术工具末端坐标系,toolbase为手术工具基座坐标系,可参考图5所示。
在一些实施例中,方法200还包括步骤209。在步骤209,判断手术工具末端的当前位姿与目标位姿的差值是否小于阈值。在一些实施例中,基于操作命令,确定手术工具末端的目标位姿。例如,操作命令可以包括由用户通过用户接口输入的命令或者存储在计算机上的指令。例如,用户接口可以包括但不限于按钮、键盘、触摸屏、话筒等装置。例如,目标位姿还可以从操作主手获得或者从控制界面输入获得。在一些实施例中,存储在计算机上的指令可以根据预设计算机模型确定,例如,预设计算机模型可以基于视觉定位设备、视觉定位设备基座、手术工具基座或手术工具末端之间的相对位姿关系,计算得到一个或多个指令。
在一些实施例中,方法200还包括步骤211。在步骤211,控制手术工具朝目标位姿运动。例如,响应于当前位姿与目标位姿的差值不小于阈值,控制手术工具朝目标位姿运动。应当理解,阈值可以是预先设定的值。基于差值不小于阈值,机器人系统100可以根据手术工具末端31的当前位姿和目标位姿,指令控制驱动模块,以驱动手术工具末端31朝目标位姿运动。例如,驱动模块可以包括一个或多个电机。可基于逆运动学算法,计算得到手术工具30的目标电机驱动值,以生成电机控制指令,通过网络发送至手术工具30的驱动模块。逆运动学算法可以基于运动臂已知的固定部分的位姿,求解运动臂的其他未知部分的位姿。驱动模块通过网络数据包接收到驱动量数据,通过数据传输总线发送至相应电机控制器驱动相应电机运动。重复循环执行上述方法200,直到手术工具30运动到目标位姿,以使手术工具末端31运动到目标位姿。在一些实施例中,数据传输总线可以包括但不限于采用CAN协议总线。在一些实施例中,手术工具30的驱动模块可以包括电机控制器,手术工具30与驱动模块耦连。应当理解,电机控制器可以采用EPOS控制器。
在一些实施例中,方法200还包括步骤213。在步骤213,控制手术工具停止运动。例如,可以响应于当前位姿与目标位姿的差值小于阈值,控制手术工具30停止运动。应当理解,当前位姿与目标位姿的差值小于阈值,表示手术工具30已运动到目标位姿。
本公开的一些实施例提供的控制方法,能基于视觉定位设备的视觉反馈,实现手术工具运动的闭环控制,以使手术工具精准运动到目标位置,尤其是不能通过检测关节到位情况的手术工具,例如柔性多构节臂体及类似结构的手术工具。
现有的手术机器人控制方式由于存在结构回差与模型误差,且误差难以预估,造成手术工具无法准确运动至目标位置。本公开的一些实施例提供的控制方法,通过对比手术工具末端的当前位置和目标位置进行逆运算的调整,可以对目标位置进行直观的、即时的以及可重复进行的二次调整,极大地提高了运动精度。
图3示出了根据本公开一些实施例的用于确定手术工具基座和视觉定位设备的相对位姿关系的控制方法300的流程图。方法300可以由机器人系统100的控制装置(例如控制装置40)来执行。控制装置40可以配置在计算设备上。方法300可以由软件和/或硬件来实现。
如图3所示,在步骤301,获取由视觉定位设备拍摄的图像。
在步骤303,判断所获取的信息是否包括关于设置在手术工具基座上的工具基座定位标识的信息。应当理解,手术工具基座20可以为柔性手术工具臂体31远端处的位置,手术工具基座20上设有工具基座定位标识。例如,通过机器人系统100的控制装置40获取视觉定位设备10拍摄的图像,以判断该图像是否包括设置在手术工具基座20上的基座定位标识。
在步骤305,基于关于工具基座定位标识的信息,确定手术工具基座与视觉定位设备的相对位姿关系。例如,可以通过视觉定位设备10识别工具基座定位标识,响应于所获取的图像包括工具基座定位标识,基于工具基座定位标识,以确定工具基座定位标识与视觉定位设备10的相对位姿关系,以确定手术工具基座20与视觉定位设备10的相对位姿关系。
在步骤307,基于关于辅助工具基座上的辅助工具基座定位标识的信息,确定辅助工具基座与视觉定位设备的相对位姿关系。例如,响应于图像不包括工具基座定位标识,基于辅助工具基座定位标识,确定辅助工具基座与视觉定位设备的相对位姿关系。图4示出根据本公开一些实施例的辅助工具基座的辅助工具基座定位标识结构示意图,图5示出根据本公开一些实施例的机器人系统的各坐标系的结构示意图。在一些实施例中,如图4和图5所示,机器人系统100还包括辅助工具基座50。应当理解,辅助工具基座50的位姿不变,与手术工具基座20具有确定相对位姿关系,例如具有已知对应转换关系。在一些实施例中,手术工具基座20与辅助工具基座50的相对位置关系和相对姿态关系分别为Mptoolbase和MRtoolbase(或手术工具基座坐标系toolbase在辅助工具基座坐标系M的表达),辅助工具基座50与视觉定位设备10的相对位置关系(或辅助工具基座坐标系M在视觉定位设备坐标系Trcaker的表达)为TrcakerpM。且视觉定位设备10所拍摄的图像能够包括设置在辅助工具基座50上的辅助工具基座定位标识。
在步骤309,基于辅助工具基座与手术工具基座的确定相对位姿关系以及辅助工具基座与视觉定位设备的相对位姿关系,确定手术工具基座与视觉定位设备的相对位姿关系。例如,响应于图像不包括工具基座定位标识,基于辅助工具基座定位标识,确定辅助工具基座50与视觉定位设备10的相对位姿关系。基于辅助工具基座50与手术工具基座20的确定相对位姿关系以及辅助工具基座50与视觉定位设备10的相对位姿关系,确定手术工具基座20与视觉定位设备10的相对位姿关系。通过辅助工具基座50作为中间转换,以确定手术工具基座20与视觉定位设备10的相对位姿关系。
在一些实施例中,末端定位标识、工具基座定位标识或辅助工具基座定位标识可以包括多个标记点,多个标记点之间至少形成彼此相交的第一线段和第二线段。
在一些实施例中,基于多个标记点之间的距离或者多个标记点与第一线段与第二线段的交点之间的距离,确定多个标记点与视觉定位设备的相对位置关系。基于多个标记点与视觉定位设备的相对位置关系,确定末端定位标识、工具基座定位标识或辅助工具基座定位标识与视觉定位设备的相对位置关系。以及基于第一线段和第二线段与视觉定位设备的相对姿态关系,确定末端定位标识、工具基座定位标识或辅助工具基座定位标识与视觉定位设备的相对姿态关系。
在一些实施例中,辅助工具基座定位标识可以包括多个标记点。如图4所示,多个标记点可以包括第一标记点1、第二标记点2、第三标记点3和第四标记点4。在一些实施例中,第一标记点和第三标记点形成第一线段13,第二标记点和第四标记点形成第二线段24。第一线段和第二线段的交点可以为辅助工具基座坐标系M的原点O。
在一些实施例中,辅助工具基座与视觉定位设备的相对位置关系由下式计算:
式中,Trcakerpi(i=1,2,3,4)为对应每个标记点与视觉定位设备的相对位置关系(例如Trcakerp1为第一标记点与视觉定位设备的相对位置关系(或第一标记点在视觉定位设备Trcaker坐标系下的表示),为3*1矩阵。其他标记点的位置可类比。L13为第一标记点与第三标记点之间的距离,L1O为第一标记点与第一线段和第二线段的交点O之间的距离,L13和L1O为已知信息。
在一些实施例中,辅助工具基座与视觉定位设备的相对姿态关系由下式计算:
式(2)中,向量归一化后记为和应当理解,TrcakerRM根据Trcakerpi(i=1,2,3,4)坐标信息,识别长边与短边,记长边向量为短边向量为向量归一化后记为和通过计算辅助工具基座的三轴,以确定辅助工具基座与视觉定位设备的相对姿态关系。
在一些实施例中,手术工具末端与辅助工具基座的位置关系可由以下公式计算:
Mptip=TrcakerRM T(Trcakerptip-TrcakerpM)
式中,Mptip为手术工具末端与辅助工具基座的位置关系(或手术工具末端坐标系tip在辅助工具基座坐标系M的表达),Trackerptip为手术工具末端与视觉定位设备的位置关系(或手术工具末端坐标系tip在视觉定位设备坐标系Trcaker的表达),TrcakerpM和TrcakerRM分别为辅助工具基座M与视觉定位设备的相对位置关系和相对姿态关系(或辅助工具基座坐标系M在视觉定位设备坐标系Trcaker的位置与姿态关系表示)。
在一些实施例中,根据辅助工具基座坐标系M与手术工具基座坐标系toolbase之间的关系,计算手术工具末端的当前位置可以由以下公式计算:
toolbaseptip=MRtoolbase T(Mptip-Mptoolbase)。
式中,toolbaseptip为手术工具末端与手术工具基座的位置关系,Mptip和Mptoolbase分别为手术工具末端、手术工具基座与辅助工具基座的相对位置关系,MRtoolbase为手术工具基座与辅助工具基座的相对姿态关系。
本领域技术人员可以理解,图4所示的标记点以及以上公式可以应用于末端定位标识或工具基座定位标识。此外,虽然在以上描述中,采用位置作为示例,但是可以类似地确定手术工具末端的姿态或者位姿。
在一些实施例中,视觉定位设备可以采用现有各种空间信息采集装置,例如视觉定位设备可以采用单目摄像镜头,如普通内窥镜。在一些实施例中,手术工具末端的末端定位标识、手术工具基座上的工具基座定位标识或辅助工具基座定位标识可以采用自带空间关系的视觉定位标识,例如棋盘格标识。应当理解,单目摄像镜头也可以与除棋盘格标识外的其他自带有空间关系的视觉定位标识配合,单目摄像镜头采集的带有定位标识的数据可以通过控制计算机计算相应的空间坐标系及其相互关系。
在一些实施例中,视觉定位设备还可以采用双目摄像镜头。在一些实施例中,手术工具末端的末端定位标识、手术工具基座上的工具基座定位标识或辅助工具基座定位标识可以采用不带有空间关系的视觉定位标识,例如普通小球。双目摄像镜头可以采集普通小球视觉定位标识,普通小球为不带有空间关系的视觉定位标识,可以通过双目摄像镜头获取球心进而获得其空间位置并建立立体空间坐标系信息,建立过程可以通过双目摄像镜头自带的程序算法实现,也可以通过控制计算机实现,此为现有技术,不做赘述。在一些实施例中,视觉定位设备采用的定位识别方式包括但不限于图像识别,也包括红外识别,X射线透视或核磁共振扫描。应当理解,视觉定位设备可以包括红外识别设备,例如红外传感器,以在光线条件不佳的情况下实现定位标识的识别。或者视觉定位设备还可以包括X射线透视设备或核磁共振扫描设备,例如X射线,核磁共振等可以穿透遮挡物检测和定位到视觉定位标识,以在具有阻隔物的情况下实现定位标识的识别。另外,视觉定位设备还可以检测多个视觉定位标识组成的辅助标识进而定义空间坐标系。
注意,上述仅为本公开的示例性实施例及所运用技术原理。本领域技术人员会理解,本公开不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此,虽然通过以上实施例对本公开进行了较为详细的说明,但是本公开不仅仅限于以上实施例,在不脱离本公开构思的情况下,还可以包括更多其他等效实施例,而本公开的范围由所附的权利要求范围决定。
Claims (15)
1.一种用于机器人系统的控制方法,所述机器人系统包括视觉定位设备、手术工具基座和手术工具,所述手术工具包括手术工具末端,所述控制方法包括:
获得由所述视觉定位设备获得的信息,所述信息包括关于设置在所述手术工具末端上的末端定位标识的信息;
基于关于所述末端定位标识的信息,确定所述手术工具末端与所述视觉定位设备的相对位姿关系;
基于所述手术工具末端与所述视觉定位设备的相对位姿关系以及所述手术工具基座与所述视觉定位设备的相对位姿关系,确定所述手术工具末端与所述手术工具基座的相对位姿关系;以及
基于所述手术工具末端与所述手术工具基座的相对位姿关系,确定所述手术工具末端的当前位姿。
2.根据权利要求1所述的控制方法,其特征在于,还包括:
判断所述手术工具末端的当前位姿与目标位姿的差值是否小于阈值;
响应于所述当前位姿与所述目标位姿的差值不小于阈值,控制所述手术工具朝目标位姿运动。
3.根据权利要求1所述的控制方法,其特征在于,还包括:
获得预先确定的所述手术工具基座与所述视觉定位设备的相对位姿关系;或者
基于设置在所述手术工具基座上的工具基座定位标识或设置在与所述手术工具基座具有确定相对位姿关系的位置处的辅助工具基座定位标识,确定所述手术工具基座与所述视觉定位设备的相对位姿关系。
4.根据权利要求1所述的控制方法,其特征在于,所述机器人系统还包括视觉定位设备基座,所述视觉定位设备设置于所述视觉定位设备基座上,所述控制方法还包括:
基于所述视觉定位设备与所述视觉定位设备基座的相对位姿关系以及所述视觉定位设备基座与所述手术工具基座的相对位姿关系,确定所述手术工具基座与所述视觉定位设备的相对位姿关系,其中所述视觉定位设备与所述视觉定位设备基座相对位姿关系固定或者可变化。
5.根据权利要求3所述的控制方法,其特征在于,还包括:
判断由所述视觉定位设备获得的所述信息是否包括关于设置在所述手术工具基座位上的所述工具基座定位标识的信息;
响应于由所述视觉定位设备获得的所述信息包括关于所述工具基座定位标识的信息,基于所述工具基座定位标识,确定所述手术工具基座与所述视觉定位设备的相对位姿关系。
6.根据权利要求5所述的控制方法,其特征在于,还包括:
响应于由所述视觉定位设备获得的所述信息不包括关于所述工具基座定位标识的信息,基于所述辅助工具基座定位标识以及所述确定相对位姿关系,确定所述手术工具基座与所述视觉定位设备的相对位姿关系。
7.根据权利要求1-6中任一项所述的控制方法,其特征在于,所述末端定位标识、所述工具基座定位标识或所述辅助工具基座定位标识包括多个标记点,所述多个标记点之间至少形成彼此相交的第一线段和第二线段。
8.根据权利要求7所述的控制方法,其特征在于,还包括:
基于所述多个标记点之间的距离或者所述多个标记点与所述第一线段与所述第二线段的交点之间的距离,确定所述多个标记点与所述视觉定位设备的相对位置关系;
基于所述多个标记点与所述视觉定位设备的相对位置关系,确定所述末端定位标识、所述工具基座定位标识或所述辅助工具基座定位标识与所述视觉定位设备的相对位置关系;以及
基于所述第一线段和所述第二线段与所述视觉定位设备的相对姿态关系,确定所述末端定位标识、所述工具基座定位标识或所述辅助工具基座定位标识与所述视觉定位设备的相对姿态关系。
11.根据权利要求1所述的控制方法,其特征在于,还包括:
基于操作命令,确定所述手术工具末端的目标位姿,其中所述操作命令包括由用户通过用户接口输入的命令或者存储在计算机上的指令。
12.根据权利要求1-6中任一项所述的控制方法,其特征在于,所述末端定位标识、所述工具基座定位标识或所述辅助工具基座定位标识包括自带空间关系的视觉定位标识或者不带空间关系的视觉定位标识。
13.一种机器人系统,包括:
视觉定位设备,用于拍摄图像;
至少一个手术工具基座;
至少一个手术工具,包括手术工具末端以及设置在所述手术工具末端上的末端定位标识;以及
控制装置,所述控制装置被配置成用于执行如权利要求1-12中任一项所述的控制方法。
14.根据权利要求13所述的机器人系统,其特征在于,所述至少一个手术工具基座包括手术工具远端处的位置、鞘管、驱动传动机构或者驱动模组;
所述手术工具包括柔性手术工具臂体和设置在位于所述柔性手术工具臂体远端的手术工具末端处的末端器械。
15.根据权利要求13所述的机器人系统,其特征在于,所述视觉定位设备包括单目摄像镜头、双目摄像镜头、红外识别设备、X射线透视设备或核磁共振扫描设备中的至少一种。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020106255688 | 2020-07-01 | ||
CN202010625568 | 2020-07-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113876433A true CN113876433A (zh) | 2022-01-04 |
Family
ID=79010218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110658339.0A Pending CN113876433A (zh) | 2020-07-01 | 2021-06-15 | 机器人系统以及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113876433A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114536399A (zh) * | 2022-01-07 | 2022-05-27 | 中国人民解放军海军军医大学第一附属医院 | 基于多个位姿标识的误差检测方法及机器人系统 |
-
2021
- 2021-06-15 CN CN202110658339.0A patent/CN113876433A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114536399A (zh) * | 2022-01-07 | 2022-05-27 | 中国人民解放军海军军医大学第一附属医院 | 基于多个位姿标识的误差检测方法及机器人系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11801100B2 (en) | Estimation of a position and orientation of a frame used in controlling movement of a tool | |
US8002694B2 (en) | Master-slave manipulator system | |
WO2022002159A1 (zh) | 主从运动的控制方法、机器人系统、设备及存储介质 | |
CN111315309A (zh) | 用于控制机器人操纵器或相关工具的系统和方法 | |
US20220401178A1 (en) | Robotic surgical navigation using a proprioceptive digital surgical stereoscopic camera system | |
WO2022002155A1 (zh) | 主从运动的控制方法、机器人系统、设备及存储介质 | |
CN114098954B (zh) | 机械臂、从操作设备、手术机器人 | |
WO2023040817A1 (zh) | 医生控制台的控制方法、医生控制台、机器人系统和介质 | |
CN113974835A (zh) | 一种基于远心不动点约束的手术机器人运动控制方法 | |
CN115089302A (zh) | 手术机器人系统及方法 | |
CN114129266A (zh) | 保持rc点不变的方法、机械臂、设备、机器人和介质 | |
CN116196112A (zh) | 一种机械臂运动控制方法及手术机器人 | |
CN113876433A (zh) | 机器人系统以及控制方法 | |
CN113742992A (zh) | 基于深度学习的主从控制方法及应用 | |
CN116269812A (zh) | 主从操作的穿刺系统和规划方法 | |
CN116492064A (zh) | 基于位姿标识的主从运动的控制方法及手术机器人系统 | |
JPH09323280A (ja) | マニピュレータの制御方法及びシステム | |
Wang et al. | AutoSurg-Research and Implementation of Automatic Target Resection Key Technologies Via Toumai Surgical Robot System | |
CN116492062A (zh) | 基于复合标识的主从运动的控制方法及手术机器人系统 | |
CN117838319A (zh) | 一种手术机械臂内窥镜动态追踪方法 | |
CN116492063A (zh) | 基于定位图像的主从运动的控制方法及手术机器人系统 | |
CN115972208A (zh) | 目标跟随控制方法、持镜机器人及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100192 Tiandi Adjacent to Feng2 Building 106, No. 1 North Yongtaizhuang Road, Haidian District, Beijing Applicant after: Beijing Shurui Robot Co.,Ltd. Address before: 100192 Tiandi Adjacent to Feng2 Building 106, No. 1 North Yongtaizhuang Road, Haidian District, Beijing Applicant before: BEIJING SURGERII TECHNOLOGY Co.,Ltd. |