CN115153842A - 双臂机器人导航控制方法、装置、系统和存储介质 - Google Patents
双臂机器人导航控制方法、装置、系统和存储介质 Download PDFInfo
- Publication number
- CN115153842A CN115153842A CN202210770238.7A CN202210770238A CN115153842A CN 115153842 A CN115153842 A CN 115153842A CN 202210770238 A CN202210770238 A CN 202210770238A CN 115153842 A CN115153842 A CN 115153842A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- mechanical arm
- arm
- positioning sensor
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000002591 computed tomography Methods 0.000 claims description 88
- 230000009466 transformation Effects 0.000 claims description 67
- 239000011159 matrix material Substances 0.000 claims description 57
- 238000013170 computed tomography imaging Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000011282 treatment Methods 0.000 abstract description 52
- 238000003745 diagnosis Methods 0.000 abstract description 34
- 238000004590 computer program Methods 0.000 description 16
- 238000001574 biopsy Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000002679 ablation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 210000003437 trachea Anatomy 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000011298 ablation treatment Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 231100000435 percutaneous penetration Toxicity 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
本申请涉及医疗器械技术领域，提供了一种双臂机器人导航控制方法、装置、系统和存储介质，上述方法根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航；控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置；当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作，如此，能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，能够提高机器人系统的泛用性，保证双机械臂操作的准确性。
Description
技术领域
本申请涉及医疗器械技术领域，特别地涉及一种双臂机器人导航控制方法、装置、系统和存储介质。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，其具有图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内、鼻腔进入肺内、或经其他天然孔道进入体内。内窥镜检查对于肿瘤的早期发现和治疗已经具有越来越重要的意义。常规的内窥镜检查可进入人体自然腔道获取内窥镜前端的影像进行观察，并使用活检工具做活体组织的钳检、刷检、针吸检查，从而对疾病进行正确诊断。但传统支气管镜外径较大，难以进入肺外周高级数的支气管中，并且控弯性能一般，操作难度大。
在传统内窥镜的基础上，在已公布的申请号为2021103517486的专利《磁导航气管定位机器人》与申请号为2021100352778的专利《内窥镜手柄及驱动装置》中，介绍了通过医疗机器人操作的电动电子支气管镜，相较于传统支气管镜，可以到达更高级数的支气管，同时在到达目标位置后具有更优的抗位移性与稳定性。
但是，现有的手术机器人系统，无论是采用单机械臂还是双机械臂，都往往只针对“体外穿刺”或是“沿体内腔道进入”这两种方案中的一种进行导航操作，难以满足更为复杂的场景下的导航需求。
发明内容
为了解决或至少部分地解决上述技术问题，本申请提供了一种双臂机器人导航控制方法，应用于双臂机器人导航系统，所述双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；
所述方法包括如下步骤：
根据所述CT影像设备获取的CT影像构建三维模型；
根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航；
控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
可选地，
所述控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置，包括：
根据所述第一传感器定位的位置信息和所述CT影像进行路径确认和调整；
根据确定或调整的路径引导所述第一机械臂的穿刺组件到达所述第一目标位置。
可选地，所述双臂机器人导航系统还包括磁场发生器，所述磁场发生器用于产生定位磁场，所述根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航，包括：
根据所述第一定位传感器的位置信息、第二定位传感器的位置信息、所述三维模型和所述机械臂的运动空间信息将所述定位磁场的第一坐标系、所述CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；
根据所述坐标转换关系控制所述双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
可选地，将所述定位磁场的第一坐标系、所述CT影像的第二坐标系进行配准的方式包括：
在所述CT影像的第二坐标系中标识出多个关键部位特征点的位置信息，得到在所述第二坐标系中的坐标；
控制所述第二机械臂的内窥镜的镜头端经腔道到达所述多个关键部位特征点后，获取所述第二定位传感器的位置信息，得到在所述第一坐标系中的坐标；
根据所述多个关键部位特征点在所述第一坐标系中的坐标和在所述第二坐标系中的坐标确定所述第一坐标系与所述第二坐标系之间的第一变换矩阵。
可选地，
将所述CT影像的第二坐标系和所述机械臂的第三坐标系进行配准的方式包括：
对患者体表的多个标记特征点进行CT扫描，在所述CT影像中标记扫描到的所述多个标记特征点的位置，得到所述多个标记特征点在所述第二坐标系的坐标；
控制所述第一机械臂和所述第二机械臂，使其末端分别到达所述多个标记特征点，记录所述多个标记特征点在所述第三坐标系的坐标；
根据所述多个标记特征点在所述第二坐标系的坐标和在所述第三坐标系的坐标确定所述第二坐标系与所述第三坐标系之间的第二变换矩阵。
可选地，
将所述定位磁场的第一坐标系和所述机械臂的第三坐标系进行配准的方式包括：
通过所述第一机械臂的第一定位传感器和/或所述第二机械臂的第二定位传感器获取若干个随机点的位置信息，得到所述若干个随机点在所述第一坐标系的坐标；
记录所述若干个随机点在所述第三坐标系的坐标；
根据所述若干个随机点在所述第一坐标系的坐标和在所述第三坐标系的坐标确定所述第一坐标系与所述第三坐标系之间的第三变换矩阵。
可选地，所述方法还包括如下步骤：
根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵中的任两者计算出参考转换矩阵；
根据所述参考变换矩阵对剩余一个变换矩阵进行校准，得到校准后的变换矩阵。
本申请的实施方式还提供了一种双臂机器人导航系统，包括控制主机设备、第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；其中，
所述CT影像设备，用于获取CT影像；
所述控制主机设备用于：
根据所述CT影像构建三维模型；
根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航；控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
本申请的实施方式还提供了一种双臂机器人导航控制装置，应用于双臂机器人导航系统，所述双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；所述装置包括：
构建单元，用于根据所述CT影像设备获取的CT影像构建三维模型；
导航单元，用于根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航；
控制单元，用于控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
所述控制单元，还用于控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
本申请的实施方式还提供了一种计算机可读存储介质，存储有程序指令，程序指令被计算机执行时使得计算机执行前述的双臂机器人导航控制方法。
本申请实施例还提供一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例中记载的任何一种双臂机器人导航控制方法所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请的实施方式通过采用双机械臂“经皮穿刺”和“经腔道进入”相结合的双臂导航控制系统，根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航。本申请能够控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在所述第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作。针对一些联合治疗场景，本申请能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，以便执行诊疗操作，提高机器人系统的泛用性，保证双机械臂操作的准确性。
附图说明
为了更清楚地说明本申请的实施方式，下面将对相关的附图做出简单介绍。可以理解，下面描述中的附图仅用于示意本申请的一些实施方式，本领域普通技术人员还可以根据这些附图获得本文中未提及的许多其他的技术特征和连接关系等。
图1为本申请实施方式所提供的一种双臂诊疗的场景示意图；
图2为本申请实施方式所提供的一种双臂机器人导航系统的立体示意图；
图3为本申请实施方式所提供的一种双臂机器人导航控制方法的流程示意图；
图4为本申请实施方式所提供的一种定位磁场的第一坐标系A、CT影像的第二坐标系B和机械臂的第三坐标系C之间进行配准的示意图；
图5为本申请实施例提供的一种双臂机器人导航控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细说明。
在一些联合治疗场景，例如双针消融、多发性病灶的一体化诊疗场景等，现有技术的机器人系统尚无法实现联合治疗。例如，当病灶部位较大，或形状异于球形，用单针消融无法全部覆盖病灶位置，单针多次消融则影响诊疗效率且诊疗精度存在风险，需要使用双针消融的治疗方案。另外，当病灶位置多发时，需要一次进行多个病灶的一体化诊疗。由于经皮穿刺存在气胸风险，故通常经皮穿刺仅限于单边穿刺，这样即使发生气胸，另一侧肺仍可保证部分呼吸运动；然而，若两边肺部都经皮穿刺，则无法保证患者呼吸。而经腔道诊疗，由于气管内窥镜和人体气管本身的结构所限，通常仅能容纳一个内窥镜进入腔道，较难实现多点同时治疗。
本申请提出了一种双臂机器人导航控制方法、装置、系统和存储介质，能够针对双针消融、多发性病灶的一体化诊疗等临床场景，为实现多点、多角度同时治疗的机器人提供导航手段。
实施例一
如图1-图2所示，图1为本申请实施方式所提供的一种双臂诊疗的场景示意图，图2为本申请实施方式所提供的一种双臂机器人导航系统的立体示意图；双臂机器人导航系统包括控制主机设备(图中未示出)、第一机械臂10、第二机械臂20和CT影像设备30，其中，第一机械臂上10设置有穿刺组件11，第二机械臂上20设置有内窥镜21，穿刺组件11的末端设置有第一定位传感器，内窥镜21的末端设置有第二定位传感器；其中，
CT影像设备30，用于获取CT影像；
控制主机设备用于：
根据CT影像构建三维模型；
根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航；控制第一机械臂的穿刺组件11由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜21经由腔道到达第二目标位置；第一目标位置和第二目标位置皆位于待操作部位旁。
在这之后，可以控制第一机械臂在第一目标位置和第二机械臂在第二目标位置进行联合操作。
本申请所指的腔道，可以是气管、食道、肠道、阴道等多种人体腔道。
在本申请实施方式中，控制主机设备可以是计算机，也可以是结合在CT影像设备、第一机械臂和第二机械臂的控制装置中的控制器。也就是说，控制主机设备可以集成在双臂机器人导航系统的任意设备之中，也可以分立设置为单独的设备。通常来说，可以将双臂机器人导航系统设置在治疗室之外的可直接观察到治疗室内情况的区域，医师可以通过双臂机器人导航系统对本申请所提供的双臂机器人导航系统中的在CT影像设备、第一机械臂和第二机械臂进行控制，具体可控制第一机械臂和第二机械臂进行移动，以及进行诊疗的相关操作。
其中，CT影像设备30可以为计算机断层成像装置。计算机断层成像，又称CT，可以获得其所扫描区域物体的三维图形，而且能够清晰直观地体现穿刺组件11和内窥镜21头端的具体位置。
此外，双臂机器人导航系统还包括磁场发生器，磁场发生器用于产生定位磁场，从而，第一定位传感器和第二定位传感器可以进行磁场定位。
其中，第一机械臂10的穿刺组件11可包括定位穿刺通道、辅助设置固定穿刺针的装置、配套的耗材穿刺针以及引导穿刺针运动的装置等等的组合。第一定位传感器可以设置在穿刺组件11的末端，具体用于定位穿刺针头端的位置。
其中，第二机械臂20可包括内窥镜21、辅助设置内窥镜的装置以及引导内窥镜21运动的装置等等的组合。第二定位传感器可设置在第二机械臂末端，内窥镜附件的位置，具体用于定位内窥镜的位置，内窥镜21(Endoscope)泛指经各种管道进入人体，以观察人体内部状况的医疗仪器。内窥镜21同时还可以具备活检或是治疗功能，这些功能往往依赖于可通过内窥镜21内部工作通道的各种附件工具来执行。本申请的内窥镜21可以是气管镜、胃镜、肠镜、阴道镜等诸多种类的内镜，内窥镜21上所设置的附件工具可以包括活检工具如活检钳、活检刷、活检针等等，或是诊疗工具如消融导管，套圈等等。
具体实施中，可预先通过CT影像设备30扫描患者的CT影像，根据CT影像构建三维模型，以确定患者的病灶位置；双臂机器人导航系统可根据病灶位置规划第一机械臂的体外穿刺点和穿刺路径，以引导第一机械臂到达第一目标位置，还可根据三维模型引导第二机械臂的内窥镜到达第二目标位置，第一目标位置和第二目标位置皆位于待操作部位旁。第一目标位置与第二目标位置所针对的待操作部位可以相同，也可以不同。当第一目标位置与第二目标位置所针对的待操作部位相同时，可以对同一病灶施行联合治疗，例如双针消融。当第一目标位置与第二目标位置所针对的待操作部位不同时，可以对不同病灶同时施行联合治疗，例如多病灶一体化治疗。因此，在本申请的实施例中不做额外限制。
可选地，在控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置方面，控制主机设备用于：
根据第一传感器定位的位置信息和CT影像进行路径确认和调整；
根据确定或调整的路径引导第一机械臂的穿刺组件到达第一目标位置。
穿刺组件11末端的第一定位传感器可使用6自由度传感器，除自身的位置信息外还可以获得穿刺针的指向信息，确保全程沿着预先规划的穿刺路径进行穿刺。
本申请实施例中，通过利用可识别的多个关键部位特征点、多个预先标记特征点，以及若干个随机点，可获取CT影像所在坐标系、定位磁场坐标系、机械臂的坐标系之间的变换矩阵，进而通过获取磁场中的第一定位传感器和/或第二定位传感器的位置信息，变换得到穿刺组件或内窥镜由CT影像重建出的三维模型中的相对位置，进而达到第一机械臂和第二机械臂导航的目的。
可选地，在根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航方面，控制主机设备用于：
根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型将定位磁场的第一坐标系、CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；
根据坐标转换关系控制双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
可选地，将定位磁场的第一坐标系、CT影像的第二坐标系进行配准的方式包括：
在CT影像的第二坐标系中标识出多个关键部位特征点的位置信息，得到在第二坐标系中的坐标；
控制第二机械臂的内窥镜的镜头端经腔道到达多个关键部位特征点后，获取第二定位传感器的位置信息，得到在第一坐标系中的坐标；
根据多个关键部位特征点在在第一坐标系中的坐标和在第二坐标系中的坐标确定第一坐标系与第二坐标系之间的第一变换矩阵。
可选地，将CT影像的第二坐标系和机械臂的第三坐标系进行配准的方式包括：
对患者体表的多个标记特征点进行CT扫描，在CT影像中标记扫描到的多个标记特征点的位置，得到多个标记特征点在第二坐标系的坐标；
控制第一机械臂和第二机械臂，使其末端分别到达多个标记特征点，记录多个标记特征点在第三坐标系的坐标；
根据多个标记特征点在第二坐标系的坐标和在第三坐标系的坐标确定第二坐标系与第三坐标系之间的第二变换矩阵。
可选地，将定位磁场的第一坐标系和机械臂的第三坐标系进行配准的方式包括：
通过第一机械臂的第一定位传感器和/或第二机械臂的第二定位传感器获取若干个随机点的位置信息，得到所述若干个随机点在第一坐标系的坐标；
记录若干个随机点在第三坐标系的坐标；
根据若干个随机点在第一坐标系的坐标和在第三坐标系的坐标确定第一坐标系与第三坐标系之间的第三变换矩阵。
考虑到若配准过程中特殊点位置选取发生偏差，就会导致配准误差偏大，影响导航精度，为了保证任两个坐标系之间的相互变换关系的准确度，本申请的坐标系配准，将三者之间两两计算得到变换矩阵，并可以进行相互验证，进而通过数据处理完成误差校正，以确保两两之间的变换矩阵的准确度。
可选地，控制主机设备还用于：
根据第一变换矩阵、第二变换矩阵和第三变换矩阵中的任两者计算出参考转换矩阵；
根据参考变换矩阵对剩余一个变换矩阵进行校准，得到校准后的变换矩阵。
本申请的实施方式通过采用双机械臂“经皮穿刺”和“经腔道进入”相结合的双臂导航控制系统，根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航。本申请能够控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在所述第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作。针对一些联合治疗场景，本申请能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，以便执行诊疗操作，提高机器人系统的泛用性，保证双机械臂操作的准确性。
实施例二
本申请的一种实施方式提出了一种双臂机器人导航控制方法，应用于如图2所示的双臂机器人导航系统，双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，第一机械臂的穿刺组件末端设置有第一定位传感器，第二机械臂的内窥镜末端设置有第二定位传感器；参见图3所示，包括如下步骤：
301、根据CT影像设备获取的CT影像构建三维模型；
如图2所示，CT影像设备可以设置在诊疗床的一侧，用于获取患者的CT影像，进而可以根据CT影像构建三维模型，例如，三维气管树模型。
302、根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航；
其中，第一定位传感器和第二定位传感器可基于定位磁场进行磁场定位，第一定位传感器的位置信息具体为穿刺组件在定位磁场坐标系中的位置信息；第二定位传感器的位置信息具体为内窥镜在磁场坐标系中的位置信息。具体地，可根据CT影像构建三维模型，以确定患者的病灶位置；双臂机器人导航系统可根据病灶位置规划第一机械臂的体外穿刺点和穿刺路径。还可根据三维模型规划第二机械臂经腔道的体内第二目标位置和规划路径，控制第一机械臂和第二机械臂进行导航。
303、控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
具体地，可在第一机械臂的穿刺组件向第一目标位置移动时，根据第一定位传感器的实时位置信息和三维模型控制第一机械臂沿着预先规划的路径进行运动，使穿刺针，经皮、经肌肉到筋膜位置、以及到达病灶位置附近的第一目标位置。
304、控制第二机械臂的内窥镜经由腔道到达第二目标位置。
具体地，可在第二机械臂的内窥镜向第二目标位置移动时，根据第二定位传感器的实时位置信息和三维模型控制第二机械臂沿着预先规划的路径进行控弯和推进，使内窥镜进入患者腔道，并到达病灶位置附近的第二目标位置，第一目标位置和第二目标位置皆位于待操作部位旁。
然后，可以控制第一机械臂在第一目标位置和第二机械臂在第二目标位置进行联合诊疗操作。具体地，可在控制第一机械臂的穿刺组件到达第一目标位置后，控制活检工具经由穿刺通道进行活检取样的操作，控制消融导管经由穿刺通道进行消融治疗。可在控制第二机械臂的内窥镜到达第二目标位置后，使用兼容的检测工具经由内窥镜的工作通道对病灶位置进行实时拍摄，获取病灶位置的检测影像。此外，第二机械臂上还可设置活检钳、活检刷、活检针、套圈等活检工具，或是诊疗工具，如消融导管，手术刀等，通过活检工具可以进行活检取样，通过诊疗工具可经腔道进行诊疗，如此，可通过双机械臂，将经皮穿刺和经腔道进行诊疗的方式进行结合，提高诊疗效果。
本申请的双臂机器人导航控制方法，通过采用双机械臂“经皮穿刺”和“经腔道进入”相结合的双臂导航控制系统，根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航。本申请能够控制第一机械臂的穿刺针由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在所述第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作。针对一些联合治疗场景，本申请能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，以便执行诊疗操作，提高机器人系统的泛用性，保证双机械臂操作的准确性。
可选地，上述步骤303中，控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置，包括：
根据第一传感器定位的位置信息和CT影像进行路径确认和调整；
根据确定或调整的路径引导第一机械臂的穿刺组件到达第一目标位置。
具体实施中穿刺组件头端的定位传感器可使用6自由度传感器，除自身的位置信息外还可以获得穿刺针的指向信息，确保全程沿着预先规划的穿刺路径进行穿刺。第一机械臂经皮穿刺过程中，可进行多次确认，例如，可分别在穿刺针经皮、经肌肉到筋膜位置、以及到达病灶位置附近时进行确认，以确保穿刺针到达第一目标位置。
实施例三
为了准确地控制第一机械臂和第二机械臂进行导航，可以将定位磁场的第一坐标系、CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，以实现不同坐标系之间的坐标转换，便于双机械臂更加精确地进行导航。
有鉴于此，本申请的第二实施方式同样提出了一种双臂机器人导航控制方法。第二实施方式的方法是第一实施方式的方法进一步改进。其主要改进之处在于，在本申请的第二实施方式中，双臂机器人导航系统还包括磁场发生器，磁场发生器用于产生定位磁场，双臂机器人导航控制方法在根据第一定位传感器的位置信息、第二定位传感器的位置信息、三维模型进行导航的步骤中，包括：
根据第一定位传感器的位置信息、第二定位传感器的位置信息、三维模型和所述机械臂的运动空间信息将定位磁场的第一坐标系、CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；
根据坐标转换关系控制双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
如图4所示，图4为本申请实施方式所提供的一种定位磁场的第一坐标系A、CT影像的第二坐标系B和机械臂的第三坐标系C之间进行配准的示意图，具体实施中，可以将三个坐标系进行两两配准，得到第一坐标系与第二坐标系之间的第一变换矩阵T1，第二坐标系与第三坐标系之间的第二变换矩阵T2，以及第一坐标系与第三坐标系之间的第三变换矩阵T3，进而，可在实际控制第一机械臂和第二机械臂的过程中，通过上述变换矩阵，确定第一机械臂和第二机械臂在第二坐标系中的实时位置，以及在第三坐标系中的实时位置，进而根据三维模型引导第一机械臂进行推进和控弯，使穿刺组件到达第一目标位置，控制第二机械臂进行运动，使内窥镜到达第二目标位置，并进一步控制第一机械臂和第二机械臂完成诊疗操作。
可选地，将定位磁场的第一坐标系、CT影像的第二坐标系进行配准的方式包括：
在CT影像的第二坐标系中标识出多个关键部位特征点的位置信息，得到在第二坐标系中的坐标；
控制第二机械臂的内窥镜的镜头端经腔道到达多个关键部位特征点后，获取第二定位传感器的位置信息，得到在第一坐标系中的坐标；
根据多个关键部位特征点在在第一坐标系中的坐标和在第二坐标系中的坐标确定第一坐标系与第二坐标系之间的第一变换矩阵。
具体实施中，可以选取主隆突、各肺叶腔道叉点等多个关键部位特征点，分别在CT影像中标识出特征点位置、用内窥镜镜头端在实际腔道内到达特征点位置后读取第二定位传感器坐标，由此分别获得多个关键部位特征点在第一坐标系A和第二坐标系B中的坐标，进而获得第一变换矩阵T1。从而，当内窥镜在腔道内推进时，通过读取其头端的第二定位传感器在定位磁场中的位置信息，即的第二定位传感器在A坐标系中的坐标，然后通过转换得到的第二定位传感器(即内窥镜的镜头端)在B坐标系中的实时位置。
可选地，将CT影像的第二坐标系和机械臂的第三坐标系进行配准的方式包括：
对患者体表的多个标记特征点进行CT扫描，在CT影像中标记扫描到的多个标记特征点的位置，得到多个标记特征点在第二坐标系的坐标；
控制第一机械臂和第二机械臂，使其末端分别到达多个标记特征点，记录多个标记特征点在第三坐标系的坐标；
根据多个标记特征点在第二坐标系的坐标和在第三坐标系的坐标确定第二坐标系与第三坐标系之间的第二变换矩阵。
具体实施中，可在患者体表贴几个特征点，进行CT扫描。特征点可由金属制成，扫描后在CT影像中标识出特征点位置，获得标记特征点在第二坐标系B中的位置信息。接着控制第一机械臂和/或第二机械臂，使其末端分别到达各特征点，记录其运动学坐标，即获得标记特征点在第三坐标系C中的位置信息。由标记特征点在第二坐标系B及第三坐标系C中的位置信息，获得第二坐标系B与第三坐标系C的第二变换矩阵T2。
可选地，将定位磁场的第一坐标系和机械臂的第三坐标系进行配准的方式包括：
通过第一机械臂的第一定位传感器和/或第二机械臂的第二定位传感器获取若干个随机点的位置信息，得到若干个随机点在第一坐标系的坐标；
记录若干个随机点在第三坐标系的坐标；
根据若干个随机点在第一坐标系的坐标和在第三坐标系的坐标确定第一坐标系与第三坐标系之间的第三变换矩阵。
通过将第一定位传感器安置于第一机械臂末端，将第二定位传感器设置于第二机械臂末端，可同时记录若干个随机点位置在定位磁场即第一坐标系A中的位置信息，同时记录该随机点对应的机械臂运动学坐标位置，由此获得第一坐标系A与第三坐标系C的变换矩阵T3。
需要理解的是，此配准过程无需在双臂机器人导航系统术前进行，这是因为在术中任何时刻机械臂移动都可以同时读取机械臂末端在第一坐标系A与第三坐标系C中的位置信息。第一坐标系A与第三坐标系C的变换关系可以通过机械臂末端的位置信息直接转换。此外，在机械臂末端固定支气管镜导管，已知导管长度与方向固定，通过二次转换也可得到第一坐标系A与第三坐标系C的变换关系。
本申请的双臂机器人导航控制方法，通过采用双机械臂“经皮穿刺”和“经腔道进入”相结合的双臂导航控制系统，根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航。本申请能够控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在所述第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作。针对一些联合治疗场景，本申请能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，以便执行诊疗操作，提高机器人系统的泛用性，保证双机械臂操作的准确性。
实施例四
考虑到若配准过程中特殊点位置选取发生偏差，就会导致配准误差偏大，影响导航精度。为了保证任两个坐标系之间的相互变换关系的准确度，本申请的坐标系配准，将三者之间两两计算得到变换矩阵，并可以进行相互验证，进而通过数据处理完成误差校正，以确保两两之间的变换矩阵的准确度。
本申请的第四实施例同样提出了一种双臂机器人导航控制方法。第四实施方式基于第三实施方式的方法作出了改进。具体地，在第四实施例中，双臂机器人导航控制方法包括：
根据CT影像设备获取的CT影像构建三维模型；
根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型将定位磁场的第一坐标系、CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；其中，三者中两两之间的坐标转换关系包括第一变换矩阵、第二变换矩阵和第三变换矩阵；
根据第一变换矩阵、第二变换矩阵和第三变换矩阵中的任两者计算出参考转换矩阵；
根据参考变换矩阵对剩余一个变换矩阵进行校准，得到校准后的变换矩阵；
根据坐标转换关系控制双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
控制第二机械臂的内窥镜经由腔道到达第二目标位置；
控制第一机械臂在第一目标位置和第二机械臂在第二目标位置进行联合诊疗操作。
其中，第一变换矩阵T1、第二变换矩阵T2和第三变换矩阵T3形成闭环关系。通过任意二者可计算得到剩余一者的理论计算值，将理论计算值与实际配准值进行比较校正，可以有效减小配准误差，提高导航精度。
实施例五
本申请的第五实施例提出了一种双臂机器人导航控制装置。第五实施例与第一实施例的系统和第二实施例的方法一致。具体地，图5为本申请实施例提供的一种双臂机器人导航控制装置的结构示意图，在第五实施例中，如图5所示，双臂机器人导航控制装置500，应用于双臂机器人导航系统，双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，第一机械臂的末端设置有第一定位传感器，第二机械臂的末端设置有第二定位传感器；该装置包括：
构建单元501，用于根据CT影像设备获取的CT影像构建三维模型；
导航单元502，用于根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航；
控制单元503，用于控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
控制单元503，还用于控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
可选地，在控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置方面，控制单元用于：
根据第一传感器定位的位置信息和CT影像进行路径确认和调整；
根据确定或调整的路径引导第一机械臂的穿刺组件到达第一目标位置。
可选地，在双臂机器人导航系统还包括磁场发生器，磁场发生器用于产生定位磁场，根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航方面，控制单元用于：
根据第一定位传感器的位置信息、第二定位传感器的位置信息、三维模型和所述机械臂的运动空间信息将定位磁场的第一坐标系、CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；
根据坐标转换关系控制双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
可选地，将定位磁场的第一坐标系、CT影像的第二坐标系进行配准的方式包括：
在CT影像的第二坐标系中标识出多个关键部位特征点的位置信息，得到在第二坐标系中的坐标；
控制第二机械臂的内窥镜的镜头端经腔道到达多个关键部位特征点后，获取第二定位传感器的位置信息，得到在第一坐标系中的坐标；
根据多个关键部位特征点在在第一坐标系中的坐标和在第二坐标系中的坐标确定第一坐标系与第二坐标系之间的第一变换矩阵。
可选地，将CT影像的第二坐标系和机械臂的第三坐标系进行配准的方式包括：
对患者体表的多个标记特征点进行CT扫描，在CT影像中标记扫描到的多个标记特征点的位置，得到多个标记特征点在第二坐标系的坐标；
控制第一机械臂和第二机械臂，使其末端分别到达多个标记特征点，记录多个标记特征点在第三坐标系的坐标；
根据多个标记特征点在第二坐标系的坐标和在第三坐标系的坐标确定第二坐标系与第三坐标系之间的第二变换矩阵。
可选地，将定位磁场的第一坐标系和机械臂的第三坐标系进行配准的方式包括：
通过第一机械臂的第一定位传感器和/或第二机械臂的第二定位传感器获取若干个随机点的位置信息，得到若干个随机点在第一坐标系的坐标；
记录若干个随机点在第三坐标系的坐标；
根据若干个随机点在第一坐标系的坐标和在第三坐标系的坐标确定第一坐标系与第三坐标系之间的第三变换矩阵。
可选地，控制单元还用于：
根据第一变换矩阵、第二变换矩阵和第三变换矩阵中的任两者计算出参考转换矩阵；
根据参考变换矩阵对剩余一个变换矩阵进行校准，得到校准后的变换矩阵。
本申请的双臂机器人导航控制装置，通过采用双机械臂“经皮穿刺”和“经腔道进入”相结合的双臂导航控制系统，根据CT影像设备获取的CT影像构建三维模型；根据第一定位传感器的位置信息、第二定位传感器的位置信息和三维模型进行导航。本申请能够控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置，当第一目标位置和第二目标位置皆位于待操作部位旁时，可以控制第一机械臂在所述第一目标位置和第二机械臂在第二目标位置，针对待操作部位进行联合诊疗操作。针对一些联合治疗场景，本申请能够准确地控制双机械臂到达经皮穿刺和经腔道诊疗的目标位置，以便执行诊疗操作，提高机器人系统的泛用性，保证双机械臂操作的准确性。
本申请的实施方式还提供了一种计算机可读存储介质，存储有程序指令，程序指令被计算机执行时使得计算机执行前述双臂机器人导航控制方法。
本申请实施例还提供一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例中记载的任何一种双臂机器人导航控制方法所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程人车轨迹分析设备的处理器以产生一个机器，使得通过计算机或其他可编程人车轨迹分析设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程人车轨迹分析设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程人车轨迹分析设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种双臂机器人导航控制方法，其特征在于，应用于双臂机器人导航系统，所述双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；所述方法包括如下步骤：
根据所述CT影像设备获取的CT影像构建三维模型；
根据所述第一定位传感器的位置信息、所述第二定位传感器的位置信息和所述三维模型进行导航；
控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
2.根据权利要求1所述的双臂机器人导航控制方法，其特征在于，所述控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置，包括：
根据所述第一传感器定位的位置信息和所述CT影像进行路径确认和调整；
根据确定或调整的路径引导所述第一机械臂的穿刺组件到达所述第一目标位置。
3.根据权利要求1或2所述的双臂机器人导航控制方法，其特征在于，所述双臂机器人导航系统还包括磁场发生器，所述磁场发生器用于产生定位磁场，所述根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航，包括：
根据所述第一定位传感器的位置信息、第二定位传感器的位置信息、所述三维模型和所述机械臂的运动空间信息将所述定位磁场的第一坐标系、所述CT影像的第二坐标系和机械臂的第三坐标系两两之间进行配准，得到三者中两两之间的坐标转换关系；
根据所述坐标转换关系控制所述双臂机器人导航系统进行导航，以控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置。
4.根据权利要求3所述的双臂机器人导航控制方法，其特征在于，将所述定位磁场的第一坐标系、所述CT影像的第二坐标系进行配准的方式包括：
在所述CT影像的第二坐标系中标识出多个关键部位特征点的位置信息，得到在所述第二坐标系中的坐标；
控制所述第二机械臂的内窥镜的镜头端经腔道到达所述多个关键部位特征点后，获取所述第二定位传感器的位置信息，得到在所述第一坐标系中的坐标；
根据所述多个关键部位特征点在所述第一坐标系中的坐标和在所述第二坐标系中的坐标确定所述第一坐标系与所述第二坐标系之间的第一变换矩阵。
5.根据权利要求4所述的双臂机器人导航控制方法，其特征在于，将所述CT影像的第二坐标系和所述机械臂的第三坐标系进行配准的方式包括：
对患者体表的多个标记特征点进行CT扫描，在所述CT影像中标记扫描到的所述多个标记特征点的位置，得到所述多个标记特征点在所述第二坐标系的坐标；
控制所述第一机械臂和所述第二机械臂，使其末端分别到达所述多个标记特征点，记录所述多个标记特征点在所述第三坐标系的坐标；
根据所述多个标记特征点在所述第二坐标系的坐标和在所述第三坐标系的坐标确定所述第二坐标系与所述第三坐标系之间的第二变换矩阵。
6.根据权利要求5所述的双臂机器人导航控制方法，其特征在于，将所述定位磁场的第一坐标系和所述机械臂的第三坐标系进行配准的方式包括：
通过所述第一机械臂的第一定位传感器和/或所述第二机械臂的第二定位传感器获取若干个随机点的位置信息，得到所述若干个随机点在所述第一坐标系的坐标；
记录所述若干个随机点在所述第三坐标系的坐标；
根据所述若干个随机点在所述第一坐标系的坐标和在所述第三坐标系的坐标确定所述第一坐标系与所述第三坐标系之间的第三变换矩阵。
7.根据权利要求6所述的双臂机器人导航控制方法，其特征在于，所述方法还包括如下步骤：
根据所述第一变换矩阵、所述第二变换矩阵和所述第三变换矩阵中的任两者计算出参考转换矩阵；
根据所述参考变换矩阵对剩余一个变换矩阵进行校准，得到校准后的变换矩阵。
8.一种双臂机器人导航系统，其特征在于，包括控制主机设备、第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；其中，
所述CT影像设备，用于获取CT影像；
所述控制主机设备用于：
根据所述CT影像构建三维模型；
根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航；控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；控制第二机械臂的内窥镜经由腔道到达第二目标位置；所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
9.一种双臂机器人导航控制装置，其特征在于，应用于双臂机器人导航系统，所述双臂机器人导航系统包括第一机械臂、第二机械臂和CT影像设备，所述第一机械臂的末端设置有第一定位传感器，所述第二机械臂的末端设置有第二定位传感器；所述装置包括：
构建单元，用于根据所述CT影像设备获取的CT影像构建三维模型；
导航单元，用于根据所述第一定位传感器的位置信息、第二定位传感器的位置信息和所述三维模型进行导航；
控制单元，用于控制第一机械臂的穿刺组件由体外进行穿刺，到达第一目标位置；
所述控制单元，还用于控制第二机械臂的内窥镜经由腔道到达第二目标位置，所述第一目标位置和所述第二目标位置皆位于待操作部位旁。
10.一种计算机可读存储介质，存储有程序指令，其特征在于，所述程序指令被计算机执行时使得所述计算机执行权利要求1至7中任一项所述的双臂机器人导航控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210770238.7A CN115153842B (zh) | 2022-06-30 | 2022-06-30 | 双臂机器人导航控制方法、装置、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210770238.7A CN115153842B (zh) | 2022-06-30 | 2022-06-30 | 双臂机器人导航控制方法、装置、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115153842A true CN115153842A (zh) | 2022-10-11 |
| CN115153842B CN115153842B (zh) | 2023-12-19 |
Family
ID=83490212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210770238.7A Active CN115153842B (zh) | 2022-06-30 | 2022-06-30 | 双臂机器人导航控制方法、装置、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115153842B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111887988A (zh) * | 2020-07-06 | 2020-11-06 | 罗雄彪 | 一种微创介入手术导航机器人的定位方法及其装置 |
| CN113749694A (zh) * | 2021-10-11 | 2021-12-07 | 上海交通大学医学院附属第九人民医院 | 穿刺取活检及消融系统 |
| CN113967071A (zh) * | 2020-10-23 | 2022-01-25 | 李志强 | 手术机器人机械臂跟随手术床运动的控制方法及装置 |
| US20220168047A1 (en) * | 2019-03-27 | 2022-06-02 | Sony Group Corporation | Medical arm system, control device, and control method |
-
2022
- 2022-06-30 CN CN202210770238.7A patent/CN115153842B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220168047A1 (en) * | 2019-03-27 | 2022-06-02 | Sony Group Corporation | Medical arm system, control device, and control method |
| CN111887988A (zh) * | 2020-07-06 | 2020-11-06 | 罗雄彪 | 一种微创介入手术导航机器人的定位方法及其装置 |
| CN113967071A (zh) * | 2020-10-23 | 2022-01-25 | 李志强 | 手术机器人机械臂跟随手术床运动的控制方法及装置 |
| CN113749694A (zh) * | 2021-10-11 | 2021-12-07 | 上海交通大学医学院附属第九人民医院 | 穿刺取活检及消融系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115153842B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110225710B (zh) | 用于图像引导的程序的配准的系统和方法 | |
| US10743748B2 (en) | Endoscope structures and techniques for navigating to a target in branched structure | |
| US11399895B2 (en) | Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery | |
| EP3289964B1 (en) | Systems for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy | |
| US7233820B2 (en) | Endoscope structures and techniques for navigating to a target in branched structure | |
| JP2019010506A (ja) | 形状推定をともなう軌道情報による位置合わせの改良 | |
| US20210100627A1 (en) | Systems and methods related to elongate devices | |
| CN113616333A (zh) | 导管运动辅助方法、导管运动辅助系统及可读存储介质 | |
| CN111568544A (zh) | 用于使医疗装置相对于目标的导航视觉化的系统和方法 | |
| US11514591B2 (en) | Systems and methods related to registration for image guided surgery | |
| EP3831328A1 (en) | Method for maintaining localization of distal catheter tip to target during ventilation and/or cardiac cycles | |
| CN109561832A (zh) | 使用软点特征来预测呼吸循环并改善端部配准的方法 | |
| US20220202500A1 (en) | Intraluminal navigation using ghost instrument information | |
| CN115153842B (zh) | 双臂机器人导航控制方法、装置、系统和存储介质 | |
| WO2022240790A1 (en) | Medical instrument guidance systems and associated methods | |
| CN113710145A (zh) | 用于患者解剖体的增强的配准的系统 | |
| WO2022233201A1 (en) | Method, equipment and storage medium for navigating a tubular component in a multifurcated channel | |
| WO2024079584A1 (en) | Systems and methods of moving a medical tool with a target in a visualization or robotic system for higher yields | |
| WO2023235224A1 (en) | Systems and methods for robotic endoscope with integrated tool-in-lesion-tomosynthesis | |
| WO2023034071A1 (en) | Ultrasound elongate instrument systems and methods | |
| CN117355248A (zh) | 管腔内装置的智能关节运动管理 | |
| CN117412724A (zh) | 在程序内成像期间评估屏气的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |