CN116269812A - 主从操作的穿刺系统和规划方法 - Google Patents
主从操作的穿刺系统和规划方法 Download PDFInfo
- Publication number
- CN116269812A CN116269812A CN202310308567.4A CN202310308567A CN116269812A CN 116269812 A CN116269812 A CN 116269812A CN 202310308567 A CN202310308567 A CN 202310308567A CN 116269812 A CN116269812 A CN 116269812A
- Authority
- CN
- China
- Prior art keywords
- puncture
- target
- mechanical arm
- simulation
- instrument model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004088 simulation Methods 0.000 claims abstract description 245
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000000452 restraining effect Effects 0.000 claims description 9
- 230000036544 posture Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 22
- 210000001519 tissue Anatomy 0.000 description 18
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000011217 control strategy Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 10
- 230000035515 penetration Effects 0.000 description 10
- 238000001574 biopsy Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 206010005949 Bone cancer Diseases 0.000 description 2
- 208000018084 Bone neoplasm Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3405—Needle locating or guiding means using mechanical guide means
- A61B2017/3409—Needle locating or guiding means using mechanical guide means including needle or instrument drives
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Manipulator (AREA)
Abstract
本申请涉及一种主从操作的穿刺系统和规划方法。所述系统包括：第二机械臂，用于执行预操作，第二机械臂包括仿真模型，仿真模型和第二机械臂呈主从映射关系，仿真模型的末端用于加载仿真器械模型；控制装置，与第一机械臂、第二机械臂及显示装置分别通讯连接，控制装置根据目标对象控制第二机械臂执行预操作，使得仿真模型末端的仿真器械模型移动以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态，并根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。上述系统中，可视化确定最优的目标穿刺位置和目标穿刺姿态，使得医生的操作引导更加直观。
Description
技术领域
本申请涉及机器人导航技术领域，特别是涉及一种主从操作的穿刺系统和规划方法。
背景技术
穿刺检查是从目标对象的体内抽取部分组织进行查验，是一种常规的医学检查。穿刺检查之前，专业人员通常会规划穿刺路径，以保证穿刺路径可以在安全准确地避开目标对象的体内重要组织的前提下，直达异常点。
现有穿刺机器人，依据穿刺检查之前医学影像与术中视觉导航配准，确定穿刺针的最佳穿刺初始位置与最佳穿刺姿态指向，然后引导机械臂运动到目标位姿，引导穿刺针植入。操作者在穿刺针植入前不能基于当前操作场景可视化的直观评价进针路径，而且操作者操作前不能可视化的动态调整进针位姿与穿刺深度，操作直观性不强。
发明内容
基于此，有必要针对上述技术问题，提供一种能够基于当前操作场景可视化的直观评价进针路径，并且可视化动态调整进针位姿与穿刺深度的主从操作的穿刺系统和规划方法。
第一方面，本申请提供一种主从操作的穿刺系统，主从操作的穿刺系统包括：
第一机械臂和装配于第一机械臂末端的操作工具；
第二机械臂，用于执行预操作，第二机械臂包括仿真模型，仿真模型和第二机械臂呈主从映射关系，仿真模型的末端用于加载仿真器械模型；
显示装置，用于显示目标对象图像，将仿真器械模型叠加显示于目标对象图像上；以及
控制装置，与第一机械臂、第二机械臂及显示装置分别通讯连接，控制装置根据目标对象控制第二机械臂执行预操作，使得仿真模型末端的仿真器械模型移动以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态，并根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
在其中一个实施例中，控制装置根据目标对象控制第二机械臂执行预操作还包括，使得仿真模型携带仿真器械模型移动获取仿真器械模型对应的目标穿刺深度。
在其中一个实施例中，获取仿真器械模型对应的目标穿刺深度还包括：约束第二机械臂末端的移动方向和仿真器械模型的轴向方向相同。
在其中一个实施例中，还包括视觉传感器，视觉传感器用于接收操作工具的实时位姿；
控制装置包括通讯连接的第一控制单元和第二控制单元，第一控制单元与第一机械臂和视觉传感器通讯连接；第二控制单元与第二机械臂和显示装置通讯连接；
其中，第二控制单元获得并发送目标穿刺位置和目标穿刺姿态至第一控制单元，第一控制单元根据目标穿刺姿态、目标穿刺位置以及实时位姿引导第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
在其中一个实施例中，第一机械臂的关节构型和第二机械臂的关节构型相同；第二控制单元还用于获取目标穿刺位置和目标穿刺姿态下的第二机械臂的关节控制参数；
其中，第一机械臂和第二机械臂之间包括标定关系，根据标定关系和关节控制参数，控制第一机械臂的各关节，使得第一机械臂末端的操作工具定位到目标穿刺位置和目标穿刺姿态。
在其中一个实施例中，控制装置根据目标对象控制第二机械臂执行预操作中，加载于仿真模型末端的仿真器械模型的姿态相对仿真模型末端保持固定。
在其中一个实施例中，制装置根据目标对象控制第二机械臂执行预操作中，控制装置约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制第二机械臂执行预操作，使得仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
在其中一个实施例中，穿刺位置包括穿刺初始位置和穿刺终点位置，其中，控制装置用于约束穿刺初始位置，移动仿真器械模型获得多个穿刺终点位置，根据穿刺初始位置和多个穿刺终点位置规划多个第一穿刺路径，多个第一穿刺路径显示于目标对象图像上；或者，控制装置用于约束穿刺终点位置，移动仿真器械模型获得多个穿刺初始位置，根据穿刺终点位置和多个穿刺初始位置规划多个第二穿刺路径，多个第二穿刺路径显示于目标对象图像上。
在其中一个实施例中，显示装置包括投射单元，投射单元与控制装置通讯连接，投射单元至少获取并投射仿真器械模型和目标对象图像至目标对象本体上。
第二方面，本申请还提供了一种主从操作的规划方法，所述方法包括：
基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态；仿真模型和第二机械臂呈主从映射关系；以及
根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
在其中一个实施例中，基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，包括：
约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制第二机械臂执行预操作，使得仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
在其中一个实施例中，穿刺位置包括穿刺初始位置和穿刺终点位置，控制第二机械臂执行预操作，包括：
约束穿刺初始位置，移动仿真器械模型获得多个穿刺终点位置，根据穿刺初始位置和多个穿刺终点位置规划多个第一穿刺路径；约束穿刺终点位置，移动仿真器械模型获得多个穿刺初始位置，根据穿刺终点位置和多个穿刺初始位置规划多个第二穿刺路径。
在其中一个实施例中，所述方法还包括：
获取目标对象图像；
叠加显示仿真器械模型至目标对象图像上；以及
显示仿真器械模型和目标对象图像至目标对象本体上。
第三方面，本申请还提供了一种主从操作的穿刺装置。所述装置包括：
主从操作模块，用于基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态；仿真模型和第二机械臂呈主从映射关系；以及
执行模块，用于根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态；仿真模型和第二机械臂呈主从映射关系；以及
根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态；仿真模型和第二机械臂呈主从映射关系；以及
根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
基于目标对象控制第二机械臂执行预操作，使得第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态；仿真模型和第二机械臂呈主从映射关系；以及
根据目标穿刺位置和目标穿刺姿态控制第一机械臂带动操作工具定位到目标穿刺位置和目标穿刺姿态。
上述主从操作的穿刺系统和规划方法，通过设置第二机械臂，第二机械臂包括仿真模型，仿真模型和第二机械臂呈主从映射关系，仿真模型的末端用于加载仿真器械模型，控制第二机械臂执行预操作，使得仿真模型末端的仿真器械模型移动以获取相对目标对象的最优的目标穿刺位置和目标穿刺姿态。上述系统中，操作者可以在操作前基于当前真实操作场景，可视化的直观评估穿刺位置和穿刺姿态的可行性，而且可视化的主从遥操作动态调整穿刺姿态、穿刺位置和穿刺深度，确定最优的目标穿刺位置和目标穿刺姿态，然后引导第一机械臂运动到最优的目标穿刺位置和目标穿刺姿态，使得医生的操作引导更加直观。
附图说明
图1为一个实施例中主从操作的穿刺系统的应用环境图；
图2为一个实施例中仿真器械模型主从控制流程图；
图3为一个实施例中主从映射控制算法的流程图；仿真模型的穿刺初始位置与穿刺姿态指向场景示意图；
图4为一个实施例中仿真器械模型控制模式切换流程；
图5为一个实施例中视觉传感器在穿刺系统的应用环境图；
图6为一个实施例中仿真器械模型的穿刺位置与穿刺姿态场景示意图；
图7为一个实施例中医学影像与视觉影像融合流程图；
图8为一个实施例中医学影像与穿刺过程中的视觉影像中图像融合后的示意图；
图9为一个实施例中仿真器械模型穿刺场景下，确定目标穿刺深度的示意图；
图10为一个实施例中第二机械臂轴向控制策略流程图；
图11为一个实施例中穿刺活检场景下，确定最佳的目标穿刺位置的示意图；
图12为一个实施例中多点穿刺活检场景下，确定最佳的目标穿刺位置的控制策略流程图；
图13为一个实施例中仿真器械模型穿刺场景下，确定最佳穿刺初始位置与最佳穿刺姿态指向的示意图；
图14为一个实施例中第二机械臂的末端目标位置保持不变的控制策略流程图；
图15为一个实施例中仿真器械模型操作安全告警提示示意图；
图16为一个实施例中主从操作的规划方法的流程图；
图17为一个实施例中主从操作的穿刺装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，在医学影像的基础上规划穿刺路径，然后机械臂执行到目标位置，在真正穿刺针植入前，不能可视化的调整合适的穿刺位置与穿刺姿态。因此，为解决上述问题，本申请实施例提供一种主从操作的穿刺系统，可以应用于如图1所示的应用环境中。其中，穿刺系统包括第一机械臂2、操作工具3、第二机械臂8、显示装置(未示出)和控制装置(未示出)。
第一机械臂2，装载于机械臂台车1上，第一机械臂2的末端装载有操作工具3；操作工具3可以是穿刺导向器、骨针等工具。
第二机械臂8，用于执行预操作，第二机械臂8包括仿真模型，仿真模型和第二机械臂8呈主从映射关系，仿真模型的末端用于加载仿真器械模型9。
其中，预操作指第二机械臂8根据主从映射关系控制仿真器械模型9移动时，第二机械臂8所需调整的动作。例如，控制第二机械臂8沿水平线平移或者旋转操作。仿真模型是第二机械臂8在仿真环境下的仿真结构，仿真器械模型9是手术工具在仿真环境下的仿真结构，仿真模型的末端加载仿真器械模型9，是指第二机械臂8的仿真模型的末端握持仿真器械模型9，握持部分和仿真器械模型9之间具有固定位姿关系。
本实施例中，采用主从控制方案控制仿真器械模型9的运动，具体地，第二机械臂8为操作主端，仿真模型为操作从端，操作者通过第二机械臂8执行预操作，以使得仿真模型携带仿真器械模型9移动，进而控制仿真器械模型9的穿刺位置和穿刺姿态，并可以实时可视化的调整仿真器械模型9的穿刺位置和穿刺姿态。
在一些实施例中，第二机械臂8包括3个姿态关节与3个位置关节，3个姿态关节轴线相交于第二机械臂8的操作手柄末端，即第二机械臂8的姿态关节运动不影响第二机械臂8末端位置。
在一些实施例中，通过仿真模型坐标系统与第二机械臂8坐标系统的融合，可实现仿真模型笛卡尔位姿与关节位置的计算。在实际控制时，如图2所示，第二机械臂8包括冗余传感器，经过信号输入模块处理，以及主端正向运动学算法，计算主端笛卡尔位姿，根据主从映射控制算法和主端笛卡尔位姿，得到仿真器械模型9笛卡尔位姿，然后经虚拟机械臂逆运动学，计算得到仿真模型中虚拟关节的指令位置，并进行控制。
在一些实施例中，本实施例的主从控制策略为：相对一个初始参考基准：仿真器械模型9与第二机械臂8的相对运动位移一致，其绝对姿态指向保持一致。如图3所示，主从操作开始初始时，仿真模型的初始位置P0_init，默认可以设置为[0,0,0]，基于主端笛卡尔相对位移ΔP、姿态输入R以及仿真模型的初始位置P0_init，经主从映射控制算法计算仿真器械模型9末端期望位姿[R，P0_init+ΔP]，然后经机械臂逆运动学，对仿真模型的关节指令位置进行求解，得到虚拟关节的指令位置，并通过虚拟关节控制单元进行控制仿真模型，进而控制仿真模型携带仿真器械模型9移动。
显示装置，用于显示目标对象图像，将仿真器械模型9叠加显示于目标对象图像上。
其中，仿真模型可以在显示装置中进行显示，也可以不在显示装置中进行显示。目标对象图像指需要被穿刺的生物体对应的医学影像，例如，脊柱、肺部等生物结构的医学影像，医学影像可以是穿刺前的CT影像、核磁影像等。
控制装置，与第一机械臂2、第二机械臂8及显示装置分别通讯连接，控制装置根据目标对象控制第二机械臂8执行预操作，使得仿真模型末端的仿真器械模型9移动以获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7，并根据目标穿刺位置6和目标穿刺姿态7控制第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7。
其中，在仿真器械模型9主从控制中，如图4所示，主要包括仿真器械模型9的穿刺位置、穿刺姿态和穿刺深度三个运动维度。在控制装置主从遥操作控制仿真器械模型9获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7时，可以依据应用场景需求，可以在锁定其中1个或2个运动维度的基础上，单独控制另外2个或1个运动维度的运动。一旦对应运动维度锁定，在仿真器械模型9主从操作过程中，该运动维度方向的运动将被限制保持不动，而其它运动维度将适配运动，主从控制策略与主端运动控制也会对应适配，并按照主从控制策略重新映射仿真模型的末端位姿。
需要注意的是：控制装置根据目标对象控制第二机械臂8执行预操作中，加载于仿真模型末端的仿真器械模型9的姿态相对仿真模型末端保持固定，即仿真器械模型9跟随仿真模型移动。
在一些实施例中，在进行仿真器械模型9控制模式切换时，可以通过显示装置的导航界面进行控制模式选择与运动维度锁定/释放，或者基于机械臂功能选择按键进行操作选择。
本申请实施例中，最优的目标穿刺位置6和目标穿刺姿态7的筛选标准是基于仿真器械模型9与目标对象的植入情况确定的。例如，若仿真器械模型9穿过目标对象的正常组织，则判定仿真器械模型9的当前穿刺位置和当前穿刺姿态不可行；若仿真器械模型9未穿过目标对象的正常组织，则判定仿真器械模型9的当前穿刺位置和当前穿刺姿态可行，将仿真器械模型9的当前穿刺位置和当前穿刺姿态作为目标穿刺位置6和目标穿刺姿态7。
上述主从操作的穿刺系统中，通过设置第二机械臂8，第二机械臂8包括仿真模型，仿真模型和第二机械臂8呈主从映射关系，仿真模型的末端用于加载仿真器械模型9，控制第二机械臂8执行预操作，使得仿真模型末端的仿真器械模型9移动以获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7。上述系统中，操作者可以在操作前基于当前真实操作场景，可视化的直观评估穿刺位置和穿刺姿态的可行性，而且可视化的主从遥操作动态调整穿刺姿态、穿刺位置和穿刺深度，确定最优的目标穿刺位置6和目标穿刺姿态7，然后引导第一机械臂2运动到最优的目标穿刺位置6和目标穿刺姿态7，使得医生的操作引导更加直观。
在一个实施例中，如图5所示，穿刺系统还包括视觉传感器5，视觉传感器5装载于导航台车4上，用于接收操作工具3的实时位姿。控制装置包括通讯连接的第一控制单元和第二控制单元，第一控制单元与第一机械臂2和视觉传感器通讯连接；第二控制单元与第二机械臂8和显示装置通讯连接；其中，第二控制单元获得并发送目标穿刺位置6和目标穿刺姿态7至第一控制单元，第一控制单元根据目标穿刺姿态7、目标穿刺位置6以及实时位姿引导第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7。
其中，第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿7态的示意图如图6所示，第一机械臂2带动操作工具3定位至目标穿刺位置6，并沿目标穿刺姿态7对应的进针方向，植入目标对象。
在一个实施例中，第一机械臂2的关节构型和第二机械臂8的关节构型相同，第二控制单元还用于获取目标穿刺位置6和目标穿刺姿态7下的第二机械臂8的关节控制参数；其中，第一机械臂2和第二机械臂8之间包括标定关系，根据标定关系和关节控制参数，控制第一机械臂2的各关节，使得第一机械臂2末端的操作工具3定位到目标穿刺位置6和目标穿刺姿态7。
其中，第一机械臂2的关节构型和第二机械臂8的关节构型设置相同，是为了在获取目标穿刺位置6和目标穿刺姿态7后，可以直接地根据第二机械臂8在目标穿刺位置6和目标穿刺姿态7下的关节控制参数以及标定关系，确定第一机械臂2的关节控制参数，无需再次通过机械臂逆运动学求解第一机械臂2的关节控制参数，减少计算量，提高第一机械臂2的控制精度。第一机械臂2和第二机械臂8之间的标定关系是为了使第一机械臂2与第二机械臂8的动作一致，提高第一机械臂2点精度和轨迹精度。
本实施例中，第一控制单元通过视觉传感器接收操作工具3的实时位姿，并根据实时位姿、目标穿刺姿态7、目标穿刺位置6以及实时位姿引导第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7，可以精确控制第一机械臂2的位姿，并且将第一机械臂2与第二机械臂8的关节构型设置相同，可以直接地根据第二机械臂8在目标穿刺位置6和目标穿刺姿态7下的关节控制参数以及标定关系，确定第一机械臂2的关节控制参数，无需再次通过机械人逆运动学求解第一机械臂2的关节控制参数，减少计算量，提高第一机械臂2的控制精度。
在一个实施例中，为了使仿真器械模型9的目标穿刺姿态7、目标穿刺位置6以及接收操作工具3的实时位姿处于同一坐标系下，本实施例的控制装置将目标对象在穿刺前的医学影像，以及穿刺过程中的视觉影像进行融合，实现三维影像空间到导航空间的配准，得到虚拟操作空间影像，并将穿刺过程中的视觉影像与第一机械臂坐标系进行融合，可以实时计算出仿真器械模型9在虚拟操作空间影像的三维空间位置。其中，虚拟操作空间影像包括目标对象图像、至少一条虚拟穿刺路径和仿真器械模型9；虚拟穿刺路径基于仿真器械模型9的穿刺初始位置、穿刺终点位置穿刺初始位置和穿刺姿态所确定的。
在一些实施例中，在目标对象的体表上标记有多个靶标标记点，穿刺前的医学影像与穿刺过程中的视觉影像融合过程具体包括以下步骤：
步骤1，确定靶标标记点在医学影像中的第一空间位置，并实时跟踪靶标标记点在视觉影像中的第二空间位置，将第一空间位置和第二空间位置进行配准，获得医学影像坐标系与视觉影像坐标系之间的第一映射关系。
可选地，在目标对象的体表上标记多个靶标标记点，如图7所示，在穿刺前，同步扫描目标对象的靶点标记点，获得包括靶点标记点的医学影像；导航台车基于操作前的医学影像进行三维建模，并确定靶点标记点在三维医学影像中的第一空间位置；穿刺过程中视觉传感器实时追踪靶点标记点在视觉影像中的第二空间位置，适配靶标标记点在医学影像与视觉影像的空间位置，完成医学影像坐标系与视觉影像坐标系的配准融合，实现医学影像与视觉影像的融合，靶点标记点在医学影像中的示意图如图8所示。
在一些实施例中，靶点标记点包含多个标识金属球，标识金属球固定在目标对象的体表上，在穿刺过程中，使用配准算法实时跟踪标识金属球在视觉影像中的空间位置，然后与医学影像中标识金属球坐标进行配准，实现医学影像与视觉影像的融合。
步骤2，基于第一机械臂2的各关节运动信息，确定机器人坐标系中第一机械臂2的末端位姿，在视觉影像中实时跟踪第一机械臂2的末端靶标点位置，将末端靶标点位置与第一机械臂2的末端位姿进行配准，获得视觉影像坐标系与机器人坐标系之间的第二映射关系。
其中，第一机械臂2的各关节运动信息包括：各关节的位置和速度信息。
可选地，如图7所示，导航台车基于第一机械臂2的各关节运动信息、机器人运动学与运动学映射关系，计算得到机械臂末端的空间位置信息。穿刺过程中视觉传感器对第一机械臂2末端靶点位置实时追踪，适配机械臂末端在机械臂坐标系与视觉传感坐标系，实现术中视觉传感与机器人坐标系的融合。
步骤3，基于第一映射关系和第二映射关系对医学影像和视觉影像进行融合，得到虚拟操作空间影像。
其中，医学影像与视觉影像融合包括步骤1中医学影像坐标系与视觉影像坐标系的融合，以及步骤2中视觉图像坐标系和机器人坐标系之间的融合。基于步骤1至步骤3，实现操作前医学影像、穿刺过程中视觉传感图像和机器人坐标系的融合，得到虚拟操作空间影像，在虚拟操作空间影像中可实时计算出仿真器械模型9在操作区间的三维空间位置。
本实施例中，通过将穿刺前的医学影像和穿刺中的视觉影像进行融合，得到虚拟操作空间影像，在虚拟操作空间影像中可视化穿刺过程中，仿真器械模型9在目标对象的穿刺初始位置、穿刺姿态指向和末端目标位置，解决现有技术中在对目标对象真实穿刺过程中，无法评估当前术野下操作工具3的植入情况。
在一个实施例中，在进行操作工具3穿刺至目标对象之前，不能可视化操作工具3的穿刺深度，因此，为解决上述问题，本实施例在获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7之后，控制装置根据目标对象控制第二机械臂8执行预操作，使得仿真模型携带仿真器械模型移动获取仿真器械模型对应的目标穿刺深度。
其中，目标穿刺位置6包括穿刺初始位置和穿刺终点位置。例如，如图9所示，A表示仿真器械模型9的穿刺初始位置，B点表示仿真器械模型9的穿刺终点位置，也是目标病灶位置，向量AB表示仿真器械模型9的目标穿刺姿态7。操作者操作第二机械臂8，通过第二机械臂8的运动边界控制算法，限制第二机械臂8只能沿着仿真器械模型9的穿刺姿态向移动，其它方向运动受阻，然后根据仿真模型与第二机械臂8之间的主从映射关系，映射到仿真模型沿着轴线方向移动，并携带仿真器械模型9从A点运动到目标点B，在仿真器械模型9运动的过程中，若仿真器械模型9避开敏感组织与血管神经，则将仿真器械模型9的当前可视化的穿刺深度，作为仿真器械模型对应的目标穿刺深度。
可选地，控制装置获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7之后，控制仿真器械模型9的末端执行至穿刺初始位置和目标穿刺姿态7，并保持不变，控制装置控制第二机械臂8执行预操作，使得仿真模型携带仿真器械模型9在运动边界内沿穿刺姿态方向上移动的穿刺深度，以使得仿真器械模型9沿穿刺姿态指向上的穿刺深度在主从映射关系的基础上进行可视化跟随调整，直至仿真器械模型9的末端位置沿穿刺姿态到达穿刺终点位置，将仿真器械模型当前的穿刺深度作为仿真器械模型对应的目标穿刺深度。
在一些实施例中，控制装置还用于约束第二机械臂8末端的移动方向和仿真器械模型的轴向方向相同。
可选地，如图10所示，控制装置控制仿真器械模型9的穿刺初始位置与穿刺姿态指向保持不变，根据仿真器械模型9的穿刺姿态指向，进行第二机械臂8的姿态跟随匹配，以及第二机械臂8的可操作方向轴线计算，获得第二机械臂8的可操作目标轴线，并采用第二机械臂8轴向操作阻抗控制策略与边界力反馈方向对第二机械臂8进行控制，第二机械臂8被限制在可以沿着目标轴线方向自由移动，当第二机械臂8的运动位置偏离目标轴线方向时，第二机械臂8接收到边界力反馈，而且力反馈方向与偏离方向相互反向，与偏离程度成正比。因此引导操作者沿着目标轴线操作第二机械臂8，然后主从操作仿真器械模型9沿着轴向方向运动，来评估确定目标穿刺深度。
本实施例中，在控制装置控制操作工具3穿刺至目标对象之前，控制装置根据目标对象控制第二机械臂8执行预操作，锁定仿真器械模型9的穿刺初始位置与穿刺姿态，使得仿真模型携带仿真器械模型9沿着穿刺姿态指向方向调整穿刺深度，可视化确定目标穿刺深度，避免真实操作工具3定位不准的问题。
在一个实施例中，控制装置根据目标对象控制第二机械臂8执行预操作中，控制装置约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制第二机械臂8执行预操作，使得仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。进一步，穿刺位置包括穿刺初始位置和穿刺终点位置，其中，控制装置用于约束穿刺初始位置，移动仿真器械模型获得多个穿刺终点位置，根据穿刺初始位置和多个穿刺终点位置规划多个第一穿刺路径，多个第一穿刺路径显示于目标对象图像上。
例如，在进行脊柱骨癌活检时，往往需要对病灶区域的多个病灶点进行穿刺活检，然而目前一次只能确定一个穿刺活检点的最佳进针位置，为减少穿刺中机械臂位置的调整，本实施例提供一种仿真器械模型9的控制模式，根据该控制模式，确定的机械臂的穿刺初始位置可满足病灶区域的多个病灶点的穿刺活检，切换穿刺中病灶点位置时，而无需调整机械臂末端位置。
控制装置根据目标对象图像(脊柱骨癌病灶图像)控制第二机械臂8执行预操作，使得仿真模型携带仿真器械模型执行至穿刺初始位置，按照穿刺终点位置组中的每一穿刺终点位置，执行相应的虚拟穿刺操作，并确定相应的第一穿刺路径；统计穿刺初始位置相应的第一穿刺路径中未穿过目标对象的非目标组织的可行路径条数；多次切换穿刺初始位置，并按照上述过程获取每次切换后的穿刺初始位置相应的可行路径条数，确定最大可行路径条数相应的目标穿刺初始位置，将目标穿刺初始位置以及最大可行路径条数相应的穿刺姿态分别作为最优的穿刺初始位置和穿刺姿态指向。
例如，如图11所示，A表示仿真模型穿刺初始位置，B点表示目标病灶位置，也是仿真器械模型9的末端目标位置。穿刺初始位置A分别至不同的目标病灶位置的虚线为多个第一穿刺路径，从中选取其中一条第一穿刺路径作为当前的第一穿刺路径。若仿真器械模型9在植入目标对象的过程中，未穿过目标对象的正常组织，则重新选择一条第一穿刺路径作为当前的第一穿刺路径，并返回执行控制仿真器械模型9的穿刺初始位置保持不变的步骤，并继续执行，直至仿真器械模型9沿着所有的第一穿刺路径植入目标对象；统计穿刺初始位置相应的第一穿刺路径中未穿过目标对象的非目标组织的可行路径条数，将最大可行路径条数相应的目标穿刺初始位置以及最大可行路径条数相应的穿刺姿态分别作为最优的穿刺初始位置和穿刺姿态指向。
可选地，在穿刺活检的操作场景下，需要对穿刺初始位置进行评估，判断穿刺初始位置是否可以覆盖所有的目标病灶位置。在穿刺活检的操作场景下，如图12所示，首先第二机械臂8自由移动，将仿真器械模型9移到可选的穿刺初始位置，然后控制仿真器械模型9的穿刺初始位置保持不变。在该控制模式下，第二机械臂8操作时，第二机械臂8的姿态关节可以调整，第二机械臂8的位置关节不能主动操作，通过调整第二机械臂8的姿态关节，控制仿真器械模型9沿着不同的姿态指向与路径进行穿刺评估，评估当前的穿刺初始位置至多个末端目标位置的多个虚拟穿刺路径是否可以覆盖所有的目标病灶位置，且不碰触正常组织。若满足要求，则判定当前的穿刺初始位置为最佳穿刺初始位置；若不满足需求，则移动到下一个穿刺初始位置进行评估，直至找到最佳穿刺初始位置。
本实施例中，在穿刺活检的场景下，控制仿真器械模型9的穿刺初始位置保持不变，调整第二机械臂8在运动边界内的穿刺姿态指向以及沿穿刺姿态指向移动的穿刺深度，可视化的评估当前的穿刺初始位置下的操作空间是否可覆盖多个目标病灶位置，而且不伤及正常组织与敏感神经，并可以可视化动态调整与确定最佳穿刺初始位置，减少穿刺中机械臂位置的调整，以及减小对目标对象的损伤。
在本发明的其他实施例中，控制装置还可以用于约束穿刺终点位置，移动仿真器械模型获得多个穿刺初始位置，根据穿刺终点位置和多个穿刺初始位置规划多个第二穿刺路径，多个第二穿刺路径显示于目标对象图像上。
其中，在通过操作工具3穿刺的过程中，在确定目标病灶位置的情况下，需要在多个可以到达目标病灶点未知的虚拟穿刺路径中，寻找最佳的穿刺初始位置与目标穿刺姿态7。具体的，控制装置确定未穿过目标对象的非目标组织的第二穿刺路径中路径最短的目标穿刺路径，将目标穿刺路径对应的穿刺初始位置、穿刺终点位置作为最佳的目标穿刺位置6，将目标穿刺路径对应的穿刺姿态作为最佳的目标穿刺姿态7。
具体地，如图13所示，B点表示目标病灶位置。图13中多个可选穿刺初始位置至同一目标病灶点的虚线为多个第二穿刺路径，从中选取一条第二穿刺路径作为当前的第二穿刺路径，控制装置通过第二机械臂8控制仿真器械模型9的末端置于穿刺终点位置并保持不变，对应的第二机械臂8的末端位置也要保持不变，第二机械臂8的姿态可以变化，即第二机械臂8的末端笛卡尔位置速度V0(V0_x,V0_y,V0_z)为0，对应的数学公式为：
式中，Js表示第二机械臂8所对应的雅克比矩阵，基于第二机械臂8的速度计算获得；
表示第二机械臂8对应关节的速度输入。
控制装置控制第二机械臂8的末端位置保持不变的控制策略如图14所示，通过第二机械臂8的运动边界控制算法，控制第二机械臂8的末端位置保持不变，其姿态指向可以改变，进而实现仿真器械模型9的穿刺初始位置与穿刺姿态指向的调整。其中，在操作第二机械臂8时，第二机械臂8的姿态关节可以调整，第二机械臂8的位置关节不能主动操作，用于跟随补偿。若其中一个姿态关节速度输入影响第二机械臂8的末端笛卡尔位置时，则通过上式计算补偿关节速度，来保证第二机械臂8的末端笛卡尔速度为0，但得到第二机械臂8的各关节速度后，关节速度积分得到关节指令位置。这样第二机械臂8操作时保障末端位置不变，进而控制仿真器械模型9末端绕着末端调整姿态指向与进针点。
其中，若仿真器械模型9在植入目标对象的过程中，未穿过目标对象的正常组织，则判定当前的虚拟穿刺路径为有效穿刺路径，重新选择一条虚拟穿刺路径作为当前的虚拟穿刺路径，并返回执行控制仿真器械模型9的末端目标位置保持不变的步骤，并继续执行，直至仿真器械模型9沿着所有的第二穿刺路径植入目标对象，将未穿过目标对象的非目标组织的第二穿刺路径中路径最短的目标穿刺路径，将目标穿刺路径对应的穿刺初始位置、穿刺终点位置作为最佳的目标穿刺位置6，将目标穿刺路径对应的穿刺姿态作为最佳的目标穿刺姿态7。
其中，若仿真器械模型9沿当前的虚拟穿刺路径植入目标对象的过程中，穿过目标对象的正常组织，则判定当前的虚拟穿刺路径不可行，并将当前的虚拟穿刺路径剔除。
本实施例中，控制装置通过第二机械臂8控制仿真器械模型9的穿刺终点位置保持不变，通过第二机械臂8控制仿真器械模型9可视化动态调整仿真器械模型9的穿刺初始位置与穿刺姿态指向，使得仿真器械模型9分别沿多个第二穿刺路径可视化植入目标对象中，将避开敏感组织与血管神经，且穿刺路径最短的虚拟穿针路径作为最佳穿刺路径，可以提高操作工具3穿刺的效率。
在一些实施例中，如图15所示，在仿真器械模型9沿第一穿刺路径或第二穿刺路径执行定位或穿刺过程中，当仿真器械模型9碰触敏感组织，或神经血管时，可能造成危险动作时，导航图像界面会进行安全告警提示，并同时增强显示在导航图像界面，已便于操作者进行操作路径安全性与有效性评估。
在一些实施例中，显示装置包括投射单元，投射单元与控制装置通讯连接，投射单元至少获取并投射仿真器械模型和目标对象图像至目标对象本体上。其中，投射单元可以是投影仪或者可穿戴设备，用于将虚拟的模型或者图像展示至目标对象本体上，便于以虚实结合的方式，全方位地展示穿刺过程。
基于同样的发明构思，本申请实施例还提供了一种主从操作的规划方法，所述方法可以应用于如图1所示的控制装置中，如图16所示，所述方法包括以下步骤：
步骤1602，基于目标对象控制第二机械臂8执行预操作，使得第二机械臂8的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7；仿真模型和第二机械臂8呈主从映射关系。
其中，预操作指第二机械臂8根据主从映射关系控制仿真器械模型移动时，第二机械臂8所需调整的动作。例如，控制第二机械臂8沿水平线平移或者旋转操作。仿真模型是第二机械臂8在仿真环境下的仿真结构，仿真器械模型是操作工具3在仿真环境下的仿真结构，仿真模型的末端加载仿真器械模型。
本实施例中，采用主从控制方案控制仿真器械模型的运动，具体地，第二机械臂8为操作主端，仿真模型为操作从端，操作者通过第二机械臂8执行预操作，以使得仿真模型携带仿真器械模型移动，进而控制仿真器械模型的穿刺位置和穿刺姿态，并可以实时可视化的调整仿真器械模型的穿刺位置和穿刺姿态。
在一些实施例中，第二机械臂8包括3个姿态关节与3个位置关节，3个姿态关节轴线相交于第二机械臂8的操作手柄末端，即第二机械臂8的姿态关节运动不影响第二机械臂8末端位置。
可选地，控制装置基于于目标对象控制第二机械臂8执行预操作，根据应用场景需求，可以在锁定穿刺位置、穿刺姿态和穿刺深度三个运动维度中1个或2个运动维度的基础上，单独控制另外2个或1个运动维度的运动。一旦对应运动维度锁定，在仿真器械模型9主从操作过程中，该运动维度方向的运动将被限制保持不动，而其它运动维度将适配运动，主从控制策略与主端运动控制也会对应适配，并按照主从控制策略重新映射仿真模型的末端位姿，根据主从映射算法以及仿真模型的末端位姿，控制装置通过第二机械臂8的预操作，使得第二机械臂8的仿真模型末端携带仿真器械模型移动，若仿真器械模型9穿过目标对象的正常组织，则判定仿真器械模型9的当前穿刺位置和当前穿刺姿态不可行；若仿真器械模型9未穿过目标对象的正常组织，则判定仿真器械模型9的当前穿刺位置和当前穿刺姿态可行，将仿真器械模型9的当前穿刺位置和当前穿刺姿态作为目标穿刺位置6和目标穿刺姿态7。
步骤1604，根据目标穿刺位置6和目标穿刺姿态7控制第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7。
可选地，控制装置控制第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7的过程与上述实施例中控制装置的作用相同，因此，在此不再累述。
本实施例中，第二机械臂8包括仿真模型，仿真模型和第二机械臂8呈主从映射关系，仿真模型的末端用于加载仿真器械模型，控制第二机械臂8执行预操作，使得仿真模型末端的仿真器械模型移动以获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7。上述方法中，操作者可以在操作前基于当前真实操作场景，可视化的直观评估穿刺位置和穿刺姿态的可行性，而且可视化的主从遥操作动态调整穿刺姿态、穿刺位置和穿刺深度，确定最优的目标穿刺位置6和目标穿刺姿态7，然后引导第一机械臂2运动到最优的目标穿刺位置6和目标穿刺姿态7，使得医生的操作引导更加直观。
在一个实施例中，基于目标对象控制第二机械臂8执行预操作，使得第二机械臂8的仿真模型末端携带仿真器械模型移动，包括：
约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制第二机械臂8执行预操作，使得仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
其中，穿刺位置包括穿刺初始位置和穿刺终点位置，控制第二机械臂8执行预操作，包括：
约束穿刺初始位置，移动仿真器械模型获得多个穿刺终点位置，根据穿刺初始位置和多个穿刺终点位置规划多个第一穿刺路径；约束穿刺终点位置，移动仿真器械模型获得多个穿刺初始位置，根据穿刺终点位置和多个穿刺初始位置规划多个第二穿刺路径。
其中，控制装置控制第二机械臂8执行预操作的过程与上述系统实施例中控制装置的作用相同，因此，在此不再累述。
在其中一个实施例中，所述方法还包括以下步骤：
步骤1，获取目标对象图像。
步骤2，叠加显示仿真器械模型至目标对象图像上。
步骤3，显示仿真器械模型和目标对象图像至目标对象本体上。
其中，显示装置将仿真器械模型叠加显示至目标对象图像上，以及显示仿真器械模型和目标对象图像至目标对象本体上与上述系统中显示装置的操作过程相同，再次不再累述。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的主从操作的规划方法的主从操作的穿刺装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个主从操作的穿刺装置实施例中的具体限定可以参见上文中对于主从操作的规划方法的限定，在此不再赘述。
在一个实施例中，如图17所示，提供了一种主从操作的穿刺装置，包括：主从操作模块100和执行模块200，其中：
主从操作模块100，用于基于目标对象控制第二机械臂8执行预操作，使得第二机械臂8的仿真模型末端携带仿真器械模型移动，以获取相对目标对象的最优的目标穿刺位置6和目标穿刺姿态7；仿真模型和第二机械臂8呈主从映射关系；以及
执行模块200，用于根据目标穿刺位置6和目标穿刺姿态7控制第一机械臂2带动操作工具3定位到目标穿刺位置6和目标穿刺姿态7。
在一个实施例中，主从操作模块100还用于：约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制第二机械臂8执行预操作，使得仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
在一个实施例中，穿刺位置包括穿刺初始位置和穿刺终点位置，主从操作模块100还用于：约束穿刺初始位置，移动仿真器械模型获得多个穿刺终点位置，根据穿刺初始位置和多个穿刺终点位置规划多个第一穿刺路径；约束穿刺终点位置，移动仿真器械模型获得多个穿刺初始位置，根据穿刺终点位置和多个穿刺初始位置规划多个第二穿刺路径。
在一个实施例中，穿刺装置还包括显示模块300，用于获取目标对象图像；
叠加显示仿真器械模型至目标对象图像上；以及
显示仿真器械模型和目标对象图像至目标对象本体上。
上述主从操作的穿刺装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各实施例中的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种主从操作的穿刺系统，其特征在于，所述主从操作的穿刺系统包括：
第一机械臂和装配于所述第一机械臂末端的操作工具；
第二机械臂，用于执行预操作，所述第二机械臂包括仿真模型，所述仿真模型和所述第二机械臂呈主从映射关系，所述仿真模型的末端用于加载仿真器械模型；
显示装置，用于显示目标对象图像，将所述仿真器械模型叠加显示于所述目标对象图像上；以及
控制装置，与所述第一机械臂、所述第二机械臂及所述显示装置分别通讯连接，所述控制装置根据目标对象控制所述第二机械臂执行所述预操作，使得所述仿真模型末端的所述仿真器械模型移动以获取相对所述目标对象的最优的目标穿刺位置和目标穿刺姿态，并根据所述目标穿刺位置和所述目标穿刺姿态控制所述第一机械臂带动所述操作工具定位到所述目标穿刺位置和所述目标穿刺姿态。
2.根据权利要求1所述的主从操作的穿刺系统，其特征在于，所述控制装置根据所述目标对象控制所述第二机械臂执行所述预操作还包括，使得所述仿真模型携带所述仿真器械模型移动获取所述仿真器械模型对应的目标穿刺深度。
3.根据权利要求2所述的主从操作的穿刺系统，其特征在于，获取所述仿真器械模型对应的目标穿刺深度还包括：约束所述第二机械臂末端的移动方向和所述仿真器械模型的轴向方向相同。
4.根据权利要求1所述的主从操作的穿刺系统，其特征在于，还包括视觉传感器，所述视觉传感器用于接收所述操作工具的实时位姿；
所述控制装置包括通讯连接的第一控制单元和第二控制单元，所述第一控制单元与所述第一机械臂和所述视觉传感器通讯连接；所述第二控制单元与所述第二机械臂和所述显示装置通讯连接；
其中，所述第二控制单元获得并发送所述目标穿刺位置和所述目标穿刺姿态至所述第一控制单元，所述第一控制单元根据所述目标穿刺姿态、所述目标穿刺位置以及所述实时位姿引导所述第一机械臂带动所述操作工具定位到所述目标穿刺位置和所述目标穿刺姿态。
5.根据权利要求4所述的主从操作的穿刺系统，其特征在于，所述第一机械臂的关节构型和所述第二机械臂的关节构型相同；所述第二控制单元还用于获取所述目标穿刺位置和所述目标穿刺姿态下的所述第二机械臂的关节控制参数；
其中，所述第一机械臂和所述第二机械臂之间包括标定关系，根据所述标定关系和所述关节控制参数，控制所述第一机械臂的各关节，使得所述第一机械臂末端的所述操作工具定位到所述目标穿刺位置和所述目标穿刺姿态。
6.根据权利要求1所述的主从操作的穿刺系统，其特征在于，所述控制装置根据所述目标对象控制所述第二机械臂执行所述预操作中，加载于所述仿真模型末端的所述仿真器械模型的姿态相对所述仿真模型末端保持固定。
7.根据权利要求6所述的主从操作的穿刺系统，其特征在于，所述控制装置根据所述目标对象控制所述第二机械臂执行所述预操作中，所述控制装置约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制所述第二机械臂执行所述预操作，使得所述仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
8.根据权利要求7所述的主从操作的穿刺系统，其特征在于，所述穿刺位置包括穿刺初始位置和穿刺终点位置，其中，所述控制装置用于约束所述穿刺初始位置，移动所述仿真器械模型获得多个穿刺终点位置，根据所述穿刺初始位置和多个所述穿刺终点位置规划多个第一穿刺路径，多个所述第一穿刺路径显示于所述目标对象图像上；或者，所述控制装置用于约束所述穿刺终点位置，移动所述仿真器械模型获得多个穿刺初始位置，根据所述穿刺终点位置和多个所述穿刺初始位置规划多个第二穿刺路径，多个所述第二穿刺路径显示于所述目标对象图像上。
9.根据权利要求1所述的主从操作的穿刺系统，其特征在于，所述显示装置包括投射单元，所述投射单元与所述控制装置通讯连接，所述投射单元至少获取并投射所述仿真器械模型和所述目标对象图像至目标对象本体上。
10.一种主从操作的规划方法，其特征在于，所述方法包括：
基于目标对象控制第二机械臂执行预操作，使得所述第二机械臂的仿真模型末端携带仿真器械模型移动，以获取相对所述目标对象的最优的目标穿刺位置和目标穿刺姿态；所述仿真模型和所述第二机械臂呈主从映射关系；以及
根据所述目标穿刺位置和所述目标穿刺姿态控制第一机械臂带动所述操作工具定位到所述目标穿刺位置和所述目标穿刺姿态。
11.根据权利要求10所述的方法，其特征在于，所述基于目标对象控制所述第二机械臂执行预操作，使得所述第二机械臂的仿真模型末端携带仿真器械模型移动，包括：
约束穿刺位置、穿刺姿态和穿刺深度中至少一个参数，控制所述第二机械臂执行所述预操作，使得所述仿真器械模型在穿刺位置、穿刺姿态和穿刺深度的剩余参数下移动。
12.根据权利要求11所述的方法，其特征在于，所述穿刺位置包括穿刺初始位置和穿刺终点位置，所述控制所述第二机械臂执行所述预操作，包括：
约束所述穿刺初始位置，移动所述仿真器械模型获得多个穿刺终点位置，根据所述穿刺初始位置和多个所述穿刺终点位置规划多个第一穿刺路径；约束所述穿刺终点位置，移动所述仿真器械模型获得多个穿刺初始位置，根据所述穿刺终点位置和多个所述穿刺初始位置规划多个第二穿刺路径。
13.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取目标对象图像；
叠加显示仿真器械模型至所述目标对象图像上；以及
显示仿真器械模型和目标对象图像至目标对象本体上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308567.4A CN116269812A (zh) | 2023-03-27 | 2023-03-27 | 主从操作的穿刺系统和规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308567.4A CN116269812A (zh) | 2023-03-27 | 2023-03-27 | 主从操作的穿刺系统和规划方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116269812A true CN116269812A (zh) | 2023-06-23 |
Family
ID=86816641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310308567.4A Pending CN116269812A (zh) | 2023-03-27 | 2023-03-27 | 主从操作的穿刺系统和规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116269812A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116652968A (zh) * | 2023-07-24 | 2023-08-29 | 贵州翰凯斯智能技术有限公司 | 多机械臂协同在线仿真方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-27 CN CN202310308567.4A patent/CN116269812A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116652968A (zh) * | 2023-07-24 | 2023-08-29 | 贵州翰凯斯智能技术有限公司 | 多机械臂协同在线仿真方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2022203687B2 (en) | Method and system for guiding user positioning of a robot | |
| US10660716B2 (en) | Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system | |
| CN110876643B (zh) | 医疗手术导航系统及方法 | |
| JP4220780B2 (ja) | 手術システム | |
| CN113940755B (zh) | 一种术像一体的外科手术规划与导航方法 | |
| CN112203604A (zh) | 机器人端口放置引导件及使用方法 | |
| US11154369B2 (en) | Environmental mapping for robotic assisted surgery | |
| US20110190790A1 (en) | Method For Operating A Medical Robot, Medical Robot, And Medical Work Place | |
| CN112603538A (zh) | 骨科导航定位系统及方法 | |
| US20150134113A1 (en) | Method for operating a robot | |
| EP4142610A1 (en) | Collaborative surgical robotic platform for autonomous task execution | |
| Šuligoj et al. | Medical applicability of a low-cost industrial robot arm guided with an optical tracking system | |
| CN116269812A (zh) | 主从操作的穿刺系统和规划方法 | |
| USRE40176E1 (en) | Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy | |
| JP2022545743A (ja) | ロボットの位置ガイド装置、その方法、及びそれを含むシステム | |
| Mohareri et al. | da Vinci® auxiliary arm as a robotic surgical assistant for semi-autonomous ultrasound guidance during robot-assisted laparoscopic surgery | |
| CN115089302A (zh) | 手术机器人系统及方法 | |
| EP4342397A1 (en) | Laser cutting surgical system with surgical access port tracking | |
| US20240033005A1 (en) | Systems and methods for generating virtual reality guidance | |
| WO2023018684A1 (en) | Systems and methods for depth-based measurement in a three-dimensional view | |
| CN117122413A (zh) | 用于骨科手术机器人的基于oct成像的定位导航方法 | |
| CN117813631A (zh) | 用于三维视图中基于深度的测量的系统和方法 | |
| Mönnich et al. | A hand guided robotic planning system for laser osteotomy in surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |