CN116459013A - 一种基于3d视觉识别的控制方法及协作机器人 - Google Patents
一种基于3d视觉识别的控制方法及协作机器人 Download PDFInfo
- Publication number
- CN116459013A CN116459013A CN202310447208.7A CN202310447208A CN116459013A CN 116459013 A CN116459013 A CN 116459013A CN 202310447208 A CN202310447208 A CN 202310447208A CN 116459013 A CN116459013 A CN 116459013A
- Authority
- CN
- China
- Prior art keywords
- guide
- information
- mechanical arm
- introducer
- axial direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 46
- 238000003780 insertion Methods 0.000 claims description 26
- 230000037431 insertion Effects 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 12
- 239000012636 effector Substances 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 210000005036 nerve Anatomy 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 206010053942 Cerebral haematoma Diseases 0.000 description 1
- 208000000386 Hypertensive Intracranial Hemorrhage Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009297 electrocoagulation Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007914 intraventricular administration Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Manipulator (AREA)
Abstract
本申请提供了一种基于3D视觉识别的控制方法及协作机器人，应用于手术机器人技术领域，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
Description
技术领域
本申请涉及手术机器人技术领域，尤其涉及一种基于3D视觉识别的控制方法及协作机器人。
背景技术
近年来，随着技术和器械设备的进步，经颅神经内镜手术逐渐兴起，而神经内镜导引器手术是其中非常重要的组成部分。神经镜导引器手术（EPS），EPS早起主要应用于神经内镜脑内血肿清除术这一类操作相对简单的手术，现已成为高血压脑出血内镜手术的一种主要手术方式，在此类手术中，术者常常一手持镜，另一手持器械进行操作。但在脑室内肿瘤和脑实质内病变等疾病的神经内镜手术治疗中，常常需要通过狭长的手术通道，进行较多的更为复杂的操作，如电凝、切割、分离、止血等，单手器械操作极为困难，需要进行双手器械操作，同时，由于病变常常大于导引器直径（1.6cm至2.3cm），在术中，经常需要通过扭转导引器，以求达到更大范围的暴露并切除病变。此时，一个关键技术问题就是需要一个稳定的协作机器人用于持镜，以便术者能够进行双手器械操作。
目前临床常见的解决方案主要有两种模式：1、由手术一助人工持镜。这一方法对手术一助的要求很高，在临床上常常需要2年以上培训，如果要和主刀医生配合默契，则通常需要合作5年以上。因此，在人工持镜模式中，人员培训和所需时间是一大难题。2、由持镜设备持镜。常用的有机械臂和气动臂两种持镜设备。但无论是哪种设备，当进行导引器扭转和内镜视野调整时，都需要经历繁琐的调整步骤，耗时时间长，会大大延长手术时间，增加术者劳动强度，另外，持镜设备价格十分昂贵，难以普及。
故而现有技术中存在的人力持镜或者机械持镜难以做到动作迅速准确的同时兼顾到降低人力或财力成本的问题。
发明内容
鉴于上述现有技术的不足之处，本申请提供了一种基于3D视觉识别的控制方法及协作机器人，应用于手术机器人技术领域，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，其中，协作机器人的机械臂上持有神经内镜，机械臂要将该神经内镜伸入导引器中，以提供给术者清晰的手术视野，便于术者双手持器械进行手术。由于导引器的直径较小，为了保证机械臂能将神经内镜准确插入导引器中，还需要对机械臂所在位置进行标定，保证机械臂持神经内镜所在平面与导引器进入端所在平面完全平行，因此，在插入之前，需要对机械臂的航向角进行拟合，以保证机械臂完全处于导引器上方，消除机械臂的偏移误差，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。使用该基于3D视觉识别的控制方法，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
第一方面，本申请提供一种基于3D视觉识别的控制方法，该方法应用于一种协作机器人，该方法包括以下步骤：
获取导引器的图像信息；
根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息；
根据第一相对位置信息计算机械臂的航向角信息，以控制机械臂移动到导引器正上方；
获取导引器圆心的轴向方向信息以及机械臂移动到导引器正上方后与导引器的距离信息；
根据导引器圆心的轴向方向信息以及距离信息，控制机械臂沿导引器圆心的轴向方向插入导引器中。
通过上述的一种基于3D视觉识别的控制方法，识别获取导引器的图像信息，并根据该导引器的图像信息计算协作机器人的机械臂与导引器之间的第一相对位置信息，便于机械臂持神经内镜正确位移到导引器的正上方，在此过程中，由于机械臂本身可能存在一定的角度偏移，因此还需要对机械臂进行航向角拟合，确保机械臂处于导引器的正上方，与导引器完全平行，这样即可保证机械臂持神经内镜进入导引器后能返回准确的术野信息给术者，利于术者根据术野情况进行手术。由于导引器的直径较小（一般只有1.6cm至2.3cm），为了使机械臂持神经内镜插入导引器中时，不会与导引器发生干涉，在机械臂位移到导引器正上方之后，还需要获取导引器的圆心的轴方向信息以及机械臂与导引器的距离信息，使机械臂沿导引器的圆心的轴方向插入，并在合适的插入位置停下。通过该3D视觉识别的控制方式，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
优选地，在本申请提供的一种基于3D视觉识别的控制方法，获取导引器的图像信息的步骤包括：
获取导引器真实的训练数据；
使用图像增强技术对导引器真实的训练数据以及导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像；
采用深度学习Panoptic Deeplab图像分割技术对可用数据集图像进行图像分割，得到导引器的图像信息。
通过上述的一种基于3D视觉识别的控制方法，为了保证视觉识别到的导引器更加真实，可事先获取导引器真实的训练数据，同时使用Blender生成的虚拟图像数据，并且使用图像增强技术扩充可用的数据集，基于深度学习Panoptic Deeplab图像分割技术，对于导引器进行图像分割，由此得到导引器的图像信息，使获得的图像更加真实准确。
优选地，在本申请提供一种基于3D视觉识别的控制方法，机械臂携带摄像机，获取导引器的图像信息之前的步骤包括：
计算摄像机与机械臂的第二相对位置信息；
计算摄像机与机械臂的第二相对位置信息的步骤包括：
控制计算机在空中对高精度的标定板进行预设次数以及预设角度的3D扫描，得到扫描数据；
根据扫描数据，使用TSAI校准方式以及LM非线性优化算法，对摄像机与机械臂之间的相对关系进行标定，得到标定结果；
根据标定结果计算第二相对位置信息。
由于该协作机器人的机械臂上携带摄像机，该摄像机即为扫描识别导引器真实的训练数据的设备，该摄像机与机械臂连接，在机械臂移动的过程中，相机与机械臂之间的相对位置会产生偏移，导致对相机获取到的图像数据计算存在误差，因此，在摄像机识别导引器真实的训练数据之前，需要对摄像机与机械臂之间的相对关系进行标定，以便在后续的数据计算中消除误差。
优选地，本申请提供一种基于3D视觉识别的控制方法，根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息的步骤包括：
获取图像信息的轮廓边界信息，以对导引器的亚像素位置进行定位；
将定位后的轮廓边界信息映射到三维空间中，得到第一相对位置信息。
通过上述的一种基于3D视觉识别的控制方法，由于摄像机获取到的导引器的图像信息为二维图形，而机械臂与导引器之前的第一相对位置信息为三维空间中的位置关系，因此从需要图像信息的轮廓边界信息，以对导引器的亚像素位置进行定位，并将定位后的轮廓边界信息映射到三维空间中，以得到第一相对位置信息。
优选地，本申请提供一种基于3D视觉识别的控制方法，
根据第一相对位置信息计算机械臂的航向角信息的具体公式为：
，其中/>为航向角，第一相对位置包括XH，YH；/> 为机械臂在Xh轴上的投影，/>为机械臂在Yh轴上的投影，Xh轴与Yh轴为以导引器的开口位置为原点，建立的空间直角坐标系中，水平面上两个互相垂直的轴。优选地，本申请提供一种基于3D视觉识别的控制方法，获取导引器圆心的轴向方向信息的步骤包括：
获取导引器的圆心位置信息，以及导引器的圆周边界点信息；
根据圆心位置信息以及圆周边界点信息获取圆心的轴向方向信息。
优选地，本申请提供一种基于3D视觉识别的控制方法，根据导引器圆心的轴向方向信息以及距离信息，控制机械臂沿导引器圆心的轴向方向插入导引器中的步骤包括：
获取神经内镜型号信息以及导引器型号信息；
根据神经内镜型号信息以及导引器型号信息，分别得到神经内镜长度以及导引器工作鞘长度；
根据神经内镜长度以及导引器工作鞘长度，控制机械臂沿导引器圆心的轴向方向插入导引器中。
优选地，本申请提供一种基于3D视觉识别的控制方法，根据神经内镜长度以及导引器工作鞘长度，控制机械臂沿导引器圆心的轴向方向插入导引器中的步骤包括：
计算机械臂插入导引器的最佳插入深度；
根据最佳插入深度控制机械臂沿导引器圆心的轴向方向插入导引器中。
优选地，本申请提供一种基于3D视觉识别的控制方法，计算机械臂插入导引器的最佳插入深度的步骤包括：
获取预设的内镜最佳插入深度；
根据预设的内镜最佳插入深度，神经内镜长度以及导引器工作鞘长度计算协作机器人的效应端和导引器工作鞘尾端标记之间的距离信息；
根据协作机器人的效应端和导引器工作鞘尾端标记之间的距离信息得到机械臂插入导引器的最佳插入深度。
第二方面，本申请提供一种基于3D视觉识别的协作机器人，用于执行上述任一项基于3D视觉识别的控制方法。
有益效果：
本申请提供的一种基于3D视觉识别的控制方法及协作机器人，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，其中，协作机器人的机械臂上持有神经内镜，机械臂要将该神经内镜伸入导引器中，以提供给术者清晰的手术视野，便于术者双手持器械进行手术。由于导引器的直径较小，为了保证机械臂能将神经内镜准确插入导引器中，还需要对机械臂所在位置进行标定，保证机械臂持神经内镜所在平面与导引器进入端所在平面完全平行，因此，在插入之前，需要对机械臂的航向角进行拟合，以保证机械臂完全处于导引器上方，消除机械臂的偏移误差，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。使用该基于3D视觉识别的控制方法，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
附图说明
图1为本申请提供的一种基于3D视觉识别的控制方法的流程图。
图2为本申请提供的一种基于3D视觉识别的协作机器人结构图。
图3为本申请提供的摄像机所在坐标系的示意图。
标号说明：201、机械臂；202、摄像机；203、连接线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和标出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一、第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下文公开提供了许多不同的实施方式或例子用来实现本发明的目的，解决了现有技术中存在的问题。在目前的EPS手术中，为了保证术者可以双手持器械操作，通常会使用人工持镜或者机械持镜两种方式，但这两种方式都存在成本高昂，动作繁琐的缺点。为了解决该问题，本申请提供一种基于3D视觉识别的控制方法及协作机器人，具体为：
请参照图1，本申请实施例提供一种基于3D视觉识别的控制方法，该方法应用于手术机器人技术领域，通过获取导引器的图像信息，并对该图像信息进行定位，进一步获取导引器与机械臂之间的第一相对位置信息，根据第一相对位置信息拟合机械臂的航向角，保证机械臂能持神经内镜位移到导引器的正上方，并通过获取导引器圆心的轴向方向信息使机械臂沿导引器圆心的轴向方向插入导引器中，同时根据机械臂与导引器之间的距离信息，控制机械臂插入进导引器中适合的位置，以提供最佳的手术视野。
本申请实施例的一种基于3D视觉识别的控制方法包括以下步骤：
A1：获取导引器的图像信息；
A2：根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息；
A3：根据第一相对位置信息计算机械臂的航向角信息，以控制机械臂移动到导引器正上方；
A4：获取导引器圆心的轴向方向信息以及机械臂移动到导引器正上方后与导引器的距离信息；
A5：根据导引器圆心的轴向方向信息以及距离信息，控制机械臂沿导引器圆心的轴向方向插入导引器中。
其中，在EPS手术中，通常先通过将筒形导引器插入脑组织中，建立一个类管状的手术通道，然后将内镜（即神经内镜）置于导引器中，抵近观察术野，继而通过手术通道进行后续的手术操作。其中，导引器的直径较小，通常在1.6cm至2.3cm，因此需要对持镜设备要求较高，以满足手术中提供脑部病变区视野的要求。
其中，本申请提供的协作机器人中用于识别导引器图像信息的摄像机为高精度3D视觉摄像头。导引器图像信息中包括有位于导引器工作鞘尾端的特定标记，该协作机器人可以自动拟合导引器最佳插入角度（即航向角拟合），随后，驱动一个6自由度的机械臂移动至拟合导引器最佳插入角度的位置上，即导引器的正上方，将神经内镜嵌入工作鞘中，以便能快速获得最佳观察角度和清晰的手术视野。
其中，在实际应用中，由于不同品牌的导引器，其尾端形状存在差异，因此需要确保使用不同的导引器时，协作机器人辅助EPS手术的准确性和可重复性，从而，需要在机械臂插入导引器之前使用高精度3D视觉摄像头识别导引器的形状信息，并获取导引器工作鞘尾端的特定标记，保证后续能快速拟合神经内镜最佳插入角度及准确达到预先设定的深度。
其中，在一些优选的实施方式中，为了保证获取到的导引器的图像更加真实，可以使用图像增强以及图像分割技术对导引器的图像进行处理，从而，获取导引器的图像信息的步骤包括：
获取导引器真实的训练数据，以及导引器的虚拟图像数据；
使用图像增强技术对导引器真实的训练数据以及导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像；
采用深度学习Panoptic Deeplab图像分割技术对可用数据集图像进行图像分割，得到导引器的图像信息。
其中，在实际应用中，该图像增强以及图像分割操作均基于3D Slicer的低成本脑多模态成像平台完成。导引器真实的训练数据由摄像机获取，包括导引器的完整的图形，包括位于导引器工作鞘尾端的特定标记，导引器圆心位置信息，以及导引器轮廓信息。其中，导引器的虚拟图像数据由Blender生成，其中虚拟图像数据实际指用Blender模拟现实中相机识别导引器图像信息而构建的数据；并使用图像增加技术对导引器真实的训练数据以及导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像，并使用深度学习Panoptic Deeplab图像分割技术对可用数据集图像进行图像分割，以便快速的获得到导引器准确的图像信息。
其中，由于在实际应用中，机械臂还携带有摄像机，当机械臂在位移时，相机也会随之位移，对于该摄像机连续相移投影方法，3D重构的精度容易受到投影仪、摄像机的非线性和环境变化的影响，因此，为了避免摄像机在位移的过程中，由于摄像机带来误差影响后续的计算，需要对机械臂与摄像机的位置进行标定，以消除该误差。从而，在一些优选的方式中，机械臂携带摄像机，获取导引器的图像信息之前的步骤包括：
计算摄像机与机械臂的第二相对位置信息；
计算摄像机与机械臂的第二相对位置信息的步骤包括：
控制计算机在空中对高精度的标定板进行预设次数以及预设角度的3D扫描，得到扫描数据；
根据扫描数据，使用TSAI校准方式以及LM非线性优化算法，对摄像机与机械臂之间的相对关系进行标定，得到标定结果；
根据标定结果计算第二相对位置信息。
其中，摄像机与机械臂的第二相对位置信息为摄像机与机械臂在三维空间中的相对位置关系。其中，高精度的标定板线宽为0.3um。其中，第二相对位置信息的具体计算方式为，通过扫描数据以及TSAI校准方式以及LM非线性优化算法可以得到标定结果k，k为常量，以摄像机为原点建立相机直角坐标系，可以获取到机械臂在相机直角坐标系中的坐标信息，而后与标定结果k相乘计算，即可得到第二相对位置信息。
其中，在步骤A2中，由于获取到的导引器的图像信息为二维图像信息，且在后续的步骤中，系统需要通过该图像信息判断出导引器在三维空间中的所在位置，以及在三维空间中该导引器与机械臂之间的相对位置，才能控制机械臂精准位移到导引器的正上方，将所持内镜插入导引器的工作鞘中。故而，需要对A1步骤中获取到的图像信息进一步进行处理，以便将导引器的图像信息映射到三维空间中，得到导引器与机械臂之间的第一相对位置信息，从而，根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息的步骤包括：
获取图像信息的轮廓边界信息；
将定位后的轮廓边界信息映射到三维空间中，得到第一相对位置信息。
其中，轮廓边界信息实际是指导引器的轮廓边界信息。其中，由于二维图像通常由像素组成，每个像素对应一个整数坐标位置，但整数坐标位置对于很多应用并不精确，为了将导引器的图像信息映射到三维空间中后，保证其在三维空间坐标中的准确性，需要将二维图像信息中的像素精确到浮点坐标位置，换句话说，即将图像信息中的像素进行亚像素定位，亚像素定位在图像中的真实位置，而真实位置有时候并不在像素所在整数坐标位置上，而是在像素内部。故而，对导引器的轮廓边界信息的亚像素位置进行定位，可以获得导引器更加精确的位置信息，使其映射到三维空间中后，导引器在三维空间中对应的位置更加精确，从而可以使通过轮廓边界信息计算得到的第一相对位置信息更加精确。其中，在实际应用中，导引器的轮廓边界信息可通过GHT技术提取，将导引器的轮廓边界信息映射到三维空间中后，可以使用ICP算法再次对该三维坐标进行计算，使导引器的三维坐标信息更加准确。
其中，在步骤A3中，请参照图3，航向角信息实际指机械臂与导引器之间的偏航量信息。由于在机械臂持镜位移的过程中，机械臂可能与导引器不在同一水平面上，若不进行航向角拟合，可能会使机械臂在插入导引器中一段距离后，与导引器的轮廓发生抵触，影响手术进行，从而，在一些优选的实施方式中，计算航向角信息的公式为：
，其中/>为航向角，第一相对位置包括XH，YH；/>为机械臂在Xh轴上的投影，/>为机械臂在Yh轴上的投影，Xh轴与Yh轴为以导引器的开口位置为原点，建立的空间直角坐标系中，水平面上两个互相垂直的轴。
其中，参见图3，在实际应用中，将导引器圆形开口的位置信息映射在大地坐标系下，并以导引器所在开口位置为原点建立空间直角坐标系，该空间坐标系在水平方向上的互相垂直的轴为Xh轴与Yh轴。采用同样的方式将摄像机相机的位置信息映射在大地坐标系下，并建立相机直角坐标系，该相机直角坐标系的三轴分别为X轴，Y轴与Z轴，为以大地坐标系为基准坐标系通过旋转矩阵得到的坐标系，其具体建立方式为现有技术，不做详细论述。而通过摄像机可以识别到机械臂在该相机直角坐标系下的位置，从而可通过矩阵计算将机械臂在空间直角坐标系下的位置，转移到空间直角坐标系中，其具体的矩阵计算的数学原理不做论述，即可得到该航向角，由于机械臂在导引器的上方，故而将其转移到空间直角坐标系中后在垂直方向上无偏移，/>为机械臂在Xh轴上的投影，/>为机械臂在Yh轴上的投影，即第一相对位置信息。
其中，在步骤A3中，由于导引器的结构为圆柱形，上下两端为圆形通孔，为了使机械臂在插入导引器中时，能沿导引器中轴线插入，需要获取导引器圆心的轴向方向信息，从而，在一些优选的实施方式中，获取导引器圆心的轴向方向信息的步骤包括：
获取导引器的圆心位置信息，以及导引器的圆周边界点信息；
根据圆心位置信息以及圆周边界点信息获取圆心的轴向方向信息。
其中，在实际应用中，导引器的圆心位置实际指圆形开口处的圆心，导引器的圆心位置可由GHT技术获取，同时，还可以提取导引器插入口一端圆周的边界点，使用平面拟合技术，得到圆心的轴向方向，其中，以圆心指向导引器内部方向表示圆心的轴向方向，从而通过该3D视觉系统精确定位后，便于控制机械臂沿该位置插入导引器中。
其中，在一些优选的实施方式中，机械臂持神经内镜需要插入进导引器中，距离导引器工作尖端1cm的位置，即获取到术野最佳的位置，从而，根据导引器圆心的轴向方向信息以及距离信息，控制机械臂沿导引器圆心的轴向方向插入导引器中的步骤包括：
获取神经内镜型号信息以及导引器型号信息；
根据神经内镜型号信息以及导引器型号信息，分别得到神经内镜长度以及导引器工作鞘长度；
根据神经内镜长度以及导引器工作鞘长度，控制机械臂沿导引器圆心的轴向方向插入导引器中。
为了获取到最佳术野，需要先根据神经内镜型号信息以及导引器的型号信息得到神经内镜长度以及导引器工作鞘的长度。其中，在实际应用中神经内镜型号信息以及导引器的型号信息均可在其说明书中查询得到。在一些优选的方案中，为了保证该3D视觉识别控制方法可在市面上推广应用，与市面上不同品牌的神经内镜以及导引器更好的适配使用，也可以提前将市面上常用的品牌型号输入系统中存储，当系统检测到使用的神经内镜以及导引器的品牌时，自动调取提前存储好的型号信息，获取神经内镜长度以及导引器工作鞘长度。进一步地，可以根据神经内镜和工作鞘的长度，控制机械沿导引器圆心的轴向方向插入导引器中，使神经内镜的深度为距离导引器工作鞘尖端的1cm处。
其中，在一些优选的实施方式中，根据神经内镜长度以及导引器工作鞘长度，控制机械臂沿导引器圆心的轴向方向插入导引器中的步骤包括：
计算机械臂插入导引器的最佳插入深度；
根据最佳插入深度控制机械臂沿导引器圆心的轴向方向插入导引器中。
其中，在实际应用中，根据神经内镜的长度和工作鞘的长度，可以计算出机械手臂效应端（即持神经内镜端）和导引器工作鞘尾端标记（距离工作鞘尖端1cm位置）的相应距离，具体计算方式为，神经内镜长度-（工作鞘长度-1cm）即为机械手臂效应端和导引器工作鞘尾端的相应距离，再通过此前获取的机械臂位移到导引器正上方后与导引器的距离信息，加上该机械手臂效应端和导引器工作鞘尾端标记的相应距离，即可获得为机械臂插入导引器的最佳插入深度，从而可控制机械臂沿导引器圆心的轴向方向插入导引器中。从而，在一些优选的实施方式中，计算机械臂插入导引器的最佳插入深度的步骤包括：
获取预设的内镜最佳插入深度；
根据预设的内镜最佳插入深度，神经内镜长度以及所述导引器工作鞘长度计算协作机器人的效应端和导引器工作鞘尾端标记之间的距离信息；
根据协作机器人的效应端和导引器工作鞘尾端标记之间的距离信息得到机械臂插入导引器的最佳插入深度。
其中，在实际应用中，预设的内镜最佳插入深度为距离导引器工作鞘尖端的1cm处，具体数值根据实际使用的导引器工作鞘的型号决定。例如神经内镜长度180mm，导引器工作鞘长度为13.3cm，则预设的内镜最佳插入深度为57mm，而此前获取的机械臂位移到导引器正上方后与导引器的距离信息为30mm，即可计算出机械臂插入导引器的最佳插入深度87mm。
由上可知，本申请提供一种基于3D视觉识别的控制方法，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，其中，协作机器人的机械臂上持有神经内镜，机械臂要将该神经内镜伸入导引器中，以提供给术者清晰的手术视野，便于术者双手持器械进行手术。由于导引器的直径较小，为了保证机械臂能将神经内镜准确插入导引器中，还需要对机械臂所在位置进行标定，保证机械臂持神经内镜所在平面与导引器进入端所在平面完全平行，因此，在插入之前，需要对机械臂的航向角进行拟合，以保证机械臂完全处于导引器上方，消除机械臂的偏移误差，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。使用该基于3D视觉识别的控制方法，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
请参照图2，本申请提供一种基于3D视觉识别的协作机器人，用于执行上述基于3D视觉识别的控制方法的任一实施例。
其中，在一些优选的实施方式中，该协作机器人包括：机械臂201、连接线203、摄像机202。其中，摄像机202通过连接线203连接在机械臂201上，对导引器进行3D识别以及定位，控制系统根据该定位控制机械臂201位移，将神经内镜插入导引器中的合适位置，以获取手术中要处理的病变区域的视野信息。
在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于3D视觉识别的控制方法，其特征在于，所述基于3D视觉识别的控制方法应用于一种协作机器人，所述方法包括步骤：
获取导引器的图像信息；
根据所述图像信息对所述导引器进行定位，以获取所述协作机器人的机械臂与所述导引器的第一相对位置信息；
根据所述第一相对位置信息计算所述机械臂的航向角信息，以控制所述机械臂移动到所述导引器正上方；
获取所述导引器圆心的轴向方向信息以及所述机械臂移动到所述导引器正上方后与所述导引器的距离信息；
根据所述导引器圆心的轴向方向信息以及所述距离信息，控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中。
2.根据权利要求1所述的一种基于3D视觉识别的控制方法，其特征在于，所述获取导引器的图像信息的步骤包括：
获取所述导引器真实的训练数据，以及所述导引器的虚拟图像数据；
使用图像增强技术对所述导引器真实的训练数据以及所述导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像；
采用深度学习Panoptic Deeplab图像分割技术对所述可用数据集图像进行图像分割，得到所述导引器的图像信息。
3.根据权利要求2所述的一种基于3D视觉识别的控制方法，其特征在于，所述机械臂携带摄像机，所述获取导引器的图像信息之前的步骤包括：
计算所述摄像机与所述机械臂的第二相对位置信息；
计算所述摄像机与所述机械臂的第二相对位置信息的步骤包括：
控制所述计算机在空中对高精度的标定板进行预设次数以及预设角度的3D扫描，得到扫描数据；
根据所述扫描数据，使用TSAI校准方式以及LM非线性优化算法，对所述摄像机与所述机械臂之间的相对关系进行标定，得到标定结果；
根据所述标定结果计算所述第二相对位置信息。
4.根据权利要求1所述的一种基于3D视觉识别的控制方法，其特征在于，根据所述图像信息对所述导引器进行定位，以获取所述协作机器人的机械臂与所述导引器的第一相对位置信息的步骤包括：
获取所述图像信息的轮廓边界信息；
将定位后的所述轮廓边界信息映射到三维空间中，得到所述第一相对位置信息。
5.根据权利要求4所述的一种基于3D视觉识别的控制方法，其特征在于，
所述根据所述第一相对位置信息计算所述机械臂的航向角信息的具体公式为：
，其中/>为航向角，所述第一相对位置包括XH和YH；/>为机械臂在Xh轴上的投影，/>为机械臂在Yh轴上的投影，所述Xh轴与Yh轴为以所述导引器的开口位置为原点，建立的空间直角坐标系中，水平面上两个互相垂直的轴。
6.根据权利要求5所述的一种基于3D视觉识别的控制方法，其特征在于，所述获取所述导引器圆心的轴向方向信息的步骤包括：
获取所述导引器的圆心位置信息，以及所述导引器的圆周边界点信息；
根据所述圆心位置信息以及所述圆周边界点信息获取所述圆心的轴向方向信息。
7.根据权利要求1所述的一种基于3D视觉识别的控制方法，其特征在于，所述根据所述导引器圆心的轴向方向信息以及所述距离信息，控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中的步骤包括：
获取神经内镜型号信息以及所述导引器型号信息；
根据所述神经内镜型号信息以及所述导引器型号信息，分别得到所述神经内镜长度以及所述导引器工作鞘长度；
根据所述神经内镜长度以及所述导引器工作鞘长度，控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中。
8.根据权利要求7所述的一种基于3D视觉识别的控制方法，其特征在于，所述根据所述神经内镜长度以及所述导引器工作鞘长度，控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中的步骤包括：
计算所述机械臂插入所述导引器的最佳插入深度；
根据所述最佳插入深度控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中。
9.根据权利要求8所述的一种基于3D视觉识别的控制方法，其特征在于，所述计算所述机械臂插入所述导引器的最佳插入深度的步骤包括：
获取预设的内镜最佳插入深度；
根据所述预设的内镜最佳插入深度，所述神经内镜长度以及所述导引器工作鞘长度计算协作机器人的效应端和所述导引器工作鞘尾端标记之间的距离信息；
根据所述协作机器人的效应端和所述导引器工作鞘尾端标记之间的距离信息得到所述机械臂插入所述导引器的最佳插入深度。
10.一种基于3D视觉识别的协作机器人，其特征在于，用于执行权利要求1至9任一项所述基于3D视觉识别的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310447208.7A CN116459013B (zh) | 2023-04-24 | 2023-04-24 | 一种基于3d视觉识别的协作机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310447208.7A CN116459013B (zh) | 2023-04-24 | 2023-04-24 | 一种基于3d视觉识别的协作机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116459013A true CN116459013A (zh) | 2023-07-21 |
| CN116459013B CN116459013B (zh) | 2024-03-22 |
Family
ID=87178627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310447208.7A Active CN116459013B (zh) | 2023-04-24 | 2023-04-24 | 一种基于3d视觉识别的协作机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116459013B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101277657A (zh) * | 2005-09-30 | 2008-10-01 | 修复型机器人公司 | 用于采集和植入毛囊单位的自动化系统和方法 |
| CN102106753A (zh) * | 2009-12-23 | 2011-06-29 | 韦伯斯特生物官能(以色列)有限公司 | 消融体积的预测与标测 |
| WO2016154557A1 (en) * | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| US20170076501A1 (en) * | 2014-03-14 | 2017-03-16 | Victor Jagga | System and method for projected tool trajectories for surgical navigation systems |
| CN109048918A (zh) * | 2018-09-25 | 2018-12-21 | 华南理工大学 | 一种轮椅机械臂机器人的视觉引导方法 |
| KR101946613B1 (ko) * | 2018-05-04 | 2019-02-11 | 에이에프에스메디칼 게엠바하 메디친프로덕케한델 | 복강경 수술의 통합 감시 및 관리 시스템 |
| KR20200108124A (ko) * | 2019-03-06 | 2020-09-17 | 서울대학교산학협력단 | 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법 |
| CN113143461A (zh) * | 2021-01-26 | 2021-07-23 | 合肥工业大学 | 人机协同的微创内窥镜持镜机器人系统 |
| CN113303840A (zh) * | 2021-05-14 | 2021-08-27 | 北京大学第三医院 | 一种借助内窥镜的手术导航定位系统 |
| WO2021208869A1 (zh) * | 2020-04-13 | 2021-10-21 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统 |
| CN113696186A (zh) * | 2021-10-09 | 2021-11-26 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
| CN114391953A (zh) * | 2022-01-07 | 2022-04-26 | 广州盈惠兴科技有限公司 | 一种骨科导航定位系统 |
| WO2022148336A1 (zh) * | 2021-01-06 | 2022-07-14 | 深圳市精锋医疗科技有限公司 | 手术机器人及其引导手术臂移动的方法、控制装置 |
| CN114795495A (zh) * | 2022-04-25 | 2022-07-29 | 北京肿瘤医院(北京大学肿瘤医院) | 一种主从操作微创手术机器人系统 |
| CN115005980A (zh) * | 2022-06-01 | 2022-09-06 | 福宁琵琶鱼科技(杭州)有限公司 | 一种ct定位标定手术入路标定器械及方法 |
| CA3211365A1 (en) * | 2021-03-15 | 2022-09-22 | Relievant Medsystems, Inc. | Robotic spine systems and robotic-assisted methods for tissue modulation |
| US20220346884A1 (en) * | 2021-05-03 | 2022-11-03 | Microsurgical Guidance Solutions, Llc | Intraoperative image-guided tools for ophthalmic surgery |
| CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
-
2023
- 2023-04-24 CN CN202310447208.7A patent/CN116459013B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101277657A (zh) * | 2005-09-30 | 2008-10-01 | 修复型机器人公司 | 用于采集和植入毛囊单位的自动化系统和方法 |
| CN102106753A (zh) * | 2009-12-23 | 2011-06-29 | 韦伯斯特生物官能(以色列)有限公司 | 消融体积的预测与标测 |
| US20170076501A1 (en) * | 2014-03-14 | 2017-03-16 | Victor Jagga | System and method for projected tool trajectories for surgical navigation systems |
| WO2016154557A1 (en) * | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| US20180071032A1 (en) * | 2015-03-26 | 2018-03-15 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| KR101946613B1 (ko) * | 2018-05-04 | 2019-02-11 | 에이에프에스메디칼 게엠바하 메디친프로덕케한델 | 복강경 수술의 통합 감시 및 관리 시스템 |
| CN109048918A (zh) * | 2018-09-25 | 2018-12-21 | 华南理工大学 | 一种轮椅机械臂机器人的视觉引导方法 |
| KR20200108124A (ko) * | 2019-03-06 | 2020-09-17 | 서울대학교산학협력단 | 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법 |
| WO2021208869A1 (zh) * | 2020-04-13 | 2021-10-21 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统 |
| WO2022148336A1 (zh) * | 2021-01-06 | 2022-07-14 | 深圳市精锋医疗科技有限公司 | 手术机器人及其引导手术臂移动的方法、控制装置 |
| CN113143461A (zh) * | 2021-01-26 | 2021-07-23 | 合肥工业大学 | 人机协同的微创内窥镜持镜机器人系统 |
| CA3211365A1 (en) * | 2021-03-15 | 2022-09-22 | Relievant Medsystems, Inc. | Robotic spine systems and robotic-assisted methods for tissue modulation |
| US20220346884A1 (en) * | 2021-05-03 | 2022-11-03 | Microsurgical Guidance Solutions, Llc | Intraoperative image-guided tools for ophthalmic surgery |
| CN113303840A (zh) * | 2021-05-14 | 2021-08-27 | 北京大学第三医院 | 一种借助内窥镜的手术导航定位系统 |
| CN113696186A (zh) * | 2021-10-09 | 2021-11-26 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
| WO2023056670A1 (zh) * | 2021-10-09 | 2023-04-13 | 东南大学 | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 |
| CN114391953A (zh) * | 2022-01-07 | 2022-04-26 | 广州盈惠兴科技有限公司 | 一种骨科导航定位系统 |
| CN114795495A (zh) * | 2022-04-25 | 2022-07-29 | 北京肿瘤医院(北京大学肿瘤医院) | 一种主从操作微创手术机器人系统 |
| CN115005980A (zh) * | 2022-06-01 | 2022-09-06 | 福宁琵琶鱼科技(杭州)有限公司 | 一种ct定位标定手术入路标定器械及方法 |
| CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116459013B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190142359A1 (en) | Surgical positioning system and positioning method | |
| CA3034314C (en) | Methods and systems for registration of virtual space with real space in an augmented reality system | |
| JP6257728B2 (ja) | 外科手術支援システム、外科手術支援システムの作動方法、情報処理プログラムおよび情報処理装置 | |
| US20190298277A1 (en) | Surgical positioning apparatus, positioning system and positioning method | |
| CN109512514A (zh) | 一种混合现实骨科微创手术导航系统及使用方法 | |
| EP3716879A1 (en) | Motion compensation platform for image guided percutaneous access to bodily organs and structures | |
| EP1903972A2 (en) | Methods and systems for mapping a virtual model of an object to the object | |
| US20210259784A1 (en) | Method, system and apparatus for maintaining patient registration in a surgical navigation system | |
| WO2016145506A1 (en) | Method and device for registering surgical images | |
| CN101301220A (zh) | 内镜操作手术机器人穿刺孔定位装置及定位方法 | |
| CN113870329A (zh) | 一种用于手术导航的医学影像配准系统及方法 | |
| CN115105175A (zh) | 穿刺导航系统、方法、设备与存储介质以及穿刺装置 | |
| CN113100941B (zh) | 基于ss-oct手术导航系统的图像配准方法及系统 | |
| CN110584780A (zh) | 一种脑出血穿刺手术导航系统 | |
| CN116459013B (zh) | 一种基于3d视觉识别的协作机器人 | |
| CN113974834B (zh) | 手术机器人系统的套管位姿确定方法、装置 | |
| CN107260305A (zh) | 计算机辅助微创手术系统 | |
| CN113855240B (zh) | 一种基于磁导航的医学影像配准系统和方法 | |
| CN111544113A (zh) | 手术导航中的靶点跟踪及距离动态图形化显示方法及装置 | |
| CN220193149U (zh) | 一种用于手术导航系统的手术器械标定装置 | |
| CA2963284C (en) | Method, system and apparatus for image capture and registration in image-guided surgery | |
| JP3237522U (ja) | 三次元頭蓋脳位置決め操作ツール | |
| CN113974831B (zh) | 一种用于手术导航的医学图像配准方法 | |
| US20230190135A1 (en) | Method and system for using tool width data to estimate measurements in a surgical site | |
| US20230210627A1 (en) | Three-dimensional instrument pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |