CN106308946B - 一种应用于立体定向手术机器人的增强现实装置及其方法 - Google Patents
一种应用于立体定向手术机器人的增强现实装置及其方法 Download PDFInfo
- Publication number
- CN106308946B CN106308946B CN201610681477.XA CN201610681477A CN106308946B CN 106308946 B CN106308946 B CN 106308946B CN 201610681477 A CN201610681477 A CN 201610681477A CN 106308946 B CN106308946 B CN 106308946B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- camera
- computer
- projector
- imageable target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title abstract description 27
- 238000002672 stereotactic surgery Methods 0.000 title abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 244000062793 Sorghum vulgare Species 0.000 claims 1
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 235000019713 millet Nutrition 0.000 claims 1
- 238000005481 NMR spectroscopy Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000037361 pathway Effects 0.000 description 5
- 235000011449 Rosa Nutrition 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种应用于立体定向手术机器人的增强现实装置及其方法。本发明由相机和投影仪组成投影仪相机系统，不仅可以获取成像目标的表面点，还可以获取成像目标的颜色和纹理信息，通过配准之后，可以将成像目标表面的颜色和纹理信息叠加到由核磁成像提取得到的表面影像数据上，能够在计算机看到更加真实的、带有颜色和纹理的三维模型；将相机和投影仪通过连接件挂载在机械臂末端，有利于得到成像目标更加完整的三维表面，进而提高配准精度；在高精度配准的基础上，得到影像坐标系和机械臂基坐标系的一一对应关系，为后续计算在影像坐标系中指定的待增强现实位置后机械臂末端应该到达的位置提供依据，并实现在成像目标表面上的增强现实展示。
Description
技术领域
本发明涉及机器人控制技术，具体涉及一种应用于立体定向手术机器人的增强现实装置及其控制方法。
背景技术
随着计算机技术、光学跟踪技术和机器人技术的发展，适用于不同需求的外科手术机器人被不断地开发出来。当前在脑神经外科领域应用的手术机器人一般用于辅助医生对患者颅内病灶或靶点的定位定向引导，由于其能够实现三维空间内的定位定向，故该类手术机器人被称为立体定向手术机器人。
当前已经商业化的立体定向手术机器人有Renaissance，NeuroMate和Rosa等，其中应用最广泛的是Rosa手术机器人。Rosa手术机器人是使用固定在机械臂末端的激光测距仪扫描患者头部得到一群表征头皮表面的三维点云数据，通过配准将术中患者头部和术前通过核磁成像提取的表面对齐，再将在影像坐标系中规划的立体定向手术方案映射到患者身上，机械臂按照术前规划手术路径为医生提供定位定向辅助引导。Rosa等商业化立体定向手术机器人在执行手术路径定位定向引导时，尚没有将路径入点周围的重要的结构信息(比如颅内的血管、脑沟回结构、功能区等)投射到患者头部进行增强现实显示的功能。对医生来说缺少对手术路径直观的观察，对患者来说存在一定的风险。
因此研制开发一种既能在线获取患者头部表面数据用于配准，同时还能够在患者头部准确的投射感兴趣区域内部和周围的重要结构信息，对这些重要结构进行增强现实的装置，是亟需解决的技术问题。
发明内容
为了能在线获取成像目标表面数据用于配准，同时还能够在成像目标准确的投射感兴趣区域内部和周围的重要结构信息，本发明提出了一种应用于立体定向手术机器人的增强现实装置及其控制方法。
本发明的一个目的在于提出一种应用于立体定向手术机器人的增强现实装置，使立体定向手术机器人有更强的性能。
本发明的增强现实装置包括：计算机、机械臂、相机、投影仪和连接件；其中，连接件的一个表面固定安装在机械臂末端，相机和投影仪安装在连接件的另一个表面，相机和投影仪之间的位置保持固定不变；机械臂的控制器通过网线连接至计算机与计算机进行通信；相机和投影仪分别通过数据线连接至计算机与计算机进行数据传输；成像目标相对于机械臂基坐标系位置固定不变，通过由相机和投影仪组成的投影仪相机系统，在相机坐标系下对成像目标进行三维表面点云数据采集，通过标定好的相机坐标系和机械臂末端坐标系的变换关系，将采集得到的成像目标的三维表面点云数据从相机坐标系转换到机械臂末端坐标系下，再由计算机读取机械臂的控制器得到机械臂末端坐标系到机械臂基坐标系的变换关系，从而将三维表面点云数据从机械臂末端坐标系转换到机械臂基坐标系下；在计算机中存储有通过核磁成像得到的在影像坐标系下的成像目标的影像数据，并通过算法将影像数据中成像目标的表面影像数据与内部影像数据分开；将由核磁成像得到的成像目标的表面影像数据与在机械臂基坐标系下成像目标的三维表面点云数据配准对齐，从而实现影像坐标系与机械臂基坐标系的坐标变换；在计算机中选择对成像目标的感兴趣区域，通过影像坐标系与机械臂基坐标系的变换关系，计算机械臂末端位姿，通过计算机控制机械臂到达指定位姿，投影仪把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现准确的增强现实。
计算机采用台式机、笔记本电脑、平板设备或者其他嵌入式微型机中的一种，关键特征在于可编程。
机械臂采用串联六轴型机械臂，计算机通过网线与机械臂的控制器进行通信，能够获得机械臂末端的位置和角度信息，即机械臂末端坐标系相对机械臂基坐标系的位姿关系，也能够发送运动指令控制机械臂末端到达特定位置和保持特定的姿态。
相机为彩色相机，采用电荷耦合器件CCD相机或者互补金属氧化物半导体CMOS相机；通过USB线与计算机相连，能接受计算机发出的采集相片的指令，也能够根据指令把数据传输到计算机中。
投影仪采用液晶显示器LCD投影仪或者数字光处理DLP投影仪；通过HDMI线与计算机相连，根据计算机指定的内容进行投影显示。
连接件采用硬质型材制作，如铝合金，用于安装相机和投影仪，并保证两者之间的位置关系固定不变，相机和投影仪共同构成用于获取三维表面的投影仪相机系统(Projector-Camera systems)；同时连接件固定安装在机械臂的第六轴上。其中，为了对相机和投影仪组成的系统进行标定，应用张正友提出的方法(zhang's method)对相机进行标定[1]；可以将投影仪看成是针孔相机的逆模型，使用改进版的张正友的方法即可实现对投影仪的标定[2]，并由在相机坐标系和投影仪坐标系下棋盘格标定板的角点的对应关系，进而得到投影仪坐标系到相机坐标系的变换关系，完成投影仪相机系统的标定。为了获取成像目标的三维表面信息，使用格雷码的结构光编码技术得到投影仪的格雷码图案和相机成像的图片中点对的对应关系，再对那些点对根据投影仪坐标系到相机坐标系的变换关系，应用线性三角测量方法[3](linear triangulation method)，从而获得成像目标在相机坐标系下的三维表面信息。采用手眼标定方法求解相机和机械臂末端的位姿关系[4]，标定相机坐标系到机械臂末端坐标系的变换关系。结合计算机从机械臂的控制器读取到机械臂末端坐标系相对于机械臂基坐标系的位姿关系，计算得到相机坐标系与机械臂基坐标系的变换关系，从而得到由相机和投影仪采集得到成像目标的三维表面数据在机械臂基坐标系下的空间位置。
进一步，本发明还包括样品台，成像目标放置在样品台上，样品台与机械臂基坐标系的位置固定不变；成像目标放置在样品台上，并通过安装在样品台上的固定架固定，使得成像目标相对于机械臂基坐标系的位置固定不变。
本发明的另一个目的在于提供一种应用于立体定向手术机器人的增强现实装置的控制方法。
本发明的增强现实装置的控制方法，包括以下步骤：
1)标定：相机和投影仪固定在连接件上，对相机和投影仪组成的投影仪相机系统进行标定，得到从投影仪坐标系到相机坐标系的变换关系；将连接件安装固定到机械臂末端，对相机和机械臂末端进行标定，得到从相机坐标系到机械臂末端坐标系的变换关系；
2)将成像目标通过固定架固定在样品台上，将机械臂的基座固定在样品台的旁边，使得成像目标在机械臂的工作空间内；把计算机和机械臂、相机及投影仪连接，启动设备；
3)计算机控制机械臂通过连接件带着相机和投影仪从多个角度采集成像目标的三维表面数据，在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到在机械臂基坐标系下的成像目标的三维表面点云数据；
4)在计算机中，将在机械臂基坐标系下的成像目标的三维表面点云数据，与从核磁成像中提取的成像目标的表面影像数据，在影像坐标系中配准，从而使得影像坐标系和机械臂基坐标系对齐，在计算机中的影像坐标系里看到叠加有成像目标表面的颜色和纹理的表面影像数据，增加影像数据的真实感；
5)在计算机中选择感兴趣区域，设定要显示的成像目标的核磁成像的内容和角度，根据步骤4)中配准得到的影像坐标系和机械臂基坐标系的对应关系，自动计算机械臂末端的位姿；
6)机械臂根据步骤5)计算得到的位姿，运动到指定位置和姿态，投影仪依据计算机给定的内容进行投影显示，把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面；
7)判断是否查看其他感兴趣区域，如果是，继续重复步骤5)～6)，查看对应的感兴趣区域及其周围的情况，实现增强现实。
在步骤1)中，对固定在连接件上的相机和投影仪组成的投影仪相机系统进行标定，包括以下步骤：
a)将相机和投影仪安装在连接件上，并保证两者之间的位置关系固定不变；
b)采用张正友的方法(zhang's method)对相机进行标定[1]；
c)采用改进版的张正友的方法对投影仪进行标定[2]；
d)由在相机坐标系和投影仪坐标系下棋盘格标定板的角点的对应关系，进而得到投影仪坐标系到相机坐标系的变换关系，完成投影仪相机系统的标定。
张正友的方法为基于平面标定的方法，该方法中使用平面棋盘格板进行标定。
在步骤1)中，对固定在连接件上的相机和机械臂末端进行标定，包括以下步骤：
a)将连接件固定安装在机械臂的第六轴(末端)上；
b)采用手眼标定方法进行标定[4]，求解相机和机械臂末端的位姿关系；
c)得到从相机坐标系到机械臂末端坐标系的变换关系。
如果相机和投影仪的相对位置不发生改变，只需标定一次。可以通过事先标定好，在使用时不需要再标定，只需要加载已经标定好的相机与投影仪的变换关系。将连接件固定到机械臂末端，应用手眼标定方法对相机坐标系到机械臂末端坐标系的变换关系进行标定。同样如果相机和机械臂末端的相对位置不发生改变，也只需标定一次。
在步骤3)中，得到在机械臂基坐标系下的成像目标的三维表面点云数据，具体包括以下步骤：
a)加载相机与投影仪的变换关系；
b)确定相机和投影机的角度，使用格雷码的结构光编码技术得到投影仪的格雷码图案和相机成像的图片中点对的对应关系，再对那些点对根据投影仪坐标系到相机坐标系的变换关系，应用线性三角测量方法[3](linear triangulation method)，从而获得成像目标在相机坐标系下的三维表面数据；
c)加载相机坐标系到机械臂末端坐标系的变换关系；
d)结合计算机从机械臂的控制器读取到机械臂末端坐标系相对于机械臂基坐标系的位姿关系，计算得到相机坐标系与机械臂基坐标系的变换关系，从而得到由相机和投影仪采集得到成像目标的三维表面数据在机械臂基坐标系下的空间位置；
e)控制机械臂通过连接件带着相机和投影仪调整角度，重复步骤a)～d)，得到多个角度下的三维表面数据；
f)在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到在机械臂基坐标系下的成像目标的三维表面点云数据。
在步骤4)中，进一步包括：在影像坐标系中将规划好机械臂末端的路径显示出来，验证规划路径是否会碰到障碍物，从而验证规划的路径的可实施性。
本发明的增强现实装置的控制方法能够应用于立体定向手术机器人进行头部微创手术，核磁共振形成的是灰度的影像数据，叠加上投影仪相机系统得到的皮肤的颜色和纹理，增加影像数据的真实感，并能将术前规划的手术路径显示出来，验证是否会碰到耳朵或者固定架等障碍，从而验证术前规划的手术路径的可实施性；医生能够选择感兴趣区域(例如病灶靶点)，设定要显示的例如由核磁成像得到的脑皮层结构和颅内血管的内容，由投影仪投影显示，医生在不开颅的情况下，可以知道感兴趣区域周围的结构情况，比如病灶和血管的关系。
本发明的优点：
1、由相机和投影仪组成的投影仪相机系统，不仅可以获取成像目标的表面点，还可以获取成像目标的颜色和纹理信息，通过配准之后，可以将成像目标表面的颜色和纹理信息叠加到由核磁成像提取得到的表面影像数据上，相比于仅依赖灰度的核磁成像，能够在计算机看到更加真实的、带有颜色和纹理的三维模型，同时将术前的规划路径一起显示在模型上，使得能够在未实施手术前就可以预览到若根据术前的规划路径实施后的场景，有利于验证术前的规划路径的可实施性；
2、将相机和投影仪通过连接件挂载在机械臂末端，可以很方便的控制相机和投影仪从不同方向对成像目标的三维表面进行采集，有利于得到成像目标更加完整的三维表面，进而提高配准精度；
3、在高精度配准的基础上，得到影像坐标系和机械臂基坐标系的一一对应关系，为后续计算在影像坐标系中指定的待增强现实位置后机械臂末端应该到达的位置提供依据；
4、传统立体定向手术中，需要观察计算机屏幕中的影像，再接着在成像目标相应的部位执行手术，存在成像目标表面上没有相应的内部结构信息导致的影像信息的不连续性问题，而本发明的增强现实装置使得可以在成像目标的表面非常直观看到内部结构，有利于避开重要血管和快速定位靶点。
附图说明
图1为本发明的增强现实装置的结构图；
图2本发明的增强现实装置的一个实施例的示意图；
图3为本发明的增强现实装置的控制方法的流程图。
具体实施方式
下面结合附图，通过具体实施例，进一步阐述本发明。
如图1所示，本实施例的增强现实装置包括：计算机1、机械臂2、相机3、投影仪4和连接件5；其中，连接件5的一个表面固定安装在机械臂2末端，相机3和投影仪4安装在连接件5的另一个表面，相机3和投影仪4之间的位置固定不变；机械臂2的控制器通过网线连接至计算机1与计算机进行通信；相机3和投影仪4分别通过数据线连接至计算机1与计算机进行数据传输。
如图2所示，成像目标6放置在样品台8上，并通过安装在样品台上的固定架7固定，使得成像目标相对于机械臂基坐标系的位置固定不变。
在本实施例中，计算机1为dell optiplex 9020台式机，机械臂2为VS060A3(DensoCo.Ltd.， Japan)，相机3为型号为BFLY-U3-50H5C-C(Point Grey,Canada)的微型CCD相机，投影仪 4为微型DLP投影仪，连接件5采用铝合金制作。
如图3所示，本实施例的增强现实装置的控制方法，包括以下步骤：
1)将成像目标通过固定架固定在样品台上，将机械臂的基座固定在样品台的旁边，使得成像目标在机械臂的工作空间内；把计算机和机械臂、相机及投影仪连接，启动设备；
2)计算机控制机械臂通过连接件带着相机和投影仪从多个角度采集成像目标的三维表面数据，在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到的在机械臂基坐标系下的成像目标的三维表面点云数据，该点云数据的点间距小于1mm，覆盖成像目标表面超过60％的区域；
3)在计算机中，将在机械臂基坐标系下的成像目标的三维表面点云数据，与使用FreeSurfer开源软件[5]从核磁成像中提取的成像目标的表面影像数据，在影像坐标系中配准，从而使得影像坐标系和机械臂基坐标系对齐，在计算机中的影像坐标系里看到叠加有成像目标表面的颜色和纹理的表面影像数据，增加影像数据的真实感，并在影像坐标系中将规划好机械臂末端的路径显示出来，验证规划路径是否会碰到障碍物，从而验证规划的路径的可实施性；
4)在计算机中选择感兴趣区域，设定要显示的成像目标的内容和角度，默认以感兴趣区域为中心，默认设定在机械臂基坐标系中投影仪4的中心到感兴趣区域的中心距离为 250mm，根据步骤3)中配准得到的影像坐标系和机械臂基坐标系的对应关系，自动计算机械臂末端的位姿；
5)机械臂根据步骤4)计算得到的位姿，运动到指定位置和姿态，投影仪依据计算机给定的内容进行投影显示，把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现增强现实；
6)判断是否查看其他感兴趣区域，如果是，继续重复步骤4)～5)，查看对应的感兴趣区域及其周围的情况。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
[1]Zhang Z.A flexible new technique for camera calibration[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.
[2]Park H,Lee M-H,Kim S-J,et al.Surface-independent direct-projectedaugmented reality[C].Asian Conference on Computer Vision,2006:892-901.
[3] Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge University press,2003.
[4]Horaud R,Dornaika F.Hand-eye calibration[J].The internationaljournal of robotics research,1995,14(3):195-210.
[5]http://freesurfer.net/
Claims (5)
1.一种增强现实装置，其特征在于，所述增强现实装置包括：计算机、机械臂、相机、投影仪和连接件；其中，连接件的一个表面固定安装在机械臂末端，相机和投影仪安装在连接件的另一个表面，相机和投影仪之间的位置保持固定不变；机械臂的控制器通过网线连接至计算机与计算机进行通信；相机和投影仪分别通过数据线连接至计算机与计算机进行数据传输；成像目标相对于机械臂基坐标系位置固定不变，通过由相机和投影仪组成的投影仪相机系统，在相机坐标系下对成像目标进行三维表面点云数据采集，通过标定好的相机坐标系和机械臂末端坐标系的变换关系，将采集得到的成像目标的三维表面点云数据从相机坐标系转换到机械臂末端坐标系下，再由计算机读取机械臂的控制器得到机械臂末端坐标系到机械臂基坐标系的变换关系，从而将三维表面点云数据从机械臂末端坐标系转换到机械臂基坐标系下；在计算机中存储有通过核磁成像得到的在影像坐标系下的成像目标的影像数据，并通过算法将影像数据中成像目标的表面影像数据与内部影像数据分开；将由核磁成像得到的成像目标的表面影像数据与在机械臂基坐标系下成像目标的三维表面点云数据配准对齐，从而实现影像坐标系与机械臂基坐标系的坐标变换；在计算机中选择对成像目标的感兴趣区域，通过影像坐标系与机械臂基坐标系的变换关系，计算机械臂末端位姿，通过计算机控制机械臂到达指定位姿，投影仪把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现准确的增强现实。
2.如权利要求1所述的增强现实装置，其特征在于，所述机械臂采用串联六轴型机械臂，计算机通过网线与机械臂的控制器进行通信，能够获得机械臂末端的位置和角度信息，即机械臂末端坐标系相对机械臂基坐标系的位姿关系，也能够发送运动指令控制机械臂末端到达特定位置和保持特定的姿态。
3.如权利要求1所述的增强现实装置，其特征在于，所述相机为彩色相机，采用电荷耦合器件CCD相机或者互补金属氧化物半导体CMOS相机；通过USB线与计算机相连，能接受计算机发出的采集相片指令，也能够根据指令把数据传输到计算机中。
4.如权利要求1所述的增强现实装置，其特征在于，所述投影仪采用液晶显示器LCD投影仪或者数字光处理DLP投影仪；通过HDMI线与计算机相连，根据计算机指定的内容进行投影显示。
5.如权利要求1所述的增强现实装置，其特征在于，所述连接件采用硬质型材制作，连接件固定安装在机械臂的第六轴上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610681477.XA CN106308946B (zh) | 2016-08-17 | 2016-08-17 | 一种应用于立体定向手术机器人的增强现实装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610681477.XA CN106308946B (zh) | 2016-08-17 | 2016-08-17 | 一种应用于立体定向手术机器人的增强现实装置及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106308946A CN106308946A (zh) | 2017-01-11 |
| CN106308946B true CN106308946B (zh) | 2018-12-07 |
Family
ID=57743525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610681477.XA Active CN106308946B (zh) | 2016-08-17 | 2016-08-17 | 一种应用于立体定向手术机器人的增强现实装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106308946B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067428B (zh) * | 2017-03-10 | 2020-06-30 | 深圳奥比中光科技有限公司 | 增强现实投影装置及方法 |
| CN107126268A (zh) * | 2017-06-26 | 2017-09-05 | 山西医科大学 | 一种辅助头部精准手术定位的系统 |
| CN107577159A (zh) * | 2017-10-31 | 2018-01-12 | 塔普翊海（上海）智能科技有限公司 | 扩增实境仿真系统 |
| CN108225180A (zh) * | 2017-12-31 | 2018-06-29 | 芜湖哈特机器人产业技术研究院有限公司 | 一种涂装定位系统和方法 |
| US20210228276A1 (en) * | 2018-04-27 | 2021-07-29 | Crisalix S.A. | Medical Platform |
| CN108931194A (zh) * | 2018-07-10 | 2018-12-04 | 苏州艾弗伦智能技术有限公司 | 一种智能机器人3d精密测量系统 |
| CN109045678B (zh) * | 2018-08-23 | 2021-10-29 | 安徽星宇生产力促进中心有限公司 | 一种安全性高的多米诺骨牌摆放机器人 |
| CN109451267A (zh) * | 2018-08-29 | 2019-03-08 | 浙江易澄环保科技有限公司 | 废气处理系统 |
| EP3646995A1 (de) * | 2018-10-29 | 2020-05-06 | Siemens Aktiengesellschaft | Vollautomatisierte montage und kontaktierung elektrischer bauteile |
| WO2020133097A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京维卓致远医疗科技发展有限责任公司 | 基于混合现实的控制系统 |
| CN109719726B (zh) * | 2018-12-30 | 2021-08-20 | 芜湖哈特机器人产业技术研究院有限公司 | 一种机械臂手眼标定装置及方法 |
| CN114711969B (zh) * | 2019-01-21 | 2023-10-31 | 华科精准（北京）医疗科技有限公司 | 一种手术机器人系统及其使用方法 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN110136208B (zh) * | 2019-05-20 | 2020-03-17 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服系统的联合自动标定方法及装置 |
| CN111156983B (zh) * | 2019-11-19 | 2023-06-13 | 石化盈科信息技术有限责任公司 | 目标设备定位方法、装置、存储介质以及计算机设备 |
| CN110897717B (zh) | 2019-12-09 | 2021-06-18 | 苏州微创畅行机器人有限公司 | 导航手术系统及其注册方法与电子设备 |
| CN111833459B (zh) * | 2020-07-10 | 2024-04-26 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112767479A (zh) * | 2021-01-13 | 2021-05-07 | 深圳瀚维智能医疗科技有限公司 | 位置信息检测方法、装置、系统及计算机可读存储介质 |
| CN112991457B (zh) * | 2021-02-22 | 2023-05-26 | 北京理工大学 | 手术导航中投影仪空间位置和内外参标定方法、装置 |
| CN116563297B (zh) * | 2023-07-12 | 2023-10-31 | 中国科学院自动化研究所 | 颅脑靶点定位方法、装置及存储介质 |
| CN116883510A (zh) * | 2023-07-13 | 2023-10-13 | 中国人民解放军军事科学院系统工程研究院 | 一种用于增强现实虚实对齐的标定校准系统及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2966837C (en) * | 2014-11-14 | 2023-03-28 | Medineering Gmbh | Intelligent holding arm for head surgery, with touch-sensitive operation |
| CN104434319A (zh) * | 2014-12-18 | 2015-03-25 | 上海交通大学医学院附属第九人民医院 | 手术导航系统中游离骨块的实时示踪方法 |
| FR3030222B1 (fr) * | 2014-12-23 | 2021-09-24 | Yann Glard | Systeme d'orientation chirurgical |
-
2016
- 2016-08-17 CN CN201610681477.XA patent/CN106308946B/zh active Active
Non-Patent Citations (3)
| Title |
|---|
| A flexible new technique for camera calibration;Zhengyou Zhang，Senior Member;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20001130;第22卷(第11期);1334 * |
| Hand-eye calibration;Horaud R,Dornaika F;《The international journal of robotics research》;19950630;第14卷(第3期);195-210 * |
| Surface-independent direct-projected augmented reality;Park H,Lee M-H,Kim S-J,et al;《Asian Conference on Computer Vision》;20061231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106308946A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106308946B (zh) | 一种应用于立体定向手术机器人的增强现实装置及其方法 | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| CN114041875B (zh) | 一种一体式手术定位导航系统 | |
| US10687901B2 (en) | Methods and systems for registration of virtual space with real space in an augmented reality system | |
| US8251893B2 (en) | Device for displaying assistance information for surgical operation, method for displaying assistance information for surgical operation, and program for displaying assistance information for surgical operation | |
| EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| JP6889703B2 (ja) | 患者の３ｄ表面画像を手術中に観察するための方法及び装置 | |
| Gavaghan et al. | A portable image overlay projection device for computer-aided open liver surgery | |
| US20180263710A1 (en) | Medical imaging apparatus and surgical navigation system | |
| EP3254621A1 (en) | 3d image special calibrator, surgical localizing system and method | |
| WO2013073061A1 (ja) | 撮影装置及び撮影システム | |
| KR20160139017A (ko) | 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화 | |
| CN110215284A (zh) | 一种可视化系统和方法 | |
| CN111035458A (zh) | 一种手术综合视景智能辅助系统及图像处理方法 | |
| CN113197666A (zh) | 用于手术导航的装置及系统 | |
| CN112805999A (zh) | 用于医疗程序的增强光学成像系统 | |
| WO2016066287A1 (en) | Hybrid navigation system for surgical interventions | |
| JP2016170641A (ja) | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム | |
| Maurer Jr et al. | Augmented-reality visualization of brain structures with stereo and kinetic depth cues: system description and initial evaluation with head phantom | |
| EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
| CN111973273A (zh) | 基于ar技术的手术导航系统、方法、设备和介质 | |
| EP2944284B1 (en) | A system for precision guidance of surgical procedures on a patient | |
| GB2588489A (en) | System and method for optical axis calibration | |
| CN107260305A (zh) | 计算机辅助微创手术系统 | |
| He et al. | Sensor-fusion based augmented-reality surgical navigation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |