CN113786229A - 一种基于ar增强现实的辅助穿刺导航方法 - Google Patents
一种基于ar增强现实的辅助穿刺导航方法 Download PDFInfo
- Publication number
- CN113786229A CN113786229A CN202111082479.4A CN202111082479A CN113786229A CN 113786229 A CN113786229 A CN 113786229A CN 202111082479 A CN202111082479 A CN 202111082479A CN 113786229 A CN113786229 A CN 113786229A
- Authority
- CN
- China
- Prior art keywords
- point
- puncture
- image
- coordinate system
- needle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 78
- 238000003780 insertion Methods 0.000 claims description 34
- 230000037431 insertion Effects 0.000 claims description 34
- 239000003550 marker Substances 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000002184 metal Substances 0.000 claims description 10
- 229910052751 metal Inorganic materials 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Abstract
一种基于AR增强现实的辅助穿刺导航方法,包括以下步骤：S01、采集患者图像数据；S02、将图像数据同步传输至介入移动影像工作站，生成并显示具有穿刺目标点T的医学影像3D图像；S03、选取入针点A和穿刺目标点T；S04、选出一条合适的穿刺路径，并将该穿刺路径的入针点A作为靶点；S05、将所有信息同步至辅助穿刺导航装置，在显示屏上显示AR穿刺辅助线，引导穿刺针穿入的AR图像，本发明通过介入移动影像工作站采集到的患者信息，供操作者选择出一条较佳的穿刺路径，结合显示屏，显示生成的AR穿刺辅助线引导穿刺针穿入的AR图像，操作者进行穿刺时，可以参考显示屏中的AR图像中的穿刺辅助线进行穿刺，操作简单，穿刺更加精确，穿刺效率高，降低患者穿刺风险。
Description
技术领域
本发明涉及一种基于AR增强现实的辅助穿刺导航方法。
背景技术
穿刺是将穿刺针刺入体腔抽取分泌物做化验，或向体腔注入气体或造影剂做造影检查，或向体腔内注入药物的一种诊疗技术。
穿刺过程中，操作者无法直接看到人体内部的情况，入针点A的选取取决于操作者的经验，同时操作者无法确认穿刺针的针端是否扎入患者体内的目标穿刺目标点，当完成一次穿刺操作后，接下来通过影像学设备采集的图像信息，判断穿刺针是否达到目标穿刺目标点，穿刺针针端与目标穿刺目标点的距离、穿刺针针端与目标穿刺目标点偏离的角度位置，操作者根据采集的图像信息重新调整穿刺针进行穿刺，即整个穿刺手术是需要穿刺操作结合影像学设备采集实现的，可能需要反复多次穿刺、多次采集才能完成穿刺手术，主要依靠操作者的个人操作经验，穿刺时间长，难度高，且患者承担风险高。
发明内容
本发明要解决的技术问题是提供一种基于AR增强现实的辅助穿刺导航方法。
为了解决上述技术问题，本发明采用的技术方案是：一种基于AR增强现实的辅助穿刺导航方法,包括以下步骤：S01、通过经原点定位设置的影像学设备采集覆盖有CT定位网患者的图像数据；S02、将图像数据同步传输至介入移动影像工作站，介入移动影像工作站接收图像数据后，在匹配所述原点的影像学设备坐标系内，生成并显示医学影像3D图像；S03、操作者查看所述医学影像3D图像，并在所述医学影像3D图像上选取入针点A和穿刺目标点T，所述介入移动影像工作站根据所述入针点A和所述穿刺目标点T，生成所述入针点A与所述穿刺目标点T之间具有穿刺路径的3D图像观察平面，所述穿刺路径为入针点A与穿刺目标点T之间的直线；S04、操作者通过查看与/或选定旋转所述3D图像观察平面内的所述穿刺路径，判断所述入针点A是否合适，如果合适就将该入针点A作为靶点，如果不合适，则操作者选定所述穿刺路径绕所述穿刺目标点T旋转直至选出一条合适的穿刺路径，并将该穿刺路径的入针点A作为靶点；S05、确定靶点后，介入移动影像工作站将所有信息同步至具有显示屏的辅助穿刺导航装置，所述显示屏上设置有用于采集患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置的至少三个摄像头，基于所述原点，结合显示屏在环境标志板坐标系中位置及其内参，将确认的穿刺路径在所述环境标志板坐标系中匹配，在显示屏上显示患者靶点处生成的对应所述穿刺路径的AR穿刺辅助线，从而能够引导穿刺针穿入的AR图像，辅助操作者进行穿刺。
在某些实施方式中，在步骤S03中，将在医学影像3D图像中手动选取的入针点A(Ix，a，Iy，a，Iz，a)和穿刺目标点T(Ix，t，Iy，t，Iz，t)转换成世界坐标位置：
在某些实施方式中，所述3D图像观察平面还包括入针点A，穿刺目标点T，所述入针点A在所述穿刺目标点T所在的xz平面上投影形成的投影点A1，所述入针点A在所述穿刺目标点T所在的xy平面上投影形成的投影点A2，所述穿刺目标点T在所述入针点A所在xy平面上投影形成的投影点T1，所述穿刺目标点T在所述入针点A所在yz平面上投影形成的投影点T2，由入针点A、穿刺目标点T、投影点T2组成的斜轴图像平面，由入针点A、投影点A2、穿刺目标点T组成的斜矢图像平面，角度T1AA1，角度TAA2。
在某些实施方式中，对影像学设备原点的设定，影像学设备周围设置有能够反映所述原点位置的至少一个标志板，三个摄像头中至少一个摄像头用于追踪并采集所述标志板，从而得到影像学设备的位置参数，所述标志板分布于影像学设备原点、影像学设备手术台面、影像学设备周围空间、天花板、周围墙壁中的至少一个上。
在某些实施方式中，所述标志板为ArUco标识板。
在某些实施方式中，通过采集到的包含有所述标志板图像中对应角的2D点坐标，因而有了一组物理世界中的3D点坐标和图像中的2D点坐标，结合显示屏的内参，可以求解下列公式中的R和T，也就是从世界坐标系到相机坐标系的变换关系：
在某些实施方式中，利用放置在影像学设备原点的标志板，确认坐标系转换，将世界坐标系统一至该环境标志板坐标系，具体的步骤为：1.在影像学设备上的某一个平放的已知位置的标志板上放置一个已知尺寸的长方体，在长方体的8个角落分别放置一个直径为2mm的金属球形基准点，校准基准点在标志板环境中的相对位置，通过计算长方体与这个标志板的相对位置关系确认长方体在环境标志板坐标系中的位置信息；2.将长方体放入影像学设备进行扫描，可以获取金属球形基准点在影像学设备坐标系中的坐标，即获取8个金属球形基准点的三维坐标的对应关系，通过点对点的刚体配准计算，获取环境标志板坐标系和影像学设备坐标系的转换矩阵，当显示屏获取到显示屏相对于环境标志板坐标系的相对位姿时，通过所述转换矩阵实时更新为相对于影像学设备坐标系的相对位姿。
在某些实施方式中，三个摄像头中至少两个摄像头用于采集所述靶点。
在某些实施方式中，基于所述CT定位网，操作者根据所述靶点在患者身体相应位置处贴上靶点色贴，所述靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，所述靶点色贴中心开设有直径2mm的孔洞。
在某些实施方式中，所述穿刺针包括针本体、固定于所述针本体上端部的针手柄，所述针本体的上部设置有两个以上能够区别于周边环境色的色环，或者所述针本体的上部和所述针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上所述色环沿着所述穿刺针的长度方向分布，用于采集所述靶点的摄像头实时捕捉穿刺针的动态数据并显示在所述AR图像上。
本发明的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案等。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明提供一种基于AR增强现实的辅助穿刺导航方法,通过影像学设备采集到的患者信息，通过介入移动影像工作站将体现三维空间的3D图像观察平面显现出来，供操作者选择出一条较佳的穿刺路径，结合显示屏在基于影像学设备原点的物理环境中的位置及内参，将确认的穿刺路径在物理世界的环境标志板坐标系中匹配，即在显示屏上显示的患者靶点处生成对应所述穿刺路径的AR穿刺辅助线的AR图像，从而能够引导操作者进行穿刺手术，操作者进行穿刺时，可以参考显示屏中的AR图像中的穿刺辅助线进行穿刺，本方案在介入移动影像工作站中选择了最佳穿刺路径，根据穿刺辅助线手术，操作简单，更加数据化，穿刺更加精确，穿刺效率高，降低患者穿刺风险。
附图说明
附图1为本发明辅助穿刺导航方法流程示意图；
附图2为显示屏与CT床安装位置示意图；
附图3为3D图像观察平面结构图；
附图4为本发明CT室环境标志板分布示意图；
附图5为检测标志板示意图；
附图6为使用模拟患者的穿刺路径选择过程示意图；
附图7为使用模拟患者的AR显示的穿刺辅助线以及穿刺过程示意图；
其中，1、影像学设备；2、介入移动影像工作站；3、辅助穿刺导航装置；4、标志板；5、穿刺针。
具体实施方式
如附图1所示，基于AR增强现实的辅助穿刺导航系统，包括影像学设备1，用于采集患者的切片图像数据，影像学设备如CT机放在CT室内，CT扫描电脑主机放在操作间内，CT扫描电脑主机与CT机可以通过wifi或网线以及RabbitMQ管道相连接。本实施例中，影像学设备上设置有影像学设备原点，该原点设置有原点标记，原点标记为ArUco标记。
基于AR增强现实的辅助穿刺导航系统，还包括介入移动影像工作站2，作为切片图像数据的中转和处理平台，即接收来自影像学设备的图像数据，并将该图像数据转三维化处理，在以影像学设备原点作为坐标系原点的三维空间内生成显示医学影像3D图像，供操作者查看和选取入针点A和穿刺目标点T，并根据选取的入针点A和穿刺目标点T的位置坐标，生成所述入针点A与所述穿刺目标点T之间具有直线的3D图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点A作为靶点。
基于AR增强现实的辅助穿刺导航系统，还包括辅助穿刺导航装置3，本实施例中，该辅助穿刺导航装置3直接为将cpu与显示屏集成为一体的pad，该pad上设置有至少三个摄像头，pad的CPU可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、pad位置，使得影像学设备周围环境与以影像学设备原点作为坐标系原点的三维空间相统一。辅助穿刺导航装置也可以是分体式的，包括主机、与主机相连接的显示屏，但是该显示屏上也设置有至少三个摄像头，主机可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、显示屏位置。
影像学设备周围设置有能够对应影像学设备原点的至少一个标志板，标志板为ArUco标识板，ArUco标记是一种二进制正方形的基准标志物，标志板分布于影像学设备原点、影像学设备台面、影像学设备周边区域、天花板、周围墙壁上，三个摄像头中至少一个摄像头用于追踪并采集标志板。
在进行首次穿刺手术之前，做如下准备：
一、首先张贴ArUco标记板与天花板和手术台周边区域。
二、利用平板摄像头录制影像学设备环境并采集显示屏摄像头内参。
利用平板摄像头录制影像学设备环境，环绕室内两周并形成闭环，覆盖影像学设备，天花板，周围墙壁上的所有标志板，并且在在画面的视野里面有两个以上的标志板；
依照经典的张正友标定法，进行显示屏摄像头的内参标定，具体步骤为：首先打印一张棋盘格标定图纸，将其贴在平面物体的表面；拍摄一组不同方向棋盘格的图片，可以通过移动相机来实现，也可以移动标定图片来实现；对于每张拍摄的棋盘图片，检测图片中所有棋盘格的特征点(角点，也就是黑白棋盘交叉点)，定义打印的棋盘图纸位于世界坐标系Zw＝0的平面上，世界坐标系的原点位于棋盘图纸的固定一角，像素坐标系原点位于图片左上角；因为棋盘标定图纸中所有角点的空间坐标是已知的，这些角点对应在拍摄的标定图片中的角点的像素坐标也是已知的，如果我们得到这样的N>＝4个匹配点对(越多计算结果越鲁棒)，就可以根据LM等优化方法得到其单应矩阵H；最后分解得到显示屏摄像头内参。
三、将录制的环境照片和显示屏摄像头内参，导入显示屏建图系统，进行建图和联合优化操作，如图4、5所示，具体的操作流程为：
1、标记检测，如果图像中有一些ArUco标记可见，则检测过程必须返回检测到的标记列表。每个检测到的标记包括：它的四个角在图像中的位置(按其原始顺序)；标记的id，标记检测过程由两个主要详细步骤为：候选标记的检测。在这一步中，对图像进行分析，以便找到作为候选标记的正方形。该算法首先对图像进行自适应阈值分割，然后从分割后的图像中提取轮廓线，剔除不凸或不近似正方形的轮廓线。还应用了一些额外的噪声滤波算法(去除过小或过大的轮廓，去除彼此太接近的轮廓等)；在候选标记检测之后，需要通过分析它们的内部编码来确定它们是否真的是标记物。此步骤首先提取每个标记的标记位。为此，首先应用透视变换来获得标准形式的标记。然后，利用0tsu对标准图像进行阈值分割，分离出黑白图像。根据标记大小和边框大小将图像划分为不同的单元，并且计算每个单元上的黑色或白色像素的数量以确定它是白色还是黑色位。最后，对位进行分析以确定标记是否属于特定字典，并在必要时采用纠错技术。
2.姿态估计：ArUco标记有不同的规格，称之为字典，例如DICT_6X6_250字典集中的marker维度是6*6，能表示250个marker.Maker编码的时候考虑到了方向性，因此无论如何摆放，都可以区分四个不同的角。通过上一步检测到了图像中对应角的2D点坐标，因而有了一组物理世界中的3D点坐标和图像中的2D点坐标，又由于显示屏摄像头内参已知，可以求解下列公式中的R和T，也就是从世界坐标系到相机坐标系的变换关系，具体公式为：
3.建图和优化，根据上一步获取的姿态估计进行创建有向姿势图，其中节点表示标记，边缘表示它们的相对姿势。使用有向姿势图可以如下获得公共参考系统中标记位姿的初始估计。首先，选择一个起始节点作为世界坐标系基准，然后计算图的最小生成树。这个有向姿势图可能包含相对姿态中的误差，当沿着路径传播时，这些误差会导致较大的最终误差。我们的目标是获得一个图其中的相对位姿得以改进。为此，我们将沿着有向姿势图的循环传播错误，这个问题也称为运动平均。
首先，我们从图中删除异常连接以防止它们破坏优化。为此，我们计算最小生成树中边的权重的均值和标准差。对于其余的边(不在最小生成树中)，我们从图中删除了均值99％置信区间之外的那些。接着，我们根据上一步的优化结果进行下一步的优化：我们对于有向姿势图分别优化旋转和平移分量，在对于优化旋转的过程中，旋转误差沿图循环的分布是通过在每个循环中独立分布误差，然后对出现在一个以上循环中的边的旋转估计进行平均来实现的。重复这个过程直到收敛。一旦获得了最佳旋转，就需要在优化之前将平移与旋转解耦。解耦平移是通过选择解耦点获得的，该解耦点将作为两个标记的旋转中心。
4.得到以标志板为基准的环境参数。
四、统一环境标志板坐标系和影像学设备坐标系，利用放置在影像学设备台原点的标志板，确认坐标系转换，将世界坐标系统一至该环境标志板坐标系，也就是环境标志板坐标系与影像学设备坐标系一致，具体的步骤为：
1.放置一个已知尺寸的长方体，无图示，将8个直径为2mm的金属球形基准点放置在每个角落。基准点在环境标志板坐标系中的相对位置，可以被预先校准。将长方体摆放在影像学设备上的某一个标志板上，这个标志板在环境标志板坐标系是已知的，可以通过计算长方体与这个标志板的相对位置关系确认长方体在该环境坐标系中的位置信息。
2.将长方体放入影像学设备进行扫描，可以获取金属球形基准点在影像学设备坐标系中的坐标。这样我们获取8个3维坐标的对应关系，通过基于点对点的刚体配准计算，可以获取环境标志板坐标系和影像学设备坐标系的转换矩阵。当AR设备获取到该设备相对于环境标志板坐标系的相对位姿时，可以通过该转换矩阵实时更新为相对于影像学设备坐标系的相对位姿。
五、验证环境重建和优化标定结果：1.拆除手术台和墙壁的标志板，保留天花板和影像学设备手术台坐标原点的标志板；2.通过AR设备显示基于标志板识别的金属基准点，与真实环境中的基准点进行比对，计算相对的移动偏差并优化获取的环境标志板坐标系。
六、验证完毕之后，将影像学设备的标志板原点，与3D医学图像坐标系进行统一，在手术台固定的情况下，无需再重复标定，将影像学设备原点的标志板也拆除，最终只需保留天花板的标志板即可；如果手术台进行了刚性的位移，输入相应位移坐标调整，即能和原有的坐标系进行统一，理论上也无需重复标定。
患者躺在影像学设备的平台上，基于AR增强现实的辅助穿刺导航方法，包括以下步骤：
步骤S01、通过经原点定位设置的影像学设备1采集覆盖有CT定位网患者的图像数据；
步骤S02、采集完毕后将图像数据同步传输至介入移动影像工作站2，介入移动影像工作站2接收图像数据后，在匹配所述原点的影像学设备坐标系内，生成并显示医学影像3D图像；
步骤S03、操作者查看所述医学影像3D图像，并在所述医学影像3D图像上选取入针点A和穿刺目标点T，所述介入移动影像工作站2根据所述入针点A和所述穿刺目标点T，生成所述入针点A与所述穿刺目标点T之间具有穿刺路径的3D图像观察平面，所述穿刺路径为入针点A与穿刺目标点T之间的直线，入针点A与穿刺目标点T详细的坐标变换如下：在医学影像3D图像中手动选取入针点A(Ix，a，Iy，a，Iz，a)和穿刺目标点T(Ix，t，Iy，t，Iz，t)，将所述图像坐标点转换世界坐标位置：
步骤S04、操作者通过查看与/或选定旋转所述3D图像观察平面内的所述穿刺路径，判断所述入针点A是否合适，如果合适就将该入针点A作为靶点，如果不合适，则操作者选定所述穿刺路径绕所述穿刺目标点T旋转直至选出一条合适的穿刺路径，并将该穿刺路径的入针点A作为靶点，如图6所示，操作者根据靶点在患者身体相应位置处贴上靶点色贴，靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，靶点色贴中心开设有直径2mm的孔洞；
步骤S05、确定靶点后，介入移动影像工作站2将所有信息同步至具有显示屏的辅助穿刺导航装置3，所述显示屏上设置有用于采集患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置的至少三个摄像头，基于所述原点，结合显示屏在环境标志板坐标系中位置及内参，将确认的穿刺路径在所述环境标志板坐标系中匹配，在显示屏上显示在患者靶点处生成对应所述穿刺路径的AR穿刺辅助线从而能够引导穿刺针5穿入的AR图像，辅助操作者进行穿刺，结合显示屏在环境标志板坐标系中的内参，如图7所示，在显示屏上显示的患者靶点处生成对应穿刺路径的AR穿刺辅助线从而能够引导穿刺针穿入的AR图像，辅助操作者进行穿刺，穿刺针5包括针本体、固定于针本体上端部的针手柄，针本体的上部设置有两个以上能够区别于周边环境色的色环，或者针本体的上部和针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上色环沿着穿刺针的长度方向分布，用于采集靶点的摄像头实时捕捉穿刺针的动态数据并显示在AR图像上。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于AR增强现实的辅助穿刺导航方法,其特征在于：包括以下步骤：
S01、通过经原点定位设置的影像学设备(1)采集覆盖有CT定位网患者的图像数据；
S02、将图像数据同步传输至介入移动影像工作站(2)，介入移动影像工作站(2)接收图像数据后，在匹配所述原点的影像学设备坐标系内，生成并显示医学影像3D图像；
S03、操作者查看所述医学影像3D图像，并在所述医学影像3D图像上选取入针点A和穿刺目标点T，所述介入移动影像工作站(2)根据所述入针点A和所述穿刺目标点T，生成所述入针点A与所述穿刺目标点T之间具有穿刺路径的3D图像观察平面，所述穿刺路径为入针点A与穿刺目标点T之间的直线；
S04、操作者通过查看与/或选定旋转所述3D图像观察平面内的所述穿刺路径，判断所述入针点A是否合适，如果合适就将该入针点A作为靶点，如果不合适，则操作者选定所述穿刺路径绕所述穿刺目标点T旋转直至选出一条合适的穿刺路径，并将该穿刺路径的入针点A作为靶点；
S05、确定靶点后，介入移动影像工作站(2)将所有信息同步至具有显示屏的辅助穿刺导航装置(3)，所述显示屏上设置有用于采集患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置的至少三个摄像头，基于所述原点，结合显示屏在环境标志板坐标系中位置及其内参，将确认的穿刺路径在所述环境标志板坐标系中匹配，在显示屏上显示患者靶点处生成的对应所述穿刺路径的AR穿刺辅助线，从而能够引导穿刺针(5)穿入的AR图像，辅助操作者进行穿刺。
2.根据权利要求1所述基于AR增强现实的辅助穿刺导航方法，其特征在于：在步骤S03中，将在医学影像3D图像中手动选取的入针点A(Ix，a，Iy，a，Iz，a)和穿刺目标点T(Ix，t，Iy，t，Iz，t)转换成世界坐标位置：
其中，Pxyz为体素点Ixyz的世界坐标，单位为mm，Oxyz是ImagePositionPatient(0020,0032)中的值，是图像左上角体素点的世界坐标，单位为mm，Sxy是PixelSpacing(0028,0030)中列像素分辨率和行像素分辨率，单位为mm，
单位为mm,Ox1，Oy1，Oz1是第一层图像的Oxyz，而Ox2，Oy2，Oz2是第二层图像的Oxyz，Dx，x，Dx，y，Dx，z是ImageOrientationPatient(0020,0037)中x方向的余弦值，Dy，x，Dy，y，Dy，z是ImageOrientationPatient(0020,0037)中y方向的余弦值，Dz，x，Dz，y，Dz，z是ImageOrientationPatient(0020,0037)中x方向和y方向的余弦值叉乘得到的z方向的余弦值，从而根据所述入针点A与所述穿刺目标点T各自的世界坐标位置生成具有所述穿刺路径的3D图像观察平面。
3.根据权利要求2所述基于AR增强现实的辅助穿刺导航方法，其特征在于：所述3D图像观察平面还包括入针点A，穿刺目标点T，所述入针点A在所述穿刺目标点T所在的xz平面上投影形成的投影点A1，所述入针点A在所述穿刺目标点T所在的xy平面上投影形成的投影点A2，所述穿刺目标点T在所述入针点A所在xy平面上投影形成的投影点T1，所述穿刺目标点T在所述入针点A所在yz平面上投影形成的投影点T2，由入针点A、穿刺目标点T、投影点T2组成的斜轴图像平面，由入针点A、投影点A2、穿刺目标点T组成的斜矢图像平面,角度T1AA1，角度TAA2。
4.根据权利要求1所述基于AR增强现实的辅助穿刺导航方法，其特征在于：对影像学设备(1)原点的设定，在影像学设备周围设置有能够反映所述原点位置的至少一个标志板(4)，三个摄像头中至少一个摄像头用于追踪并采集所述标志板(4)，从而得到影像学设备(1)的位置参数，所述标志板(4)分布于影像学设备原点、影像学设备手术台面、影像学设备周围空间、天花板、周围墙壁中的至少一个上。
5.根据权利要求4所述基于AR增强现实的辅助穿刺导航方法，其特征在于：所述标志板(4)为ArUco标识板。
6.根据权利要求4所述基于AR增强现实的辅助穿刺导航方法，其特征在于：通过采集到的包含有所述标志板图像中对应角的2D点坐标，因而有了一组物理世界中的3D点坐标和图像中的2D点坐标，结合显示屏的内参，可以求解下列公式中的R和T，也就是从世界坐标系到相机坐标系的变换关系：
sPi＝B[R|T]Pw，其中，s表示深度信息；u,v,是在相机画面里像素的坐标,组成Pi；fx,fy是xy平面的焦距；u0,v0是成像平面中心，也即图像坐标系的原点在像素坐标系当中的坐标；公式中3x3的矩阵组成为B，表示从相机坐标系通过成像模型中的相似三角形原理得到图像坐标系；图像坐标系通过平移和缩放得到像素坐标系，r11-r33组成矩阵R,t1-t3组成矩阵T，R和T分别表示旋转矩阵和位移向量，表示世界坐标系通过平移和旋转得到相机坐标系，xw,yw,zw表示世界坐标系中的一点，即Pw。
7.根据权利要求6所述基于AR增强现实的辅助穿刺导航方法，其特征在于：利用放置在影像学设备原点的标志板，确认坐标系转换，将世界坐标系统一至该环境标志板坐标系，具体的步骤为：
1.在影像学设备上的某一个平放的已知位置的标志板上放置一个已知尺寸的长方体，在长方体的8个角落分别放置一个直径为2mm的金属球形基准点，校准基准点在标志板环境中的相对位置，通过计算长方体与这个标志板的相对位置关系确认长方体在环境标志板坐标系中的位置信息；
2.将长方体放入影像学设备进行扫描，可以获取金属球形基准点在影像学设备坐标系中的坐标，即获取8个金属球形基准点的三维坐标的对应关系，通过点对点的刚体配准计算，获取环境标志板坐标系和影像学设备坐标系的转换矩阵，当显示屏获取到显示屏相对于环境标志板坐标系的相对位姿时，通过所述转换矩阵实时更新为相对于影像学设备坐标系的相对位姿。
8.根据权利要求7所述基于AR增强现实的辅助穿刺导航方法，其特征在于：三个摄像头中至少两个摄像头用于采集所述靶点。
9.根据权利要求8所述基于AR增强现实的辅助穿刺导航方法，其特征在于：基于所述CT定位网，操作者根据所述靶点在患者身体相应位置处贴上靶点色贴(6)，所述靶点色贴(6)是颜色与皮肤色和环境色有明显区别的色环贴，所述靶点色贴(6)中心开设有直径2mm的孔洞。
10.根据权利要求1所述基于AR增强现实的辅助穿刺导航方法，其特征在于：所述穿刺针(5)包括针本体、固定于所述针本体上端部的针手柄，所述针本体的上部设置有两个以上能够区别于周边环境色的色环，或者所述针本体的上部和所述针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上所述色环沿着所述穿刺针的长度方向分布，用于采集所述靶点的摄像头实时捕捉穿刺针的动态数据并显示在所述AR图像上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111082479.4A CN113786229B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111082479.4A CN113786229B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113786229A true CN113786229A (zh) | 2021-12-14 |
| CN113786229B CN113786229B (zh) | 2024-04-12 |
Family
ID=78878506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111082479.4A Active CN113786229B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113786229B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114569201A (zh) * | 2022-02-16 | 2022-06-03 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1806771A (zh) * | 2006-01-26 | 2006-07-26 | 清华大学深圳研究生院 | 计算机辅助经皮肾穿刺取石术中的穿刺导航系统及方法 |
| US20090137907A1 (en) * | 2007-11-22 | 2009-05-28 | Kabushiki Kaisha Toshiba | Imaging diagnosis apparatus having needling navigation control system and a needling navigation controlling method |
| CN106503605A (zh) * | 2015-09-01 | 2017-03-15 | 南京理工大学 | 基于立体视觉技术的人体目标识别方法 |
| CN107928791A (zh) * | 2017-12-07 | 2018-04-20 | 上海钛米机器人科技有限公司 | 一种机器人辅助穿刺方法、系统及装置 |
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| US20190183577A1 (en) * | 2017-12-15 | 2019-06-20 | Medtronic, Inc. | Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools |
| US20190339525A1 (en) * | 2018-05-07 | 2019-11-07 | The Cleveland Clinic Foundation | Live 3d holographic guidance and navigation for performing interventional procedures |
| CN110464459A (zh) * | 2019-07-10 | 2019-11-19 | 丽水市中心医院 | 基于ct-mri融合的介入计划导航系统及其导航方法 |
| CN112656397A (zh) * | 2020-12-31 | 2021-04-16 | 苏州朗润医疗系统有限公司 | Mr腰椎影像辅助装置及mr影像设备 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113288429A (zh) * | 2021-05-07 | 2021-08-24 | 山东商业职业技术学院 | 一种乳腺微创介入手术机器人空间配准与实时导航方法 |
-
2021
- 2021-09-15 CN CN202111082479.4A patent/CN113786229B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1806771A (zh) * | 2006-01-26 | 2006-07-26 | 清华大学深圳研究生院 | 计算机辅助经皮肾穿刺取石术中的穿刺导航系统及方法 |
| US20090137907A1 (en) * | 2007-11-22 | 2009-05-28 | Kabushiki Kaisha Toshiba | Imaging diagnosis apparatus having needling navigation control system and a needling navigation controlling method |
| CN106503605A (zh) * | 2015-09-01 | 2017-03-15 | 南京理工大学 | 基于立体视觉技术的人体目标识别方法 |
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| CN107928791A (zh) * | 2017-12-07 | 2018-04-20 | 上海钛米机器人科技有限公司 | 一种机器人辅助穿刺方法、系统及装置 |
| US20190183577A1 (en) * | 2017-12-15 | 2019-06-20 | Medtronic, Inc. | Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools |
| US20190339525A1 (en) * | 2018-05-07 | 2019-11-07 | The Cleveland Clinic Foundation | Live 3d holographic guidance and navigation for performing interventional procedures |
| CN110464459A (zh) * | 2019-07-10 | 2019-11-19 | 丽水市中心医院 | 基于ct-mri融合的介入计划导航系统及其导航方法 |
| CN112656397A (zh) * | 2020-12-31 | 2021-04-16 | 苏州朗润医疗系统有限公司 | Mr腰椎影像辅助装置及mr影像设备 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113288429A (zh) * | 2021-05-07 | 2021-08-24 | 山东商业职业技术学院 | 一种乳腺微创介入手术机器人空间配准与实时导航方法 |
Non-Patent Citations (3)
| Title |
|---|
| WHITE_LEARNER: "相机标定(二)——图像坐标与世界坐标转换", Retrieved from the Internet <URL:http://t.csdn.cn/7TNY2> * |
| 生活没有IF-ELSE: "计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换", Retrieved from the Internet <URL:https://blog.csdn.net/chentravelling/article/details/53558096> * |
| 邱喜雄;张明东;刘伟宗;林恒洲;郝雅静;夏军;: "图像融合与虚拟导航技术在卵圆孔穿刺中的实验研究", 临床放射学杂志, no. 02, 20 February 2018 (2018-02-20) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114569201A (zh) * | 2022-02-16 | 2022-06-03 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
| CN114569201B (zh) * | 2022-02-16 | 2023-11-17 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113786229B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11025889B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| US9990744B2 (en) | Image registration device, image registration method, and image registration program | |
| US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
| US7657065B2 (en) | Marker placement information estimating method and information processing device | |
| WO2006082825A1 (ja) | 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置 | |
| CN113786228B (zh) | 一种基于ar增强现实的辅助穿刺导航系统 | |
| CN112168357B (zh) | C臂机空间定位模型构建系统及方法 | |
| US10929706B2 (en) | Image processing device and projection system | |
| Merritt et al. | Real-time CT-video registration for continuous endoscopic guidance | |
| Shao et al. | Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation | |
| CN113786229B (zh) | 一种基于ar增强现实的辅助穿刺导航系统 | |
| JP2008046749A (ja) | 画像処理方法および装置 | |
| JP2007048068A (ja) | 情報処理方法および装置 | |
| US20210128243A1 (en) | Augmented reality method for endoscope | |
| JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
| CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 | |
| Wang et al. | Endoscopic video texture mapping on pre-built 3-D anatomical objects without camera tracking | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
| JP2002135807A (ja) | ３次元入力のためのキャリブレーション方法および装置 | |
| CN115908121B (zh) | 内窥镜配准方法及装置和标定系统 | |
| TWI839311B (zh) | 手術三維即時定位補償方法 | |
| US20240081916A1 (en) | Computer assisted surgical systems and methods | |
| Zhou et al. | A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and a 3D-printed Marker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |