CN113786228A - 一种基于ar增强现实的辅助穿刺导航系统 - Google Patents
一种基于ar增强现实的辅助穿刺导航系统 Download PDFInfo
- Publication number
- CN113786228A CN113786228A CN202111080885.7A CN202111080885A CN113786228A CN 113786228 A CN113786228 A CN 113786228A CN 202111080885 A CN202111080885 A CN 202111080885A CN 113786228 A CN113786228 A CN 113786228A
- Authority
- CN
- China
- Prior art keywords
- puncture
- point
- imaging device
- needle
- navigation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 2
- 238000009206 nuclear medicine Methods 0.000 claims description 2
- 238000012285 ultrasound imaging Methods 0.000 claims description 2
- 238000003780 insertion Methods 0.000 description 16
- 230000037431 insertion Effects 0.000 description 16
- 239000003550 marker Substances 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 239000002184 metal Substances 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种基于AR增强现实的辅助穿刺导航系统，包括影像学设备，用于采集患者的图像数据，所述影像学设备上设置有影像学设备原点；介入移动影像工作站，用于接收来自所述影像学设备的图像数据；辅助穿刺导航装置，包括显示屏，所述显示屏上设置有至少三个摄像头，本发明通过介入移动影像工作站采集到的患者信息，供操作者选择出一条较佳的穿刺路径，结合显示屏，显示生成的AR穿刺辅助线引导穿刺针穿入的AR图像，操作者进行穿刺时，可以参考显示屏中的AR图像中的穿刺辅助线进行穿刺，操作简单，穿刺更加精确，穿刺效率高，降低患者穿刺风险。
Description
技术领域
本发明涉及一种基于AR增强现实的辅助穿刺导航系统。
背景技术
穿刺是将穿刺针刺入体腔抽取分泌物做化验，或向体腔注入气体或造影剂做造影检查，或向体腔内注入药物的一种诊疗技术。
穿刺过程中，操作者无法直接看到人体内部的情况，入针点A的选取取决于操作者的经验，同时操作者无法确认穿刺针的针端是否扎入患者体内的目标穿刺点，当完成一次穿刺操作后，接下来通过影像学设备采集的图像信息，判断穿刺针是否达到目标穿刺点，穿刺针针端与目标穿刺点的距离、穿刺针针端与目标穿刺点偏离的角度位置，操作者根据采集的图像信息重新调整穿刺针进行穿刺，即整个穿刺手术是需要穿刺操作结合影像学设备采集实现的，可能需要反复多次穿刺、多次采集才能完成穿刺手术，主要依靠操作者的个人操作经验，穿刺时间长，难度高，且患者承担风险高。
发明内容
本发明要解决的技术问题是提供一种基于AR增强现实的辅助穿刺导航系统。
为了解决上述技术问题，本发明采用的技术方案是：一种基于AR增强现实的辅助穿刺导航系统，包括影像学设备，用于采集患者的图像数据，所述影像学设备上设置有影像学设备原点；介入移动影像工作站，用于接收来自所述影像学设备的图像数据，并将所述图像数据转三维化处理，在匹配所述原点的医学影像三维空间坐标系内，生成并显示医学影像3D图像，供操作者查看和选取入针点A和穿刺点T，并根据选取的入针点A和穿刺点T的位置坐标，生成所述入针点A与所述穿刺点T之间具有穿刺路径的3D图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点A作为靶点；辅助穿刺导航装置，包括显示屏，所述显示屏上设置有至少三个摄像头，辅助穿刺导航装置的CPU可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置。
在某些实施方式中，所述影像学设备可以为CT扫描仪、磁共振成像设备、超声成像设备、核医学成像设备中的一种。
在某些实施方式中，所述影像学设备还包括用于覆盖在患者身上从而能够采集患者包含有图像坐标点的图像数据的CT定位网。
在某些实施方式中，所述辅助穿刺导航系统还包括固定设置于所述影像学设备周围能够反映所述影像学设备原点位置的至少一个标志板，所述标志板分布于影像学设备原点、影像学设备手术台面、影像学设备周围空间、天花板、周围墙壁中的至少一个上，三个摄像头中至少一个摄像头用于追踪并采集所述标志板。
在某些实施方式中，所述标志板为ArUco标识板。
在某些实施方式中，所述辅助穿刺导航系统还包括依照张正友标定法进行显示屏的内参采集从而得到显示屏的内参的棋盘格标定图纸，所述棋盘格标定图纸铺设于基于影像学设备原点的环境标志板坐标系Zw＝0的平面上，所述影像学设备原点位于棋盘格标定图纸的固定一角，三个摄像头中至少一个摄像头用于采集棋盘格标定图纸图片。
在某些实施方式中，所述显示屏上设置有陀螺仪。
在某些实施方式中，所述辅助穿刺导航系统还包括设置于所述靶点上的靶点色贴，所述靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，所述靶点色贴中心开设有直径2mm的孔洞，三个摄像头中至少两个个摄像头用于采集所述靶点色贴。
在某些实施方式中，所述辅助穿刺导航系统还包括穿刺针，所述穿刺针包括针本体、固定于所述针本体上端部的针手柄，所述针本体的上部设置有两个以上能够区别于周边环境色的色环，或者所述针本体的上部和所述针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上所述色环沿着所述穿刺针的长度方向分布，用于采集所述靶点色贴的摄像头同时采集所述穿刺针。
本发明的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案等。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明提供一种基于AR增强现实的辅助穿刺导航方法,通过影像学设备采集到的患者信息，通过介入移动影像工作站将体现三维空间的3D图像观察平面显现出来，供操作者选择出一条较佳的穿刺路径，结合显示屏在基于影像学设备原点的物理环境中的位置及内参，将确认的穿刺路径在物理世界的环境标志板坐标系中匹配，即在显示屏上显示的患者靶点处生成对应所述穿刺路径的AR穿刺辅助线的AR图像，从而能够引导操作者进行穿刺手术，操作者进行穿刺时，可以参考显示屏中的AR图像中的穿刺辅助线进行穿刺，本方案在介入移动影像工作站中选择了最佳穿刺路径，根据穿刺辅助线手术，操作简单，更加数据化，穿刺更加精确，穿刺效率高，降低患者穿刺风险。
附图说明
附图1为本发明辅助穿刺导航系统示意图；
附图2为显示屏与CT床安装位置示意图；
附图3为3D图像观察平面结构图；
附图4为本发明CT室环境标志板分布示意图；
附图5为检测标志板示意图；
附图6为使用模拟患者的穿刺路径选择过程示意图；
附图7为使用模拟患者的AR显示的穿刺辅助线以及穿刺过程示意图；
其中，1、影像学设备；2、介入移动影像工作站；3、辅助穿刺导航装置；4、标志板；5、穿刺针。
具体实施方式
如附图1所示，基于AR增强现实的辅助穿刺导航系统，包括影像学设备1，用于采集患者的切片图像数据，影像学设备如CT机放在CT室内，CT扫描电脑主机放在操作间内，CT扫描电脑主机与CT机可以通过wifi或网线以及RabbitMQ管道相连接。本实施例中，影像学设备上设置有影像学设备原点，该原点设置有原点标记，原点标记为ArUco标记。
基于AR增强现实的辅助穿刺导航系统，还包括介入移动影像工作站2，作为切片图像数据的中转和处理平台，即接收来自影像学设备的图像数据，并将该图像数据转三维化处理，在以影像学设备原点作为坐标系原点的三维空间内生成显示医学影像3D图像，供操作者查看和选取入针点A和穿刺目标点T，并根据选取的入针点A和穿刺目标点T的位置坐标，生成所述入针点A与所述穿刺目标点T之间具有直线的3D图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点A作为靶点。
基于AR增强现实的辅助穿刺导航系统，还包括辅助穿刺导航装置3，本实施例中，该辅助穿刺导航装置3直接为将cpu与显示屏集成为一体的pad，该pad上设置有至少三个摄像头，pad的CPU可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、pad位置，使得影像学设备周围环境与以影像学设备原点作为坐标系原点的三维空间相统一。辅助穿刺导航装置也可以是分体式的，包括主机、与主机相连接的显示屏，但是该显示屏上也设置有至少三个摄像头，主机可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备原点位置、周围环境、显示屏位置。
影像学设备周围设置有能够对应影像学设备原点的至少一个标志板，标志板为ArUco标识板，ArUco标记是一种二进制正方形的基准标志物，标志板分布于影像学设备原点、影像学设备台面、影像学设备周边区域、天花板、周围墙壁上，三个摄像头中至少一个摄像头用于追踪并采集标志板。
在进行首次穿刺手术之前，做如下准备：
一、首先张贴ArUco标记板与天花板和手术台周边区域。
二、利用平板摄像头录制影像学设备环境并采集显示屏摄像头内参。
利用平板摄像头录制影像学设备环境，环绕室内两周并形成闭环，覆盖影像学设备，天花板，周围墙壁上的所有标志板，并且在在画面的视野里面有两个以上的标志板；
依照经典的张正友标定法，进行显示屏摄像头的内参标定，具体步骤为：首先打印一张棋盘格标定图纸，将其贴在平面物体的表面；拍摄一组不同方向棋盘格的图片，可以通过移动相机来实现，也可以移动标定图片来实现；对于每张拍摄的棋盘图片，检测图片中所有棋盘格的特征点(角点，也就是黑白棋盘交叉点)，定义打印的棋盘图纸位于世界坐标系Zw＝0的平面上，世界坐标系的原点位于棋盘图纸的固定一角，像素坐标系原点位于图片左上角；因为棋盘标定图纸中所有角点的空间坐标是已知的，这些角点对应在拍摄的标定图片中的角点的像素坐标也是已知的，如果我们得到这样的N>＝4个匹配点对(越多计算结果越鲁棒)，就可以根据LM等优化方法得到其单应矩阵H；最后分解得到显示屏摄像头内参。
三、将录制的环境照片和显示屏摄像头内参，导入显示屏建图系统，进行建图和联合优化操作，如图4、5所示，具体的操作流程为：
1、标记检测，如果图像中有一些ArUco标记可见，则检测过程必须返回检测到的标记列表。每个检测到的标记包括：它的四个角在图像中的位置(按其原始顺序)；标记的id，标记检测过程由两个主要详细步骤为：候选标记的检测。在这一步中，对图像进行分析，以便找到作为候选标记的正方形。该算法首先对图像进行自适应阈值分割，然后从分割后的图像中提取轮廓线，剔除不凸或不近似正方形的轮廓线。还应用了一些额外的噪声滤波算法(去除过小或过大的轮廓，去除彼此太接近的轮廓等)；在候选标记检测之后，需要通过分析它们的内部编码来确定它们是否真的是标记物。此步骤首先提取每个标记的标记位。为此，首先应用透视变换来获得标准形式的标记。然后，利用Otsu对标准图像进行阈值分割，分离出黑白图像。根据标记大小和边框大小将图像划分为不同的单元，并且计算每个单元上的黑色或白色像素的数量以确定它是白色还是黑色位。最后，对位进行分析以确定标记是否属于特定字典，并在必要时采用纠错技术。
2.姿态估计：ArUco标记有不同的规格，称之为字典，例如DICT_6X6_250字典集中的marker维度是6*6,能表示250个marker.Maker编码的时候考虑到了方向性，因此无论如何摆放，都可以区分四个不同的角。通过上一步检测到了图像中对应角的2D点坐标，因而有了一组物理世界中的3D点坐标和图像中的2D点坐标，又由于显示屏摄像头内参已知，可以求解下列公式中的R和T，也就是从世界坐标系到相机坐标系的变换关系，具体公式为：
3.建图和优化，根据上一步获取的姿态估计进行创建有向姿势图，其中节点表示标记，边缘表示它们的相对姿势。使用有向姿势图可以如下获得公共参考系统中标记位姿的初始估计。首先，选择一个起始节点作为世界坐标系基准，然后计算图的最小生成树。这个有向姿势图可能包含相对姿态中的误差，当沿着路径传播时，这些误差会导致较大的最终误差。我们的目标是获得一个图其中的相对位姿得以改进。为此，我们将沿着有向姿势图的循环传播错误，这个问题也称为运动平均。
首先，我们从图中删除异常连接以防止它们破坏优化。为此，我们计算最小生成树中边的权重的均值和标准差。对于其余的边(不在最小生成树中)，我们从图中删除了均值99％置信区间之外的那些。接着，我们根据上一步的优化结果进行下一步的优化：我们对于有向姿势图分别优化旋转和平移分量，在对于优化旋转的过程中，旋转误差沿图循环的分布是通过在每个循环中独立分布误差，然后对出现在一个以上循环中的边的旋转估计进行平均来实现的。重复这个过程直到收敛。一旦获得了最佳旋转，就需要在优化之前将平移与旋转解耦。解耦平移是通过选择解耦点获得的，该解耦点将作为两个标记的旋转中心。
4.得到以标志板为基准的环境参数。
四、统一环境标志板坐标系和影像学设备坐标系，利用放置在影像学设备台原点的标志板，确认坐标系转换，将世界坐标系统一至该环境标志板坐标系，也就是环境标志板坐标系与影像学设备坐标系一致，具体的步骤为：
1.放置一个已知尺寸的长方体，无图示，将8个直径为2mm的金属球形基准点放置在每个角落。基准点在环境标志板坐标系中的相对位置，可以被预先校准。将长方体摆放在影像学设备上的某一个标志板上，这个标志板在环境标志板坐标系是已知的，可以通过计算长方体与这个标志板的相对位置关系确认长方体在该环境坐标系中的位置信息。
2.将长方体放入影像学设备进行扫描，可以获取金属球形基准点在影像学设备坐标系中的坐标。这样我们获取8个3维坐标的对应关系，通过基于点对点的刚体配准计算，可以获取环境标志板坐标系和影像学设备坐标系的转换矩阵。当AR设备获取到该设备相对于环境标志板坐标系的相对位姿时，可以通过该转换矩阵实时更新为相对于影像学设备坐标系的相对位姿。
五、验证环境重建和优化标定结果：1.拆除手术台和墙壁的标志板，保留天花板和影像学设备手术台坐标原点的标志板；2.通过AR设备显示基于标志板识别的金属基准点，与真实环境中的基准点进行比对，计算相对的移动偏差并优化获取的环境标志板坐标系。
六、验证完毕之后，将影像学设备的标志板原点，与3D医学图像坐标系进行统一，在手术台固定的情况下，无需再重复标定，将影像学设备原点的标志板也拆除，最终只需保留天花板的标志板即可；如果手术台进行了刚性的位移，输入相应位移坐标调整，即能和原有的坐标系进行统一，理论上也无需重复标定。
患者躺在影像学设备的平台上，基于AR增强现实的辅助穿刺导航方法,包括以下步骤：
步骤S01、通过经原点定位设置的影像学设备1采集覆盖有CT定位网患者的图像数据；
步骤S02、采集完毕后将图像数据同步传输至介入移动影像工作站2，介入移动影像工作站2接收图像数据后，在匹配所述原点的影像学设备坐标系内，生成并显示医学影像3D图像；
步骤S03、操作者查看所述医学影像3D图像，并在所述医学影像3D图像上选取入针点A和穿刺目标点T，所述介入移动影像工作站2根据所述入针点A和所述穿刺目标点T，生成所述入针点A与所述穿刺目标点T之间具有穿刺路径的3D图像观察平面，所述穿刺路径为入针点A与穿刺目标点T之间的直线，入针点A与穿刺目标点T详细的坐标变换如下：在医学影像3D图像中手动选取入针点A(Ix，a，Iy，a，Iz，a)和穿刺目标点T(Ix，t，Iy，t，Iz，t)，将所述图像坐标点转换世界坐标位置：
中，Pxyz为体素点Ixyz的世界坐标，单位为mm，Oxyz是ImagePositionPatient(0020,0032)中的值，是图像左上角体素点的世界坐标，单位为mm，Sxy是PixelSpacing(0028,0030)中列像素分辨率和行像素分辨率，单位为mm，
单位为mm,Ox1，Oy1，Oz1是第一层图像的Oxyz，而Ox2，Oy2，Oz2是第二层图像的Oxyz，Dx，x，Dx，y，Dx，z是ImageOrientationPatient(0020,0037)中x方向的余弦值，Dy，x，Dy，y，Dy，z是ImageOrientationPatient(0020,0037)中y方向的余弦值，Dz，x，Dz，y，Dz，z是ImageOrientationPatient(0020,0037)中x方向和y方向的余弦值叉乘得到的z方向的余弦值，从而根据所述入针点A与所述穿刺目标点T各自的世界坐标生成具有所述穿刺路径的3D图像观察平面，如图3所示，3D图像观察平面还包括入针点A，穿刺目标点T，入针点A在穿刺目标点T所在的xz平面上投影形成的投影点A1，入针点A在穿刺目标点T所在的xy平面上投影形成的投影点A2，穿刺目标点T在入针点A所在xy平面上投影形成的投影点T1，穿刺目标点T在入针点A所在yz平面上投影形成的投影点T2，由入针点A、穿刺目标点T、投影点T2组成的斜轴图像平面，由入针点A、投影点A2、穿刺目标点T组成的斜矢图像平面,角度T1AA1，角度TAA2，结合体表mark点追踪和呼吸曲线监测(对应肺部体积变化)，动态校准入针点A和穿刺目标点T，推荐操作者在呼吸波形的同一位置，进行扫描和后续操作，这样A和T都在三维空间中保持不变；
步骤S04、操作者通过查看与/或选定旋转所述3D图像观察平面内的所述穿刺路径，判断所述入针点A是否合适，如果合适就将该入针点A作为靶点，如果不合适，则操作者选定所述穿刺路径绕所述穿刺目标点T旋转直至选出一条合适的穿刺路径，并将该穿刺路径的入针点A作为靶点，如图6所示，操作者根据靶点在患者身体相应位置处贴上靶点色贴，靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，靶点色贴中心开设有直径2mm的孔洞；
步骤S05、确定靶点后，介入移动影像工作站2将所有信息同步至具有显示屏的辅助穿刺导航装置3，所述显示屏上设置有用于采集患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置的至少三个摄像头，基于所述原点，结合显示屏在环境标志板坐标系中位置及内参，将确认的穿刺路径在所述环境标志板坐标系中匹配，在显示屏上显示在患者靶点处生成对应所述穿刺路径的AR穿刺辅助线从而能够引导穿刺针5穿入的AR图像，辅助操作者进行穿刺，结合显示屏在环境标志板坐标系中的内参，如图7所示，在显示屏上显示的患者靶点处生成对应穿刺路径的AR穿刺辅助线从而能够引导穿刺针穿入的AR图像，辅助操作者进行穿刺，穿刺针5包括针本体、固定于针本体上端部的针手柄，针本体的上部设置有两个以上能够区别于周边环境色的色环，或者针本体的上部和针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上色环沿着穿刺针的长度方向分布，用于采集靶点的摄像头实时捕捉穿刺针的动态数据并显示在AR图像上。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于AR增强现实的辅助穿刺导航系统，其特征在于：
包括影像学设备(1)，用于采集患者的图像数据，所述影像学设备上设置有影像学设备原点；
介入移动影像工作站(2)，用于接收来自所述影像学设备的图像数据，并将所述图像数据转三维化处理，在匹配所述原点的医学影像三维空间坐标系内，生成并显示医学影像3D图像，供操作者查看和选取入针点A和穿刺点T，并根据选取的入针点A和穿刺点T的位置坐标，生成所述入针点A与所述穿刺点T之间具有穿刺路径的3D图像观察平面，通过查看与/或选定旋转所述直线从而供操作者参考并判断，直至选出一条合适的直线作为穿刺路径，并将确认的穿刺路径的入针点A作为靶点；
辅助穿刺导航装置(3)，包括显示屏，所述显示屏上设置有至少三个摄像头，辅助穿刺导航装置的CPU可根据各个所述摄像头采集到的图像数据得到患者靶点位置、影像学设备周围匹配的标志板环境与显示屏位置。
2.根据权利要求1所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述影像学设备(1)可以为CT扫描仪、磁共振成像设备、超声成像设备、核医学成像设备中的一种。
3.根据权利要求1所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述影像学设备(1)还包括用于覆盖在患者身上从而能够采集患者包含有图像坐标点的图像数据的CT定位网。
4.根据权利要求1所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述辅助穿刺导航系统(3)还包括固定设置于所述影像学设备周围能够反映所述影像学设备原点位置的至少一个标志板(4)，所述标志板(4)分布于影像学设备原点、影像学设备手术台面、影像学设备周围空间、天花板、周围墙壁中的至少一个上，三个摄像头中至少一个摄像头用于追踪并采集所述标志板(4)。
5.根据权利要求4所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述标志板(4)为ArUco标识板。
6.根据权利要求1所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述辅助穿刺导航系统(2)还包括依照张正友标定法进行显示屏的内参采集从而得到显示屏的内参的棋盘格标定图纸，所述棋盘格标定图纸铺设于基于影像学设备原点的环境标志板坐标系Zw＝0的平面上，所述影像学设备原点位于棋盘格标定图纸的固定一角，三个摄像头中至少一个摄像头用于采集棋盘格标定图纸图片。
7.根据权利要求6所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述显示屏上设置有陀螺仪。
8.根据权利要求1所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述辅助穿刺导航系统(2)还包括设置于所述靶点上的靶点色贴，所述靶点色贴是颜色与皮肤色和环境色有明显区别的色环贴，所述靶点色贴中心开设有直径2mm的孔洞，三个摄像头中至少两个个摄像头用于采集所述靶点色贴。
9.根据权利要求8所述基于AR增强现实的辅助穿刺导航系统，其特征在于：所述辅助穿刺导航系统(2)还包括穿刺针(5)，所述穿刺针(5)包括针本体、固定于所述针本体上端部的针手柄，所述针本体的上部设置有两个以上能够区别于周边环境色的色环，或者所述针本体的上部和所述针手柄上设置有两个以上能够区别于周边环境色的色环，两个以上所述色环沿着所述穿刺针的长度方向分布，用于采集所述靶点色贴的摄像头同时采集所述穿刺针。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080885.7A CN113786228B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080885.7A CN113786228B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113786228A true CN113786228A (zh) | 2021-12-14 |
| CN113786228B CN113786228B (zh) | 2024-04-12 |
Family
ID=78878380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111080885.7A Active CN113786228B (zh) | 2021-09-15 | 2021-09-15 | 一种基于ar增强现实的辅助穿刺导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113786228B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114569201A (zh) * | 2022-02-16 | 2022-06-03 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
| CN114886461A (zh) * | 2022-03-28 | 2022-08-12 | 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) | 基于增强现实的超声显示系统及方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011105156A1 (ja) * | 2010-02-24 | 2011-09-01 | 財団法人仙台市医療センター | 経皮穿刺支援システム |
| US20140276001A1 (en) * | 2013-03-15 | 2014-09-18 | Queen's University At Kingston | Device and Method for Image-Guided Surgery |
| CN105796161A (zh) * | 2016-03-02 | 2016-07-27 | 赛诺威盛科技（北京）有限公司 | 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置 |
| CN106097325A (zh) * | 2016-06-06 | 2016-11-09 | 厦门铭微科技有限公司 | 一种基于三维重建图像的定位指示生成方法及装置 |
| US20180049622A1 (en) * | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| CN108210024A (zh) * | 2017-12-29 | 2018-06-29 | 威朋（苏州）医疗器械有限公司 | 手术导航方法及系统 |
| CN108294814A (zh) * | 2018-04-13 | 2018-07-20 | 首都医科大学宣武医院 | 一种基于混合现实的颅内穿刺定位方法 |
| US20180303563A1 (en) * | 2017-04-20 | 2018-10-25 | The Clevelend Clinic Foundation | System and method for holographic image-guided non-vascular percutaneous procedures |
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| CN109330667A (zh) * | 2018-08-29 | 2019-02-15 | 天津市肿瘤医院 | 用于肺部ct引导穿刺辅助系统的路径逆向优化搜索方法 |
| US20190142519A1 (en) * | 2017-08-15 | 2019-05-16 | Holo Surgical Inc. | Graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system |
| WO2019127449A1 (zh) * | 2017-12-29 | 2019-07-04 | 威朋（苏州）医疗器械有限公司 | 手术导航方法及系统 |
| CN110711030A (zh) * | 2019-10-21 | 2020-01-21 | 北京国润健康医学投资有限公司 | 基于ar技术的股骨头坏死微创手术导航系统及手术方法 |
| CN111345898A (zh) * | 2020-03-18 | 2020-06-30 | 上海交通大学医学院附属第九人民医院 | 激光手术路径引导方法、及其计算机设备和系统 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
-
2021
- 2021-09-15 CN CN202111080885.7A patent/CN113786228B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011105156A1 (ja) * | 2010-02-24 | 2011-09-01 | 財団法人仙台市医療センター | 経皮穿刺支援システム |
| US20140276001A1 (en) * | 2013-03-15 | 2014-09-18 | Queen's University At Kingston | Device and Method for Image-Guided Surgery |
| CN105796161A (zh) * | 2016-03-02 | 2016-07-27 | 赛诺威盛科技（北京）有限公司 | 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置 |
| CN106097325A (zh) * | 2016-06-06 | 2016-11-09 | 厦门铭微科技有限公司 | 一种基于三维重建图像的定位指示生成方法及装置 |
| US20180049622A1 (en) * | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| US20180303563A1 (en) * | 2017-04-20 | 2018-10-25 | The Clevelend Clinic Foundation | System and method for holographic image-guided non-vascular percutaneous procedures |
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| US20190142519A1 (en) * | 2017-08-15 | 2019-05-16 | Holo Surgical Inc. | Graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system |
| CN108210024A (zh) * | 2017-12-29 | 2018-06-29 | 威朋（苏州）医疗器械有限公司 | 手术导航方法及系统 |
| WO2019127449A1 (zh) * | 2017-12-29 | 2019-07-04 | 威朋（苏州）医疗器械有限公司 | 手术导航方法及系统 |
| CN108294814A (zh) * | 2018-04-13 | 2018-07-20 | 首都医科大学宣武医院 | 一种基于混合现实的颅内穿刺定位方法 |
| CN109330667A (zh) * | 2018-08-29 | 2019-02-15 | 天津市肿瘤医院 | 用于肺部ct引导穿刺辅助系统的路径逆向优化搜索方法 |
| CN110711030A (zh) * | 2019-10-21 | 2020-01-21 | 北京国润健康医学投资有限公司 | 基于ar技术的股骨头坏死微创手术导航系统及手术方法 |
| CN111345898A (zh) * | 2020-03-18 | 2020-06-30 | 上海交通大学医学院附属第九人民医院 | 激光手术路径引导方法、及其计算机设备和系统 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 章浙伟;邵国良;: "影像导航辅助定位穿刺系统在微创介入治疗中的应用", 介入放射学杂志, no. 10, 25 October 2017 (2017-10-25) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114569201A (zh) * | 2022-02-16 | 2022-06-03 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
| CN114569201B (zh) * | 2022-02-16 | 2023-11-17 | 佛山市柏康机器人技术有限公司 | 一种图像导航穿刺进针点检测方法及装置 |
| CN114886461A (zh) * | 2022-03-28 | 2022-08-12 | 东莞市滨海湾中心医院(东莞市太平人民医院、东莞市第五人民医院) | 基于增强现实的超声显示系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113786228B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
| US20180350073A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| EP3067861A2 (en) | Determination of a coordinate conversion parameter | |
| CN102727258B (zh) | 图像处理装置、超声波摄影系统及图像处理方法 | |
| US20050253870A1 (en) | Marker placement information estimating method and information processing device | |
| WO2006082825A1 (ja) | 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置 | |
| CN113786228B (zh) | 一种基于ar增强现实的辅助穿刺导航系统 | |
| CN112168357B (zh) | C臂机空间定位模型构建系统及方法 | |
| CN103948361A (zh) | 无标志点的内窥镜定位跟踪方法和系统 | |
| US10929706B2 (en) | Image processing device and projection system | |
| CN104771189B (zh) | 三维头颅图像对正方法及装置 | |
| Shao et al. | Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation | |
| Lapeer et al. | Image‐enhanced surgical navigation for endoscopic sinus surgery: evaluating calibration, registration and tracking | |
| CN113763478A (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| Schaller et al. | Time-of-flight sensor for patient positioning | |
| CN116883471A (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
| JP2017164075A (ja) | 画像位置合せ装置、方法およびプログラム | |
| CN113786229B (zh) | 一种基于ar增强现实的辅助穿刺导航系统 | |
| CN113487726B (zh) | 动作捕捉系统和方法 | |
| JP2008046749A (ja) | 画像処理方法および装置 | |
| CN115908121B (zh) | 内窥镜配准方法及装置和标定系统 | |
| US20210128243A1 (en) | Augmented reality method for endoscope | |
| JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
| CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240722 Address after: Room 301, 3rd Floor, Building C, No. 27 Xinfa Road, Suzhou Industrial Park, Suzhou Area, China (Jiangsu) Pilot Free Trade Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Yida Medical Technology (Suzhou) Co.,Ltd. Country or region after: China Address before: 215123 floor 1, 2, 3, building C, No. 27, Xinfa Road, Suzhou Industrial Park, Jiangsu Province Patentee before: SUZHOU LONWIN MEDICAL SYSTEM CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |