CN104010560A - 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿 - Google Patents

来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿 Download PDF

Info

Publication number
CN104010560A
CN104010560A CN201280063699.5A CN201280063699A CN104010560A CN 104010560 A CN104010560 A CN 104010560A CN 201280063699 A CN201280063699 A CN 201280063699A CN 104010560 A CN104010560 A CN 104010560A
Authority
CN
China
Prior art keywords
matrix
projection
correspondence
endoscopic images
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280063699.5A
Other languages
English (en)
Inventor
A·波波维奇
H·埃尔哈瓦林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104010560A publication Critical patent/CN104010560A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

本发明提供一种方法、系统和程序产品，用于将来自体积模态的结构叠加到未校准内窥镜的视频上。所述方法包括：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性(310)；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换(320)的投影矩阵；使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影(330)；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影(340)。

Description

来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
相关申请的交叉引用
本申请与2010年9月15日递交的临时专利申请号61/382980，“RoboticControl of an Endoscope from Blood Vessel Images”及2011年9月13日递交的共同未决非临时国际申请PCT/IB2011/053998相关，通过引用将它们并入本文。
技术领域
本发明涉及医学成像领域，并且更具体而言涉及用于将来自体积成像模态的三维结构叠加到未校准内窥镜的视频上并补偿所述体积结构在所述内窥镜的所述视频上的运动的方法、系统和计算机程序产品。
背景技术
在微创冠状动脉搭桥手术中，典型地使用两种成像模态：(1)术前3D成像(例如计算机断层摄影，或CT或3D X射线血管造影)以提取有关冠状动脉的几何学的信息，以及(2)实时内窥镜成像。归因于覆盖冠状动脉的不同组织，它们通常在内窥镜视频上不完全可见。而且，内窥镜视频典型地是以二维方式记录的。体积3D图像以三维方式提供冠状动脉的完整可视化。然而，外科医师必须准确地内窥镜视频上察看所述冠状动脉的位置，以成功地执行微创冠状动脉搭桥手术。为了在所述动脉在内窥镜视频上不可见时确定他们的位置，可以将所述动脉叠加在所述内窥镜视频上。
然而，已有的用于叠加术前3D成像数据(例如从CT扫描到内窥镜视频上)的方法要求对所述内窥镜的校准，用额外的定位系统追踪，或者两者。校准内窥镜是个复杂的过程，如果处理不当容易出错，并且因此在临床环境中不太实际。内窥镜的光学性质可能随着使用而改变，因此一次校准不能长时间使用。此外，定位系统，例如光学标记物在手术期间并不总是可用，并且给程序增加了相当大的成本和时间。
而且，用于在心脏和其他手术中规划的三维成像通常不是以时间序列执行的(例如门控CT)。因此，结构的3D几何没有把因生理学过程(例如心跳和呼吸)造成的移动考虑在内。例如，在心脏手术中，仅知晓针对心动周期的一个相位的动脉树几何。
发明内容
提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法、系统和程序产品。所述方法包括：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
根据一个实施例，所述结构为动脉树并且所述多个点对为所述动脉树的分叉点。
根据一个实施例，所述结构为静脉树并且所述多个点对为所述静脉树的分叉点。
根据一个实施例，所述结构为支气管树并且所述多个点对为所述支气管树的分叉点。
根据一个实施例，通过将所述2D内窥镜中的树结构中的分叉图样与来自所述3D图像的所述树结构中的对应的分叉图样进行匹配，来确定多个点对的对应性。
根据一个实施例，使用所确定的点对来导出所述单应性矩阵。
根据一个实施例，针对所述2D内窥镜图像的多于一个不同分区的每个，来导出单应性矩阵。
根据一个实施例，针对所叠加的结构提供运动补偿。通过将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧，来导出对应性矩阵。然后，使用所述对应性矩阵追踪所述结构的运动，来翘曲所绘制的结构投影。
根据一个实施例，使用在时间序列上计算的多个对应性矩阵，来翘曲所叠加的结构。
根据本发明的另一方面，提供一种方法，以补偿叠加的结构的运动。用于对从体积模态绘制到未校准内窥镜的视频上的结构叠加的运动补偿的方法包括以下步骤：确定用于将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧的对应性矩阵；并且使用所述对应性矩阵追踪所述结构的运动，翘曲所绘制的叠加结构。
根据本发明的另一方面，提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统。所述系统包括：处理器；存储器，其能够操作地与所述处理器相关联；显示器，其能够操作地与所述处理器相关联；以及叠加程序指令，其被编码在所述存储器上并且由所述处理器运行以：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和所述对应的点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵，绘制来自所述3D图像的所述结构到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
根据一个实施例，所述叠加程序指令针对所述2D内窥镜图像的多于一个不同分区的每个，导出单应性矩阵。
根据一个实施例，所述叠加程序指令在被所述处理器运行时还提供针对所叠加的结构的运动补偿。为了提供运动补偿，所述叠加程序指令确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
根据本发明的另一方面，提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的计算机程序产品。所述计算机程序产品包括计算机可读存储设备，所述计算机可读存储设备上编码有计算机可执行程序指令，包括：用于确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性的计算机可执行指令；用于使用假定相机参数和相对应的所述点对导出从所述3D图像到所述2D图像的变换投影矩阵的计算机可执行指令；用于使用所导出的投影矩阵将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影的计算机可执行指令；用于确定单应性矩阵的计算机可执行指令；以及用于使用所述单应性矩阵来翘曲所绘制的结构投影的计算机可执行指令。
根据一个实施例，所述计算机可执行程序指令还包括：用于确定对应性矩阵的计算机可执行指令，所述对应性矩阵用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧；以及用于使用所述对应性矩阵追踪所述结构的运动来翘曲所绘制的结构投影的计算机可执行指令。
附图说明
在结合附图阅读时，根据后文对优选实施例的详细描述，将更清楚地理解本发明的特征和优点。附图中包括以下图：
图1为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统的框图；
图2为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法的流程图；
图3为在心脏程序期间示出可见动脉结构的内窥镜图像；
图4为根据本发明的实施例的、用于匹配3D图像和2D图像中对应的点对的方法的流程图。
图5为根据本发明的实施例的、在心脏程序期间的内窥镜图像，其中在用单应性矩阵翘曲之前在其上叠加动脉树结构；
图6为根据本发明的实施例的、用于对2D内窥镜图像上的叠加的运动补偿的方法的流程图；
图7为根据本发明的实施例的、在心脏程序期间示出对追踪特征的选择的内窥镜图像；并且
图8为在来自图5的后续帧的内窥镜图像，其示出所选特征的移动。
具体实施方式
本发明提供一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法、系统和计算机程序产品。根据本发明的一个实施例，确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性。使用估计的相机参数和所述对应的点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵。所述内窥镜未被校准。尤其地，这意味着所述相机参数，例如焦距和光学图像的中心是未知的。所述估计的相机参数因此是估计的，而不知晓准确参数。使用所导出的投影矩阵，绘制来自所述3D图像的所述结构到所述2D内窥镜图像上的2D投影。确定针对所述结构的所述内窥镜图像和2D投影的单应性矩阵，并且使用所述单应性矩阵翘曲所绘制的结构投影。
图1为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统的框图。所述系统包括：内窥镜100和处理系统200。内窥镜100可以为适用于在微创手术程序期间提供图像的任意内窥镜。而且，内窥镜100可以包括一起或按序列使用的多于一个内窥镜。
处理系统200可以为适用于处理并显示医学图像的任意系统，例如通用计算机。处理系统200包括处理器210，其例如通过系统总线220，能够操作地连接到存储器230。应理解，在本发明的范围内其他合适的架构也是可能的。处理器210可以为任意合适的处理器，例如一个或多个微处理器。存储器230可以为任意合适的存储器，包括但不限于RAM、ROM、内置硬盘驱动器、磁盘驱动器、USB闪存驱动器或适用于存储程序代码的任意其他存储器设备。存储器230上编码有由处理器210运行的内窥镜视频程序指令232，以实时处理和显示内窥镜视频图像。所述存储器上也编码有(或为所述内窥镜程序指令的部分，或可由所述内窥镜程序指令调用的)叠加程序指令234，用于将来自体积模态的结构叠加到来自所述内窥镜的所述视频图像上。也编码在存储器230上的是血管树提取器236，其可由叠加程序指令234操作，以提取动脉树结构的几何表示。
来自内窥镜100的所述视频图像被呈现在显示器240上，用于在手术程序期间由外科医师察看。
针对解剖结构(例如动脉树)的结构数据301获取自数据存储设备300。结构数据301可以为提取的所述结构的几何表示的形式。实践中，由飞利浦销售的Brilliance iCT扫描器可以被用于生成图像并提取诸如动脉树的结构的表示。
由处理器210运行的程序指令234：确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；使用假定相机参数和相对应的所述点对，导出用于从所述3D图像到所述2D图像的变换的投影矩阵；使用所导出的投影矩阵将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影；确定单应性矩阵；并且使用所述单应性矩阵，翘曲所绘制的结构投影。
图2为根据本发明的实施例的、用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法的流程图。叠加程序指令234确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性(步骤310)。以下描述将描述探测冠状动脉结构上相对应的点对。然而，所述结构可以为任意动脉树、静脉树、支气管树，或具有区别特征的图样(例如分叉)的任意其他解剖结构。
实践中，如图3中所示，动脉结构的一些部分可以在所述内窥镜射频图像上可见，而所述动脉结构的其他部分被脂肪组织层隐藏。如图4中所示，叠加程序指令234可以通过已知的图像处理操作(例如对所述冠状动脉的可见部分372的阈值探测)，实施对可见冠状动脉的自动探测。可选地，外科医师可以通过与视频显示器240交互的输入设备(例如鼠标)，来手动输入动脉结构。
血管树提取器236，其在本领域是已知的，被叠加程序指令234操作为提取冠状动脉结构的可见部分372的几何表示(子图)392(步骤312)。所述几何表示包括节点，所述节点表示所述动脉结构的每个分叉并且在所述节点之间具有分支连接。
叠加程序指令234也接收在术前扫描期间由3D成像系统从完整冠状动脉结构370提取的所述完整冠状动脉树的几何表示(主图)391(步骤311)。由于在所述内窥镜图像中所述冠状动脉结构的所述可见部分与来自所述3D扫描的所述完整冠状动脉树的所述表示来自相同的患者，因此其为所提取的3D树表示的子图。
叠加程序指令234使用任意合适的图匹配方法将子图392匹配到主图391，所述图匹配方法例如最大共同子图方法、McGregor共同子图方法，等等(步骤313)。例如，将子图392的节点匹配到来自主图391的节点的子集。现在，不可见的周围的动脉树从所述3D成像知晓。
叠加程序指令234使用假定相机参数和相对应的点对，导出用于从所述3D结构到所述2D图像的变换的投影矩阵(步骤320)。将所匹配的节点(或分叉)的3D坐标和3D坐标与针对所述内窥镜的焦距和光学中心的假定值输入到公式中，以求解用于将来自所述3D图像的所述动脉的形状投影到所述2D内窥镜图像的投影矩阵。在本领域中已知对3×4投影矩阵P的计算为重新划分(resectioning)。对于N个3D结构点Xi＝[Xi,Yi,Zi]T和N个2D图像点xi＝[xi,yi,zi]T的成对对应，可以使用下式，以计算投影矩阵P＝[P1T P2T P3T]。
0 T - X i T y i X i T X i T 0 T - x i X i T - y i X i T x i X i T 0 T P 1 P 2 P 3 = 0      (方程1)
从N个点对应的集，我们通过针对每个对应堆积所述方程，得到2×12矩阵A。通过求解方程组Ap＝0，计算投影矩阵P，其中p为包含矩阵P的元素的向量。可以使用直接线性变换完成对方程的数值解。所述投影矩阵包括三个变换维度，和三个旋转角，其限定所述内窥镜位置和取向。
为了保证所有感兴趣特征均可见，所述假定焦距应大于针对要被使用的任意内窥镜的任意可能焦距。
在导出所述投影矩阵之后，叠加程序指令234使用所导出的投影矩阵，绘制来自所述3D图像的结构到所述2D内窥镜图像上的2D投影(步骤330)。用针对所述3D结构的每个体素的坐标乘以所述投影矩阵，并且将乘积叠加到所述2D内窥镜图像上。由于针对所述内窥镜的焦距和光学中心的所述假定值，所投影的结构将不特别准确。所投影的特征由于所估计的焦距而将不在正确的比例，并且由于所述假定光学中心而将没有被准确定位。
叠加程序指令234然后执行2D到2D匹配(步骤340)。这可以通过确定单应性矩阵，并使用所述单应性矩阵翘曲所绘制的结构投影来完成。为了确定所述单应性矩阵，叠加程序指令234再次使用所匹配的点对。这次，针对匹配的点或节点在所述2D投影上的坐标和来自所述内窥镜图像的针对所述匹配的点或节点的坐标被用于迭代地导出3×3单应性矩阵。
然后，用所述2D投影的每个像素乘以所述单应性矩阵，以将所投影的结构翘曲到所述内窥镜图像的比例和位置。根据一个实施例，可以增加阿尔法通道，以允许不阻挡下方结构地叠加。
根据一个实施例，针对所述内窥镜图像的多于一个分区中的每个，导出单应性矩阵，并且使用对应的单应性矩阵来单独翘曲每个分区中的所述叠加的结构的部分。当在所述内窥镜图像中对特征的定位不同于在所述3D图像中的定位时(例如因针对手术程序的心动周期、呼吸、肺部放气等等造成的移动)，这提供更为准确的叠加。
可以在每次期望结构的叠加时，重复前面的叠加过程。可选地，可以通过使所计算的投影矩阵与所计算的单应性矩阵相乘，来计算准确的相机矩阵。一旦计算得到准确的相机矩阵，则可以无需重新计算所述投影和单应性矩阵，而每次准确地执行叠加。
也可以作为结构追踪和补偿因心动周期、呼吸等等造成的所述结构的移动以及所述内窥镜的移动。可以在已确定所述投影和单应性矩阵并且所述结构已被叠加到所述内窥镜图像上时，执行一次该补偿。
图6为根据本发明的实施例的、用于对2D内窥镜图像上的叠加的运动补偿的方法的流程图。如图7中所示，叠加程序指令234接收对所述内窥镜图像上要被追踪的特征1-13的选择(步骤610)。可以手动选择这些特征，例如用诸如鼠标的输入设备，外科医师可以使用其在显示器上指示要被追踪的特征。可选地，所述叠加程序指令可以包括或调用选择算法，其选择具有使得它们更容易追踪的数学性质(例如SURF描述符)的特征。所选择的特征可以是叠加的结构上的特征(例如动脉结构的分叉)、移动的结构上的特征(例如心脏上的脂肪的边缘)，或是它们的组合。
然后在所述内窥镜视频的连续帧中追踪所选择的特征1-13(步骤620)，如图8中所示。可以使用本领域已知的技术追踪所选择的特征，例如具有金字塔实现方法的Lucas-Kanade追踪算法。所述追踪步骤的结果是在在前一帧中的一组特征以及那些特征在当前帧中的对应位置。
任选地，叠加程序指令234可以包括或调用滤波器，以识别并拒绝不正确追踪的特征(步骤630)。如果任意特征尚未被正确追踪，则这是合乎期望的，但不需要拒绝所述不正确追踪的特征。失败追踪意味着所述特征在其在第二帧中的新位置，未被正确探测到。例如如果使用诸如Lucas-Kanade算法的迭代方法确定特征的最后位置的话，可以通过缺乏收敛来探测失败追踪。在当前帧中忽略被确定为未被正确追踪的特征的位置，并且仅使用剩余的特征位置确定所述叠加的位置和形状。
使用在相邻帧中追踪的特征的对应位置，叠加程序指令234计算3×3对应性矩阵，所述3×3对应性矩阵可以将所述特征从它们在第一帧上的位置变换到它们在第二帧上的位置(步骤640)。用于使用对应的点位置对变换矩阵的计算的数学方法在本领域是周知的。对于三个点，计算放射变换。如果使用多于三个点，则可以计算单应性矩阵。
可选地，可以针对所述内窥镜图像的不同分区计算多个对应性矩阵。使用多个对应性矩阵可以得到更为精细的预测和更准确的叠加。然而，存在着针对使用多重对应性矩阵的计算成本。
一旦已计算了所述对应性矩阵或多个对应性矩阵，则可以将它们用于逐段地变形所述体积叠加(步骤650)。所变形的叠加使用所叠加的结构的位置，以补偿因运动造成的在当前帧中的新位置。如果使用多重对应性矩阵，则所变型的叠加也补偿因运动造成的所述结构的形状的改变，例如由于跳动的心脏造成的动脉结构的变形。
本发明可以采取整体硬件实施例或包含硬件与软件元件的实施例的形式。在示范性实施例中，本发明在软件中实施，所述软件包括但不限于固件、常驻软件、微代码等等。
此外，本发明可以采取计算机程序产品的形式，所述计算机程序产品可从提供程序代码的计算机可用或计算机可读存储介质访问，用于由计算机或任意指令运行系统或设备使用或与计算机或任意指令运行系统或设备连接。出于该描述的目的，计算机可用或计算机可读存储介质可以为能容纳或存储所述程序的任意装置，用于由所述指令运行系统、装置或设备使用或与所述指令运行系统、装置或设备连接。
前述方法可以通过程序产品得以实现，所述程序产品包括具有机器可执行程序指令的机器可读介质，所述机器可执行程序指令在由机器(例如计算机)运行时，执行所述方法的步骤。该程序产品可以被存储在各种已知的机器可读介质的任一种上，包括但不限于压缩盘、软盘、USB存储器设备等等。
所述介质可以为电子的、磁的、光学的、电磁的、红外的或半导体的系统(或装置或设备)。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前返利包括压缩盘只读存储器(CD-ROM)、压缩盘读/写(CD-R/W)和DVD。
前面的描述和附图旨在例示而非限制本发明。本发明的范围旨在涵盖对权利要求书的最大程度的等价变型与配置。

Claims (18)

1.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的方法，包括以下步骤：
确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；
使用假定相机参数和相对应的所述点对，导出用于从所述的3D图像到所述2D图像的转换的投影矩阵；
使用所导出的投影矩阵，将来自所述3D图像的所述的结构绘制到所述2D内窥镜图像上的2D投影；
确定单应性矩阵；并且
使用所述单应性矩阵，翘曲所绘制的结构投影。
2.如权利要求1所述的方法，其中，所述结构为动脉树并且所述多个点对为所述动脉树的分叉点。
3.如权利要求1所述的方法，其中，所述结构为静脉树并且所述多个点对为所述静脉树的分叉点。
4.如权利要求1所述的方法，其中，所述结构为支气管树并且所述多个点对为所述支气管树的分叉点。
5.如权利要求1所述的方法，其中，多个点对的对应性是通过将所述2D内窥镜图像中的树结构中的分叉图样与来自所述3D图像的所述树结构中的对应的分叉图样进行匹配，来确定的。
6.如权利要求1所述的方法，其中，所述单应性矩阵是使用所确定的点对而导出的。
7.如权利要求1所述的方法，其中，单应性矩阵是针对所述2D内窥镜图像的多于一个不同分区中的每个而导出的。
8.如权利要求1所述的方法，还包括以下步骤：确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
9.如权利要求8所述的方法，其中，多个对应性矩阵被使用。
10.一种用于对从体积模态绘制到未校准内窥镜的视频上的结构叠加进行运动补偿的方法，所述方法包括以下步骤：
确定用于将来自所述内窥镜图像的帧的点变换到所述内窥镜图像的任意后续帧的对应性矩阵；并且
使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的叠加结构。
11.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的系统，包括：
处理器；
存储器，其能够操作地与所述处理器相关联；
显示器，其能够操作地与所述处理器相关联；以及
叠加程序指令，其被编码在所述存储器上并且由所述处理器运行以：
确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性；
使用假定相机参数和相对应的所述点对，导出用于从所述的3D图像到所述的2D图像的转换的投影矩阵；
使用所导出的投影矩阵，将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影；
确定单应性矩阵；并且
使用所述单应性矩阵，翘曲所绘制的结构投影。
12.如权利要求11所述的系统，其中，所述叠加程序指令针对所述2D内窥镜图像的多于一个不同分区中的每个，导出单应性矩阵。
13.如权利要求11所述的系统，其中，所述叠加程序指令在由所述处理器运行时，还：
确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵；并且
使用所述对应性矩阵来追踪所述结构的运动，翘曲所绘制的结构投影。
14.如权利要求13所述的系统，其中，多个对应性矩阵被使用。
15.一种用于将来自体积模态的结构叠加到未校准内窥镜的视频上的计算机程序产品，所述计算机程序产品包括计算机可读存储设备，所述计算机可读存储设备上编码有计算机可执行程序指令，包括：
用于确定3D术前图像上的结构与2D内窥镜视频图像上的所述结构之间的多个点对的对应性的计算机可执行指令；
用于使用假定相机参数和相对应的所述点对导出用于从所述3D图像到所述2D图像的转换的投影矩阵的计算机可执行指令；
用于使用所导出的投影矩阵来将来自所述3D图像的所述结构绘制到所述2D内窥镜图像上的2D投影的计算机可执行指令；
用于确定单应性矩阵的计算机可执行指令；以及
用于使用所述单应性矩阵来翘曲所绘制的结构投影的计算机可执行指令。
16.如权利要求15所述的计算机程序产品，其中，单应性矩阵是针对所述2D内窥镜图像的多于一个不同分区中的每个而导出的。
17.如权利要求15所述的计算机程序产品，其中，所述计算机可执行程序指令还包括：
用于确定用于将来自所述内窥镜图像的第一帧的点变换到所述内窥镜图像的第二帧的对应性矩阵的计算机可执行指令；以及
用于使用所述对应性矩阵来追踪所述结构的运动来翘曲所绘制的结构投影的计算机可执行指令。
18.如权利要求17所述的计算机程序产品，其中，多个对应性矩阵被使用。
CN201280063699.5A 2011-12-21 2012-12-17 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿 Pending CN104010560A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161578427P 2011-12-21 2011-12-21
US61/578,427 2011-12-21
PCT/IB2012/057393 WO2013093761A2 (en) 2011-12-21 2012-12-17 Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope

Publications (1)

Publication Number Publication Date
CN104010560A true CN104010560A (zh) 2014-08-27

Family

ID=47678905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063699.5A Pending CN104010560A (zh) 2011-12-21 2012-12-17 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿

Country Status (5)

Country Link
US (1) US20140347353A1 (zh)
EP (1) EP2793680A2 (zh)
JP (1) JP2015506188A (zh)
CN (1) CN104010560A (zh)
WO (1) WO2013093761A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209938A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于生成图像的初始超像素标签图的方法和装置
CN110831538A (zh) * 2018-05-31 2020-02-21 奥瑞斯健康公司 基于图像的气道分析和映射
CN111336951A (zh) * 2018-12-18 2020-06-26 大陆汽车有限责任公司 用于校准图像传感器的外部参数的方法和设备
CN113302940A (zh) * 2019-01-18 2021-08-24 索尼集团公司 使用单应性变换的点云编码

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11399900B2 (en) * 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
RU2686954C2 (ru) 2012-06-28 2019-05-06 Конинклейке Филипс Н.В. Навигация с помощью оптоволоконного датчика для визуализации и мониторинга сосудов
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
EP3096703B1 (en) 2014-01-24 2018-03-14 Koninklijke Philips N.V. Continuous image integration for robotic surgery
CN105979900B (zh) 2014-02-04 2020-06-26 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
US10945796B2 (en) 2014-02-12 2021-03-16 Koninklijke Philips N.V. Robotic control of surgical instrument visibility
US10702346B2 (en) 2014-07-15 2020-07-07 Koninklijke Philips N.V. Image integration and robotic endoscope control in X-ray suite
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2018002347A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Registering tomographic imaging and endoscopic imaging
WO2018104252A1 (en) 2016-12-07 2018-06-14 Koninklijke Philips N.V. Image guided motion scaling for robot control
US10417738B2 (en) 2017-01-05 2019-09-17 Perfect Corp. System and method for displaying graphical effects based on determined facial positions
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
EP3618005A1 (en) 2018-08-30 2020-03-04 Koninklijke Philips N.V. Image processing system and method
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764809A (en) * 1991-03-26 1998-06-09 Olympus Optical Co., Ltd. Image processing apparatus using correlation among images
JP2003178298A (ja) * 2001-12-07 2003-06-27 Sony Corp 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US6859549B1 (en) * 2000-06-07 2005-02-22 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities
US20070122027A1 (en) * 2003-06-20 2007-05-31 Nippon Telegraph And Telephone Corp. Virtual visual point image generating method and 3-d image display method and device
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519884C2 (sv) * 2001-02-02 2003-04-22 Scalado Ab Metod för zoomning och för att framställa en zoomningsbar bild
JP2005522274A (ja) * 2002-04-17 2005-07-28 スーパー ディメンション リミテッド 内視鏡構造と分岐構造内の標的にナビゲートするための技術
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법
US20110282151A1 (en) * 2008-10-20 2011-11-17 Koninklijke Philips Electronics N.V. Image-based localization method and system
US7885011B1 (en) * 2009-08-19 2011-02-08 General Electric Company Objective for optical imaging systems
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
WO2012156873A1 (en) * 2011-05-18 2012-11-22 Koninklijke Philips Electronics N.V. Endoscope segmentation correction for 3d-2d image overlay

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764809A (en) * 1991-03-26 1998-06-09 Olympus Optical Co., Ltd. Image processing apparatus using correlation among images
US6859549B1 (en) * 2000-06-07 2005-02-22 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities
JP2003178298A (ja) * 2001-12-07 2003-06-27 Sony Corp 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20070122027A1 (en) * 2003-06-20 2007-05-31 Nippon Telegraph And Telephone Corp. Virtual visual point image generating method and 3-d image display method and device
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.J.CLARKSON: "Registration of multiple video images to pre-operative CT for image guided surgery", 《PART OF THE SPIE CONFERENCE ON IMAGE PROCESSING》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209938A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于生成图像的初始超像素标签图的方法和装置
CN110831538A (zh) * 2018-05-31 2020-02-21 奥瑞斯健康公司 基于图像的气道分析和映射
US11759090B2 (en) 2018-05-31 2023-09-19 Auris Health, Inc. Image-based airway analysis and mapping
CN111336951A (zh) * 2018-12-18 2020-06-26 大陆汽车有限责任公司 用于校准图像传感器的外部参数的方法和设备
CN111336951B (zh) * 2018-12-18 2021-12-21 大陆汽车有限责任公司 用于校准图像传感器的外部参数的方法和设备
CN113302940A (zh) * 2019-01-18 2021-08-24 索尼集团公司 使用单应性变换的点云编码

Also Published As

Publication number Publication date
WO2013093761A2 (en) 2013-06-27
WO2013093761A3 (en) 2013-08-08
EP2793680A2 (en) 2014-10-29
JP2015506188A (ja) 2015-03-02
US20140347353A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104010560A (zh) 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
US11798178B2 (en) Fluoroscopic pose estimation
US20170084036A1 (en) Registration of video camera with medical imaging
US8532352B2 (en) Method and system for intraoperative guidance using physiological image fusion
US9547902B2 (en) Method and system for physiological image registration and fusion
US8625865B2 (en) Method and apparatus for navigating a therapeutic device to a location
RU2711140C2 (ru) Редактирование медицинских изображений
Puerto-Souza et al. Toward long-term and accurate augmented-reality for monocular endoscopic videos
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
EP2680755B1 (en) Visualization for navigation guidance
US20120296202A1 (en) Method and System for Registration of Ultrasound and Physiological Models to X-ray Fluoroscopic Images
EP2849630B1 (en) Virtual fiducial markers
US20130058555A1 (en) Automatic pose initialization for accurate 2-d/3-d registration applied to abdominal aortic aneurysm endovascular repair
JP2007506531A (ja) 管状臓器の３次元再構成を行うシステム及び方法
US20140294263A1 (en) Synchronized Navigation of Medical Images
US8712177B2 (en) Motion compensated overlay
CN105813567A (zh) 基于三维(3d)预扫描的体积图像数据处理
US20150015582A1 (en) Method and system for 2d-3d image registration
CN108430376B (zh) 提供投影数据集
KR101579948B1 (ko) 심장 부위를 포함하는 의료 영상 오버레이 방법 및 그 장치
Ma et al. Echocardiography to magnetic resonance image registration for use in image-guided cardiac catheterization procedures
US20080181474A1 (en) Method and apparatus for registering at least three different image data records for an object
US20230106560A1 (en) System and method for displaying an alignment ct
EP4346613A1 (en) Volumetric filter of fluoroscopic sweep video
Aksoy et al. 3D–2D registration of vascular structures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140827