CN109414234B - 用于从先前生成的3d数据集生成2d投影的系统和方法 - Google Patents
用于从先前生成的3d数据集生成2d投影的系统和方法 Download PDFInfo
- Publication number
- CN109414234B CN109414234B CN201780041225.3A CN201780041225A CN109414234B CN 109414234 B CN109414234 B CN 109414234B CN 201780041225 A CN201780041225 A CN 201780041225A CN 109414234 B CN109414234 B CN 109414234B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- pose
- poses
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开涉及用于从先前生成的3D数据集生成2D投影的系统和方法。该方法包括:接收对象的第一2D图像组,其中,第一2D图像组是从以第一姿态设置的对象的三维(3D)图像得到的。方法还包括:通过结合第一2D图像组的多个2D图像生成一组结合2D图像,其中,多个2D图像对应于3D图像的相邻的子体积。方法还包括:从第一姿态向与第一姿态不同的第二姿态投影一组结合2D图像,从而获得重新投影的2D图像。方法还包括:组合重新投影的2D图像。
Description
相关申请的交叉引用
本申请要求2016年6月30日提交的美国非临时申请No.15/199015的优先权,据此以引证的方式将该申请全文并入为如同下面完全阐述且用于所有适用目的。
技术领域
本公开总体涉及用于从先前生成的三维(3D)数据集生成二维(2D)投影(或图像)的系统和方法。更具体地,本公开涉及用于由有时被表示为3D数据集的3D图像快速创建合成2D图像(诸如数字重构射线照片(DRR))的方法。
背景技术
已经发现从3D数据集计算2D投影(或图像)越来越多地用于许多应用中,诸如图像引导和图像渲染。然而,传统方法通常承受高的计算复杂性。需要用于从3D数据集快速计算2D图像的新且改进的方法。
例如,图像引导在世界各地的临床机构中都是日常实践。它提供治疗的空前定位准确性和提高的质量,这对诸如活组织检查、外科手术、介入过程以及放射治疗的许多临床过程至关重要。例如,在图像引导放射治疗(IGRT)中,术前图像通常是用于治疗计划的3D计算机断层摄影(CT)图像。在治疗时,获取术中图像并将其与术前图像进行比较,以确定对准误差。与诸如锥形束CT的3D模态相比,2D X射线成像由于其快速获取和低成像剂量而经常被选择为用于术中成像,并且通常采用3D-2D图像配准来将3D术前CT图像与治疗床上的患者获取的2D X射线术中图像进行配准。
因为3D和2D图像无法直接配准,所以2D X射线术中图像通常与被称为DRR的合成图像配准。DRR是仿真的X射线状图像,这些图像在仿真实际X射线成像几何结构的虚拟成像系统内通过将3D体积(由3D CT图像表示)设置为特定姿态而由该CT图像创建,该虚拟成像系统。
传统配准方法通常迭代地操作:从假设姿态开始,对于该姿态创建DRR,评价与术中图像的相似性,并且搜索下一潜在姿态;然后对于该新姿态生成DDR,并且迭代继续。在搜索期间,可以为了对衍生的数字估计而对于靠近当前姿态的多个姿态生成DRR。例如,如果方法采用六维(6D)搜索(即,3D平移和3D旋转),则仅为了一个姿态处的梯度估计将对于六个靠近姿态生成另外的DRR。通常,在配准期间,DRR将被生成数百次。
DRR的生成实质上是计算密集的,并且传统方法通常承受高的复杂程度。在给定其在配准期间的执行复杂性和频率的情况下,则高度期望较快的DRR生成方法。
发明内容
本公开涉及用于从被表示为3D数据集的给定3D图像快速创建合成2D图像(诸如数字重构射线照片(DRR))的系统和方法。
根据本公开的实施方式的系统包括第一非暂时存储器和联接到第一非暂时存储器的一个或更多个第一硬件处理器。一个或更多个第一硬件处理器被构造为执行指令以执行第一操作。第一操作包括接收对象的第一2D图像组。第一2D图像组是从以第一姿态设置的对象的3D图像得到的,并且跨越3D图像的整个体积。进一步地,第一2D图像组中的任意2D图像的各元素是沿着射线(或虚构投影线)交叠的、3D图像的多个元素的线积分。再进一步地,2D图像中的至少一个对应于比3D图像的总体积小的、3D图像的子体积,但在一个空间点处沿着定义3D图像的三个轴线各自跨越最小维单元的至少两倍。第一操作还包括:从第一姿态向与第一姿态不同的第二姿态投影第一2D图像组,从而获得第二2D图像组;以及组合第二2D图像组,从而获得以第二姿态设置的对象的2D图像。
根据本公开的实施方式的另一系统包括第一非暂时存储器和联接到第一非暂时存储器的一个或更多个第一硬件处理器。一个或更多个第一硬件处理器被构造为执行指令以执行第一操作。第一操作包括:接收对象的第一2D图像组,将第一2D图像组的多个2D图像结合成结合2D图像。第一2D图像组是从以第一姿态设置的对象的三维(3D)图像得到的,并且多个2D图像对应于3D图像的相邻的子体积。第一操作可以可选地使第一2D图像组的一些2D图像变形(或改变)。第一操作还包括:从第一姿态向与第一姿态不同的第二姿态投影包括结合2D图像的第一2D图像组,从而获得重新投影的2D图像。第一操作还包括组合重新投影的2D图像,该组合可以是重新投影2D图像的线性加权和、重新投影2D图像的非线性加权和、或重新投影2D图像的其他合适组合。在组合重新投影2D图像之前,第一操作可以可选地使重新投影2D图像中的一个变形(或改变)。
根据本公开的实施方式的又一个系统包括第二非暂时存储器和联接到第二非暂时存储器的一个或更多个第二硬件处理器。一个或更多个第二硬件处理器被构造为执行指令以执行第二操作。第二操作包括:将对象的3D图像分割成子体积组;并且通过由子体积组对于一个或更多个姿态中的各姿态生成一个2D图像组来获得一个或更多个2D图像组。第二操作还包括将一个或更多个2D图像组存储在第三非暂时存储器中。
根据本公开的实施方式的方法包括以下步骤:将对象的三维(3D)图像分割成子体积组;并且在对象处于一个或更多个姿态中的各姿态的情况下将子体积组投影到图像表面,这生成一个或更多个二维(2D)图像组,各个2D图像组对应于一个或更多个姿态中的一个。方法还包括以下步骤:将一个或更多个2D图像组存储在非暂时存储器中。在另外的实施方式中,方法包括以下步骤:从一个或更多个2D图像组选择第一2D图像组,其中,第一2D图像组对应于一个或更多个姿态中的第一姿态;从第一姿态向第二姿态投影第一2D图像组,从而获得第二2D图像组;以及组合第二2D图像组,从而获得处于第二姿态的对象的2D图像。在又一个实施方式中,在第一2D图像组的投影之前,方法包括以下步骤:将第一2D图像组的多个2D图像结合成结合2D图像。多个2D图像对应于3D图像的相邻的子体积,并且第一2D图像组的投影包括投影结合2D图像。
根据本公开的实施方式的另一方法包括以下步骤:接收对象的第一2D图像组,其中,第一2D图像组是从以第一姿态设置的对象的三维(3D)图像得到的。方法还包括以下步骤:将第一2D图像组的多个第一2D图像结合成第一结合2D图像,并且将第一2D图像组的多个第二2D图像结合成第二结合2D图像,其中,多个第一2D图像和第二2D图像分别对应于3D图像的第一和第二相邻的子体积。方法还包括以下步骤:从第一姿态向与第一姿态不同的第二姿态投影第一和第二结合2D图像,从而获得第一和第二所投影结合2D图像。方法还包括以下步骤:组合第一和第二所投影结合2D图像。
根据本公开的实施方式的又一个方法包括以下步骤:从对象的三维(3D)图像得到第一体积和第二体积,其中,第一体积和第二体积各自也是相应3D图像。方法还包括以下步骤:将第一体积分割成第一子体积;以及将第二体积分割成第二子体积。方法还包括以下步骤:在对象处于一个或更多个姿态中的各姿态的情况下将第一子体积投影到图像表面,从而生成一个或更多个第一二维(2D)图像组。各个第一2D图像组对应于一个或更多个姿态中的一个姿态。方法还包括以下步骤:在对象处于一个或更多个姿态中的各姿态的情况下将第二子体积投影到图像表面,从而生成一个或更多个第二2D图像组。各个第二2D图像组对应于一个或更多个姿态中的一个。方法可以同时执行第一和第二子体积的投影。方法还包括以下步骤:将一个或更多个第一2D图像组以及一个或更多个第二2D图像组存储在非暂时存储器中。在另外的实施方式中,方法包括以下步骤:从一个或更多个第一2D图像组选择第一个第一2D图像组,第一个第一2D图像组对应于一个或更多个姿态中的第一姿态;以及从一个或更多个第二2D图像组选择第二个第一2D图像组,第二个第一2D图像组对应于姿态的第二组姿态中的第三姿态。方法还包括以下步骤:从第一姿态向第二姿态投影第一个第一2D图像组,从而获得第一个第二2D图像组;以及从第三姿态向第二姿态投影第二个第一2D图像组,从而获得第二个第二2D图像组。方法还包括以下步骤:组合第一个第二2D图像组和第二个第二2D图像组,从而获得处于第二姿态的对象的2D图像。在又一实施方式中,方法包括以下步骤:在第一个第一2D图像组的投影之前,将第一个第一2D图像组的多个第一2D图像结合成结合第一2D图像,和/或在第二个第一2D图像组的投影之前,将第二个第一2D图像组的多个第二2D图像结合成结合第二2D图像。多个第一2D图像对应于相邻的第一子体积,并且多个第二2D图像对应于相邻的第二子体积。
所提供的主题作为非限制性应用示例可以用于图像引导放射治疗(IGRT)和图像渲染。
应理解,前面一般描述和以下详细描述本质上是示例性和说明性的,并且旨在在不限制本公开的范围的情况下提供本公开的理解。在这点上,本公开的另外方面、特征以及优点将从以下详细描述对本领域普通技术人员显而易见。
附图说明
附图例示了这里公开的系统和方法的实施方式,并且连同说明书一起用来说明本公开的原理。
图1是根据本公开的方面构建的图像引导系统的示意图。
图3是根据本公开的方面构建的图像渲染系统的示意图。
图2例示了根据一些实施方式的可以用于图1和图3的系统中的不同类型的投影几何结构的示例。
图4A例示了根据本公开的一些实施方式构建的用于由现有3D图像快速生成2D图像的计算机实施的方法的流程图。
图4B和图4C例示了根据一些实施方式的可以由图1的系统实施的姿态网格。
图5例示了根据本公开的一些实施方式构建的用于由现有3D图像快速生成2D图像的计算机实施的方法的流程图。
图6A和图6B例示了根据一些实施方式的可以由图1的系统实施的、子体积从第一姿态到第二姿态的投影。
图7和图8例示了根据本公开的一些实施方式构建的用于由现有3D图像快速生成2D图像的计算机实施的方法的流程图。
图9例示了根据实施方式的由图8中的方法执行的特定步骤的一些结果。
具体实施方式
为了促进本公开的原理的理解的目的,现在将对附图中例示的实施方式进行参照,并且特定语言将用于描述实施方式。然而将理解,不预期本公开范围的限制。如本公开涉及的领域中的一个普通技术人员正常将想到的,完全预期对所述装置、系统、方法以及本公开原理的任意另外应用的任意变更和进一步修改。例如,关于一个实施方式描述的特征、部件和/或步骤可以与关于本公开的其他实施方式描述的特征、部件和/或步骤组合,以形成根据本公开的装置、系统或方法的又一个实施方式,即使这种组合未明确示出。进一步地,为了简单起见,在一些情况下,相同附图标记用于贯穿附图表示相同或同样的要素。
图1是根据本公开的方面构建的系统100的实施方式的示意图。在特定实施方式中,系统100可以用于图像引导中。因此,其还被称为图像引导系统100。参照图1,系统100包括计算装置102,该计算装置例如可以为个人计算机(PC)、工作站、诸如平板电脑的移动计算装置或其他计算装置。计算装置102包括处理器104和存储器106。计算装置102通过执行在存储器106中包含的指令的一个或更多个序列由处理器104和其他部件(未示出)执行特定操作。指令还可以被称为代码。术语“指令”和“代码”应被广泛地解释为包括任意类型的计算机可读语句。例如,术语“指令”和“代码”可以指一个或更多个软件应用、程序、例程、子例程、函数、规程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
处理器104表示一个或更多个通用处理装置,诸如微处理器、中央处理单元(CPU)、图形处理单元(CPU)等。更具体地,处理器104可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLTvV)微处理器、或实施其他指令集的处理器或实施指令集的组合的处理器。处理器104还可以是一个或更多个专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理器104被构造为执行用于执行这里讨论的操作和步骤的指令。
在实施方式中,存储器106是非暂时计算机可读存储介质,该非暂时计算机可读存储介质包括除了短暂传播信号之外的所有计算机可读存储介质。一些常见形式的计算机可读介质例如包括软盘、可折叠磁盘、硬盘、磁带、任意其他磁介质、CD-ROM、任意其他光介质、穿孔卡片、纸带、具有孔图案的任意其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任意其他存储芯片或匣、或计算器适于从其读取的任意其他介质。例如,存储器106可以是软盘、磁硬盘驱动器(HDD)、固态驱动器(SSD)、或光学存储器(例如,CD-ROM、DVD以及蓝光盘)。
计算装置102可以采用任意计算架构,诸如集中式计算、分布式计算、集群计算、云计算以及客户端服务器计算。
仍然参照图1,计算装置102与装置108接口连接,以访问3D图像110。在实施方式中,3D图像110被表示为数字数据集的形式。例如,3D图像110可以是3D计算机断层摄影(CT)图像(诸如螺旋CT、锥形束CT(CBCT)等)、3D断层合成图像、3D正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、超声传输断层摄影(UTT)、或3D磁共振成像(MRI)图像。在实施方式中,装置108可以是一个或多个装置,诸如成像装置、图片存档及通信系统(PACS)或治疗计划系统(TPS)。
计算装置102还与非暂时存储器114接口连接,以从在非暂时存储器114上存储的子体积投影112读取和向其写入(包括更新投影)。在实施方式中,非暂时存储器114可以是软盘、磁硬盘驱动器(HDD)、固态驱动器(SSD)、光学存储器(例如,CD-ROM、DVD以及蓝光盘)或以上关于存储器106讨论的任意其他非暂时存储器。
计算装置102还与成像装置116接口连接,以接收由成像装置116拍摄(或产生)的2D图像118。在示例中,2D图像118可以是从治疗床上的患者取下的X射线图像或伽马射线图像。在各种实施方式中,装置116可以是γ照相机、数字射线照相(DR)系统、计算机射线照相(CR)系统或传统基于胶片的X射线系统和胶片数字化仪的组合。
如图1例示,计算装置102生成一个或更多个2D图像(或投影)120,并且执行与2D图像118的图像配准。计算装置还计算所计划患者位置(第一姿态)与当前患者位置(第二姿态)之间的对准偏移。对准偏移被发送到对准输出122模块,以进一步处理。例如,对准偏移可以被发送到治疗床,以调节患者位置。对于另一示例,医生可以使用对准偏移来调节手术工具的位置。
计算装置102与系统100的其他部件之间的接口可以是本地传输介质,或者可以包括一个或更多个网络装置。在一些示例中,网络装置包括路由器、集线器、交换机等。在一些示例中,传输介质包括以太网电缆、光纤通道电缆、无线信号、通用串行总线(USB)电缆等。
在实施方式中,系统100可以用作辅助治疗期间的患者或治疗工具对准的图像引导系统。例如,计算装置102从装置108接收患者的3D图像110和另外治疗信息,诸如治疗对准位置(诸如辐射治疗中的ISO中心位置)。计算装置然后采用以下描述的方法400或800来对于患者的一个或多个姿态生成子体积投影112。在治疗时,计算装置102采用以下描述的方法500、700或800,来接收患者的2D图像118,并且使用子体积投影112生成一个或更多个2D图像120,该一个或更多个2D图像表示患者在一个或多个姿态的合成图像。计算装置102然后采用图像处理或配准方法,并且使用2D图像118和2D图像120连同诸如成像装置116的几何结构的其他信息来计算所计划患者对准位置与当前患者位置之间的姿态差。计算装置102可以为了患者位置或治疗工具调节而输出姿态差。投影类型的示例包括但不限于如图2所示的平行投影(例如,装配有平行孔准直仪的γ照相机)、透视投影(例如,X射线投影)、以及针孔投影(例如,装配有针孔准直仪的γ照相机)。如果3D图像是CT图像,并且成像装置116是X射线图像系统,则2D图像120可以是DRR。
计算装置102所采用的图像配准方法可以是基于强度或其他模态中方法,诸如基于交互信息的方法。图像配准方法可以迭代地操作:从假设姿态开始,对于该姿态创建2D图像120(例如,DRR),评价2D图像与术中2D图像118之间的相似性,搜索下一潜在姿态,并且对于该新姿态生成新2D图像120。迭代继续,直到满足一些标准为止。一个示例性标准是当前姿态与之前姿态之间的差依赖于应用而言是足够小的(例如,旋转差小于0.1度),这指示迭代的收敛。另一示例性标准是诸如由当前姿态的图像配准系统100使用的相似性函数的梯度的目标函数对于应用而言是足够小的。计算装置102可以实施用于确定收敛的其他合适标准。在搜索期间,可以为了相似性函数的衍生的数字估计而对于靠近当前姿态的多个姿态生成2D图像120。例如,如果方法采用六维(6D)搜索(即,3D平移和3D旋转),则仅为了一个姿态处的梯度估计将对于六个靠近姿态生成另外的2D图像120。通常,在图像配准期间,2D图像可以被生成数百次。
图3是根据本公开的方面构建的系统300的实施方式的示意图。在特定实施方式中,系统300可以用于图像渲染中。如图3所示,系统300包括计算装置302、用于向计算装置302提供3D图像310的装置308、以及用于存储先前生成的子体积投影312的非暂时存储器314。计算装置302、图像提供装置308以及非暂时存储器314的许多方面与关于计算装置102、图像提供装置108以及非暂时存储器114讨论的方面类似。以下将讨论它们之间的一些不同。系统300还包括用户接口326和显示器328。计算装置302包括一个或更多个处理器304和存储器306,它们可以与以上讨论的处理器104和存储器106大致相同。计算装置302通过执行在存储器306中包含的指令的一个或更多个序列由处理器304和其他部件(未示出)执行特定操作。
在示例性操作中,计算装置302采用以下描述的方法400或800读取3D图像310并预生成子体积投影312,并且将它们存储在非暂时存储器314中。稍后,用户例如使用鼠标、键板或触摸板借助用户接口326选择通常为视角形式的姿态。然后,计算装置302采用以下描述的方法500、700或800来使用子体积投影312生成用户所选视角下的3D图像310的2D图像320,并且将其发送到显示装置328,以示出。3D图像310可以是以上关于3D图像110(图1)描述的任意类型的3D图像、或诸如显微图像(诸如共聚焦或宽场显微镜)、传输超声图像、或热图像的其他类型的3D图像。在各种实施方式中,投影几何结构可以是用户定义或选择的,可以是平行投影、透视投影或其他合适的投影类型。
图4A、图5、图7以及图8例示了根据本公开的一些实施方式构建的计算机实施的方法400、500、700以及800的流程图。方法400、500、700以及800各自可以整体或部分由诸如系统100和300的图像处理系统来实施。方法400、500、700以及800各自是所提供主题的示例,并且不旨在超过在权利要求中明确叙述的内容限制本公开。可以在方法400、500、700以及800各自之前、期间以及之后提供另外操作;并且可以对于各方法的另外实施方式代替、消除或重新定位所述的一些操作。为了例示的目的,下面连同图1和图3描述各个方法400、500、700以及800。
参照图4A,方法400包括:用于将3D图像分割成子体积组的操作402;用于以多个姿态投影子体积,以取得多个2D图像组的操作404;用于可选地使2D图像中的一些变形的操作406;以及用于存储可选地可能变形了的多个2D图像组的操作408。下面进一步描述各操作的细节。
在操作402处,方法400(图4A)将3D图像分割成子体积组。在实施方式中,该组的子体积不交叠。3D图像例如可以是3D图像110(图1)或3D图像310(图3)。在本实施方式中,3D图像包括被表示为(x,y,z,v)的位置(或点)的值的组,其中,x、y以及z表示位置在3D空间中的坐标,并且v是与该位置关联的值。3D图像还可以被表示为3D矩阵v=I(i,j,k),其中,i、j以及k是3D矩阵的元素v的索引。如果定义三维的体素尺寸,则3D矩阵的各元素对应于3D空间中的位置(x,y,z)。这样,3D图像表示3D空间中的体积。在本实施方式中,子体积中的至少一个小于3D图像的总体积,但在一个空间点处沿着定义3D图像的三个轴线(或索引)各自跨越最小维单元的至少两倍。如果3D图像被表示为矩阵形式,则这意味着子体积在索引i、j以及k各自处具有至少两个元素。如果3D图像被表示为位置的值的组,则这意味着在子体积中存在沿着维度x、y以及z各自的至少两个体素。例如,如果3D图像是3DCT图像,则子体积比3D图像沿着投影线的单个片厚。在实施方式中,操作402沿着3D矩阵的三个维度i、j以及k中的一个分割3D图像。例如,沿着维度“i”的分割可以使得各子体积Vs由N(N>1)个片构成,V1={I(i,j,k):1≤i≤N},V2={I(i,j,k):N+1≤i≤2*N},以此类推。子体积Vs中的片的数量还被称为子体积Vs的厚度。在实施方式中,数量N为了数据减少目的被选择为是5以上。分割也可以处于维度j或k上。子体积Vs可以具有不同厚度。在实施方式中,操作402使用分割边界,该分割边界与投影射线的方向拦截。
在操作404处,方法400(图4A)以一个或更多个姿态投影子体积Vs,以取得一个或更多个2D图像组。各2D图像对应于子体积和姿态,并且同一2D图像组中的2D图像对应于同一姿态。在2D图像中,各像素可以被表达为(x,y,v),其中,(x,y)是在成像表面上的位置或到矩阵的索引,并且v是为该位置或索引指派的值。表面在各种实施方式中可以是平面或弯曲的。在实施方式中,2D图像被表示为矩阵I(i,j)的形式,其中,矩阵的行和列定义像素(或元素)的网格。在实施方式中,对于各个姿态,操作404使用投影几何结构计算各个子体积Vs的投影(或图像)。投影几何结构的示例包括但不限于图2所示的投影几何结构。在一个示例中,2D图像中的元素的值是穿过对应子体积碰撞该元素的投影射线的线积分。因此,3D数据集的2D图像I(x,y)可以被表示为:
I(x,y)=T(V(X,Y,Z)) (1)
其中,V(X,Y,Z)是3D数据集,I(x,y)是3D数据集的2D图像,T表示投影处理,x和y是图像表面上的坐标或索引,并且X、Y以及Z是3D空间中的坐标或索引。在实施方式中,同一组中的2D图像取同一像素网格(即,处于(x,y)坐标值的同一组处)的值。在另外实施方式中,像素网格包括多于100个像素。
在X射线成像中,光子(源于点或点状光源)穿过3D对象传播,并且生成由检测器接收的2D图像。如果对象的3D数据集可用作CT扫描,则可以使用3D CT扫描和透视投影几何结构来计算仿真X射线图像,亦称数字重构射线照片(DRR)。如图2所示,对于像素pi,2D图像I(pi)可以被表示为沿着碰撞该像素的射线R(pi)的体素值的积分:
其中,CT(vj)是在R(pi)的路径上的体素vj的值。注意,射线由对应的投影几何结构来定义,并且在本实施方式中对于投影的各元素仅可以存在一个射线(在该投影模型中忽略散射)。
操作404可以采用领域中已知的方法来创建投影I(pi),给定子体积Vs和投影射线R(pi)组。例如,操作404可以使用如在D.B.Russakoff等人“Fast calculation ofdigitally reconstructed radiographs using light fields.”Proc.SPIE MedicalImaging 2003,第684-695页(SPIE 2003)中描述的射线投射方法。对于另一示例,操作404可以使用如在W.Birkfellner等人“Fast DRR generation for 2D/3D registration.”Duncan,J.,Gerig,G.,(eds.)MICCAI 2005,LNCS第3750卷,第960-967页(Springer BerlinHeidelberg,2005年)中描述的抛雪球(splatting)方法。
可以对于所选的各个姿态重复子体积Vs的投影。姿态是3D图像与投影几何结构的空间关系,包括相对位置和方位、元素或像素的位置(通常由获得射线值的成像器的位置和方位来确定)。实际上,常见的是由成像系统的几何结构确定的投影几何结构不变化。如果诸如图1的成像装置116的成像装置移动,但它在没有相对运动的情况下作为一个整体移动,那么成像几何结构仍然可以被认为不变化。然后,姿态被表示为相对于参考坐标系的对象(例如,患者)姿态。注意,一起旋转或平移成像装置等效于用固定投影几何结构沿相反方向旋转或平移对象。
在实施方式中,操作404从姿态网格选择一个或更多个姿态。如这里使用的,姿态网格是操作404投影子体积的姿态的构造。在各种实施方式中,方法400、500、700以及800对围绕投影几何结构的光轴的旋转不敏感。因此,姿态网格包括具有围绕其他两个面内轴线的旋转的姿态。图4B和图4C示出了两个示例性姿态网格420和440。姿态网格420具有9个姿态,并且姿态网格440具有7个姿态。在姿态网格420和440各自中,姿态均匀地分布在旋转空间中的圆上。在图4B和图4C各自中,rx和ry分别是围绕面内轴线(即,平行于投影平面)x和y的旋转,并且R是圆的半径。R依赖于应用可以是1度、2度、3度、5度或其他合适值。
在操作406处,方法500(图4A)可选地向2D图像中的一些或全部应用2D变形。如这里使用的,2D变形是应用于2D阵列的逐点偏差。在方法400的实施方式中,对于第i个元素是(xi,yi,vi)的2D图像,对于该元素应用2D变形(Δxi,Δyi)产生第i个元素是(xi+Δxi,yi+Δyi,vi)的变形后的图像。如果已变形图像存储为与原始图像相同的矩阵形式,则可以将变形后的图像插值到由矩阵定义的网格点。在另一实施方式中,方法400应用诸如线性置中变形的参数化变形。线性置中变形可以被写为(Δxi,Δyi)=((xi-xc)*D,(yi-yc)*D),其中,(xc,yc)是变形的中心,并且D是常数。参数化变形的其他示例包括使用如在Baici、Serdar K.等人“Free-form B-spline deformation model for groupwise registration.”Medicalimage computing and computer-assisted intervention:MICCAI...InternationalConference on Medical Image Computing and Computer-Assisted Intervention,(卷10,No.WS.NIH Public Access,2007年)中描述的B样条函数的参数化变形。
在操作408处,方法400(图4A)以以下这种方式将产生的2D图像(例如,子体积投影112和312)与它们对应的姿态和子体积联系地存储在暂时存储器或非暂时存储器(例如,非暂时存储器114或314)中:2D图像的各像素或元素可以联系到在用于该元素的投影射线的路径上的子体积中的点(例如,中心点)。例如,如果子体积包括3D CT图像的多个相邻片,则联系到其对应2D图像的点可以全部位于中心片上。在实施方式中,2D图像被存储为矩阵I(i,j)的形式,其中,i、j是矩阵的行和列的索引。
参照图5,方法500包括用于接收新姿态的操作502、用于读取之前存储的一个或更多个2D图像组的操作504、以及用于选择2D图像组中的一个的操作506。所选择的2D图像组对应于第一姿态。方法500还包括:用于使2D图像的所选组可选地变形操作507;和用于从第一姿态向新姿态投影所选择的2D图像组(该组可以在操作507中已经变形),以取得第二2D图像组的操作508。方法500还包括在操作510中使第二2D图像组的一些图像可选地变形,然后在操作512中组合第二2D图像组。方法500还包括在操作514中将第二2D图像组存储到诸如存储器114和314的非暂时存储器中。下面进一步描述各操作的细节。
在操作502处,方法500(图5)接收新姿态,并且确定它是否与联系到所存储的子体积投影112或312的任意现有姿态相同。新姿态可以由用户借助用户接口326(图3)来选择或通过计算装置102执行诸如图像配准方法的图像处理方法的指令来生成。
在操作504处,方法500(图5)读取与一个或更多个姿态关联的一个或更多个2D图像组。例如,计算装置102(或302)从非暂时存储器114(或314)读取子体积投影112(或312)。
如果存在与在操作504中读取的2D图像组关联的多个姿态,则方法500(图5)将在操作502中接收的新姿态与在操作504中读取的2D图像组的姿态进行比较,并且选择一个姿态作为第一姿态,并且选择对应的2D图像组作为第一2D图像组。
在实施方式中,选择第一姿态的标准是选择相对于新姿态具有最小姿态差的姿态。两个姿态之间的姿态差是六维的,涉及3D空间中的平移(Δx,Δy,Δz)和旋转(Δrx,Δry,Δrz)这两者。在姿态被表示为对象姿态的固定成像几何结构的一个示例中,操作506可以选择相对于新姿态具有最小旋转差|Δr|=(Δrx2+Δry2+Δrz2)1/2的姿态。在另一实施方式中,操作506选择产生最小投影差的姿态。在示例中,操作506首先拾取体积中的多个点R0,R1...Rm,并且计算它们在多个姿态下到图像表面的投影。例如,点的投影在姿态P(n)下是Q0(n)...Qm(n),并且在另一姿态P(k)下是Q0(k)...Qm(k)。将点R0用作基础,则点Ri在姿态P(n)和P(k)下的差可以被定义为:
其中,Qi(n)x和Qi(n)y是Qi(n)在图像平面中的(x,y)坐标。在该示例中,操作506选择产生所有点R0,R1...Rm的最小总差的姿态P(t)。换言之,
或者
在操作507处,方法500(图5)可选地使第一2D图像组的一些图像变形。这与在方法400的操作406中进行的内容类似。操作507还可以将变形后的第一2D图像组存储在存储器(暂时或非暂时存储器)中,以稍后使用。
在操作508处,方法500(图5)从第一姿态向新姿态投影第一2D图像组,从而对于新姿态生成第二2D图像组。该操作还被称为重新投影,并且第二图像组中的2D图像还被称为重新投影的2D图像。图6A中例示了示例性重新投影。参照图6A,对于第一2D图像组中的图像,被表示为(xa,ya,va)的像素或元素“a”对应于对应子体积中的3D点“v”。在新姿态中,成像几何结构不同,并且该同一点“v”被移动至新位置“q”并被投影到被表示为(xb,yb,va)的、成像器上的点“b”。注意,相同值va被指派给新位置(xb,yb)。操作508对于第一2D图像组各自图像的各元素进行上述重新投影,从而对于新姿态获得第二2D图像组。
在实施方式中,2D图像被表示为矩阵的形式,其中,矩阵的行和列定义像素(或元素)的网格,然后将像素的同一网格用于第一2D图像组和第二2D图像组中的所有2D图像。这对于组合重新投影的2D图像的、以下讨论的操作512是特别有用的。然而,重新投影2D图像的像素可以或可以不在新姿态中的矩阵网格上。图6B中例示了这一点,在图6B中,虚线表示用于新姿态的网格602,而实线表示重新投影2D图像的网格604。特别地,重新投影2D图像的像素d1、d2、d3、d4不在新姿态中的网格点上。在本实施方式中,操作508使用诸如最近邻法或插值法的方法将这些点重新采样到新姿态中的矩阵网格602。在最近邻法中,如下确定新姿态中的网格点(xm,ym)处的值v:首先,识别最靠近网格点(xm,ym)的重新投影像素(xi,yi),这例如基于两者之间的欧几里德距离;然后,将重新投影的像素(xi,yi)的值用作用于网格点(xm,ym)的值v。在图6B所示的示例中,最近邻法导致将像素d1处的值指派给像素c。在插值法中,在第一图像(在投影之后)中识别(xm,ym)的相邻重新投影像素,并且用于(xm,ym)的值是这些相邻重新投影点的值的插值。在图6B所示的示例中,插值法导致将d1、d2、d3以及d4的值的插值指派给像素c。
在操作510处,方法500(图5)可选地向第二2D图像组的一些或全部图像应用变形。变形可以与方法400的操作406类似地来执行。向2D图像组应用变形(例如,方法400中的操作406以及方法500中的操作507和510)的能力提供另外的灵活性,特别是向图1所示的系统100提供。例如,人体可能由于多个因素(诸如呼吸运动和膀胱的充盈)而经受某一形式的变形。因此,期望在2D图像118与2D图像120之间执行可变形配准。通常,在配准期间仅可以使2D图像(118或120二者之一)变形,这仅表示2D变形。因为不同变形可以应用于第二2D图像组中的不同图像,所以在操作510中向第二2D图像组应用变形启用3D变形。因为第二2D图像组中的图像对应于不同子体积,所以这产生3D变形效果。这是所提供主题的优点。
在操作512处,方法500(图5)组合第二2D图像组,以形成新姿态处的单个2D图像。2D图像中的一些可以在操作510中已变形。第二2D图像组可以是图1中的2D图像120或图3中的2D图像320。在实施方式中,操作512使用逐元素或逐像素操作来组合第二2D图像组。例如,它可以组合第二2D图像组各自中具有相同(x,y)坐标或(i,j)索引的元素。组合元素的方法包括但不限于对应元素值的求和、加权求和以及非线性求和。在求和法中,如果第二2D图像组中的第k个图像是Ik(i,j),那么产生的2D图像I2(i,j)可以被给出为以下的和,
I2(i,j)=∑kIk(i,j) (6)
在加权求和法中,产生的2D图像I2(i,j)可以被给出为
I2(i,j)=∑kIk(i,j)*Ak (7)
其中,Ak是权重参数。在非线性求和的示例中,产生的2D图像I2(i,j)可以被给出为
I2(i,j)=∑kIk(i,j)E*Ak (8)
其中,E是不等于0的有限指数参数,并且Ak是权重参数。在实施方式中,如果第二2D图像组未被采样到同一姿态网格,则可以使用以上讨论的插值或最近邻法将它们重新采样到同一姿态网格。
在操作514处,方法500(图5)存储第二2D图像组,以供将来处理。它们可以存储在暂时或非暂时存储器中,诸如非暂时存储器114(图1)或314(图3)。
参照图7,方法700包括操作702、704、706、707、708、710、712、714、715、716以及718。操作702、704、706、710、712以及714类似于操作502、504、506、510、512以及514。为了简化的目的,不重复这些操作的详细描述。以下讨论集中于操作707、708、715、716以及718的方面。
在操作707处,方法700(图7)将第一2D图像组中的多个2D图像结合成一个图像,该图像被称为结合2D图像。操作707重复对第一2D图像组中的图像的结合,从而产生结合第一2D图像组。在实施方式中,第一2D图像组中的所有图像仅一次用于操作707中。换言之,第一组的结合2D图像不与彼此交叠。例如,操作707可以将第一2D图像组的每N个图像结合成结合2D图像,其中,N个图像对应3D图像中的相邻的子体积。这样,结合2D图像对应于比与第一2D图像组中的单个2D图像对应的子体积厚的子体积。在实施方式中,如果第一2D图像组中的2D图像取同一像素网格处的值,那么操作707逐像素或逐元素地结合它们。否则,操作707在结合2D图像之前将它们重新采用到同一像素网格。在实施方式中,操作707可以使用与在上述操作512中描述的方法类似的方法(包括求和、线性求和以及非线性求和)来结合2D图像。此外,操作707可以结合不同数量的2D图像来获得结合第一2D图像组。例如,操作707可以结合N1个相邻的2D图像来形成第一结合2D图像,结合N2个相邻2D图像来形成第二结合2D图像...并且结合Nm个相邻2D图像来形成第m个结合2D图像,以此类推。数量N1、N2...Nm可以为相同或不同整数。在各种实施方式中,数量N1、N2...Nm各自大于1,并且数量N1、N2...Nm可以在每当执行操作707时变化。因此,结合第一2D图像组包括包含第一2D图像组的多于一个2D图像的至少一个2D图像,并且可以包括与第一2D图像组的对应2D图像相同的一些2D图像(即,未与另一2D图像结合)。此外,因为第一2D图像组对应第一姿态,所以结合第一2D图像组也对应于第一姿态。结合第一2D图像组中的各结合2D图像以以下这种方式与子体积关联:结合2D图像的各元素或像素作为投影(例如,图4A的操作404)和结合(图7的操作707)的结果与该子体积中的点关联。在实施方式中,操作707更新结合2D图像到关联姿态和子体积的联系。在以下讨论中,结合第一2D图像组在了解第一2D图像组中的图像中的一些可能已经由操作707结合在一起的情况下还可以被称为第一2D图像组。
在操作707中采用的结合技术提供灵活性以在生成新姿态处的2D图像时实现另外的时间减少。在操作707中结合第一2D图像组中的多个图像之后,存在数量减少了的将在操作708中投影的2D图像。该结合技术在新姿态靠近在操作706处选择的第一姿态时可以是特别有用的。
在操作708处,方法700(图7)从第一姿态向第二(新)姿态投影结合第一2D图像组。这与操作508(图5)类似。
在操作715处,方法700(图7)将第二2D图像组中的多个2D图像结合成结合图像,从而产生结合第二2D图像组。在操作716处,方法700(图7)从第二姿态(该第二姿态是在操作702处接收的新姿态)向与第一和第二姿态不同的第三姿态投影结合第二2D图像组。操作715和716类似于操作707和708。操作715和716在诸如在系统100(图1)中执行的图像配准期间计算衍生时特别有用。图像配准频繁采用图像衍生的计算。例如,在给定姿态下,图像配准通常将姿态下的2D图像与沿着各个自由维度的轻微偏差相加来生成该姿态下的2D图像(DRR)。例如,在六个自由度(旋转3个和平移3个)的情况下,图像配准将生成与给定姿态具有小偏差的至少6个姿态。这6个姿态被称为衍生姿态,并且操作716中的第三姿态在本实施方式中是衍生姿态。为了生成这些衍生姿态的2D图像,方法700可以在操作708之后向第二2D图像组应用结合(操作715),这造成第二2D图像组中的图像数量减少。这减少了要在操作716中从新姿态向第三姿态投影的图像的数量,因此减少了生成衍生姿态的2D图像所需的时间。
参照图8,方法800包括操作802、804、806、808、810、811、812、814、816以及818。操作804、806、808以及810大致类似于操作402、404、406以及408。为了简化的目的,以下简要讨论这些操作。以下讨论集中于操作802、811、812、814、816以及818的方面。下面关于图9进一步描述方法800。
在操作802处,方法800(图8)将3D图像划分成体积组,并且这些体积可以或可以不扩展到与由3D图像表示的空间相同的空间。进一步地,这些体积可以在空间上彼此交叠。在实施方式中,划分可以基于对象中的不同组织。例如,如果3D图像是CT图像,则操作802可以基于体素或元素值将3D图像划分成高密度体积IH和低密度体积IL,其中,IH表示骨骼和其他高密度部分,诸如植入金属器械或被注射有高密度对比剂的血管,并且IL表示软组织、空气等。例如,操作802可以将3D图像的各元素与阈值T进行比较,使得:
IH(i,j,k)=I(i,j,k),如果I(i,j,k)≥T;否则为0 (9)
IL(i,j,k)=I(i,j,k),如果I(i,j,k)<T;否则为0 (10)
对于另一示例,操作802可以将3D图像的各元素与阈值T进行比较,使得:
IH(i,j,k)=I(i,j,k)-T,如果I(i,j,k)≥T;否则为0 (11)
IL(i,j,k)=I(i,j,k),如果I(i,j,k)<T;否则为T (12)
在另一实施方式中,3D图像可以基于由自动划分工具绘制或由人类操作员在3D图像上逐片绘制的肿瘤轮廓被划分成肿瘤体积和非肿瘤体积。在又一个实施方式中,3D图像可以被划分成关注的一个或更多个体积以及表示3D图像的其余部分的另一体积。关注的体积的轮廓可以由划分工具或人类操作员绘制。这些关注体积可以表示在治疗期间可能移动的肿瘤或组织,并且对2D图像以及2D图像的处理具有实质影响。参照图9所示的示例,操作802将对象的3D图像Z划分成体积V和W。
在操作804处,方法800(图8)与在方法400的操作402中进行的内容类似地将各个体积分割成子体积组。用于任意两个体积的分割相同或不同。例如,对于上述的IH和IL体积,操作804可以将IH分割成比从IL分割的子体积小的子体积组。对于另一示例,操作804可以将较关注的体积分割成比较不关注的另一体积小的子体积组。这引起进一步处理与较关注的体积关联的2D图像的较高准确性。参照图9所示的示例,操作804将体积V分割成子体积V1、V2以及V3,并且将体积W分割成子体积W1和W2。
在操作806处,方法800(图9)以一个或更多个姿态投影各个体积的子体积,以生成一个或更多个2D图像组。该操作与操作404在方法400中进行的内容类似。然而,不同体积的姿态可以相同、部分不同或完全不同。参照图9所示的示例,操作806以姿态1投影子体积V1、V2、V3,以取得2D图像组V11、V21以及V31;并且以姿态1投影子体积W1和W2,以确定另一2D图像组W11和S21。类似地,操作806将子体积V1、V2、V3、W1以及W2投影到其他姿态2和3。
在操作808处,与操作406在方法400中进行的内容类似地,方法800(图8)可选地向由操作806生成的2D图像中的一些应用变形。
在操作810处,方法800(图8)将一个或更多个2D图像组存储在例如非暂时存储器114或314中。2D图像被组织,并且可以由它们对应的体积、姿态以及子体积来识别。
在操作811处,方法800(图8)接收两个新姿态NP1和NP2。新姿态NP1和NP2可以相同或不同。它们可以由诸如系统100的图像配准或处理系统来提供。例如,如果关注体积是在患者肺部内部的体积,则该体积在治疗期间可能显著运动,而患者身体的其余部分处于相对静止状态。因此,期望通过以下方式来评价2D图像118与2D图像120之间的相似性:以与身体的其余部分不同的姿态将关注的所生成体积设置在肺部的图像内部,以仿真相对移动。为了促进该示例,新姿态NP1和NP2表示关注的体积(移动部分)与身体的其余部分(静止部分)的姿态。
还可以用另一示例来例示操作811。如果基于X射线的图像用作系统100中的2D图像118,则在图像配准期间的一个迭代(可以不是第一个迭代)时,系统100可以选择对于高密度体积IH总是重新生成2D图像120,但如果姿态差大于阈值,则仅对于低密度体积IL重新生成2D图像120。否则,系统将所存储的先前生成的2D图像用于低密度体积。这是因为高密度组织在X射线图像上比低密度组织明显。
在操作812处,与操作506在方法500中进行的内容类似,方法800(图8)对于第一体积根据新姿态NP1选择第一姿态,并且对于第二体积根据新姿态NP2选择第二姿态。因为NP1和NP2可以相同或不同,所以用于第一体积的第一姿态和用于第二体积的第二姿态也可以相同或不同。参照图9所示的示例,操作812对于体积V选择姿态1,并且对于体积W选择姿态3。
在操作814处,与操作707在方法700中进行的内容类似,方法800(图8)可选地将在同一2D图像组(对应于同一体积和姿态)中的多个2D图像结合成一个2D图像。用于第一体积和第二体积的2D图像组可以以相同方式或不同地结合。例如,操作814对于体积IH可以结合第一2D图像组中的每NH个2D图像,并且对于体积IL可以结合第二2D图像组中的每NL个2D图像,其中,NH和NL可以相同或不同。此外,操作814可以结合仅第一2D图像组中、仅第二2D图像组中、第一和第二2D图像组这两者中或既不在第一2D图像组中也不在第二2D图像组中的多个2D图像。参照图9所示的示例,如由虚线椭圆例示的,操作814可以将投影V11和V21结合成结合2D图像(V11+V21),留下投影V31单独,并且将投影W13和W23结合成另一结合2D图像(W13+W23)。
在操作816处,方法800(图8)向新姿态NP1投影第一2D图像组,并且向新姿态NP2投影第二2D图像组。第一2D图像组和第二2D图像组各自可以包括结合2D图像。这是两个单独的操作,并且与操作508和708在方法500和700中进行的内容类似。参照图9所示的示例,操作816向新姿态NP1(姿态x)投影2D图像(V11+V21)以及V31,从而获得新2D图像(V11+V21)x和V3x,其中,(V11+V21)表示V11和V21的结合2D图像。类似地,操作816向新姿态NP2(姿态y)投影结合2D图像(W13+W23),从而获得新2D图像(W13+W23)y。
在操作818处,方法800(图8)首先单独组合投影的两个组,以分别取得两个体积在新姿态下的2D图像,诸如图9中的G1和G2。这与在方法500中的操作512中进行的内容类似。可以存储组合后的投影G1和G2这两者,以供将来使用。方法800然后将G1和G2组合在一起,作为诸如图9所示的单个2D图像G。与方法500中的操作512类似,G1和G2的组合可以逐像素或逐元素地执行。在实施方式中,如果G1和G2未被采样到同一姿态网格,则可以使用以上讨论的插值或最近邻法将它们重新采样到同一姿态网格。
虽然不旨在限制,但本公开的一个或更多个实施方式提供了从先前生成的3D数据集生成2D图像的许多优点。本公开的实施方式在维持DRR质量的同时实现显著的时间减少。进一步地,所提供的主题提供了重新使用子体积的投影的高效且灵活的方式,其中,质量和速度可以借助分割和结合操作期间的子体积的厚度来控制。
前面已经概述了多个实施方式的特征。本领域普通技术人员将理解,本公开所包含的实施方式不限于上述的特定示例性实施方式。在这点上,虽然已经示出并描述了例示性实施方式,但在前面的公开中预期大范围的修改、变更以及替换。理解,可以在不偏离本公开的范围的情况下对前述内容进行这种变更。因此,适当的是所附权利要求被广泛且以与本公开一致的方式来解释。
Claims (19)
1.一种用于从先前生成的3D数据集生成2D投影的系统,该系统包括:
第一非暂时存储器;
一个或更多个第一硬件处理器,该一个或更多个第一硬件处理器联接到所述第一非暂时存储器,所述一个或更多个第一硬件处理器执行指令以执行第一操作,该第一操作包括:
接收对象的第一2D图像组,其中,所述第一2D图像组是从以第一姿态设置的所述对象的3D图像得到的;
通过结合所述第一2D图像组的多个2D图像生成一组结合2D图像,其中,所述多个2D图像对应于所述3D图像的相邻的子体积;
从所述第一姿态向与所述第一姿态不同的第二姿态投影所述一组结合2D图像,从而获得重新投影的2D图像;
组合所述重新投影的2D图像;
结合所述重新投影的2D图像中的多个图像,从而获得另一2D图像;以及
从所述第二姿态向与所述第二姿态不同的第三姿态投影所述另一2D图像。
2.根据权利要求1所述的系统,其中,所述第一操作还包括:
接收所述对象的多个2D图像组,其中,所述多个2D图像组是从以与所述第二姿态不同的相应多个姿态设置的所述对象的所述3D图像得到的;
从所述多个2D图像组选择一个2D图像组;以及
提供所述一个2D图像组,作为所述第一2D图像组,并且提供与所述一个2D图像组对应的姿态,作为所述第一姿态。
3.根据权利要求2所述的系统,其中,所述一个2D图像组被选择为使得在将所述3D图像的多个点从所述多个姿态中的各姿态向所述第二姿态投影时,与所述一个2D图像组对应的姿态产生最小的投影差。
4.根据权利要求2所述的系统,其中,所述一个2D图像组被选择为使得与所述一个2D图像组对应的姿态在所述多个姿态当中相对于所述第二姿态具有最小旋转差。
5.根据权利要求1所述的系统,其中,所述第一操作还包括:
将所述对象的所述3D图像分割成子体积组;并且
根据所述子体积组,对于一个或更多个姿态中的各姿态生成一个2D图像组来获得一个或更多个2D图像组,其中,所述一个或更多个2D图像组包括所述第一2D图像组,并且所述一个或更多个姿态包括所述第一姿态。
6.根据权利要求5所述的系统,其中,所述第一操作还包括:
将所述一个或更多个2D图像组存储在第二非暂时存储器中。
7.根据权利要求1所述的系统,在组合重新投影后的2D图像之前,所述第一操作还包括:
使重新投影后的2D图像中的至少一个变形。
8.根据权利要求1所述的系统,其中,所述第一操作还包括:
从所述第二姿态向第三姿态投影所述重新投影后的2D图像中的至少一个,其中,所述第三姿态与所述第二姿态不同。
9.根据权利要求1所述的系统,所述系统还包括:
第二非暂时存储器;
一个或更多个第二硬件处理器,该一个或更多个第二硬件处理器联接到所述第二非暂时存储器,所述一个或更多个第二硬件处理器执行指令以执行第二操作,该第二操作包括:
将所述对象的所述3D图像分割成子体积组;
根据所述子体积组,对于一个或更多个姿态中的各姿态生成一个2D图像组来获得一个或更多个2D图像组,其中,所述一个或更多个2D图像组包括所述第一2D图像组,并且所述一个或更多个姿态包括所述第一姿态;以及
将所述一个或更多个2D图像组存储在能够由所述一个或更多个第一硬件处理器访问的第三非暂时存储器中。
10.一种用于从先前生成的3D数据集生成2D投影的方法,该方法包括:
将对象的3D图像分割成子体积组;
在所述对象处于一个或更多个姿态中的各姿态的情况下,将所述子体积组投影到图像表面,从而生成一个或更多个2D图像组,各个所述2D图像组对应于所述一个或更多个姿态中的一个;
从所述一个或更多个2D图像组选择第一2D图像组,所述第一2D图像组对应于所述一个或更多个姿态中的第一姿态;
从所述第一姿态向第二姿态投影所述第一2D图像组,从而获得第二2D图像组;
将所述第二2D图像组的多个2D图像结合成结合2D图像,其中,所述多个2D图像对应于所述3D图像的相邻的子体积;以及
从所述第二姿态向第三姿态投影包括所述结合2D图像的所述第二2D图像组,其中,所述第三姿态与所述第二姿态不同。
11.根据权利要求10所述的方法,所述方法还包括:
组合所述第二2D图像组,从而获得处于所述第二姿态的所述对象的2D图像。
12.根据权利要求11所述的方法,在选择所述第一2D图像组之前,还包括以下步骤:将所述一个或更多个2D图像组存储在非暂时存储器中。
13.根据权利要求11所述的方法,在投影所述第一2D图像组之前,还包括:
使所述第一2D图像组的至少一个2D图像变形。
14.一种用于从先前生成的3D数据集生成2D投影的方法,该方法包括:
从对象的3D图像得到第一体积和第二体积,其中,所述第一体积和所述第二体积各自也是3D图像;
将所述第一体积分割成第一子体积;
将所述第二体积分割成第二子体积;
在所述对象处于第一组姿态中的各个姿态的情况下,将所述第一子体积投影到图像表面,从而生成一个或更多个第一2D图像组,其中,各个所述第一2D图像组对应于姿态的所述第一组姿态中的一个姿态;
在所述对象处于第二组姿态中的各个姿态的情况下,将所述第二子体积投影到所述图像表面,从而生成一个或更多个第二2D图像组,其中,各个所述第二2D图像组对应于姿态的所述第二组姿态中的一个姿态,其中,所述第一组姿态与所述第二组姿态不同;以及
将所述一个或更多个第一2D图像组以及所述一个或更多个第二2D图像组存储在非暂时存储器中。
15.根据权利要求14所述的方法,所述方法还包括:
从所述一个或更多个第一2D图像组选择第一个第一2D图像组,所述第一个第一2D图像组对应于姿态的所述第一组姿态中的第一姿态;
从所述第一姿态向第二姿态投影所述第一个第一2D图像组,从而获得第一个第二2D图像组;
从所述一个或更多个第二2D图像组选择第二个第一2D图像组,所述第二个第一2D图像组对应于姿态的所述第二组姿态中的第三姿态;
从所述第三姿态向所述第二姿态投影所述第二个第一2D图像组,从而获得第二个第二2D图像组;以及
组合所述第一个第二2D图像组和所述第二个第二2D图像组,从而获得处于所述第二姿态的所述对象的2D图像。
16.根据权利要求15所述的方法,其中,所述第一姿态与所述第三姿态不同。
17.根据权利要求15所述的方法,所述方法还包括:
在投影所述第一个第一2D图像组之前,将所述第一个第一2D图像组的多个第一2D图像结合成结合第一2D图像,其中,所述多个第一2D图像对应于相邻的第一子体积。
18.根据权利要求14所述的方法,其中,所述第一子体积的尺寸与所述第二子体积的另一尺寸不同。
19.根据权利要求16所述的方法,所述方法还包括:
从所述一个或更多个第一2D图像组中选择第一个第一2D图像组,所述第一个第一2D图像组对应于所述第一组姿态中的第一姿态;
将所述第一个第一2D图像组从所述第一姿态投影到第二姿态,从而获得第二个第一2D图像组;
从所述一个或更多个第二2D图像组中选择第一个第二2D图像组,所述第一个第二2D图像组对应于所述第二组姿态中的第三姿态;
将所述第一个第二2D图像组从所述第三姿态投影到不同于所述第二姿态的第四姿态,从而获得第二个第二2D图像组;以及
组合所述第二个第一2D图像组和所述第二个第二2D图像组,从而获得所述对象的另一2D图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/199,015 | 2016-06-30 | ||
US15/199,015 US10089756B2 (en) | 2016-06-30 | 2016-06-30 | Systems and methods for generating 2D projection from previously generated 3D dataset |
PCT/US2017/039704 WO2018005622A1 (en) | 2016-06-30 | 2017-06-28 | Systems and methods for generating 2d projection from previously generated 3d dataset |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109414234A CN109414234A (zh) | 2019-03-01 |
CN109414234B true CN109414234B (zh) | 2023-08-18 |
Family
ID=60787731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780041225.3A Active CN109414234B (zh) | 2016-06-30 | 2017-06-28 | 用于从先前生成的3d数据集生成2d投影的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10089756B2 (zh) |
CN (1) | CN109414234B (zh) |
WO (1) | WO2018005622A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11257241B2 (en) * | 2017-12-07 | 2022-02-22 | Radlink, Inc. | System and method for component positioning by registering a 3D patient model to an intra-operative image |
US10089756B2 (en) | 2016-06-30 | 2018-10-02 | Zhiping Mu | Systems and methods for generating 2D projection from previously generated 3D dataset |
CN110047008A (zh) * | 2018-12-18 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种基于区块链的理赔方法和装置 |
US11769238B2 (en) | 2020-05-18 | 2023-09-26 | Roadbotics, Inc. | Systems and methods for creating and/or analyzing three-dimensional models of infrastructure assets |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1871622A (zh) * | 2003-10-21 | 2006-11-29 | 日本电气株式会社 | 图像比较系统和图像比较方法 |
CN102147919A (zh) * | 2010-02-10 | 2011-08-10 | 昆明医学院第一附属医院 | 一种校正术前三维图像的术中配准方法和装置 |
WO2011098895A2 (en) * | 2010-02-12 | 2011-08-18 | Universitat Pompeu Fabra | Method for obtaining a three-dimensional reconstruction from one or more projective views and use thereof |
US8401276B1 (en) * | 2008-05-20 | 2013-03-19 | University Of Southern California | 3-D reconstruction and registration |
CN103582453A (zh) * | 2011-04-01 | 2014-02-12 | 皇家飞利浦有限公司 | X射线姿态恢复 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7570791B2 (en) * | 2003-04-25 | 2009-08-04 | Medtronic Navigation, Inc. | Method and apparatus for performing 2D to 3D registration |
US20080037843A1 (en) * | 2006-08-11 | 2008-02-14 | Accuray Incorporated | Image segmentation for DRR generation and image registration |
US7970214B2 (en) * | 2007-01-25 | 2011-06-28 | University Of Utah Research Foundation | Rotate and slant projector for fast fully-3D iterative tomographic reconstruction |
US9427201B2 (en) | 2007-06-30 | 2016-08-30 | Accuray Incorporated | Non-invasive method for using 2D angiographic images for radiosurgical target definition |
US8457373B2 (en) * | 2009-03-16 | 2013-06-04 | Siemens Aktiengesellschaft | System and method for robust 2D-3D image registration |
US7901095B2 (en) * | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
US8559596B2 (en) * | 2010-06-08 | 2013-10-15 | Accuray Incorporated | Target Tracking for image-guided radiation treatment |
CA2743937A1 (en) | 2010-06-22 | 2011-12-22 | Queen's University At Kingston | C-arm pose estimation using intensity-based registration of imaging modalities |
US8620050B2 (en) * | 2010-09-23 | 2013-12-31 | Siemens Aktiengesellschaft | System and method for 2-D/3-D registration between 3-D volume and 2-D angiography |
US11284846B2 (en) * | 2011-05-12 | 2022-03-29 | The John Hopkins University | Method for localization and identification of structures in projection images |
FR2983999B1 (fr) * | 2011-12-12 | 2014-07-11 | Univ Nancy I Henri Poincare | Procede de reconstruction d'un signal en imagerie medicale a partir de mesures experimentales perturbees, et dispositif d'imagerie medicale mettant en oeuvre ce procede |
US9165362B2 (en) | 2013-05-07 | 2015-10-20 | The Johns Hopkins University | 3D-2D image registration for medical imaging |
US9424470B1 (en) * | 2014-08-22 | 2016-08-23 | Google Inc. | Systems and methods for scale invariant 3D object detection leveraging processor architecture |
US10089756B2 (en) | 2016-06-30 | 2018-10-02 | Zhiping Mu | Systems and methods for generating 2D projection from previously generated 3D dataset |
-
2016
- 2016-06-30 US US15/199,015 patent/US10089756B2/en active Active
-
2017
- 2017-06-28 WO PCT/US2017/039704 patent/WO2018005622A1/en active Application Filing
- 2017-06-28 CN CN201780041225.3A patent/CN109414234B/zh active Active
-
2018
- 2018-09-06 US US16/122,935 patent/US10614598B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1871622A (zh) * | 2003-10-21 | 2006-11-29 | 日本电气株式会社 | 图像比较系统和图像比较方法 |
US8401276B1 (en) * | 2008-05-20 | 2013-03-19 | University Of Southern California | 3-D reconstruction and registration |
CN102147919A (zh) * | 2010-02-10 | 2011-08-10 | 昆明医学院第一附属医院 | 一种校正术前三维图像的术中配准方法和装置 |
WO2011098895A2 (en) * | 2010-02-12 | 2011-08-18 | Universitat Pompeu Fabra | Method for obtaining a three-dimensional reconstruction from one or more projective views and use thereof |
CN103582453A (zh) * | 2011-04-01 | 2014-02-12 | 皇家飞利浦有限公司 | X射线姿态恢复 |
Non-Patent Citations (1)
Title |
---|
A novel fast DRR generation method by reassembling previously generated projection blocks;Zhiping Mu;《2016 IEEE-EMBS International Conference on Biomedical and Health Informatics (BHI)》;20160421;272-275 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018005622A1 (en) | 2018-01-04 |
US20190005685A1 (en) | 2019-01-03 |
US10614598B2 (en) | 2020-04-07 |
CN109414234A (zh) | 2019-03-01 |
US10089756B2 (en) | 2018-10-02 |
US20180005411A1 (en) | 2018-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308008B2 (ja) | 磁気共鳴リニアック(mr-linac)を用いたリアルタイムの患者動きモニタリング | |
US11083913B2 (en) | Machine learning approach to real-time patient motion monitoring | |
US11602646B2 (en) | Automatic gating with an MR linac | |
US10614598B2 (en) | Systems and methods for generating 2D projection from previously generated 3D dataset | |
US10543381B2 (en) | System for monitoring the position of a patient receiving 4pi radiation therapy | |
US20220071708A1 (en) | Patient positioning using a skeleton model | |
US11458333B2 (en) | Surface-guided x-ray registration | |
US11669982B2 (en) | Soft tissue stereo-tracking | |
US10926106B2 (en) | Patient pre-positioning in frameless cranial radiosurgery using thermal imaging | |
EP3218057B1 (en) | Target region partitioning in radiation therapy for minimising irradiation of non-target tissue | |
US20210407092A1 (en) | Partitioning a medical image | |
EP3867871B1 (en) | System and method for automatic delineation of scanned images | |
WO2023110116A1 (en) | Ct-less free breathing image contour for planning radiation treatment | |
Douglass et al. | DeepWL: Robust EPID based Winston-Lutz Analysis using Deep Learning and Synthetic Image Generation | |
WO2024002476A1 (en) | Determining electrode orientation using optimized imaging parameters | |
Moore et al. | Multi-modal surface/outline projection and simulation of target/critical tissue movement | |
Brady | MIT progress in understanding images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |