CN103688293B - 用于执行渲染的方法和系统 - Google Patents
用于执行渲染的方法和系统 Download PDFInfo
- Publication number
- CN103688293B CN103688293B CN201280035695.6A CN201280035695A CN103688293B CN 103688293 B CN103688293 B CN 103688293B CN 201280035695 A CN201280035695 A CN 201280035695A CN 103688293 B CN103688293 B CN 103688293B
- Authority
- CN
- China
- Prior art keywords
- projection
- data
- model
- projection model
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 3
- 210000001072 colon Anatomy 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000000664 rectum Anatomy 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 238000002052 colonoscopy Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
Abstract
公开了一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的给定视点处执行渲染的方法和系统，该方法包括：提供投影模型，该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步地，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似；获得图像数据；根据投影模型的第一部分执行图像数据的至少一个部分的第一投影，以产生第一投影数据；根据投影模型的第二部分执行图像数据的另一个部分的第二投影，以产生第二投影数据；以及利用第一投影数据和第二投影数据来显示投影数据。
Description
相关申请的引用
本专利申请要求于2011年7月18日提交的题为“Method and system forperforming rendering”(用于执行渲染的方法和系统)的美国临时专利申请号61/509,092的优先权，将其说明书通过引用结合于此。
技术领域
本发明涉及用于产生增强的立体图像可视化的系统和方法，更具体地，涉及用于产生对象诸如中空器官(hollow organ)的立体图像的三维显示的系统和方法。
背景技术
虚拟内窥镜检查(virtual endoscopy)，也称为计算机层析(CT)内窥镜检查，是非侵入性诊断程序，允许在人体中检查解剖结构的内表面和外表面。近来，这种过程已经在结直肠癌的筛查过程中被用来研究中空器官，诸如结肠，如美国专利6,694,163和美国专利5,891,030所建议的。这种过程被称为虚拟结肠镜检查或CT结肠镜检查。
最初，CT结肠镜检查通过创建表现结肠内部的3D视图的虚拟环境来模拟光学结肠镜检查，如美国专利5,782,762中所详细描述的，涉及3D环境的透视渲染(perspectiverendering)。然而，其也模仿非常限制的光学结肠镜检查，即看不到位于光学射线所到达范围之外的区域，诸如吸器折皱(haustral fold)后面或者位于深折皱之间的区域。
因此，出现的新技术用于增加通过虚拟摄像机观测到的结肠粘膜的量，其中包括(1)详述于美国专利5,891,030[‘030]中的平结肠技术，(2)详述于美国专利6,947,039(在下文中为‘039)中的立方体视图，如图1a所示，(3)详述于美国7,609,910(在下文中为‘910)中的全景投影，如图1b和1c所示，(4)详述于美国专利申请2011/0116692(在下文中为‘692)中的展开结肠投影，和最近的(5)详述于美国专利申请2010/0142788(在下文中为‘788)中的限制结肠内截面失真的对象特殊直径的圆柱形投影技术。
详述于‘030，‘692和‘788中的技术具有一个共同的局限性，即与人对从透视3D投影到2D投影的对象的感知相关的范例变化。这些技术引入了形状的可视失真，这需要观察者重新学习如何解释该信息，并最终可能不利地影响结肠粘膜评估。另外，‘692和‘788旨在减少这些假象，但是需要对结肠有限截面的评估。这导致两个局限性：增加了检查时间，并且与在传统的透视投影中的较长的暴露相反，降低了视觉暴露于损伤。
此外，详述于‘039中的技术具有一个固有缺陷，即，是前和后投影的恒定曝光，类似于在驾驶时总是观看后视镜。另外，因为仅立体视图涉及到表示一个完整的360环境，一些对象可以是部分存在于不同立体视图的多个边缘。这两个缺点是该技术的明显缺陷，导致不太有效的临床读取范例。
‘910中详述了‘039的演进，以克服边缘对象的分裂视图以及信息溢出。该技术涉及一些立体视图的失真，并围绕正视图组装它们，同时除去后视图。本质上，尽管‘039提出了两种不同的布局，但失真在图像中沿着从前视图的中央处开始的径向图像线是非均匀的；失真意味着相同的对象将看起来不同，取决于其在“失真的组装图”中的位置，对于观察者产生附加假象。此外，在结肠褶皱在特定区域中实际上很紧凑的情况下，立体视图失真没有提供实际可替换的解决方案，因为有限的非线性失真视场对大部分信息而言将保持未察觉。最后，‘039要求映射处理，其或者删除、添加，或者以某种方式改变原有的信息，以便使其装配到最终装配空间，增加处理时间且在本质上改变临床信息。
需要一种将克服上述缺点中的至少一个的方法和设备。
从下面对本发明的公开内容的综述、附图和描述中，本发明的特征将显而易见。
发明内容
根据本发明的一个方面，提供了一种用于在给定视点处察觉不到(看不到，blind)透视渲染的视觉区域的至少一个部分的给定视点处执行渲染(rendering)的方法，该方法包括：提供投影模型，该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量(projectionvector)基本上类似；获得图像数据；根据投影模型的第一部分执行图像数据的至少一个部分的第一投影，以产生第一投影数据；根据投影模型的第二部分执行图像数据的另一个部分的第二投影，以产生第二投影数据，并利用第一投影数据和第二投影数据来显示投影数据。
根据本发明的另一个方面，提供了一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的给定视点处执行渲染的方法，该方法包括：提供图像数据；根据投影模型的第一部分执行图像数据的至少一个部分的第一投影，该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分进行渲染，并且进一步，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似；根据投影模型的第二部分执行图像数据的另一个部分的第二投影，以产生第二投影数据；提供包括第一投影数据和第二投影数据的投影数据。
根据一个实施方式，提供图像数据包括从选自由磁共振成像(MRI)装置、正电子发射层析(正电子成像，positron emission tomography)(PET)装置、X-射线装置、超声波装置和它们的任意组合组成的组中的装置接收图像数据。
根据另一个实施方式，提供投影数据包括在屏幕上显示投影数据。
根据另一个实施方式，提供投影数据包括执行存储投影数据和向远程位置传输投影数据中的至少一个。
根据一个实施方式，提供图像数据包括从DICOM服务器接收图像数据。
根据一个实施方式，投影模型的第一部分包括半球形投影模型的半球部分，并且投影模型的第二部分包括圆柱形投影模型。
根据另一个实施方式，半球形投影模型的特征在于：
根据一个实施方式，圆柱形投影模型的特征在于：
根据一个实施方式，投影模型的第一部分包括椭球形投影模型的一部分，并且投影模型的第二部分包括弯曲的(curved)圆柱形投影模型。
根据一个实施方式，投影模型的第一部分和投影模型的第二部分中的每一个均围绕从给定视点到投影视点延伸的轴对称。
根据本发明的一个方面，提供了一种存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在执行时使处理装置执行以上公开的方法。
根据一个实施方式，以上公开的方法用于执行飞过(飞越，fly-through)。
根据本发明的一个方面，公开了一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的给定视点处执行渲染的系统，该系统包括：图像数据提供单元，用于接收和提供图像数据；第一投影执行单元，用于根据投影模型的第一部分执行所提供的图像数据的至少一个部分的投影，所述投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分进行渲染，并且进一步，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似，第一投影执行单元进一步提供第一投影数据；第二投影执行单元，用于根据投影模型的第二部分执行所提供的图像数据的另一个部分的投影且用于提供第二投影数据；投影数据提供单元，用于接收第一投影数据和第二投影数据，用于利用第一投影数据和第二投影数据产生投影数据，并且用于提供所述投影数据，由此渲染在给定视点处察觉不到透视渲染的视觉区域的至少一个部分。
根据本发明的一个方面，公开了一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的给定视点执行渲染的系统，该系统包括：显示装置；图像数据提供单元；中央处理单元；包括程序的存储器，其中，程序被存储在存储器中并被配置成由中央处理单元执行，所述程序包括：用于从图像数据提供单元获得图像数据的指令；用于根据投影模型的第一部分执行图像数据的至少一个部分的第一投影的指令，所述投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似；用于根据投影模型的第二部分执行图像数据的另一个部分的第二投影以产生第二投影数据的指令；以及用于利用第一投影数据和第二投影数据产生投影数据的指令；用于将所产生的投影数据提供给显示装置的指令。
根据一个实施方式，该系统还包括输出装置，进一步地，其中，所述程序包括用于将所产生的投影数据传输到所述输出装置的指令。
在此所公开的方法的优点是，能够产生模仿传统内窥镜的透视投影，其有效地渲染内窥镜察觉不到的区域，在形状上或观察者的感觉上具有最小失真。
当用在CT结肠图像中时在此所公开的方法的优点是，与现有技术相比，增大了单次通过期间所检查的结肠粘膜的量，同时防止了由于现有技术中的典型的或平坦的、未折皱或立体投影的渲染所产生的主要失真和非线性。
在此公开的方法的另一个优点是，其可以使得线性径向失真能够匹配人类感觉。
附图说明
为了使本发明更易于理解，通过附图中的实例示出了本发明的实施方式。
图1a、1b和1c是源自现有技术参考文献的图。
图2a是示出了用于在给定视点处执行渲染的方法的第一实施方式的流程图。
图2b是示出了用于在给定视点处执行渲染的方法的第二实施方式的流程图。
图3是示出了半球形投影模型的透视图的示意图。
图4是示出了圆柱形投影模型的透视图的示意图。
图5是示出了包括第一部分和第二部分的投影模型的透视图的示意图，其中，第一部分包括半球形投影模型，并且进一步，其中第二部分包括圆柱形投影模型。
图6a是示出了椭圆形投影模型和半球形投影模型的侧视图的示意图，而图6b示出了叠加在椭圆形投影模型上的半球形投影模型的侧视图。
图7是示出了包括第一部分和第二部分的投影模型的第一实施方式的侧视图的示意图，其中第一部分包括半球形投影模型，而第二部分包括圆柱投影模型，还示出了投影模型的第二实施方式，如点画线所示，并且包括第一部分和第二部分，其中第一部分包括椭圆形投影模型，而第二部分包括弯曲的圆柱形投影模型。
图8a是示出了包括第一部分和第二部分的投影模型的一个实施方式的侧视图的示意图，其中，第一部分包括半球形投影模型，而第二部分包括圆柱投影模型，还示出了利用投影模型在图像平面中所产生的相应的投影图像。
图8b是一个屏幕截图，示出了球形投影与圆柱形投影的组合在图像平面中的实例，以及从所述球形投影所得结果的放大图。
图8b是一个屏幕截图，示出了利用现有技术投影模型产生的投影图像的实例。
图8c是一个屏幕截图，示出了利用图8a中公开的投影模型产生的投影图像的实例。
图9a是根据此处公开的方法的实施方式所产生的且在直肠-盲肠飞过期间所产生的图像的屏幕截图。
图9b是根据现有技术透视渲染所产生的且在直肠-盲肠飞过期间所产生的图像的屏幕截图。
图9c是根据此处公开的方法的实施方式所产生的且在直肠-盲肠飞过期间所产生的图像的屏幕截图。
图9d是根据现有技术透视渲染所产生的且在直肠-盲肠飞过期间所产生的图像的屏幕截图。
图9e是一屏幕截图，示出了观察者点击所设定的病变的局部嵌入式透视渲染以进行进一步检查。
图9f是一屏幕截图，示出了通过手动旋转3D摄像机至不同于其正常飞过轨迹的位置在传统透视渲染上的病变。
图10a是示出了用于在给定视点处执行渲染的系统的第一实施方式的方框图。
图10b是示出了用于在给定视点处执行渲染的系统的第二实施方式的方框图。
图11是示出了涉及半球形投影模型和圆柱形投影模型的投影模型的特定情形的投影向量的图。它示出了位于投影模型的过渡区的两个基本相似的向量。
图12是示出了本发明的一个实施方式的图，其中投影的一个部分是用于远视图(远视)的半球形投影模型，其特征是45度的视场(FOV)，和用于近视图(近视)的圆柱形投影模型，其特征是90度的FOV。
具体实施方式
在以下对实施方式的描述中，对附图的参考是为了说明可以实施本发明的实例。可以理解，在不脱离所公开的本发明范围的情况下，其它实施方式也是可行的。
现在参照图2a，示出了用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的给定视点处执行渲染的方法的第一实施方式。
当在CT结肠图像的情况下使用时，将理解，与现有技术相比，本文公开的方法特别可用于单次通过期间增加所检查的结肠粘膜的量，同时防止由于现有技术的典型的或平坦的、未折叠或立体投影造成的主要失真和非线性，这是非常有利的。
更确切地说，并且根据处理步骤202，提供包括用于渲染远视图的第一部分和用于渲染近视图的第二部分的投影模型。应当理解，在一个实施方式中，远视图将被理解为利用现有技术的透视投影所覆盖的区域。
可以理解，视觉区域的至少一个部分利用投影模型的第二部分被渲染。将进一步理解，投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似。本领域技术人员将会意识到这是非常有利的，将在下面进一步解释。
投影向量的特征在于所述两个要素(元件，element)、投影射线(投影线，projection ray)的原点、至待渲染的对象的射线轨迹的组合，如图11的例子所示。仍然参照图11，将会理解，该图示出了涉及半球形投影和圆柱形投影模型的投影模型的特定情形的投影向量。它示出了在过渡区的两个实质上类似的向量。本领域技术人员将会意识到，在一些实施方式中，射线轨迹可能并未与投影模型上的原点的投影对齐。此外，本领域技术人员将会意识到，可以将原点与现有技术3D渲染技术例如射线投影中使用的近平面要素相关联。
虽然下文中将公开各种实施方式，但应该理解的是，在一个优选实施方式中，投影模型的第一部分通过下式表征：
....半球形投影模型
仍然在一个优选的实施方式中，投影模型的第二部分通过下式表征：
....圆柱形投影模型
图12示出了用于上述实施方式的半球形和圆柱形投影模型。
仍然参照图2a，并且根据处理步骤204，获得图像数据。应该理解，图像数据可以从各种来源获得。在一个优选的实施方式中，从选自由X-射线装置、磁共振成像(MRI)装置、超声波装置、正电子发射层析(PET)装置以及它们的任意组合组成的组中的装置接收所述图像数据。可替换地，图像数据可由DICOM存储服务器提供。
根据处理步骤206，根据投影模型的第一部分执行图像数据的至少一个部分的第一投影。从第一投影产生相应的第一投影数据。
仍然参照图2a，并且根据处理步骤208，根据投影模型的第二部分执行图像数据的另一个部分的第二投影。从第二投影产生相应的第二投影数据。
根据处理步骤210，利用第一投影数据和第二投影数据显示投影数据。
可以理解，所述投影数据包括第一投影数据和第二投影数据。本领域技术人员可以理解，利用第一投影数据和第二投影数据产生投影数据不需要修改第一投影数据和第二投影数据中的至少一个。这对于现有技术是很大的优点，因为降低了修改数据时丢失信息的风险，而且还由于产生投影数据所需的处理资源的量是有限的，即不需要额外量的处理资源来修改第一投影数据和第二投影数据中的至少一个。
现在参照图2b，示出了用于在给定视点处执行渲染的方法的第二实施方式。
根据处理步骤212，提供图像数据。在一个实施方式中，提供图像数据包括从医学数字成像和通信(Digital Imaging and Communications in Medicine)(DICOM)服务器接收图像数据。
根据处理步骤214，根据投影模型的第一部分执行图像数据的至少一个部分的第一投影。该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步地，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似。
本领域技术人员可以理解，在图2b所示的实施方式中所提到的投影模型与图2a中公开的投影模型相同。
根据处理步骤216，根据投影模型的第二部分执行图像数据的另一个部分的第二投影。相应地产生第二投影数据。
根据处理步骤218，提供包括第一投影数据和第二投影数据的投影数据。
在一个实施方式中，提供投影数据包括在屏幕上显示投影数据。
在另一个实施方式中，提供投影数据包括执行存储投影数据和向远程位置传输投影数据中的至少一个。应该理解的是，在一个实施方式中，投影模型的第一部分和投影模型的第二部分中的每一个均围绕从给定视点延伸至投影视点的轴对称。现在参照图3，示出了半球形投影模型的实施方式。应该理解的是，在一个实施方式中，半球形投影模型可以用作投影模型的第一部分，并且更精确地说可以用于渲染远视图。
参照图4，显示了圆柱形投影模型的实施方式。应该理解的是，在一个实施方式中，圆柱形投影模型可以用作投影模型的第二部分，并且更精确地说可以用于渲染近视图。
现在参照图5，示出了包括第一部分和第二部分的投影模型的另一个实施方式的透视图，其中，半球形投影模型是投影模型的第一部分，并且进一步地，其中圆柱形投影模型是投影模型的第二部分。
现在参照图6a，示出了位于椭圆形投影模型的椭圆上的每个点如何将自身投影在相应的图像平面上。还示出了位于半球形投影模型的半球形上的每个点如何将自身投影在图像平面上。
本领域技术人员可以理解，在椭圆形投影模型的实施方式中，沿着图像平面中的投影图像实现了更高的精确度和均匀性，特别是靠近所投影的视点。本领域技术人员将会意识到，该实施方式与医疗应用特别相关，因为临床上讲从远处只能看到大病变，而较小的病变更难区别。
图6b示出了在表示半球形投影模型的半球形的各个表面点处和表示椭圆形投影模型的椭圆的各个点处的投影向量。
现在参照图7，示出了投影模型的第一实施方式和投影模型的第二实施方式。
投影模型的第一实施方式包括第一部分和第二部分。投影模型的第一部分包括半球形投影模型的半球部分，而投影模型的第二部分包括圆柱形投影模型。
以点画线所示的投影模型的第二实施方式，包括第一部分和第二部分。投影模型的第一部分包括椭圆形投影模型的一部分，而投影模型的第二部分包括弯曲的圆柱形投影模型的一部分。可以理解的是，图7进一步示出了在投影模型的第一部分和投影模型的第二部分之间的边界处的投影向量。可以理解，对于投影模型的第一实施方式和投影模型的第二实施方式中的每一个，在该边界处的投影向量基本上类似。具体地，尽管两条射线的原点不同但接近，射线轨迹基本上类似。
参照图8a，示出了包括第一部分和第二部分的投影模型的实施方式。第一部分包括半球形投影模型，而投影模型的第二部分包括圆柱形投影模型。还示出了从投影模型的投影获得的在图像平面中的结果。
如上所述，投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似。这将使与根据投影模型的第一部分的投影对应的图像的一部分和与投影模型的第二部分对应的图像的一部分之间的过渡能够平滑和不失真，这在执行飞过时具有很大的优点。
现在参照图8c，示出了一个屏幕截图，示出了利用图8a中公开的投影模型产生的投影图像的实例。应该理解，投影图像所覆盖的区域远大于根据图8b所示的现有技术产生的投影图像所覆盖的区域。本领域技术人员还将理解，与根据投影模型的第一部分的投影对应的屏幕截图的一部分和与投影模型的第二部分对应的屏幕截图的一部分之间的过渡光滑且不失真。
此外，在投影模型的第一部分和投影模型的第二部分中的每一个均围绕从视点延伸至投影视点的轴对称的实施方式中，应该理解，投影图像没有径向失真，这是很大的优点。本领域技术人员将会意识到，这是很大的优点，因为径向失真可能过于强调或未强调病变的大小，取决于其径向位置，可以使临床医生的任务复杂化，如’039中所描述的。具体地，可以看出，312和412中呈现的’039的实施方式渲染相同的视点，但根据映射处理，相同的吸器褶皱分别示出不同的形状，312中为方形和412中为圆形。此外，越靠近例如308/306的过渡，观察者将看到越失真。
现在参照图9b、9d，示出了源自直肠-盲肠飞过或盲肠-直肠飞过且根据现有技术透视渲染产生的图像。这些图像无法显示出6mm之间的折皱病变。更精确地，图9b示出了直肠-盲肠飞过期间产生的图像，而图9d示出了盲肠-直肠飞过期间产生的图像。
图9a、9c和9e示出了源自直肠-盲肠飞过或盲肠-直肠飞过且根据本文公开的方法产生的图像，其示出了6mm病变在所有情况下都未被覆盖。更精确地，图9a示出了直肠-盲肠飞过期间产生的图像，而图9c示出了盲肠-直肠飞过期间产生的图像。
图9e示出了观察者点击所设定的病变的局部嵌入式透视渲染以进行进一步检查。可以理解的是，两个透视渲染是相似的。
现在参照图10a，示出了用于在给定视点处执行渲染的系统1000的实施方式。
系统1000包括中央处理单元(CPU)1002、显示装置1004、输入装置1006、图像数据提供单元1008、数据总线1010、存储器1012。
中央处理单元(CPU)1002、显示装置1004、输入装置1006、图像数据提供单元1008和存储器1012都经由数据总线1010可操作地连接。
中央处理单元(CPU)1002用于执行计算机可读指令。本领域技术人员将会意识到，可以提供中央处理单元(CPU)1002的各种实施方式。在一个优选的实施方式中，中央处理单元(CPU)1002是工作站和膝上型计算机之一。
显示装置1004用于显示图像。本领域技术人员将会意识到，可以提供显示装置1004的各种实施方式。在一个优选的实施方式中，显示装置1004是计算机屏幕或处理装置。
输入装置1006用于使操作者能够与系统1000相互作用。本领域技术人员将会意识到，可以提供输入装置1006的各种实施方式。在一个优选的实施方式中，输入装置1006包括鼠标和键盘。
图像数据提供单元1008用于为系统1000提供图像数据。本领域技术人员将会意识到，可以提供图像数据提供单元1008的各种实施方式。在一个优选的实施方式中，图像数据提供单元1008选自由硬盘驱动器、存储器、至成像系统的通讯接口、PACS系统和CT扫描器组成的组。可以理解，图像数据提供单元1008还可以被称为输入装置。
存储单元1012用于存储数据。本领域技术人员将理解，可以提供存储单元1012的各种实施方式。在一个优选的实施方式中，存储单元1012包括操作系统模块1014和用于执行渲染的应用程序(application)1016。仍然在一个优选的实施方式中，操作系统模块1014是由微软公司制造的Windows 7(TM)。用于执行渲染的应用程序1016包括用于从图像数据提供单元1008获得图像数据的指令。用于执行渲染的应用程序1016还包括用于根据投影模型的第一部分执行图像数据的至少一个部分的第一投影的指令，该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步地，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似。用于执行渲染的应用程序1016还包括用于根据投影模型的第二部分执行图像数据的另一个部分的第二投影以产生第二投影数据的指令。用于执行渲染的应用程序1016还包括用于利用第一投影数据和第二投影数据产生投影数据的指令。用于执行渲染的应用程序1016还包括用于将所产生的投影数据提供给显示装置的指令。可以理解，用于执行渲染的应用程序1016可进一步包括用于将所产生的投影数据传输到输出装置的指令，在图10a中未示出，其可以用于执行存储所产生的投影数据和将所产生的投影数据传输到远程处理单元中的至少一个。
现在参照图10b，示出了用于在给定视点处执行渲染的系统1019的第二实施方式。
用于在给定视点处执行渲染的系统1019包括图像数据提供单元1020。图像数据提供单元1020用于接收和提供图像数据。
用于在给定视点处执行渲染的系统1019还包括第一投影执行单元1022。第一投影执行单元1019用于根据投影模型的第一部分执行所提供的图像数据的至少一个部分的投影。该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步地，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似。第一投影执行单元1019还用于提供第一投影数据。
用于在给定视点处执行渲染的系统1019还包括第二投影执行单元1024。第二投影执行单元1024用于根据投影模型的第二部分执行所提供的图像数据的另一个部分的投影和用于提供第二投影数据。
用于在给定视点处执行渲染的系统1019还包括投影数据提供单元1026。投影数据提供单元1026用于接收第一投影数据和第二投影数据，用于利用第一投影数据和第二投影数据产生投影数据，以及用于提供投影数据。
同样，可以理解，可以提供一种计算机可读存储介质，用于存储计算机可执行指令。这样的计算机可执行指令在执行时将使计算装置执行一种方法，该方法用于在视觉区域的至少一个部分的给定视点处执行渲染，在给定视点处察觉不到透视渲染，该方法包括：提供投影模型，该投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得视觉区域的至少一个部分利用投影模型的第二部分被渲染，并且进一步地，其中投影模型的第一部分和投影模型的第二部分之间的过渡的特征在于投影向量基本上类似；获得图像数据；根据投影模型的第一部分执行图像数据的至少一个部分的第一投影，以产生第一投影数据；根据投影模型的第二部分执行图像数据的另一个部分的第二投影，以产生第二投影数据，并利用第一投影数据和第二投影数据显示投影数据。
虽然在附图中未示出，但应当理解，在可替换的实施方式中，视点可以不与摄像机位置重合，或者摄像机位置可以根据对象形状而变化，或者可替换地，针对给定摄像机位置，视点可以根据对象形状而改变。
虽然已经描述了本发明可用在CT结肠图像的情况中。本领域技术人员将会意识到，本发明可与任何类型的二维或三维成像系统一起使用，用于观察对象的内部结构的目的。更具体地，它非常适用于通过虚拟内窥镜检查中空器官。在可替换的实施方式中，在此公开的方法可以用于包括二维或三维成像的非医疗应用。一个这样的应用便是用于管道的评估和裂纹的识别。
Claims (14)
1.一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的所述给定视点处执行渲染的方法，所述方法包括：
提供投影模型，所述投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得所述视觉区域的至少一个部分利用所述投影模型的所述第二部分被渲染，并且进一步地，其中所述投影模型的所述第一部分和所述投影模型的所述第二部分之间的过渡的特征在于投影向量类似；
获得图像数据；
根据所述投影模型的所述第一部分执行所述图像数据的至少一个部分的第一投影以产生第一投影数据；
根据所述投影模型的所述第二部分执行所述图像数据的另一个部分的第二投影以产生第二投影数据；
利用所述第一投影数据和所述第二投影数据显示投影数据。
2.一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的所述给定视点处执行渲染的方法，所述方法包括：
提供图像数据；
根据投影模型的第一部分执行所述图像数据的至少一个部分的第一投影以产生第一投影数据，所述投影模型包括用于渲染远视图的第一部分和用于渲染近视图的第二部分，使得所述视觉区域的至少一个部分利用所述投影模型的所述第二部分被渲染，并且进一步地，其中所述投影模型的所述第一部分和所述投影模型的所述第二部分之间的过渡的特征在于投影向量类似；
根据所述投影模型的所述第二部分执行所述图像数据的另一个部分的第二投影，以产生第二投影数据；
提供包括所述第一投影数据和所述第二投影数据的投影数据。
3.根据权利要求2所述的方法，其中，提供所述图像数据包括从选自由磁共振成像(MRI)装置、正电子发射层析(PET)装置、X-射线装置、超声波装置以及它们的任意组合组成的组中的装置接收所述图像数据。
4.根据权利要求3所述的方法，其中，提供所述投影数据包括在屏幕上显示所述投影数据。
5.根据权利要求2至3中任一项所述的方法，其中，提供所述投影数据包括执行存储所述投影数据和向远程位置传输所述投影数据中的至少一个。
6.根据权利要求2所述的方法，其中，提供所述图像数据包括从DICOM服务器接收所述图像数据。
7.根据权利要求1至4中任一项所述的方法，其中，所述投影模型的所述第一部分包括半球形投影模型的半球部分，进一步地，其中，所述投影模型的所述第二部分包括圆柱形投影模型。
8.根据权利要求1至4中任一项所述的方法，其中，所述投影模型的所述第一部分包括椭圆形投影模型的一部分，进一步地，其中，所述投影模型的所述第二部分包括弯曲的圆柱形投影模型。
9.根据权利要求1至4中任一项所述的方法，其中，所述投影模型的所述第一部分和所述投影模型的所述第二部分中的每一个均围绕从所述给定视点延伸至投影视点的轴对称。
10.根据权利要求1至4中任一项所述的方法用于执行飞过的用途。
11.一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的所述给定视点处执行渲染的系统，所述系统包括：
图像数据提供单元，用于接收和提供图像数据；
第一投影执行单元，用于根据投影模型的第一部分执行所提供的图像数据的至少一个部分的投影，所述投影模型包括用于渲染远视图的所述第一部分和用于渲染近视图的第二部分，使得所述视觉区域的至少一个部分利用所述投影模型的所述第二部分被渲染，并且进一步地，其中所述投影模型的所述第一部分和所述投影模型的所述第二部分之间的过渡的特征在于投影向量类似，所述第一投影执行单元还提供第一投影数据；
第二投影执行单元，用于根据所述投影模型的所述第二部分执行所提供的图像数据的另一个部分的投影，并且用于提供第二投影数据；
投影数据提供单元，用于接收所述第一投影数据和所述第二投影数据，用于利用所述第一投影数据和所述第二投影数据产生投影数据，以及用于提供所述投影数据，从而在所述给定视点处察觉不到透视渲染的视觉区域的至少一个部分进行渲染。
12.一种用于在给定视点处察觉不到透视渲染的视觉区域的至少一个部分的所述给定视点处执行渲染的系统，所述系统包括：
显示装置；
图像数据提供单元；
中央处理单元；
所述中央处理单元用于执行以下操作：
从所述图像数据提供单元获得图像数据；
根据投影模型的第一部分执行所述图像数据的至少一个部分的第一投影以产生第一投影数据，所述投影模型包括用于渲染远视图的所述第一部分和用于渲染近视图的第二部分，使得所述视觉区域的至少一个部分利用所述投影模型的所述第二部分被渲染，并且进一步地，其中所述投影模型的所述第一部分和所述投影模型的所述第二部分之间的过渡的特征在于投影向量类似；
根据所述投影模型的所述第二部分执行所述图像数据的另一个部分的第二投影以产生第二投影数据；
利用所述第一投影数据和所述第二投影数据产生投影数据；
将所产生的投影数据提供给所述显示装置。
13.根据权利要求12所述的系统，还包括输出装置，所述中央处理单元还用于执行以下操作：将所产生的投影数据传输到所述输出装置。
14.一种计算机可读存储介质，存储计算机可执行指令，所述计算机可执行指令在执行时将使处理装置执行根据权利要求1至9中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161509092P | 2011-07-18 | 2011-07-18 | |
| US61/509,092 | 2011-07-18 | ||
| PCT/CA2012/000684 WO2013010261A2 (en) | 2011-07-18 | 2012-07-18 | Method and system for performing rendering |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103688293A CN103688293A (zh) | 2014-03-26 |
| CN103688293B true CN103688293B (zh) | 2017-10-31 |
Family
ID=47558533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280035695.6A Expired - Fee Related CN103688293B (zh) | 2011-07-18 | 2012-07-18 | 用于执行渲染的方法和系统 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US9996968B2 (zh) |
| EP (1) | EP2734982B1 (zh) |
| JP (1) | JP6739897B2 (zh) |
| KR (1) | KR102111707B1 (zh) |
| CN (1) | CN103688293B (zh) |
| AU (1) | AU2012286480A1 (zh) |
| BR (1) | BR112014001143B1 (zh) |
| CA (1) | CA2842119C (zh) |
| CL (1) | CL2014000123A1 (zh) |
| IL (1) | IL230443A (zh) |
| MX (1) | MX338918B (zh) |
| WO (1) | WO2013010261A2 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6396310B2 (ja) * | 2012-11-23 | 2018-09-26 | キャデンス メディカル イメージング インコーポレイテッドＣａｄｅｎｓ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｉｎｃ． | 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 |
| TWI681691B (zh) | 2014-04-30 | 2020-01-01 | 瑞士商菲利浦莫里斯製品股份有限公司 | 電熱式氣溶膠產生系統、裝置及其控制方法 |
| WO2016026756A1 (en) | 2014-08-21 | 2016-02-25 | Philip Morris Products S.A. | Aerosol-generating device and system |
| CN105261052B (zh) | 2015-11-03 | 2018-09-18 | 沈阳东软医疗系统有限公司 | 管腔图像展开绘制方法及装置 |
| GB2587010B (en) * | 2019-09-12 | 2023-10-18 | Fovo Tech Limited | A method for generating and modifying non-linear perspective images of a 3D scene |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5782762A (en) | 1994-10-27 | 1998-07-21 | Wake Forest University | Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen |
| US6694163B1 (en) | 1994-10-27 | 2004-02-17 | Wake Forest University Health Sciences | Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen |
| US5891030A (en) | 1997-01-24 | 1999-04-06 | Mayo Foundation For Medical Education And Research | System for two dimensional and three dimensional imaging of tubular structures in the human body |
| US6611282B1 (en) | 1999-01-04 | 2003-08-26 | Remote Reality | Super wide-angle panoramic imaging apparatus |
| EP1393259B1 (en) | 2001-05-11 | 2018-06-13 | Koninklijke Philips N.V. | Method, system and computer program for producing a medical report |
| JP3871614B2 (ja) | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
| US7609910B2 (en) * | 2004-04-09 | 2009-10-27 | Siemens Medical Solutions Usa, Inc. | System and method for creating a panoramic view of a volumetric image |
| CN101006469A (zh) | 2004-04-09 | 2007-07-25 | 美国西门子医疗解决公司 | 用于产生体积图像的全景视图的系统和方法 |
| DE602005024159D1 (de) * | 2004-06-23 | 2010-11-25 | Koninkl Philips Electronics Nv | Virtuelle endoskopie |
| JP2009543670A (ja) * | 2006-07-17 | 2009-12-10 | メドラッド インコーポレーテッド | 一体型医療用画像化システム |
| JP2010131257A (ja) * | 2008-12-05 | 2010-06-17 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| JP5631584B2 (ja) | 2009-12-25 | 2014-11-26 | 株式会社東芝 | 医用画像処理装置、医用画像処理プログラム及び医用画像診断装置 |
-
2012
- 2012-07-18 WO PCT/CA2012/000684 patent/WO2013010261A2/en active Application Filing
- 2012-07-18 CA CA2842119A patent/CA2842119C/en active Active
- 2012-07-18 KR KR1020147004188A patent/KR102111707B1/ko active IP Right Grant
- 2012-07-18 EP EP12814123.1A patent/EP2734982B1/en active Active
- 2012-07-18 BR BR112014001143-5A patent/BR112014001143B1/pt not_active IP Right Cessation
- 2012-07-18 CN CN201280035695.6A patent/CN103688293B/zh not_active Expired - Fee Related
- 2012-07-18 US US14/233,218 patent/US9996968B2/en active Active
- 2012-07-18 JP JP2014520472A patent/JP6739897B2/ja active Active
- 2012-07-18 AU AU2012286480A patent/AU2012286480A1/en not_active Abandoned
- 2012-07-18 MX MX2014000639A patent/MX338918B/es active IP Right Grant
-
2014
- 2014-01-13 IL IL230443A patent/IL230443A/en active IP Right Grant
- 2014-01-16 CL CL2014000123A patent/CL2014000123A1/es unknown
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140054087A (ko) | 2014-05-08 |
| BR112014001143B1 (pt) | 2022-05-24 |
| JP6739897B2 (ja) | 2020-08-12 |
| CN103688293A (zh) | 2014-03-26 |
| CA2842119C (en) | 2015-07-07 |
| KR102111707B1 (ko) | 2020-05-15 |
| US20150161817A1 (en) | 2015-06-11 |
| BR112014001143A2 (pt) | 2017-02-21 |
| CL2014000123A1 (es) | 2014-09-26 |
| WO2013010261A3 (en) | 2013-04-11 |
| MX2014000639A (es) | 2015-05-15 |
| IL230443A0 (en) | 2014-03-31 |
| CA2842119A1 (en) | 2013-01-24 |
| WO2013010261A2 (en) | 2013-01-24 |
| IL230443A (en) | 2017-10-31 |
| EP2734982A2 (en) | 2014-05-28 |
| US9996968B2 (en) | 2018-06-12 |
| EP2734982A4 (en) | 2015-03-04 |
| EP2734982B1 (en) | 2020-08-26 |
| AU2012286480A1 (en) | 2014-01-30 |
| JP2014524810A (ja) | 2014-09-25 |
| MX338918B (es) | 2016-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1312639C (zh) | 虚拟内窥镜检查的自动导航的方法和系统 | |
| EP1393259B1 (en) | Method, system and computer program for producing a medical report | |
| Bartz | Virtual endoscopy in research and clinical practice | |
| CN103688293B (zh) | 用于执行渲染的方法和系统 | |
| JP6396310B2 (ja) | 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 | |
| RU2711140C2 (ru) | Редактирование медицинских изображений | |
| CA2562348A1 (en) | System and method for creating a panoramic view of a volumetric image | |
| RU2419882C2 (ru) | Способ визуализации секущих плоскостей для изогнутых продолговатых структур | |
| JP5815513B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4257218B2 (ja) | 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム | |
| CN106485691A (zh) | 信息处理装置、信息处理系统和信息处理方法 | |
| CN113906479A (zh) | 从局部深度图生成合成三维成像 | |
| Bornik et al. | Computer-aided liver surgery planning: an augmented reality approach | |
| JP4018679B2 (ja) | レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置 | |
| JP2005521960A5 (zh) | ||
| CN101069655A (zh) | 用于腔体器官的虚拟内窥镜检查的方法和装置 | |
| Abou El-Seoud et al. | An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries | |
| Huang et al. | Teniae coli guided navigation and registration for virtual colonoscopy | |
| JP2014524810A5 (zh) | ||
| Tiede et al. | Virtual endoscopy using cubic quicktime-VR Panorama views | |
| JP2012010893A (ja) | 画像表示装置、画像表示方法、曲線特定装置、曲線特定方法、プログラム、および、記録媒体 | |
| Visser | Navigation for PDT in the paranasal sinuses using virtual views | |
| Tiede et al. | Virtual endoscopy of branched objects based on cubic panoramas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1191434 Country of ref document: HK |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Quebec Applicant after: CADENS IMAGERIE MEDICALE Inc. Address before: Quebec Applicant before: Dog Microsystems Inc. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1191434 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171031 |