CN107004300A - 体积形状的虚拟交互式定义 - Google Patents
体积形状的虚拟交互式定义 Download PDFInfo
- Publication number
- CN107004300A CN107004300A CN201580066767.7A CN201580066767A CN107004300A CN 107004300 A CN107004300 A CN 107004300A CN 201580066767 A CN201580066767 A CN 201580066767A CN 107004300 A CN107004300 A CN 107004300A
- Authority
- CN
- China
- Prior art keywords
- volume
- sub
- image
- image processing
- propagation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 13
- 230000000644 propagated effect Effects 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 description 14
- 210000000056 organ Anatomy 0.000 description 13
- 210000000481 breast Anatomy 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 239000000047 product Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 4
- 210000002976 pectoralis muscle Anatomy 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种用于支持初始图像体积(IV)中的子体积(SV)的定义的方法和相关系统(IPS)。
Description
技术领域
本发明涉及图像处理方法、图像处理系统、计算机程序单元和计算机可读介质。
背景技术
癌症手术的目标是移除肿瘤组织以及肿瘤组织周围的无肿瘤组织的安全边缘。一些癌症具有优选的生长方向。例如,乳腺癌通常在垂直于胸肌的方向上沿小叶生长。从乳房移除从胸肌延伸到皮肤的圆柱形的体积是标准的临床实践。
这种手术的报告和规划几乎完全通过在患者皮肤上直接手动(例如用毡头笔)应用切口线来执行,所述切口线然后可以例如通过拍摄照片来记录。有时,切口线作为注释应用在预先印刷的纸张形式上,其中示出相关器官的通用表示。这些线要在平面视图中捕获癌症的周线(contour)或形状。换言之,形状只绘制在两个维度上(如从一个查看方向概述的)。但是,要被移除的体积的三维范围及其周围组织内的取向尚未被明确记录,并且因此必须由这些报告的读者脑力地对其进行估计。
发明内容
因此,本领域可能需要备选方法和/或相关系统来解决上述缺陷中的至少一些。
本发明的目的通过独立权利要求的主题来解决,其中,另外的实施例被并入从属权利要求中。应当注意,本发明的以下描述的方面同样适用于图像处理系统、计算机程序单元和计算机可读介质。
根据本发明的第一方面,提供了一种图像处理方法,包括:
接收i)图像体积、ii)轮廓形状和iii)传播曲线;
沿着所述传播曲线跨所述图像体积传播所述轮廓形状,从而在所述体积中生成子体积;并且
在显示设备上显示所述子体积,
其中,所述图像体积被分层,其中,所述轮廓形状的传播自动终止于所述体积中的两个层之间的界面处,或者其中,所述子体积SV在所述界面处被截断,使得所述子体积不跨所述界面延伸。
这允许通过将所述界面的表面定义作为约束包括到子体积的计算中来产生“遵从”周围图像体积IV的内部结构的子体积。
根据一个实施例,所述方法包括与图像体积一起显示所述子体积。
所述方法允许利用例如利用表面扫描从MRI所获得的或从个性化的模型获得的感兴趣对象(例如,乳房)的各种三维数字表示。特别是可以使手术流程的报告和/或规划变得更容易,特别是可以产生“虚拟”3D切除体积。
根据一个实施例,所述方法包括显示图像体积或其至少部分,并且在轮廓形状传播期间逐渐建立子体积的显示,同时子体积在图像体积中被清除。这提供了特别唤起的表示,因为用户可以“看到”计算的动态,并且具体地,他们可以看到或猜测子体积是否将实际覆盖体积IV中的预定义感兴趣区域(ROI),例如肿瘤部位。即使在计算结束之前,用户也可以看到子体积是否完全包含ROI,并且如果不是,则可以预先中止计算,并以可能的新的传播方向和/或轮廓形状的调节的尺寸重新运行。
根据一个实施例,所述方法包括计算子体积的尺寸(即,数字体积)和/或子体积与体积之间的比率。
根据一个实施例,所述方法包括:如果计算的子体积的尺寸和/或计算的比率违反预定义阈值,则发布信号。
根据一个实施例,所述体积包括预定义临界区域,并且其中,如果所述临界区域未被所述子体积完全包围,或者如果多于预定义量的所述临界区域延伸到所述子体积的外部,则警告信号被发布。特别是在手术中,这允许关于周围患者组织要移除的组织的量的介入前/术前精确定义。先前,这些图仅在实际切除的组织的病理检查后才术后可用。
根据一个实施例,图像体积是MRI图像、CT图像、光学3D图像、3D超声图像、个性化模型体积或通用体积模型中的任何一个。
根据一个实施例,轮廓形状是可调节的。
根据一个实施例,在图像体积中自动识别轮廓形状。
附图说明
现在将参考以下附图描述本发明的示范性实施例,其中:
图1示出了图像处理系统的框图;
图2示出了图像处理方法的流程图;
图3-5示出了通过依据图2的图像处理方法产生的示范性图像。
具体实施方式
图1示出了本文提出的图像处理系统IPS的示意性框图。图像处理系统IPS允许在潜在复杂体积图像数据IV中定义子体积。图像处理系统IPS能够用作手术规划(“虚拟手术”)中的一个示范性领域应用,例如在乳房手术中,但是在本文中将意识到,所提出的成像处理系统也可以被使用,具有以下中的益处:例如,制造设计、计算机辅助设计和/或3D打印或任何其他努力领域,其中,例如要从周围材料切除的对象的精确定义的要求是昂贵的。
在一个实施例中,所提出的系统IPS允许用户在图像对象(例如患者的乳房)的预定图像体积IV内交互地定义SV组织的子体积。图像体积IV和或子体积SV可以由定义感兴趣的边界表面的三角网格定义。该装置生成SV作为3D形状,其表示手术流程的切除体积。
通过使用传播轨迹(例如,直线分段)的定义、用户定义或自动计算的(例如基于规则或基于图像的)2D形状来生成子体积SV的3D形状。通过沿着轨迹PC的用户定义的2D形状PS的传播或移动来生成3D形状SV。
根据预定约束限制3D形状SV,例如,取决于具体应用背景表示不同器官或其他预定义分层的边界的周围体积SV中的一个或多个预定义表面。限制是通过截断计算的子体积和一些或全部所述表面。换言之,图像处理装置IPS被配置为在产生子体积SV时遵从在图像体积IV内的所述预定义约束。
本文提出的图像处理器IPS的原则输入参数包括由合适的图像模态IM(CT或MRI或其他)生成的图像体积IV,或者根据模型构造,其具有感兴趣对象(例如,女性乳房)的内部结构的足够的结构定义,轮廓形状曲线或“周线”PS和所述传播曲线PC的定义。
通常是平面(“2D”)曲线的周线曲线PC和传播曲线PC有利地由用户特别地使用图形用户输入UI单元来定义,但是在一些实施例中也设想了基于文本的输入。
图像处理器IPS包括传播器PR、可视化模块VIS。在一个实施例中,还有体积量化器VQ,其被配置为计算关于子体积SV的数值数据。
简言之,图像处理器IPS的操作如下:要沿着轮廓形状PS处理的图像体积IV和传播曲线PC的定义在输入端口IM处被接收。然后通过传播器PR沿着传播曲线传播轮廓形状或周线,如插图1A中图解和示意性地示出的。当在由传播曲线PC定义的方向上行进通过体积IV时(通常平面和闭合)曲线PC在其中清除或生成子体积SV,在其中如此定义切除体积。该这样定义的子体积SV然后可以与初始图像体积IV一起绘制,或者在监测器MT上单独隔离地绘制。目的是为了这样定义子体积,使得预定义感兴趣区域(ROI),例如癌组织或肿瘤部位的肿块,至少部分地(优选全部地)被子体积SV包围。如前面简述的,根据一个实施例,图像处理系统IPS包括合适的用户输入单元,特别是图形用户输入单元,以用于使用户交互地定义或编辑轮廓形状PS和传播曲线PC和/或事实上体积IV中的临界ROI。
再者,尽管将特别参考乳房手术中的切除体积SV的定义来解释操作(图像体积IV表示相关乳房的图像材料),但是这不应被解释为限制本文中提出的图像处理器IPS的应用范围,同样设想如本文提出作为其它手术和非医学应用。
现在将参考图2中的流程图更详细地解释图像处理器IPS的操作。
在步骤S210处,接收上述输入参数(体积图像IV、轮廓形状PS和传播曲线PC)。特别地,如此接收时图像体积IV由视觉端口中的监测器MT上的可视化器VIS初始显示。
在下文中,区分两类型的方向是有用的:一种是由传播曲线PC定义的轮廓形状PS的传播方向,并且另一种是特定实例中图像体积IV上的查看方向。查看方向可以通过鼠标点击或触摸屏幕动作(如果监测器如此提供)或通过任何其他形式的用户输入来交互地定义,但是本文在一些实施例中也设想了自动定义。例如,在交互式实施例中,用户可以通过点击拖动鼠标操作或通过跨屏幕MT的滑动或其他触摸屏幕动作来定义其优选查看方向,以实现例如图像IV的表示的视图的旋转或移位。在一个实施例中,查看方向可以被定义为查看平面的法线。查看平面本身可以通过将代表性的正方形、矩形、圆形或三角形(或任何其它形状)概述为所述平面内的平面取向指示器而显示,其中,代表物的内部以与周围图像IV不同的色调或比周围图像IV的不透明度更高的不透明度呈现。
图像体积表示IV本身可以是以下任何适当的表示或绘制:通用器官模型、通用器官模型的个性化版本、通过适合的模态IM(CT扫描器、MIR成像器或深度感测相机等)自患者采集的图像(MRI、CT、3D光学等)的分割结果或基于此类图像的(个性化)模型数据。基于模型或图像的图像体积IV可以变形以考虑作用在相关器官上的重力,以更好地模仿如其在手术室中呈现的器官的实际外观。
在体积IV内由子体积SV嵌入或包围的ROI可以在给定图像体积IV的情况下从完全或半自动分割导出,或者也可以在显示图像体积的同时由用户交互地定义。ROI(“手术目标”,例如肿瘤对象)在其位置/形状/尺寸是已知的时可以被绘制。然后,ROI可以作为虚拟肿瘤对象被插入到图像IV中,由用户定位和自适应地调整尺寸。例如,这可以通过在图像体积IV(表示器官)中交互地定位诸如球体(或任何其他几何对象)的标记来实现。球体的尺寸以及因此ROI的尺寸可以例如使用鼠标滚轮进行调整,以使球体充气或放气。可以通过在查看平面中转换球体来改变球体的位置。为了更改ROI标记球体的3D位置,可以交替平移查看平面中的球体和/或改变查看方向的步骤。
在用户定义ROI或将ROI分割加载到图像体积IV中之后,然后在屏幕MT上以期望的查看方向显示体积IV中的ROI。在一个实施例中,该初始查看方向可以由用户基于相关器官的成像协议自动提出。在一个实施例中,如果自动提出初始查看方向,则系统等待对应的确认事件,例如鼠标点击或触摸屏事件。
在一个实施例中,为了支持用户定义轮廓形状和/或传播方向,图像处理器IPS操作以在屏幕上绘制查看平面,使得所述平面的法线平行于当前选择的传播方向。在一个实施例中,查看平面的位置(特别是其空间深度)可以由用户定义或者可以由系统调节,使得查看平面与ROI的中心相交或者在其中央处的表示的器官相交。可以预先计算初始查看方向从而呈现器官的正视图。备选地,可以由用户交互地调整查看方向,以便定义要绘制的切除体积SV的取向。查看平面可以如图3B所示在前景中绘制,或者可以如图3A中的“隐藏”视野绘制。
关于轮廓或周线形状曲线PS的定义,在一个实施例中,这可以由用户通过输入合适的形状信息进行编辑或定义。轮廓或周线形状PS定义要计算的子体积SV的局部或整体截面形状。本文设想了依据用户输入单元UI或轮廓编辑工具PSE的不同的输入模式或编辑模式。这些模式包括但不限于闭合周线的自由形式绘图、通过交互定义顶点定义的多边形、由肿瘤中心定义的圆形或其他形状定义的定义(如果给定),以及圆弧周线上的额外点。如果轮廓形状的定义是经由用户绘图交互的,则在查看平面中绘制形状,查看平面在本文也称为绘图平面,应理解查看平面的取向(即依据查看平面的法线的查看方向)在绘制轮廓形状完成后可以改变。然后,响应于用户请求的查看平面/方向的改变,形状将以不同的透视视图(可能失真)绘制。作为其扩展,在一个实施例中,IPS允许用户在绘图正在进行时改变查看平面。因此,绘图平面维持查看平面的先前取向,因此在轮廓形状绘制或定义期间,绘图平面在全部时间都可能不平行。
2D形状PS也可以通过形状寻觅工具SF的操作自动导出。在实施例中,形状寻觅工具按照给定的查看方向将肿瘤形状投影到查看平面上,具有任选的扩张以考虑安全余量(例如,手术规划中的切除余量)。假设肿瘤ROI已经通过手动或自动分割工具预先被分割,使得形状寻觅器SF可以如上所述地在其上作用。然而,在其他实施例中,形状寻觅器包括分割工具,以便首先执行分割,并将分割形状投影到查看平面上。
在用户确认查看方向时,例如,通过发布鼠标点击或触摸屏或键盘事件,流程控制转到步骤S220。
在传播步骤S220处,用户定义或自动生成的2D形状PS沿传播曲线PC平移以生成一般棱柱体(如果曲线是线)或更一般地(如果曲线不是线)“管”,具有作为其横截面的用户输入形状PS。曲线PS可以是与查看平面正交的线或由手头的或用户定义的应用预定义任何曲线。
在一个实施例中,传播曲线通过曲线的内部点,例如中心点,并且然后轮廓形状沿该传播曲线在该配置中传播,换言之,传播曲线总是保持在由相应轮廓形状概述的区域内。然而,在全部实施例中这可能不是如此必须的。例如,轮廓形状也可以沿着传播曲线传播通过体积IV,使得曲线PC不通过(通常闭合的)曲线PS。如果传播曲线不是直线(即,具有非零曲率,例如是凹曲线或凸曲线),则轮廓形状在传播曲线的方向上行进时追溯出管。换言之,传播曲线是线的实施例可以被理解为传播沿着单个方向进行的特殊情况,而沿着具有非零曲率的曲线的传播对应于沿着改变方向(曲线的切线方向)的传播。本文还设想了逐片定义的传播曲线PC(无论是否是线性的)。
例如,传播曲线可以通过在相应端部处连接的数量或直线分段重新定义,从而如此定义“扭结”传播曲线。例如,用户可以首先允许传播形状沿着第一线分段传播。用户然后发布中断信号,从而传播被停止。然后,用户在当前线分段的末端的当前位置处接合不同方向上行进的另一线分段。然后,用户发布恢复命令,并且传播形状现在将沿着第二线分段继续。为了确保扭结处的平滑过渡,可以使传播在接合点处延伸,使得相应的子子体积(传播曲线分段中的每个周围)彼此相互渗透。进一步考虑这个示范,可以看出可以通过定义多个(不一定连接的)传播方向或传播曲线来生成任意的复杂形状。然后允许相同或不同的形状沿着这些曲线中的每条曲线传播。换言之,可以建立复杂子体积,并且可以通过如此定义的管或棱柱体(具有由轮廓曲线PC给出的基准)的设置的理论交叉点或联合沿着相应的传播曲线分段定义复杂子体积。
作为以上的另外的变型,尽管在前述示范中,轮廓形状在其沿着给定曲线PC的整个传播中保持恒定,但在全部实施例中可能不一定是这样。例如,可以选择沿着传播曲沿第一距离线传播的初始轮廓形状。然后,用户发布中断信号,其将传播停止。然后通过使用形状编辑工具PSE改变轮廓形状,并且然后恢复传播,但传播现在具有不同的形状。该轮廓改变可以沿着传播方向进行几次,以获得具有其中轮廓形状不同的部分的子体积SV。如果轮廓形状改变,则可以使用诸如基于样条或任何其他数值技术的插值方案来确保改变的轮廓形状之间的平滑形状过渡或“变形”。
应当注意,轮廓形状不是用户定义的,可以由形状寻觅器SF在感兴趣区域中自动识别。例如,轮廓形状可以被定义为围绕相应查看平面中的感兴趣区域的部分的凸包。然后将凸包稍微扩大,以允许切除裕度的定义。该方法通常将围绕感兴趣区域ROI定义如图4B所示的多边形。
如前所述,本文提出的方法允许遵从体积IV内的分层。例如,在图像体积IV中,可以通过定义图像体积内的表面的不同体素值来编码脂肪和肌肉组织。然后可以通过与例如由器官边界或从器官边界导出的表面(例如通过到另一个器官边界的所需最小距离)给出的两个表面相交修剪或“切出”子体积SV的分段。备选地,子体积SV可以在单个器官表面边界和管SV的预定长度上修剪。根据一个实施例,如果传播方向通过两个这样的层之间的界面,则传播被中止。例如,如果轮廓形状的至少一个点与这种界面相交,则沿着轮廓曲线的轮廓形状的传播被中止。在另一个实施例中,轮廓形状的传播延伸通过界面,并且然后在曲线的全部点已经穿过表面之后立即停止。总而言之,以上全部内容基本上通过不同层之间的相应界面来定义传播的子体积的截断。
在任选步骤S230处,然后将如此定义的(可能截断的)子体积被绘制以便在监测器MT上查看。这可以采取许多形式,而图5A、B示出了这的范例。在优选实施例中,子体积被示出在以不同颜色或色调绘制的子体积内的其相应位置。在备选实施例中,可以有益的是仅示出没有周围图像体积的子体积,或者可能有益的是在移除了子体积的情况下示出图像体积。
代替于步骤S230或除了步骤S230之外,在任选步骤S240处,然后通过体积量化器VQ计算子体积的数值体积或子体积的数值体积与图像体积IV的数值体积之间的比率并且与显示的子体积和或总体积IV一起在屏幕MT上以数字形式输出。
在另外的任选步骤S250中,确定感兴趣区域是否完全(或全部)嵌入在子体积中,以及是否将发布相应的警报信号。作为这的扩展,如果超过预定义量的感兴趣区域延伸超过子体积,则也可以发布警报信号。子体积旨在嵌入临界ROI(例如,癌组织)。尤其地,子体积旨在全部地或完全地包括ROI加上围绕ROI的合适的切除裕度(安全裕度)。在这方面,体积量化器VQ还可以被配置为执行监测功能。换言之,体积量化器VQ监测感兴趣区域是否完全包含在如此定义的子体积SV内。如果没有在其中完全包含ROI,则通过激活换能器TR(例如扬声器)或通过发布被显示在监测器MT上或在专用闪光灯TR上的暗示性视觉指示而发布合适的报警信号(例如,声学信号)。在不是监测感兴趣区域在子体积SV中的整体包括的情况下的备选中,体积量化器还可以被配置为如果超过预定义量的感兴趣区域延伸超过子体积SV则指示警报信号。再者,可以通过控制换能器TR发布声音或视觉警告信号或通过在监测器MT上以图形方式指示该事实来通知用户。预定义量(例如绝对值项中的百分比值或其他阈值)可以是用户可调节的。额外或者替代地,如果当前清除子体积的一部分超过预定义(和可能的用户可调节)体积阈值,则可以发布警报信号。此外,如果发生这种情况,则可以停止形状PS的传播,并且仅在用户发布确认信号时才恢复。
现在转到图3-5,这些更详细地示出了示范性图像(在乳房手术的示范性背景中)及其绘制,以图示上面在图1和图2中解释的概念。
图3A左侧示出了女性乳房的三维表示。3D表示305,即网格呈现,被分层,其中,它包括皮肤表面以及表示胸部肌肉的表面。肿瘤定义301示出在乳房体积305内。在窗格B中,根据当前视图,查看平面310平行于投影平面延伸通过肿瘤301的中心。在一个实施例中,如上所述,查看平面可以被交互地定位。在图3中,查看平面也隐含地定义轮廓形状SP要沿其被平移的投影方向,以在指定为附图标记305的体积IV内定义子体积SV。
在该特定配置中,轨迹PC是线性的,并且沿着平面310的法线延伸,尽管这可能并非如此,如图4的窗格A、B所示,其中,查看方向垂直于沿着示于侧视图示出的平面310法线的传播方向。图4的窗格A、B均按照图3的窗格A、B提供各视图的侧视图,并且平面310现在同样以侧视图示出(作为线)。体积IV上的查看方向与传播方向(例如,如图4A、B处的侧视图)不一致的配置可能有益于允许用户更好地可视化沿着各曲线的轮廓形状的传播。换言之,一旦传播方向被定义,查看方向可以由用户改变,然后可以响应于这些查看方向改变,在不同的透视绘制中可视化传播方向(轮廓PS沿着其传播)。
窗格B示出了周线PS作为在绘图平面上围绕肿瘤部位310绘制的切除体积SV的多边形横截面。
在一个实施例中,系统IPS被配置为一旦形状传播开始,就自动切换到诸如侧视图。特别地,在一个实施例中,子体积SV的显示逐渐并且累积地行进。换言之,用户实际上可以在屏幕MT上看到轮廓形状如何沿着体积沿着传播曲线进行。又换言之,子体积SV的累积逐渐地逐层累积显示。
然而,还设想了备选实施例,其中,一旦用户输入了相应的参数(尤其是传播曲线和轮廓形状),就在后台中计算子体积,并且然后立即在屏幕上绘制如此完全计算的子体积。
作为以上的扩展,尽管在一个实施例中,在用户发布OK信号之后启动传播方向,但是同样设想更多的交互模式。根据该模式,一旦用户定义了轮廓形状和传播曲线,沿着曲线的传播与用户的控制下的同时运动一致地发生,例如在触摸屏上,用户可以用他的手指描绘出传播曲线和轮廓形状,然后在用户的手指滑动动作期间描绘出子体积。类似地,用户可以使用熟悉的鼠标拖动操作来对传播曲线进行概述,同时轮廓形状在用户概述或当前触摸屏手指动作之后沿着传播曲线行进。
图5,窗格A显示了生成的体积IV的范例。通过沿垂直于绘制平面的线平移如图4C所绘制的多边形横截面来生成切除体积SV(深阴影)。此外,体积在皮肤表面和胸肌的筋膜处自动截断。窗格B示出由圆形横截面PS生成的圆柱形子体积SV。
图像处理模块IPS可以被布置为软件模块,并且可以在通用计算单元或专用计算单元上运行。具体地,可以在成像系统的图像查看工作站控制台上执行处理器IPS。具有其一些或全部部件的图像处理模块IPS可以驻留在执行机构(例如通用计算机,工作站或控制台)上,或者可以由执行机构在分布式体系结构中经由适当的通信网络远程/集中地访问。
备选地,图像处理模块IPS的组件可以被布置为专用FPGA(现场可编程门阵列)或类似的独立芯片。作为非限制性示范,部件可以在合适的科学计算或开发平台(例如或)中编程,然后被转换成在库中维护的C++或C例程,并在例如通用计算机、工作站或控制台的执行机构调用时被链接。
在本发明的另一示范性实施例中,提供了一种计算机程序或一种计算机程序单元,其特征在于适于在适当的系统上运行根据前面的实施例之一所述的方法的方法步骤。
因此,所述计算机程序单元可以被存储在计算机单元上,所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外,其可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行本发明的方法。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序或借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地,所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。
根据本发明的另一示范性实施例,提出了一种计算机可读介质,例如CD-ROM,其中,所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元,其中,所述计算机程序单元由前面部分描述。
计算机程序可以存储和/或分布在与其他硬件一起提供或作为其他硬件的部分提供的诸如光学存储介质或固态介质的适当的介质上,但是计算机程序也可以以其他的形式分布,例如经由因特网或其他有线或无线的远程电信系统分布。
然而,所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例,提供了一种用于使得计算机程序单元能够被下载的介质,其中,所述计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出,本发明的实施例参考不同主题加以描述。具体而言,一些实施例参考方法类型的权利要求加以描述,而其他实施例参考设备类型的权利要求加以描述。然而,本领域技术人员将从以上和下面的描述中了解到,除非另行指出,除了属于一种类型的主题的特征的任何组合之外,涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而,所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明,但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求,本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中,词语“包括”不排除其他单元或步骤,并且,词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。
Claims (15)
1.一种图像处理方法,包括:
接收(S210)i)图像体积、ii)轮廓形状以及iii)传播曲线;
沿着所述传播曲线跨所述图像体积传播(S220)所述轮廓形状,从而在所述体积中生成子体积;并且
在显示设备上显示(S230)所述子体积,
其中,所述图像体积被分层,其中,所述轮廓形状的所述传播在所述体积中的两个层之间的界面处自动终止,使得所述子体积不跨所述界面延伸。
2.根据权利要求1所述的图像处理方法,包括与所述图像体积一起显示所述子体积。
3.根据权利要求1或2所述的图像处理方法,包括显示所述图像体积或所述图像体积的至少部分,并且在所述轮廓形状的传播期间逐渐建立对所述子体积的显示,同时所述子体积在所述图像体积中被清除。
4.根据权利要求1-3中的任一项所述的图像处理方法,包括:
计算(S240)所述子体积的尺寸和/或所述子体积与所述体积之间的比率。
5.根据权利要求1-4中的任一项所述的图像处理方法,包括:
如果计算的子体积的尺寸和/或计算的比率违反预定义阈值,则发布(S250)信号。
6.根据权利要求1-5中的任一项所述的图像处理方法,其中,所述体积包括预定义临界区域,并且其中,如果所述临界区域未由所述子体积完全包围或者如果超过预定义量的所述临界区域延伸到所述子体积的外部,则发布警报信号。
7.根据权利要求1-6中的任一项所述的图像处理方法,其中,所述图像体积是以下中的任一个:MRI图像、CT图像、光学3D图像、3D超声图像、或者个性化或通用模型。
8.根据权利要求1-7中的任一项所述的图像处理方法,其中,所述轮廓形状是可调节的。
9.根据权利要求1-8中的任一项所述的图像处理方法,其中,在所述图像体积中自动识别所述轮廓形状。
10.一种图像处理系统(IPS),包括:
输入端口(IN),其被配置为接收i)图像体积、ii)轮廓形状以及iii)传播曲线,
传播器(PR),其被配置为沿着所述传播曲线跨所述图像体积传播所述轮廓形状,从而在所述体积中生成子体积;以及
可视化器(VIS),其被配置为实现在显示设备上对所述子体积的显示,
其中,所述图像体积被分层,其中,所述轮廓形状的所述传播在所述体积中的两个层之间的界面处自动终止,或者其中,所述子体积SV在所述界面处被截断,使得所述子体积不跨所述界面延伸。
11.根据权利要求10所述的图像处理系统,包括形状轮廓编辑模块(PSE),所述形状轮廓编辑模块被配置为响应于请求而调节所述形状轮廓。
12.根据权利要求10或11所述的图像处理系统,包括形状寻觅器(SF),所述形状寻觅器用于在所述图像体积中自动检测所述形状轮廓。
13.根据权利要求10-12中的任一项所述的图像处理系统,包括体积量化器(VC),所述体积量化器被配置为计算所述子体积的尺寸和/或所述子体积与所述体积之间的比率。
14.一种用于控制根据权利要求11-14中的任一项所述的系统的计算机程序单元,所述计算机程序单元当由处理单元运行时适于执行根据权利要求1-9中的任一项所述的方法的步骤。
15.一种在其上存储有根据权利要求14所述的程序单元的计算机可读介质。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14196686 | 2014-12-08 | ||
EP14196686.1 | 2014-12-08 | ||
PCT/EP2015/077579 WO2016091583A1 (en) | 2014-12-08 | 2015-11-25 | Virtual interactive definition of volumetric shapes |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107004300A true CN107004300A (zh) | 2017-08-01 |
CN107004300B CN107004300B (zh) | 2021-01-22 |
Family
ID=52101062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580066767.7A Active CN107004300B (zh) | 2014-12-08 | 2015-11-25 | 体积形状的虚拟交互式定义 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10403039B2 (zh) |
EP (1) | EP3230957B8 (zh) |
JP (1) | JP6297753B2 (zh) |
CN (1) | CN107004300B (zh) |
BR (1) | BR112017011837A2 (zh) |
CA (1) | CA2969880A1 (zh) |
RU (1) | RU2667976C1 (zh) |
WO (1) | WO2016091583A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3038648A1 (en) * | 2015-09-28 | 2017-04-06 | Montefiore Medical Center | Methods and devices for intraoperative viewing of patient 3d surface images |
WO2020012799A1 (ja) * | 2018-07-13 | 2020-01-16 | 日本電産リード株式会社 | 検査治具、及び検査装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020026127A1 (en) * | 2000-03-23 | 2002-02-28 | Balbierz Daniel J. | Tissue biopsy and treatment apparatus and method |
CN1620990A (zh) * | 2003-11-25 | 2005-06-01 | 通用电气公司 | 在ct血管造影术中分割结构的方法及设备 |
CN1849624A (zh) * | 2003-09-10 | 2006-10-18 | 西门子共同研究公司 | 用于利用导引点进行时间空间建模的系统和方法 |
CN101065775A (zh) * | 2004-11-26 | 2007-10-31 | 皇家飞利浦电子股份有限公司 | 感兴趣体积的选择 |
US7421174B2 (en) * | 2006-08-28 | 2008-09-02 | Furakawa Electric North America; Inc. | Multi-wavelength, multimode optical fibers |
CN101461706A (zh) * | 2007-12-19 | 2009-06-24 | 坎通斯比特阿劳股份有限公司 | 用于分析和处理荧光图像的方法 |
CN101836235A (zh) * | 2007-08-16 | 2010-09-15 | 皇家飞利浦电子股份有限公司 | 用于对三维(3d)图像数据体积中的横截平面进行采样的成像方法 |
US20100266170A1 (en) * | 2009-04-20 | 2010-10-21 | Siemens Corporate Research, Inc. | Methods and Systems for Fully Automatic Segmentation of Medical Images |
WO2011042833A1 (en) * | 2009-10-05 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Interactive selection of a volume of interest in an image |
US20120019550A1 (en) * | 2010-07-20 | 2012-01-26 | Daniel Pettigrew | Keying an Image in Three Dimensions |
WO2013155300A1 (en) * | 2012-04-11 | 2013-10-17 | The Trustees Of Columbia University In The City Of New York | Techniques for segmentation of organs and tumors and objects |
US20140276102A1 (en) * | 2013-03-14 | 2014-09-18 | Lumicell, Inc. | Medical imaging device and methods of use |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4200546B2 (ja) * | 1998-03-09 | 2008-12-24 | 株式会社日立メディコ | 画像表示装置 |
RU2202276C2 (ru) * | 2000-03-06 | 2003-04-20 | Институт хирургии им. А.В. Вишневского РАМН | Способ моделирования оперативного вмешательства на внутренних органах |
DE10356272B4 (de) | 2003-11-28 | 2006-02-23 | Siemens Ag | Verfahren zur Navigation in 3-dimensionalen Bilddaten |
WO2006020792A2 (en) | 2004-08-10 | 2006-02-23 | The General Hospital Corporation | Methods and apparatus for simulation of endovascular and endoluminal procedures |
US7307630B2 (en) * | 2005-08-26 | 2007-12-11 | Barco Nv | Volume rendering apparatus and method |
US8520932B2 (en) | 2007-05-28 | 2013-08-27 | The University Of Western Ontario | 3D tissue model formation from non-parallel 2D images |
DE212011100130U1 (de) | 2010-08-05 | 2013-06-24 | Philips Intellectual Property & Standards Gmbh | Auf gleicher Ebene und interaktiv stattfindende Oberflächennetz-Anpassung |
CN103228210B (zh) * | 2010-11-24 | 2016-08-10 | 美国医软科技公司 | 基于解剖图的用于软器官的交互式三维手术引导系统的系统和方法 |
US8907944B2 (en) | 2011-06-28 | 2014-12-09 | General Electric Company | Method and system for navigating, segmenting, and extracting a three-dimensional image |
CN105636541B (zh) * | 2013-03-15 | 2019-07-09 | 圣纳普医疗(巴巴多斯)公司 | 用于微创疗法的规划、导航和模拟系统及方法 |
US9601030B2 (en) | 2013-03-15 | 2017-03-21 | Mark B. Ratcliffe | System and method for performing virtual surgery |
WO2014200434A1 (en) * | 2013-06-11 | 2014-12-18 | Agency For Science, Technology And Research | Computer-Aided Planning Of Liver Surgery |
-
2015
- 2015-11-25 RU RU2017124345A patent/RU2667976C1/ru active
- 2015-11-25 EP EP15804702.7A patent/EP3230957B8/en active Active
- 2015-11-25 US US15/532,169 patent/US10403039B2/en active Active
- 2015-11-25 CN CN201580066767.7A patent/CN107004300B/zh active Active
- 2015-11-25 WO PCT/EP2015/077579 patent/WO2016091583A1/en active Application Filing
- 2015-11-25 BR BR112017011837A patent/BR112017011837A2/pt not_active Application Discontinuation
- 2015-11-25 CA CA2969880A patent/CA2969880A1/en not_active Abandoned
- 2015-11-25 JP JP2017530303A patent/JP6297753B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020026127A1 (en) * | 2000-03-23 | 2002-02-28 | Balbierz Daniel J. | Tissue biopsy and treatment apparatus and method |
CN1849624A (zh) * | 2003-09-10 | 2006-10-18 | 西门子共同研究公司 | 用于利用导引点进行时间空间建模的系统和方法 |
CN1620990A (zh) * | 2003-11-25 | 2005-06-01 | 通用电气公司 | 在ct血管造影术中分割结构的方法及设备 |
CN101065775A (zh) * | 2004-11-26 | 2007-10-31 | 皇家飞利浦电子股份有限公司 | 感兴趣体积的选择 |
US7421174B2 (en) * | 2006-08-28 | 2008-09-02 | Furakawa Electric North America; Inc. | Multi-wavelength, multimode optical fibers |
CN101836235A (zh) * | 2007-08-16 | 2010-09-15 | 皇家飞利浦电子股份有限公司 | 用于对三维(3d)图像数据体积中的横截平面进行采样的成像方法 |
CN101461706A (zh) * | 2007-12-19 | 2009-06-24 | 坎通斯比特阿劳股份有限公司 | 用于分析和处理荧光图像的方法 |
US20100266170A1 (en) * | 2009-04-20 | 2010-10-21 | Siemens Corporate Research, Inc. | Methods and Systems for Fully Automatic Segmentation of Medical Images |
WO2011042833A1 (en) * | 2009-10-05 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Interactive selection of a volume of interest in an image |
US20120019550A1 (en) * | 2010-07-20 | 2012-01-26 | Daniel Pettigrew | Keying an Image in Three Dimensions |
WO2013155300A1 (en) * | 2012-04-11 | 2013-10-17 | The Trustees Of Columbia University In The City Of New York | Techniques for segmentation of organs and tumors and objects |
US20140276102A1 (en) * | 2013-03-14 | 2014-09-18 | Lumicell, Inc. | Medical imaging device and methods of use |
Also Published As
Publication number | Publication date |
---|---|
BR112017011837A2 (pt) | 2018-02-27 |
RU2667976C1 (ru) | 2018-09-25 |
EP3230957B1 (en) | 2020-02-19 |
CN107004300B (zh) | 2021-01-22 |
US20170270708A1 (en) | 2017-09-21 |
CA2969880A1 (en) | 2016-06-16 |
EP3230957B8 (en) | 2020-04-01 |
JP6297753B2 (ja) | 2018-03-20 |
JP2018504164A (ja) | 2018-02-15 |
US10403039B2 (en) | 2019-09-03 |
EP3230957A1 (en) | 2017-10-18 |
WO2016091583A1 (en) | 2016-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2016200207B2 (en) | Systems and methods for planning hair transplantation | |
CN101765864B (zh) | 用于图像配准的交互式图集 | |
US20070279436A1 (en) | Method and system for selective visualization and interaction with 3D image data, in a tunnel viewer | |
US10831936B2 (en) | Virtual design | |
US20070279435A1 (en) | Method and system for selective visualization and interaction with 3D image data | |
JP2008521462A (ja) | 2次元/3次元の統合されたコンターエディター | |
US10235759B2 (en) | Method for cell envelope segmentation and visualisation | |
EP2257899A1 (en) | Reducing the size of a model using visibility factors | |
KR101693808B1 (ko) | 3d기반의 비강 수술 시뮬레이션 방법 및 그 장치 | |
CN107004300A (zh) | 体积形状的虚拟交互式定义 | |
Tong et al. | View-dependent streamline deformation and exploration | |
CN101490717A (zh) | 用于交互式形状操作的方法、装置、系统及计算机可读介质 | |
CN106447782A (zh) | 基于核磁共振图像的面部皮肤三维重建方法 | |
CN103300922A (zh) | 可视化命令数据的产生 | |
Tan et al. | Computer assisted system for precise lung surgery based on medical image computing and mixed reality | |
de Bruin et al. | Interactive 3D segmentation using connected orthogonal contours | |
CN114783591A (zh) | 一种脑肿瘤三维可视化辅助诊断系统 | |
CN106843694B (zh) | 三维图像处理系统 | |
EP3491622B1 (en) | A method and apparatus for refining a model of an anatomical structure in an image | |
Bruckner et al. | Illustrative focus+ context approaches in interactive volume visualization | |
Ning et al. | Interactive 3D medical data cutting using closed curve with arbitrary shape | |
CN109147061A (zh) | 一种对体数据的分割结果进行人机交互编辑的方法 | |
EP4141801A1 (en) | Interactive handling of 3d images | |
WO2023031151A1 (en) | Interactive handling of 3d images | |
WO2007069141A1 (en) | Contour editing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |