CN107851337A - 交互式网格编辑 - Google Patents

交互式网格编辑 Download PDF

Info

Publication number
CN107851337A
CN107851337A CN201680038618.4A CN201680038618A CN107851337A CN 107851337 A CN107851337 A CN 107851337A CN 201680038618 A CN201680038618 A CN 201680038618A CN 107851337 A CN107851337 A CN 107851337A
Authority
CN
China
Prior art keywords
grid
view
processor
data
editor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680038618.4A
Other languages
English (en)
Other versions
CN107851337B (zh
Inventor
T·H·施特勒
F·文策尔
C·迈尔
G·扎戈尔谢夫
M·贝格特尔特
J·彼得斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107851337A publication Critical patent/CN107851337A/zh
Application granted granted Critical
Publication of CN107851337B publication Critical patent/CN107851337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了一种用于对网格进行交互式编辑的系统和方法，所述网格已被应用于三维(3D)图像以对所述三维(3D)图像中示出的解剖结构进行分割。为了便于对所应用的网格的所述交互式编辑，生成所述3D图像的视图，所述视图示出了要被编辑的网格部分，其中，所述视图基于所述网格部分的局部取向而被建立。有利地是，所述视图可以被生成为基本上与所述网格部分正交，或者与所述解剖结构的中心线正交，所述中心线是根据所述网格部分被确定的。相应地，建立正交视图，所述正交视图便于用户相对于所述网格部分执行编辑动作。因此，用户不需要手动导航通过所述3D图像以获得适合于网格编辑的视图，这通常是耗时的。

Description

交互式网格编辑
技术领域
本发明涉及一种用于交互式网格编辑的系统和方法。本发明还涉及包括该系统的工作站和成像装置。本发明还涉及包括用于令处理器系统执行该方法的指令的计算机程序产品。
背景技术
网格经常被应用或映射到医学图像以分割包含在其中的一个或多个解剖结构。这里，术语“分割”指的是例如通过描绘解剖结构的边界、通过标记由边界包围的体素等来识别医学图像中的解剖结构。一旦已经执行了这种分割，就能够提取临床参数，在例如心脏结构的情况下，例如心室体积和壁厚。这样的分割通常也被称为描绘或注释。
应用的网格或映射的网格也可以与医学图像一起显示，以使信息可视化，例如解剖结构的形状和位置。例如，网格可以被显示为覆盖诸如计算机断层摄影(CT)、磁共振成像(MRI)或超声(US)图像的三维(3D)医学图像。这样的3D图像可以与应用的网格一起以各种方式进行被可视化。因此，应用的网格的替代术语可以是映射的网格，拟合的网格，覆盖的网格或叠加的网格。在WO2004047030A2中能够找到使用应用的网格或者映射的网格来分割三维(3D)医学图像的范例。例如，3D图像可以通过多平面重新格式化来被可视化以生成横切3D图像和应用的网格或映射的网格的2D视图。在这样的2D视图中，网格可以被显示为轮廓。其他视图生成技术在3D图像可视化领域是已知的，并且包括体绘制和最大强度投影。
网格可以被自动地、手动地或半自动地应用或映射到医学图像。自动或半自动应用可以涉及适应技术的使用，也称为“网格适应”或“网格拟合”。基于使网格适应于图像数据的外部能量项和维持网格的刚性的内部能量项，适应技术可以例如优化能量函数。已知用于将网格自动地应用于医学图像的各种适应技术。在O.Ecabert等人的“AutomaticModel-based Segmentation of the Heart in CT Images”，IEEE Transactions onMedical Imaging 2008，27(9)，第1189-1201页中描述了一种自动技术的范例，其描述了从三维(3D)计算机断层摄影(CT)图像中的心脏的自动分割。
以前的应用的网格或映射的网格可能需要用户进行编辑。例如，网格可能不够准确地被应用以用于诊断目的、生成规范的数据库，或生成基础真实数据作为机器学习算法的输入。这样的网格编辑可以使用3D图像的视图和应用的网格或者映射的网格被交互地执行，所述应用的网格或者映射的网格示出了要被编辑的网格的部分。这样的编辑可涉及例如网格部分的重新定位、增加网格部分的分辨率等。
不利地是，3D图像中的视图的取向可能不适合于计划的编辑动作。在传统的图像查看应用中，视图取向可以在冠状、矢状和横向取向之间切换。然而，这可能提供获得合适的视图的不够的灵活性。在一些应用中，可以交互式地将视图重新格式化为任意取向，但是在网格编辑期间将其即时适配到最佳取向是非常耗时的。
发明内容
具有用于自动提供3D图像和映射的网格的合适视图的交互式网格编辑的系统或方法将是有利的。
本发明的第一方面是提供一种用于交互式网格编辑的系统，包括：
-用于访问图像数据的图像数据接口，所述图像数据表示示出解剖结构的三维图像；
-处理器，其被配置用于：
i)获取网格数据，所述网格数据定义先前已经被映射到所述三维图像以用于分割所述解剖结构的网格，
ii)生成所述三维图像和所述映射的网格的视图，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的；并且
iii)生成表示所述视图的视图数据以用于在显示器上显示；
-用于接收用户输入数据的用户输入接口，所述用户输入数据指示要被映射到所述视图中示出的所述网格的至少一部分的编辑动作；
其中，所述处理器被配置用于在接收到指示所述编辑动作的所述用户输入数据时，基于所述网格的所述部分的局部取向来建立所述一个或多个查看参数，
其中，所述网格的所述部分包括一组网格表面元素，并且其中，所述处理器被配置用于通过将统计函数应用于来自所述一组网格表面元素的网格表面元素的法向矢量，来确定所述网格的所述部分的所述局部取向。
本发明的另一方面提供了包括该系统的工作站或成像装置。
本发明的另一方面提供一种用于交互式网格编辑的方法，包括：
-访问图像数据，所述图像数据表示示出解剖结构的三维图像；
-获取网格数据，所述网格数据定义先前已经被映射到所述三维图像以用于分割所述解剖结构的网格；
-接收用户输入数据，所述用户输入数据指示要被应用于视图中示出的所述网格的至少一部分的编辑动作；
-生成所述三维图像和所述映射的网格的视图，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的；
-生成表示所述视图的视图数据以用于在显示器上显示；并且
其中，对所述视图的所述生成包括：在接收到指示所述编辑动作的所述用户输入数据(082)时，基于所述网格的所述部分的局部取向来建立所述一个或多个观看参数。
本发明的另一方面提供了一种包括用于令处理器系统执行所述方法的指令的计算机程序产品。
上述措施涉及3D图像的访问图像数据，例如但不限于体积图像数据、2D图像切片的堆叠等。3D图像示出解剖结构，例如器官、器官的一部分、组织等。网格数据被获取，其定义已经被应用或映射到3D图像的网格。例如，所述网格数据可以定义3D图像的坐标系中的网格表面元素的坐标。如此，网格数据可以提供对解剖结构的分割。因此，应用的网格的替代术语可以是映射的网格、拟合的网格、覆盖的网格或叠加的网格。
生成3D图像和已经应用或映射到其上的网格的视图。如此，用户被示出3D图像的至少一部分以及应用的网格或映射的网格。所述视图由参数定义。例如，所述参数可以是几何参数。具体的范例是所述参数可以定义通过3D图像的查看平面，其可用于3D图像的多平面重新格式化以生成视图。然后，所述视图可以显示在显示器上，例如在应用程序的视窗中。
用户可以通过提供对应的用户输入数据来指示要针对网格的部分执行的编辑动作。这可能涉及传统的用户交互技术，例如但不限于用户使用定点设备操作屏幕上的指示器，并且在3D图像的初始视图和应用的网格或映射的网格上双击要编辑的网格的部分，例如，在视窗中所示。
根据上述措施，视图的查看参数基于网格的部分的局部取向来建立。这里，术语“局部取向”指的是3D图像内的网格的部分的取向，局部是因为取向仅表示网格的该部分而不是整个网格。
上述措施的效果是，在生成视图时考虑要编辑的网格的部分的局部取向。这样，当接收到用户输入数据时生成的、并且可以替换在编辑动作被指示时示出的初始视图的视图可以以这样的方式生成，使得它显示网格的要被编辑的部分，并且有利地提供其最佳视图。也就是说，网格部分的局部取向可以与使用户能够执行编辑动作有关。例如，当提高网格部分的分辨率时，可以期望网格部分的“正面”平行视图。然而，当试图重新定位网格部分时，可以期望正交横切网格部分的视图，从而允许用户最佳地执行重新定位。
任选地，处理器被配置用于建立一个或多个查看参数以定义视图以基本上正交于网格的部分横切三维图像，从而建立正交视图。发明人已经认识到，正交横切要被编辑的网格的部分的视图非常适合于许多编辑动作，例如涉及重新定位网格的部分的那些编辑动作。也就是说，这样的重新定位通常与网格正交地发生，这是由于网格在局部不足以与解剖结构拟合，例如通过在解剖结构的部分周围被应用得“太狭窄”或“太宽”。这种视图的另一个优点是，当网格的不同相邻部分需要被校正时，用户可以进一步导航通过3D图像。如果视图正交地横切网格部分，则前向导航或后向导航通常导致网格横切在后续导航视图内保持相对静止。然而，如果网格以非常倾斜的方式横切，则这种向前和向后的导航可能导致导航视图内的网格横切的剧烈变化，这可能使用户感到困惑，和/或需要用户的相当大的精力来解读。注意，术语“基本上正交”可以指正交横切，或者位于正交的窄范围内，例如+/-5度、+/-10度或+/-20度。
任选地，处理器被配置用于在接收到指示编辑动作的用户输入数据时，从示出网格的部分的初始视图切换到正交视图。所述正交视图因此可以响应于用户指示其执行编辑动作的期望而被显示。
任选地，处理器被配置为，在初始视图平行于网格的部分横切三维图像或者以低于预定角度的横切角度横切三维图像的情况下，进行所述切换。因此，视图可以从初始视图有条件地切换到正交视图，即仅当初始视图平行于网格部分时，或者以倾斜的方式横切网格部分时，例如在平行的+/-10度、+/-20度或+/-45度内。如此，如果初始视图被认为是非最佳的但足以执行编辑动作，则可以避免视图的切换。
任选地，网格的部分包括一组网格表面元素，并且处理器被配置用于通过将统计函数应用于来自所述一组网格表面元素的网格表面元素的法向矢量，来确定网格的部分的局部取向。网格表面元素的范例包括三角形、四边形等。
任选地，所述统计函数是取平均或取中值。
任选地，处理器可以被配置用于通过确定在网格的部分横切3D图像的位置处或其附近的3D图像的一个或多个灰度值图像梯度，来确定网格的部分的局部取向。通常，这可以提供使用网格表面元素的法向矢量的替代方案。例如，可以通过确定和评估灰度值结构张量来确定灰度值图像梯度。
任选地，所述一组网格表面元素位于参考网格表面元素的半径内。这样，所述统计函数可以应用于特定参考网格表面元素的半径内的一组表面元素。所述参考网格表面元素可以例如由用户选择，集中地位于初始视图内，或者可以由处理器以另一种方式确定或识别。处理器可以例如基于局部网格曲率自动地调整半径。
任选地，处理器被配置用于确定a)应用到网格表面元素的法向矢量的统计函数的结果与b)参考网格表面元素的法向矢量之间的差，以用于在所述差超过第一预定阈值的情况下，省略使用所述统计函数的结果作为所述确定的局部取向。因此统计函数的结果仅在相对于参考网格表面元素的法向矢量的差低于特定阈值时才被使用。例如，如果通过对法向矢量取平均来确定局部取向，则在网格部分呈现强曲率，具有复杂形状等的情况下，这样的平均可能歪曲网格部分的局部取向。
任选地，处理器被配置用于在差超过第一预定阈值的情况下：
-确定所述一组网格表面元素的子集，所述子集包括其法向矢量偏离所述统计函数的结果小于第二预定阈值的网格表面元素；并且
-通过将统计函数应用于来自所述子集的网格表面元素的法向矢量来确定网格的部分的局部取向。
所述局部取向因此可以仅基于网格表面元素的子集来确定，所述网格表面元素的子集就法向矢量而言偏离参考网格表面元素小于特定阈值。如此，可以提供异常值拒绝机制。应注意，上述步骤可以由处理器迭代执行。
任选地，处理器被配置用于建立一个或多个查看参数以定义视图以基本上正交于解剖结构的中心线而横切三维图像，所述中心线是根据网格的部分的位置被确定的。取代或者除了正交横切网格部分，所述视图也可以正交横切解剖结构的中心线，所述中心线是根据网格的部分的位置被确定的。例如，所述中心线可以被定义为位于网格的两侧之间。处理器因此可以生成正交横切该中心线的视图。应当注意，在许多情况下，这也可以导致定义中心线的(一个或多个)网格部分也被基本上正交地横切，因为中心线可以被定义为平行于(一个或多个)网格部分。
本领域技术人员应当理解，可以以认为有用的任何方式对本发明的上述实施例、实施方式和/或任选方面中的两个或更多个进行组合。
对应于所描述的系统的修改和变型的成像装置、工作站、方法和/或计算机程序产品的修改和变型能够由本领域技术人员基于本说明书来执行。
本领域技术人员将会理解，该方法可以应用于多维图像数据，例如应用于通过各种采集模态采集的三维(3D)或四维(4D)图像，各种采集模态例如并且不限于，标准X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM)。
附图说明
参考下文以范例的方式描述的实施例和附图，本发明的这些方面和其他方面将是显而易见的并且得到阐明，其中：
图1示出了用于交互式网格编辑的系统，其中，生成视图以基本上正交于网格的部分而横切3D图像；
图2A示出了显示小脑的3D图像的初始视图，其中，网格已经被应用于图像以分割小脑；
图2B示出了沿着如图2A所示的查看平面的正交视图，其正交横切网格部分；
图3A示出了显示胼胝体的3D图像的初始视图，其中，网格已经被应用于图像以分割胼胝体；
图3B示出了沿着如图3A所示的查看平面的正交视图，其正交横切胼胝体的中心线，所述中心线已经根据网格的至少一部分的位置被确定；
图4示出了一种用于交互式网格编辑的方法，其中，生成视图以基本正交于网格的部分而横切3D图像；
图5示出了包括用于令处理器系统执行所述方法的指令的计算机可读介质。
应当注意，附图是纯粹概略的，并非按比例进行绘制。在附图中，与已经描述的元件对应的元件可以具有相同的附图标记。
附图标记列表
提供以下附图标记列表以便于解释附图，并且不应被解释为限制权利要求。
020 图像存储库
022 三维图像的图像数据
040 网格数据存储器
042 数据定义网格
060 显示器
062 视图数据
080 用户输入设备
082 用户输入数据
100 用于交互式网格编辑的系统
120 图像数据接口
140 网格数据接口
160 处理器
180 用户输入接口
200、202 初始视图
220、222 网格轮廓
230 网格的部分
232 解剖结构的中心线
240、242 正交查看平面
250、252 正交视图
300 用于交互式网格编辑的方法
310 访问图像数据
320 获取网格数据
330 接收用户输入数据
340 生成视图
350 生成视图数据
370 计算机可读介质
380 存储为非瞬态数据的指令
具体实施方式
图1示出了用于交互式网格编辑的系统100。系统100包括用于访问图像数据022的图像数据接口120。所述图像数据可以表示示出解剖结构的三维(3D)图像。在图1的范例中，图像数据接口120被示为连接到包括图像数据022的外部图像存储库020。例如，图像存储库020可以由系统100可以连接或包含在其中的医院信息系统(HIS)的图像存档和通信系统(PACS)构成，或者图像存储库020可以是由系统100可以连接或包含在其中的医院信息系统(HIS)的图像存档和通信系统(PACS)的一部分。相应地，系统100可以经由HIS获得对图像数据022的访问。或者，图像数据022可以从系统100的内部数据存储器被访问。通常，图像数据接口120可以采取各种形式，例如本地或广域网(例如因特网)的网络接口、或者到内部或外部数据存储器的存储接口等。还应当注意，在适用的情况下，对所述3D图像的引用可以被理解为对所述3D图像的图像数据022的引用。
系统100还包括处理器160，处理器160被配置为获取网格数据042。所述网格数据可以定义先前已经映射到所述三维图像以便分割所述解剖结构的网格。在图1的范例中，处理器160被示为经由网格数据接口140从外部网格数据存储器040获得网格数据042。然而，网格数据042也可以在内部被访问，例如从诸如电子存储设备或磁盘驱动器的内部存储器被访问。
系统100还包括用于接收用户输入数据082的用户输入接口180，用户输入数据082指示被应用于视图中所示的网格的至少一部分的编辑动作。用户输入数据082可以由用户操作的用户设备080提供。用户设备080可以采取各种形式，包括但不限于计算机鼠标080、触摸屏、键盘等。用户输入接口180的类型可以对应于用户设备080的类型，即，它可以是与其对应的用户设备接口。
在系统100的操作期间，处理器160可以生成三维图像和所述应用的网格或映射的网格的视图，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的，并且可以生成表示所述视图的视图数据062以用于在显示器060上显示。所述视图可以是2D视图，但是同样地可以示出深度，例如是在3D显示器上用于立体显示的3D视图。视图数据062可以被输出到显示器060，例如直接由所述处理器160输出或经由显示器输出(图1中未示出)而被输出。在一个范例中，生成的视图可以被显示为应用程序的视窗的一部分。为了生成所述视图，处理器可以首先基于网格的部分的局部取向来建立一个或多个查看参数。例如，可以建立查看参数，使得视图基本上正交于网格的部分而横切三维图像，从而建立正交视图。
应当注意，系统100的各种操作，包括其各种任选方面，将参考图2A-3B更详细地解释。
系统100可以被实现为单个设备或装置，例如工作站或成像装置。所述设备或装置可以包括一个或多个执行适当软件的微处理器。所述软件可以已经被下载和/或存储在相应的存储设备中，例如，诸如RAM的易失性存储设备或诸如闪存的非易失性存储设备。或者，所述系统的功能单元可以以可编程逻辑的形式在所述设备或装置中被实施，例如作为现场可编程门阵列(FPGA)。通常，所述系统的每个功能单元可以以电路的形式被实施。应当注意，系统100也可以以分布的方式被实施，例如涉及不同的设备或装置。例如，所述分布可以根据客户端-服务器模型。
图2A示出了显示小脑的3D图像的初始视图200，其中，网格已经被应用或映射到图像以分割小脑。初始视图200横切3D图像和映射的网格220。结果，映射的网格220在初始视图200中被显示为轮廓。用户可以期望编辑网格的部分，例如以虚线指示的网格部分230。这可以以各种方式指示给系统。例如，用户可以激活编辑模式并且随后选择网格部分230，例如使用屏幕上的光标(图2A中未示出)。另一范例是用户可以简单地激活编辑模式，使要编辑的网格部分居中地位于视窗内。因此，系统可以从用户与系统的交互，即从用户的输入，被通知用户编辑网格部分的意图。
响应于用户的输入，然后处理器可以建立一个或多个查看参数来定义对编辑动作适合甚至最佳的后续视图。在图2A和2B的范例中，这可以是在网格部分230处基本正交横切3D图像的视图。所述查看参数可以采取各种形式。例如，它们可以定义查看平面，从所述查看平面可以生成视图。这样的查看平面240在图2A中被示为正交地横切网格部分230的线，如点划线符号指示的。图2B示出了由此得到的正交视图250，示出了网格220的不同轮廓。基于正交视图250，用户现在可以执行编辑动作，例如通过选择网格部分(在图2B中未明确指示)和相对于3D图像对其重新定位。
图3A和3B示出另一个范例，其中，视图被生成为与解剖结构的中心线正交。即，图3A示出了3D图像的初始视图202，所述3D图像示出了胼胝体，其中，网格已经映射到图像以分割胼胝体。初始视图202横切3D图像，由此示出了映射的网格222的轮廓。用户可以期望编辑网格的部分，并且可以提供指示其的用户输入。响应于用户输入，然后处理器可以建立一个或多个查看参数以定义对于编辑动作适合甚至最佳的后续视图。在图3A和3B的范例中，这可以是基本上与解剖结构的中心线232正交地横切3D图像的视图。中心线232在图3A中以虚线示出，并且可以为处理器所知。即，中心线232可以根据网格232的位置被确定。非限制性范例可以是中心线232可以被定义为位于网格232的两个侧边之间。
图3A还示出了建立的查看参数，所述查看参数以正交横切中心线232的线的形式定义查看平面242，如点划线符号指示的。在该示例中，由于网格222的两个侧边延伸为基本上平行于中心线232，查看平面242也基本上正交地横切网格222的边。图3B示出了所得到的正交视图252，示出网格222的不同轮廓。用户现在可以执行关于正交视图的编辑动作，例如通过选择要编辑的网格部分(在图2B中未明确指示)并且相对于3D图像对其重新定位。
应当理解，所述查看参数可以采取各种形式，诸如定义查看平面的坐标、定义虚拟相机的坐标、定义体积绘制的参数、切片数和图像坐标等。
应当理解，网格的部分的局部取向可以从单个网格表面元素(例如网格三角形)导出。如果网格部分由单个网格表面元素构成，或者当单个网格表面元素被认为是用于确定局部取向的参考元素，这可以是这种情况。然后局部取向可以直接由单个网格表面元素的法向矢量来确定。或者，如图2A和2B的范例中的情况，当网格的部分包括一组网格表面元素时，可以通过将统计函数应用于来自一组网格表面元素的网格表面元素的法向矢量，来确定网格的部分的局部取向。例如，统计函数可以是取平均或多数选择，例如取中值。所述一组网格表面元素可以被定义为位于参考网格表面元素的半径内。如此，处理器可以基于预定义的半径和被指示的参考网格表面元素，来确定属于所述组的所有网格表面元素。所述半径可以由处理器动态地确定，例如基于网格部分的曲率。例如，处理器可以增加半径以减小曲率，反之亦然。
处理器还可以被配置用于确定a)应用到网格表面元素的法向矢量的统计函数的结果和b)参考网格表面元素的法向矢量之间的差，以在所述差超过第一预定阈值的情况下，省略使用所述统计函数的结果作为所述确定的局部取向。如果所述差超过第一预定阈值，处理器可以确定所述一组网格表面元素的子集，所述子集包括其法向矢量偏离统计函数的结果小于第二预定阈值的网格表面元素，并且通过将统计函数应用于来自所述子集的网格表面元素的法向矢量来确定网格的部分的局部取向。
以下提供处理器如何确定网格的部分的局部取向的具体但非限制性的范例。这里，网格表面元素为三角形。首先，如果仅使用一个参考三角形，则其法向矢量可以直接用来表示局部取向。否则，处理器可以a)定义一个半径R，其中，三角形将被包括在平均计算中，b)确定位于小于或等于R的测地距离内的三角形，并且c)计算三角形法向矢量的平均值Av。Av不应该偏离参考三角形法向矢量超过阈值T1。如果超过，处理器可以d)确定偏离Av小于阈值T2的三角形法线向量，并且e)以剩余的三角形迭代地重复步骤c)至d)，以得到网格部分的法向矢量的稳定估计。最后，图像体积可以通过选择的网格表面点、垂直于上面计算的法向矢量被横切。然后可以放置场景相机，使得其轴与所计算的法向矢量重合。也就是说，其轴可以穿过所选择的点中的表面，并与法线方向平行。
图4示出了用于交互式网格编辑的方法300，其可以对应于参考图1所描述的系统100的操作。
所述方法300包括，在标题为“访问图像数据”的操作中，访问310图像数据，所述图像数据表示示出解剖结构的三维图像。所述方法300还包括，在标题为“获取网格数据”的操作中，获取320网格数据，所述网格数据定义了映射到所述三维图像以分割所述解剖结构的网格。所述方法300还包括，在标题为“接收用户输入数据”的操作中，接收330用户输入数据，所述用户输入数据指示将被映射到视图中所示的网格的至少一部分的编辑动作。所述方法300还包括，在标题为“生成视图”的操作中，生成340三维图像和映射的网格的视图，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的，对所述视图的所述生成340包括作为子操作的基于网格的部分的局部取向建立所述一个或多个查看参数。所述方法300还包括，在标题为“生成视图数据”的操作中，生成350表示所述视图的视图数据以用于在显示器上显示。任选地，所述方法300还可以包括，在标题为“交互式网格编辑”的操作中，使得用户能够在生成的视图中执行编辑动作。
应当理解，上述操作可以以任何合适的顺序执行，例如，连续地、同时地或者其组合，在适用的情况下，经受必要的特定顺序，例如通过输入/输出关系。例如，图像数据和网格数据可以同时或以任何顺序获取。
所述方法300可以在计算机上被实施作为一种计算机实施方法、被实施为专用硬件，或者两者的组合。也如图5所示，用于计算机的指令(例如可执行代码)可以被存储在计算机可读介质370上，例如以机器可读物理标记的系列380的形式，和/或作为一系列具有不同电(例如磁或光学)性质或值的元件。可执行代码可以以瞬态或非瞬态的方式被存储。计算机可读介质的范例包括存储设备、光学存储设备、集成电路、服务器、在线软件等。图5示出了光盘370。
应当理解，根据本申请的摘要，所提供的系统和方法可以使得用户能够交互地编辑已经被应用或映射到3D图像以分割其中示出的解剖结构的网格。为了便于对映射的网格的交互式编辑，可以生成示出要编辑的网格部分的3D图像的视图，其中，基于网格部分的局部取向来建立视图。有利地，视图可以被生成为基本上与网格部分正交，或者与解剖结构的中心线正交，所述中心线是根据网格部分被确定的。相应地，正交视图可以被建立，以便于用户执行相对于网格部分的编辑动作。因此用户不需要手动导航通过3D图像来获得适合于网格编辑的视图，而这通常是耗时的。
范例，实施例或任选的特征(无论是否被指示为非限制性的)不应被理解为限制所要求保护的本发明。
将认识到，本发明也应用于计算机程序，特别是在载体上或在载体中的计算机程序，所述计算机程序适于将本发明付诸实践。程序可以是以源代码、目标代码、代码中间源和诸如以部分编译形式的目标代码的形式，或者以适合用于实施根据本发明的方法的任何其他形式。还应认识到，这样的程序可以具有许多不同的架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对本领域技术人员来说将是显而易见的。子例程可以被共同存储在一个可执行文件中，以形成自包含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。或者，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且静态地或动态地(例如在运行时)与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程还可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括计算机可执行指令，其对应于本文中提出的至少一个方法的每个处理阶段。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括计算机可执行指令，其对应于本文中提出的系统和/或产品中的至少一个的每个单元。这些指令可以被细分为子例程和/或存储在可以被静态地或动态地链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括数据存储器，诸如ROM(例如，CD ROM或半导体ROM)，或者磁记录介质(例如，硬盘)。此外，载体可以是诸如电学或光学信号的可传送载体，其可以经由电缆或光缆或通过无线电或其他工具来传达。当程序体现在这种信号中时，载体可以由这种线缆或其他设备或单元构成。或者，载体可以是程序被体现在其中的集成电路，集成电路适于执行相关方法，或者用于相关方法的执行。
应当注意，上述实施例示例而非限制本发明，并且本领域技术人员能够在不脱离权利要求书的范围的情况下设计许多备选实施例。在权利要求中，置于括号中的任何附图标记不应被解释为限制权利要求。动词“包括”及其词性变化的使用不排除存在除了权利要求中所述元件或步骤外的其他元件或步骤。在元件之前的词语“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干个不同元件的硬件来实施，并且可以借助于适当编程的计算机来实施。在列举了若干器件的设备权利要求中，这些器件中的若干可以具体实现为一个相同的硬件。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。

Claims (13)

1.一种用于交互式网格编辑的系统(100)，包括：
用于访问图像数据(022)的图像数据接口(120)，所述图像数据表示示出解剖结构的三维图像；
处理器(160)，其被配置用于：
i)获取网格数据(042)，所述网格数据定义先前已经被映射到所述三维图像以用于分割所述解剖结构的网格(220、222)，
ii)生成所述三维图像和所述映射的网格的视图(250、252)，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的；并且
iii)生成表示所述视图的视图数据(062)以用于在显示器(060)上显示；
用于接收用户输入数据(082)的用户输入接口(180)，所述用户输入数据指示要被映射到在所述视图中示出的所述网格的至少一部分(230)的编辑动作；
其中，所述处理器(160)被配置用于在接收到指示所述编辑动作的所述用户输入数据(082)时，基于所述网格的所述部分的局部取向来建立所述一个或多个查看参数，
其中，所述网格的所述部分(230)包括一组网格表面元素，并且其中，所述处理器(160)被配置用于通过将统计函数应用于来自所述一组网格表面元素的网格表面元素的法向矢量来确定所述网格的所述部分的所述局部取向。
2.根据权利要求1所述的系统(100)，其中，所述处理器(160)被配置用于建立所述一个或多个查看参数以定义所述视图以与基本上正交于所述网格的所述部分(230)横切所述三维图像，从而建立正交视图(250、252)。
3.根据权利要求2所述的系统(100)，其中，所述处理器(160)被配置用于在接收到指示所述编辑动作的所述用户输入数据(082)时，从示出所述网格的所述部分(230)的初始视图(200、202)切换到所述正交视图(250、252)。
4.根据权利要求3所述的系统(100)，其中，所述处理器(160)被配置为在所述初始视图(200、202)平行于所述网格的所述部分(230)横切所述三维图像的情况下或者在所述初始视图(200、202)以低于预定角度的横切角度横切所述三维图像的情况下，进行所述切换。
5.根据权利要求1所述的系统(100)，其中，所述统计函数是取平均或取中值。
6.根据权利要求1或5所述的系统(100)，其中，所述一组网格表面元素位于参考网格表面元素的半径内。
7.根据权利要求6所述的系统(100)，其中，所述处理器(160)被配置用于确定a)被应用到所述网格表面元素的法向矢量的所述统计函数的结果与b)所述参考网格表面元素的法向矢量之间的差，以用于在所述差超过第一预定阈值的情况下省略使用所述统计函数的所述结果作为所述确定的局部取向。
8.根据权利要求7所述的系统(100)，其中，所述处理器(160)被配置用于在所述差超过所述第一预定阈值的情况下：
确定所述一组网格表面元素的子集，所述子集包括其法向矢量偏离所述统计函数的所述结果小于第二预定阈值的网格表面元素；并且
通过将所述统计函数应用于来自所述子集的网格表面元素的法向矢量来确定所述网格的所述部分的所述局部取向。
9.根据权利要求1所述的系统(100)，其中，所述处理器(160)被配置用于建立所述一个或多个查看参数以定义所述视图(252)以基本上正交于所述解剖结构的中心线(232)横切所述三维图像，所述中心线是根据所述网格的所述部分的位置被确定的。
10.一种工作站，包括根据上述权利要求中的任一项所述的系统。
11.一种成像装置，包括根据权利要求1至9中的任一项所述的系统。
12.一种用于交互式网格编辑的方法(300)，包括：
访问(310)图像数据，所述图像数据表示示出解剖结构的三维图像；
获取(320)网格数据，所述网格数据定义先前已经被映射到所述三维图像以用于分割所述解剖结构的网格；
接收(330)用户输入数据，所述用户输入数据指示要被应用到在视图中示出的所述网格的至少一部分的编辑动作；
生成(340)所述三维图像和所述映射的网格的视图，其中，所述生成是基于定义所述视图的一个或多个查看参数进行的；
生成(350)表示所述视图的视图数据以用于在显示器上显示；并且
其中，对所述视图的所述生成(340)包括在接收到指示所述编辑动作的所述用户输入数据(082)时，基于所述网格的所述部分的局部取向来建立所述一个或多个观看参数。
13.一种计算机程序产品(370)，包括用于令处理器系统执行根据权利要求12所述的方法的指令。
CN201680038618.4A 2015-06-29 2016-06-29 交互式网格编辑 Active CN107851337B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562185981P 2015-06-29 2015-06-29
US62/185,981 2015-06-29
EP15179465.8 2015-08-03
EP15179465 2015-08-03
PCT/EP2016/065142 WO2017001476A1 (en) 2015-06-29 2016-06-29 Interactive mesh editing

Publications (2)

Publication Number Publication Date
CN107851337A true CN107851337A (zh) 2018-03-27
CN107851337B CN107851337B (zh) 2022-04-08

Family

ID=53794070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680038618.4A Active CN107851337B (zh) 2015-06-29 2016-06-29 交互式网格编辑

Country Status (5)

Country Link
US (1) US10282917B2 (zh)
EP (1) EP3314582B1 (zh)
JP (1) JP6517953B2 (zh)
CN (1) CN107851337B (zh)
WO (1) WO2017001476A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147061A (zh) * 2018-07-20 2019-01-04 清华大学 一种对体数据的分割结果进行人机交互编辑的方法
CN110442339A (zh) * 2019-06-17 2019-11-12 搜游网络科技(北京)有限公司 一种可视化轴向编辑方法、装置及运行器、可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441944A1 (en) 2017-08-07 2019-02-13 Koninklijke Philips N.V. Volume rendering of volumetric image data with interactive segmentation
US10679350B2 (en) 2018-08-10 2020-06-09 Koninklijke Philips N.V Method and apparatus for adjusting a model of an anatomical structure

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US20040249270A1 (en) * 2003-03-20 2004-12-09 Kabushiki Kaisha Toshiba Processor for analyzing tubular structure such as blood vessels
US20070116335A1 (en) * 2005-11-23 2007-05-24 General Electric Company Method and apparatus for semi-automatic segmentation technique for low-contrast tubular shaped objects
US20070133845A1 (en) * 2003-11-13 2007-06-14 Maxim Fradkin Three-dimensional segmentation using deformable surfaces
CN101490716A (zh) * 2006-07-17 2009-07-22 皇家飞利浦电子股份有限公司 用于医学图像分割的与多边形网格的高效用户交互
CN102236913A (zh) * 2011-04-15 2011-11-09 杭州普乐信信息技术有限公司 一种体网格变形方法
CN102378990A (zh) * 2009-04-03 2012-03-14 皇家飞利浦电子股份有限公司 用于交互式实时网格分割的系统和方法
US20130051645A1 (en) * 2011-08-29 2013-02-28 Yong-Sun Kim Method and apparatus for generating organ image
CN103534733A (zh) * 2011-05-06 2014-01-22 皇家飞利浦有限公司 医学图像系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042449B2 (en) * 2002-06-28 2006-05-09 Autodesk Canada Co. Push-tumble three dimensional navigation system
EP1565880B1 (en) 2002-11-20 2007-02-14 Koninklijke Philips Electronics N.V. Image processing system for automatic adaptation of a 3-d mesh model onto a 3-d surface of an object
US7423640B2 (en) 2004-04-23 2008-09-09 Siemens Medical Solutions Usa, Inc. Method and system for panoramic display of medical images
US7952592B2 (en) 2006-09-25 2011-05-31 Siemens Medical Solutions Usa, Inc. System and method for view-dependent cutout geometry for importance-driven volume rendering
US8126238B2 (en) * 2006-11-22 2012-02-28 General Electric Company Method and system for automatically identifying and displaying vessel plaque views
US8233692B2 (en) * 2008-02-27 2012-07-31 Siemens Computer Aided Diagnosis Ltd. Method of suppressing obscuring features in an image
EP2489011B1 (en) * 2009-10-14 2020-04-29 3Mensio Medical Imaging B.V. A method, a graphic user interface, a system and a computer program for optimizing workflow of a medical intervention
US8903153B2 (en) * 2009-12-22 2014-12-02 Koninklijke Philips N.V. Bone suppression in x-ray radiograms
US9715754B2 (en) 2010-08-05 2017-07-25 Koninklijke Philips N.V. In-plane and interactive surface mesh adaptation
US8611989B2 (en) 2010-11-30 2013-12-17 Kabushiki Kaisha Toshiba Multi-planar reconstruction lumen imaging method and apparatus
JP5670253B2 (ja) * 2011-05-18 2015-02-18 日立アロカメディカル株式会社 超音波診断装置
IN2014CN04761A (zh) 2011-12-12 2015-09-18 Koninkl Philips Nv
US20130328874A1 (en) 2012-06-06 2013-12-12 Siemens Medical Solutions Usa, Inc. Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US20040249270A1 (en) * 2003-03-20 2004-12-09 Kabushiki Kaisha Toshiba Processor for analyzing tubular structure such as blood vessels
US20070133845A1 (en) * 2003-11-13 2007-06-14 Maxim Fradkin Three-dimensional segmentation using deformable surfaces
US20070116335A1 (en) * 2005-11-23 2007-05-24 General Electric Company Method and apparatus for semi-automatic segmentation technique for low-contrast tubular shaped objects
CN101490716A (zh) * 2006-07-17 2009-07-22 皇家飞利浦电子股份有限公司 用于医学图像分割的与多边形网格的高效用户交互
CN102378990A (zh) * 2009-04-03 2012-03-14 皇家飞利浦电子股份有限公司 用于交互式实时网格分割的系统和方法
CN102236913A (zh) * 2011-04-15 2011-11-09 杭州普乐信信息技术有限公司 一种体网格变形方法
CN103534733A (zh) * 2011-05-06 2014-01-22 皇家飞利浦有限公司 医学图像系统和方法
US20130051645A1 (en) * 2011-08-29 2013-02-28 Yong-Sun Kim Method and apparatus for generating organ image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BERNHARD REITINGER等: "Liver Surgery Planning Using Virtual Reality", 《IEEE COMPUTER GRAPHICS AND APPLICATIONS》 *
JOCK D. MACKINLAY等: "Rapid Controlled Movement Through a Virtual 3D Workspace", 《ACM SIGGRAPH COMPUTER GRAPHICS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147061A (zh) * 2018-07-20 2019-01-04 清华大学 一种对体数据的分割结果进行人机交互编辑的方法
CN110442339A (zh) * 2019-06-17 2019-11-12 搜游网络科技(北京)有限公司 一种可视化轴向编辑方法、装置及运行器、可读存储介质
CN110442339B (zh) * 2019-06-17 2023-09-01 北京蓝亚盒子科技有限公司 一种可视化轴向编辑方法、装置及运行器、可读存储介质

Also Published As

Publication number Publication date
CN107851337B (zh) 2022-04-08
US10282917B2 (en) 2019-05-07
EP3314582B1 (en) 2020-08-05
JP2018526057A (ja) 2018-09-13
JP6517953B2 (ja) 2019-05-22
EP3314582A1 (en) 2018-05-02
WO2017001476A1 (en) 2017-01-05
US20180158252A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6884853B2 (ja) ニューラルネットワーク法を用いた画像セグメンテーション
JP6932182B2 (ja) 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
JP2019511321A (ja) 放射線治療のインタラクティブ計画
CN110235175B (zh) 在线学习增强的基于图谱的自动分割
CN103443824B (zh) 用于可视化图像配准映射的系统、方法和装置
CN103534733B (zh) 医学图像系统和方法
JP5838215B2 (ja) 画像及び注釈表示
CN107851337A (zh) 交互式网格编辑
US10297089B2 (en) Visualizing volumetric image of anatomical structure
US9498645B2 (en) Dose deformation error calculation method and system
CN110023999A (zh) 发射和透射断层摄影中的交互式目标超快重建
RU2721078C2 (ru) Сегментация анатомической структуры на основе модели
EP3423968B1 (en) Medical image navigation system
EP3491622B1 (en) A method and apparatus for refining a model of an anatomical structure in an image
Sebaaly et al. Radiotherapy Treatment Planning System Simulation Lung Cancer Application
BR112017005715B1 (pt) Sistema e método para visualização de uma imagem volumétrica de uma estrutura anatômica, e equipamento de imageamento

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant