CN111430012B - 使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法 - Google Patents

使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法 Download PDF

Info

Publication number
CN111430012B
CN111430012B CN202010000629.1A CN202010000629A CN111430012B CN 111430012 B CN111430012 B CN 111430012B CN 202010000629 A CN202010000629 A CN 202010000629A CN 111430012 B CN111430012 B CN 111430012B
Authority
CN
China
Prior art keywords
representation
brush
image data
user interface
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010000629.1A
Other languages
English (en)
Other versions
CN111430012A (zh
Inventor
文森特·莫拉尔
特里·加利科
尼古拉斯·戈金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111430012A publication Critical patent/CN111430012A/zh
Application granted granted Critical
Publication of CN111430012B publication Critical patent/CN111430012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/73—
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明题为“使用实时边缘感知刷来半自动地分割3D医学图像的系统和方法”。公开了用于经由用户界面(122)生成用于导航和分割图像的边缘感知刷(122、700)的装置、系统和方法。示例性处理器(912)至少为：构造用于分割图像数据的刷(122、700)；经由用户界面来提供关于图像数据的刷(122、700)的交互式表示(123)，交互式表示(123)将被显示并可用于在提供用于在用户界面中显示图像数据的视图的多个视口(610至650)中的每个中进行交互；基于表示的操纵来启用视口(610至650)的更新；有利于显示对应于表示的位置的图像数据的分割(112至113)的预览；并且，当分割(112至113)被确认时，其有利于基于分割(112至113)生成输出。

Description

使用实时边缘感知刷来半自动地分割3D医学图像的系统和 方法
技术领域
本公开整体涉及经改善的医疗系统，并且更具体地，涉及用于医疗图像处理的经改善的机器学习系统和方法。
背景技术
多种经济、运营、技术和管理障碍对向患者提供优质护理的医疗保健机构(诸如医院、诊所、医生办公室、成像中心、远程放射等)提出了挑战。医疗保健企业的经济动因、员工技能欠缺、员工较少、设备复杂以及最近兴起对控制以及标准化辐射暴露剂量用法的认证给患者检查、诊断和治疗的成像和信息系统的有效管理和使用带来了困难。
医疗保健供应商的整合形成了跨地域分布的医院网络，在这些医院网络中与系统的物理接触太昂贵。与此同时，转介医师希望更直接访问报告中的支持性数据并且需要更好的合作渠道。医师具有更多患者、更少时间并且被淹没在海量数据中，他们渴望得到帮助。
医疗保健提供者(例如，x射线技术专家、医生、护士等)任务(包括图像处理和分析、质量保证/质量控制等)是耗时的，并且资源密集型任务即使不是不可能的，对于人类单独完成来讲是不切实际的。
发明内容
某些示例提供了装置、系统和方法以经由用户界面生成用于对图像进行导航和分割的边缘感知刷。
某些示例提供了包括指令的至少一个计算机可读存储介质，所述指令在被执行时使得至少一个处理器至少：构造用于分割图像数据的刷；经由用户界面来提供相对于所述图像数据的所述刷的交互式表示，所述交互式表示将被显示并且可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口中的每个中进行交互；基于所述表示的操纵来启用所述视口的更新；有利于显示对应于所述表示的位置的所述图像数据的分割的预览；并且，当所述分割被确认时，其有利于基于所述分割生成输出。
某些示例提供了一种包括至少一个处理器和至少一个包括指令的计算机可读存储介质的装置。所述指令在被执行时使得所述至少一个处理器至少：构造用于分割图像数据的刷；经由用户界面来提供相对于所述图像数据的所述刷的交互式表示，所述交互式表示将被显示并且可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口中的每个中进行交互；基于所述表示的操纵来启用所述视口的更新；有利于显示对应于所述表示的位置的所述图像数据的分割的预览；并且，当所述分割被确认时，其有利于基于所述分割生成输出。
某些示例提供了至少一个包括处理器可执行指令和数据结构的计算机可读存储介质。所述数据结构包括刷构造，所述刷构造经由用户界面来指定要相对于图像数据显示的交互式表示，所述交互式表示将被显示并且可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口中的每个中进行交互以用于对所述图像数据进行分割。所述刷构造被定义为：包括半径和梯度的形状，其中所述半径的值定义所述表示的默认尺寸，并且所述梯度的值限定对图像数据中的边界或轮廓中的至少一者的敏感度，所述表示根据为所述刷定义的所述梯度的所述值适应所述图像数据中的边界或轮廓中的所述至少一者。所述刷构造还由坐标定义，所述坐标包括用于存储相对于所述用户界面的第一视口的所述表示的位置的第一坐标和用于存储相对于所述用户界面的第二视口的所述表示的所述位置的第二坐标。
附图说明
图1示出了示例性可视化系统。
图2示出了图1的系统的边缘感知刷的示例性实施方式。
图3提供了关于图1的用户界面的示例性实施方式的进一步细节。
图4描绘了刷控件面板的一个示例。
图5示出了图1的示例的用户界面的示例性区域。
图6示出了根据图1的系统的示例性用户界面显示。
图7描绘了用于实例化边缘感知刷界面构造的示例性数据结构。
图8示出了根据图1至图7的系统和/或装置来实例化用于图像分割的边缘感知刷的示例性方法的流程图。
图9是被构造成执行示例性机器可读指令以实现本文所公开和描述的部件的处理器平台的框图。
当结合附图阅读时，将更好地理解前述发明内容以及以下对本发明的某些实施方案的详细描述。为了示出本发明的目的，在附图中示出了某些实施方案。然而应当理解，本发明不局限于在附图中所示的布置和工具。附图未按比例绘制。在所有的附图以及附带的书面描述中，只要有可能，都会使用相同的附图标记来指代相同或类似的部件。
具体实施方式
在以下详细描述中，参考形成其一部分的附图，并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域技术人员能够实践本主题，并且应当理解，可以利用其他示例，并且可以在不脱离本公开主题的范围的情况下进行逻辑、机械、电气和其他改变。因此提供以下详细描述的目的是为了描述示例性实施方式，而非被看作对本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征可组合形成下文所讨论的主题的新方面。
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。
虽然下文在医学或医疗保健系统的背景下描述了某些示例，但可在医疗环境之外实现其他示例。
大多数临床决策源于对来自一些数据源中感兴趣的重要数据集的分析。在放射学领域中，这通常涉及从医学图像数据分析感兴趣区域。医学图像分析是应转诊医师的请求进行的，用于诸如检测、评估、解剖异常(例如，病变、动脉瘤、萎缩等)的进展等的特定目的。为了访问这些感兴趣区域并进行分析，必须首先准确地且坚定地将这些区域与其他非必要数据分离。虽然存在许多上下文特定算法来分割诸如器官、其他解剖特征、病理结构(例如，病变、结节等)等的感兴趣区域，但由于医学数据的几乎所有来源的可变性，导致这些算法永远不会是完美的。此外，诸如比例、噪声、运动、部分体积和其他伪影之类的因素会妨碍几乎每个分割算法的准确性和精度。在许多应用程序中，从分割算法获得的结果的问题不是基于数值标准的准确性，而是人类用户如何感知信息，所述人类用户是分析中的最终仲裁者。在这种情况下，需要提供一种灵活且直观的工具，以有利于快速、准确分割。
有缺陷的分割可以多种方式进行处理。在一些情况下，用户将忽略有缺陷的分割。在其他情况下，用户将尝试使用工具来手动调节分割。在其他情况下，用户可求助于手动分割感兴趣区域的方法。涉及手动调节的方法(包括允许在2D和3D中调节轮廓的方法)会创建一种无法以任何保真度再现手动分割的结果的情况。例如，在临床研究中，在确定病变直径的放射科医师之间存在10％的相互和内部变异性。在体积意义上，变异性转化为超过20％的变异性。
需要一种简单的、可重复的和可重现的半自动分割方法，所述方法在有缺陷、分割失败、无分割等情况下为用户提供一定程度的灵活性。某些示例在工具中提供预览机制和边缘感知特性以帮助减少放射科医师之间的相互和内部变异性。
某些示例提供了基于实时可变形刷的框架，以允许人类在3D图像中进行交互和选择相关部分。该框架包括刷的3D实时预览，以便能够以有效的方式快速编辑分割，从而改善准确性、精度、可重复性和可重现性。进一步地，工具的可用性减少了用户交互，并因此加速了分割进程。
图1示出了包括一个或多个图像数据输入110的示例性可视化系统100。例如，输入可包括三维(3D)输入图像111(例如，计算机断层摄影术(CT)图像、磁共振(MR)图像，超声图像、x射线图像、正电子发射断层摄影术(PET)图像等)。一个或多个3D图像可显示例如要控制的身体的内部部分或解剖结构。如在图1的示例中所示，可提供底层3D图像111(例如，器官、肿瘤、肌肉、骨等)的一个或多个初始分割112至113。然而，分割和编辑进程可从没有分割的图像输入111开始。
示例性系统100还包括处理器120，用于构造具有其形状的2D/3D实时可视化123的边缘感知刷122，所述边缘感知刷被显示用于经由用户界面121进行交互。用户界面121、边缘感知刷122和实时渲染123(例如，在2D切片图像数据上渲染3D，在3D虚拟现实数据上的倾斜图像视图等)的组合使得能够快速并准确地从3D图像111分割感兴趣结构。下文就图2、图3和图5，进一步详细地描述了处理器120的元件。
示例性系统100还包括输出发生器130用于提供处理器120的输出。例如，输出130提供3D图像111的相关部分的最终分割131、132。该多个3D二元分割131、132可用于诸如评估感兴趣结构的体积的多种应用程序，为深度学习算法提供真实数据等。在某些示例中，可将底层3D体积111的分割存储为行程长度编码(RLE)二进制掩模。例如，所述掩模能够更快地对分割进行编码和解码，这对于工具的实时可视化是有用的。
图2示出了系统100的边缘感知刷122的示例性实施方式。刷是一种图形元件或工具，该图形元件或工具表示在以由用户操纵的可见图形元件中实例化的软件指令。处理器将与刷的移动和/或其他交互转换为指令，所述指令将由处理器执行以修改经由用户界面121显示的内容和与所显示的内容相关联的底层数据(例如，分割图像、注释图像等)。
用于医学图像的标准刷不会查看底层图像以绘画绘制笔画。由于刷构造不跟踪或处理屏幕上的图像数据，而只是在独立于底层图像数据的情况下围绕显示器移动，因此难以准确接近感兴趣结构的边界。例如，两个不同的用户将具有非常不同的结果，因为每个用户经由界面不同地移动刷，并且刷和相关联的界面不能引导用户。
相比之下，某些示例提供了技术上改善的图像数据和相关联的边缘/轮廓感知刷122，其理解所显示的图像数据及其形状并且不愿在底层图像数据中跨越边缘/轮廓/边界。该边缘感知刷122动态地适应其在用户界面121上的形状以适合底层图像并且在执行相同任务的多个用户之间提供一致的边界。
如图2所示，驱动“智能”刷用户界面操纵构造的数据结构122包括输入配置器210、刷形发生器220和图形用户界面元件控制器230。输入配置器210的输入包括3D图像体积、在用户界面121上的指向设备的位置(例如，对应于期望/当前的刷位置)、关联的用户界面121视口的显示设置(例如，窗口宽度、窗口水平等)、刷形状控制参数(例如，刷半径、梯度强度等)等。因此，配置器210利用要计算刷的指向设备的位置，要分析的图像内容、视口显示设置以在刷变形和经由界面121显示的图像之间提供更好的一致性等。例如，刷形状控制参数包括刷半径以控制刷的尺寸和梯度强度以用于控制刷的边缘感知能力。
刷形发生器220使用这些输入用于自适应子采样和裁剪222、边缘感知滤波224、传播226、上采样228等，以生成用于生成的刷形并经由图形用户界面元件控制器230控制。例如，发生器220可处理指向设备位置和刷半径以计算包括整个刷构造的最大边界框。然后，使用该边界框对3D体积进行重采样和裁剪222。通过自适应地子采样图像数据和修剪2223D体积图像以聚焦在输入图像数据的一小部分上，增加了刷形计算速度。例如，子采样可人为地减少要处理的体素的数量，从而提高处理速度，甚至在较慢的计算机上也是如此。进一步地，例如，窗口和/或其他视口显示设置可用于规范未来梯度计算并产生各向同性的像素(例如，沿x轴、y轴和z轴具有相同像素分辨率)以在传播期间提高准确性。在某些示例中，使用在其上实现系统100的处理器和/或其他计算设备的硬件能力自动计算子采样因子。这种子采样甚至允许慢速的计算机相对于所显示的图像数据提供刷构造的实时处理和可视化。
示例性计算机屏幕使用8位显示灰色像素。使用8位，可以显示256灰度。这远低于医学图像的精度(例如，每像素分别产生4096和65536灰度的12位或16位)。使用窗口，某些示例允许用户和/或计算设备为要在屏幕上显示的灰度限定最小和最大范围。刷内在地使用相同的范围(例如，相同的窗口)。通过使用相同的窗口范围，发生器220所考虑的梯度的强度与用户经由用户界面121可视化的梯度相同。这简化了对刷形的理解。例如，改变窗口还可帮助用户将3D图像体积的特定部分分割。
另外，图像数据可包括可在刷中导致粗糙边界的噪声(例如，3D个医学图像的高斯噪声等)。可使用边缘感知滤波224减小噪声。噪声可导致刷形变得不规则且不平滑。通过在临时图像上施加3D低通滤波器，刷形可能不受噪声干扰，并且其形状是规则的。对于低通滤波器，例如，优选地选择不模糊图像边界的滤波器(例如，双边滤波器、各向异性的扩散滤波器、总变型减噪滤波器等)。
例如，刷形和位置由发生器220使用过滤图像上的传播226来计算，所述传播基于相对于指向设备的位置的形态学上的变形虫距离。例如，限定路径距离L，所述路径距离考虑了沿该路径的梯度累积(例如，λ是用户给出的用于调制梯度强度的参数，并且d像素是2个相邻像素图像(xi)和图像(xi+1)之间的灰度差异)。然后，变形虫距离d(x，y)为像素x和像素y之间的最短路径。刷形是具有小于刷半径的变形虫距离(例如，由使用者、计算设备等设置的参数)的所有像素的集合。例如，路径距离L(σ)可如下确定：
在某些示例中，当不存在梯度时，可略微修改变形虫距离以形成用于刷的球形形状。在某些示例中，可通过将梯度强度参数设置为0(上述公式(1)中的λ)来去除边缘感知能力。在这种特殊情况下，这种刷表现为没有边缘感知智能的刷。
因此，可通过变形虫距离考虑相对于刷表示122位置的图像梯度，这在从一个像素穿越到下一个像素时增加了与刷梯度相关的因素。因此，刷表示122的精确定位考虑图像中的梯度和边界/轮廓，并且公式(1)中的λ提供梯度强度和刷形之间的权衡，以驱动界面121上的刷122相对于图像的显示。
在某些示例中，刷形由发生器220在低分辨率各向同性的3D图像上计算。然后，例如，通过上采样228，使用最近相邻插值将刷形转移到初始图像分辨率。作为输出，刷形界面构造122可由图形用户界面元件控制器230使用RLE机制来编码以压缩信息并加速进程。
图3提供了关于用户界面121的示例性实施方式的进一步细节。用户界面121有利于控制边缘感知刷的生成、跟踪和操纵进程。可以使用不同的界面手动调整刷参数。在某些示例中，触发/激活控件是冗余的，并且可使用诸如面板控件310、键盘快捷键320、指向设备控件330等的不同的机制来利用。
图4中描绘了刷控件310的面板的一个示例。面板310的第一部分包括刷形控件410以影响刷的行为。例如，滑块用于改变刷半径、刷强度/对图像梯度(公式1中的λ参数)的敏感度等。可根据要分割的结构的尺寸、轮廓、同质性等来改变参数。进一步，可经由面板310来切换刷状态(例如，绘画、擦除等)。面板310的第二部分提供分割标签/注释控件420。例如，可为要用刷分割的每个器官/结构定义颜色和标签。面板310的第三部分提供控件430，诸如撤销、重做、有效、填充孔、补充/去除小、取消、完成等。例如，撤销按钮用于去除所绘制的最后笔画，并且重做按钮在不同位置重复所绘制的笔画。有效/验证/完成按钮将定案分割状态并关闭工具。例如，移除小和填充孔可在高级模式中使用。移除小用于从分割中去除单独的体素(或体素组)。填充孔按钮通过添加完全被作为分割的一部分的体素包围的体素组来改变分割。
可提供键盘快捷键320以复制面板310的控件，通过用户操纵键盘快捷键320而不是选择面板310滑块、按钮等来提供添加的速度。例如，控制键可用于切换刷模式(例如，绘画、擦除等)。例如，可使用加号和/或减号(+/-)来改变刷的尺寸。例如，可使用数字键(例如，0、1、2、3…9等)来改变当前分割标签。诸如Ctrl+Z、Ctrl+Y的组合键可以触发诸如撤销/重做过程等的动作。例如，回车键可以触发分割过程的定案。
另选地或另外，为了简化用户交互，可使用指向设备330来改变一些或所有控件。例如，控制键和/或其他键和鼠标移动的组合可触发动作。例如，ctrl+指向设备的水平移动可减小/放大刷尺寸。例如，ctrl+指向设备的纵向移动可减小/增大梯度强度参数。
通过提供冗余控件310至330，可改善刷的易用性并且可提高分割进程的速度。在一些示例中，可从标准用户/标准模式隐藏一些参数，并且仅对高级用户/高级模式可用。在此类示例中，可提供/预配置默认参数以适应大多数“标准”或正常医学图像案例的分割。例如，λ参数可以是已针对给定任务预调整的常数。
示例性输出发生器130经由用户界面121提供实时(或在给定数据传输、检索、处理和/或显示延迟/等待时间等的情况下基本上实时)3D渲染。为了获得准确分割，用户必须实时查看他/她正在做什么。因此，例如，在用户界面121的活动视口(由指向设备使用)(和其他辅助视口)上实时计算刷形并将其显示给用户。图5示出了用户界面显示器121的示例性区域510、520、530。例如，界面121可包括第一2D查看器510、第二2D查看器520和3D查看器530。第一2D查看器510显示表示3D体积的轴向、矢状和/或冠状切片的分割映像。例如，可以经由查看器510将分割映像显示为3D灰度图像的颜色叠层。3D刷形是实时计算并显示的，以用于指向设备相对于2D查看器510的移动。因此，在图像上绘制笔画之前，用户可以控制刷的未来结果。例如，这提供了可预测的工具，这是可用性的重要特征。
除了经典的轴向、矢状和冠状平面(对应于图像轴)之外，可在第二2D查看器520中以任何取向将另外的轴线限定到3D体积中(例如，倾斜取向等)。第二2D查看器520提供可更容易分割的另一平面。因此，如果传统的轴向/矢状/冠状视图510未能提供用于分割的足够视图，则第二2D查看器520可定义另一平面视图，所述另一平面视图提供对图像数据中的感兴趣区域的更容易的分割。自适应边缘感知刷也可用于与第二2D查看器520中的图像表示进行交互。
使用指向设备来控制2D查看器510和/或2D查看器520中的刷允许对感兴趣结构/区域进行分割。在某些示例中，分割可在2D查看器510中在第一切片(例如，轴向切片、矢状切片、冠状切片等)上开始，并且在查看器510中的一个或多个第二切片(例如，轴向切片、矢状切片、冠状切片等)上继续，并且然后经由2D查看器520使用倾斜切片结束。在一个示例中，用户经由指向设备操纵刷以在2D查看器510的轴向切片上开始分割，经由2D查看器510继续矢状切片，并且经由2D查看器520完成相对于倾斜切片的分割。
然而，2D查看器510、520具有一些局限。例如，查看器510、520涉及向下滚动并向上滚动到3D图像体积中以查看整个分割。因此，利用分割的体积渲染来定义3D查看器530。3D查看器实时提供刷的3D表示，并且使得用户能够相对于3D体积渲染准确地控制刷形。如上所述，与图形刷界面构造相关联的刷形计算和可视化是实时地或基本上实时地执行的(例如，每秒15帧的最小帧速率可以保证良好的用户体验等)。例如，快速计算和可视化帮助确保深度学习算法的真实数据生成所需的准确性和可重复性。
图6描绘了包括第一屏幕上的面板310和多个视口610至640以及第二屏幕上的体积渲染650的用户界面121的示例。在多个视口(例如，倾斜视口610、矢状视口620、轴向视口630、冠状视口640)中的每个都显示了示例性刷122，使得用户通过多个视图查看分割尺寸的预览以及确认与刷650尺寸相关的分割的范围/扩展。因此，体积查看器界面121可提供图6的多个视图610至650，以有利于3D操纵和查看相对于3D体积中的结构的分割刷122，以用于准确分割计划并执行。
图7示出了示例性数据结构700，所述示例数据结构表示与用户界面121一起使用的刷构造122以及相关联的图像数据和分割处理。示例性数据结构700可由指令和数据表示并且使用处理器来执行以生成包括刷122及其与用户界面121的交互以提供图像数据的分割的131至132的系统100。示例性数据结构700定义包括用于刷半径和梯度强度的变量的刷形。刷半径影响当不受图像数据中的对象边界约束时刷表示122在界面121上可变为多大。梯度强度影响刷半径和刷形的柔韧性/适应性。例如，如果不施加梯度，则刷122在界面121上表现为球体。否则，所述梯度会约束刷122在界面121上显示的形状。示例性数据结构700还定义一组或多组坐标，所述坐标组可用于定义和跟踪刷122相对于用户界面121的位置。坐标可提供刷122在视口1至N 610至650中的位置，所述位置表示刷122相对于一个或多个图像平面的放置。通过跟踪刷122的位置，系统100可确定要分割的图像区域131至132(例如，刷122坐标可映射至图像显示坐标等)。
因此，某些示例经由主要视口以及辅助视口(例如，2D、3D、虚拟现实(VR)、最大强度投影(MIP)、弯曲等)提供动态的边缘感知刷的实时可视化。通过提供跨多个视口的刷的可视化，可以在3D中提供对刷形的更大控制。例如，刷使用3D图像的信息在3D中自身变形的能力也代表了对先前的分割刷功能的技术改进。
某些示例使得能够开发高级应用程序，在所述高级应用程序中，用户可以通过指示设备的很少交互来准确地分割和/或校正图像体积中的感兴趣结构的失败的自动分割。刷变形过程是可重复的和可预测的。进一步地，利用对跨越高图像边界的抗拒/阻力对刷界面构造进行编码，与现有工具相比，可以改善沿图像元素边界的分割的准确性、速度、临床可靠性等。例如，“智能”刷通过减少指向设备操纵和分割边界放置中的人为差异来提供在标注者之间的改善的再现性。另外，实时渲染帮助增强可预见性和可重复性。经由一个或多个辅助视图的实时反馈提供了一些附加控制，并且避免了分割裂漏到在主视图中不可见的不需要的结构中。
在分割期间，为用户提供对刷及其在2D和3D中形状的改善的控制、定制和可操纵性。因此，用户可减少注意力且降低精确度，并且仍然可获得高质量、高可重复、高准确的分割结果。进一步地，“智能”刷具有反应性且快速性，其适应于基于图像的相关联结构中检测到的边界/轮廓(在3D中跨平面)填充可用空间。在单击和/或以其他方式选择以定案分割之前，提供了预览，所述预览实时示出了对应于分割的刷形。因此，用户预先知道图像的分割将是什么。某些示例提供对分割的更快创建和校正，并且为涉及图像分割的成像应用程序提供框架。
虽然结合图1至图7示出了示例性实施方式，但结合图1至图7示出的元件、进程和/或设备可以任何其他方式组合、划分、重新布置、省略、消除和/或实现。此外，本文所公开和描述的部件可由硬件、机器可读指令、软件、固件、和/或硬件、机器可读指令、软件和/或固件的任何组合来实现。因此，例如，本文所公开和描述的部件可由一个或多个模拟和/或数字电路、一个或多个逻辑电路、一个或多个可编程处理器、一个或多个专用集成电路(ASIC)、一个或多个可编程逻辑设备(PLD)和/或一个或多个现场可编程逻辑设备(FPLD)来实现。当读到本专利中的任一项覆盖纯粹的软件和/或固件实现的装置或系统权利要求时，这些部件中的至少一者在此明确地被定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、压缩盘(CD)、蓝光盘等。
代表用于实现本文所公开和描述的部件的示例性机器可读指令的流程图结合至少图8示出。在示例中，机器可读指令包括由处理器执行的程序，诸如下文结合图9讨论的示例性处理器平台900中所示的处理器912。程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘或与处理器912相关联的存储器)上存储的机器可读指令中，但整个程序和/或其部分可另选地由除处理器912之外的设备执行和/或以固件或专用硬件中来体现。进一步地，尽管参考结合至少图8示出的流程图描述了示例性程序，但是可另选地使用实现本文公开和描述的部件的许多其他方法。例如，可改变框的执行顺序，和/或可改变、消除或组合所述的一些框。尽管至少图8的流程图以示出的顺序描绘了示例性操作，但是这些操作不是穷举性的，并且不局限于示出的顺序。另外，本领域技术人员可在本公开的实质和范围内作出各种变化和修改。例如，流程图中示出的框可按另选顺序执行或可并行执行。
如上所述，至少图8的一个或多个示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述有形计算机可读存储介质诸如为将信息存储任何持续时间(例如，存储延长时间段、永久存储、用于短暂实例、用于暂时缓冲和/或用于信息的高速缓存)的硬盘驱动器、闪速存储器、只读存储器(ROM)、压缩盘(CD)、数字通用盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘。如本文所用，术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号且排除传输介质。如本文所用，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外或另选地，至少图8的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述非暂态计算机和/或机器可读介质诸如为将信息存储任何持续时间(例如，存储延长时间段、永久存储、用于短暂实例、用于暂时缓冲和/或用于信息的高速缓存)的硬盘驱动器、闪速存储器、只读存储器、压缩盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘。如本文所用，术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并且排除传输介质。如本文所用，当短语“至少”用作权利要求前序中的过渡性术语时，与术语“包含”是开放式的一样，其也是开放式的。另外，与术语“包含”是开放式的一样，术语“包括”也是开放式的。
如图8所描绘的示例性方法800所示，可使用自适应边缘感知刷来促进图像导航和分割。在框810处，构造边缘感知刷。例如，驱动用户界面121的系统100基于所定义的半径、梯度等来定义刷122。半径确定显示器上刷122的尺寸，并且梯度确定刷122对图像数据中的对象/区域之间的所检测边界的响应/敏感/抗拒意程度。例如，当在界面121上操控时，没有梯度的刷122保持为球体，但具有一定量梯度的刷122具有其形状偏移以适应底层图像数据中的边界、轮廓等(例如，基于强度值的改变，参考图像比较、注释等)。
在框820处，提供了边缘感知刷122的交互式图形表示(例如，显示等)以与用户界面121结合使用以用于图像分割。刷形122可根据用户偏好、所显示的视图等在在2D和/或3D中表示。因此，用户可使用指向设备、键盘、触摸屏等来操纵刷122并改变其在界面121上的位置。可与刷122相关联地提供一个或多个控件310至330，以用于操纵刷和在界面121上导航显示的图像内容。
在框830处，基于对边缘感知刷122的图形表示的操纵来更新用户界面121的视口610至650。例如，可以根据其半径和梯度来约束刷122以使其保留在图像中检测到的边界内。例如，相对于经由界面121的屏幕所显示的图像视图610至650来计算刷122的位置。
在框840处，基于刷子122在多个视口610至650中的位置来生成分割预览。例如，可基于图像数据的自适应子采样和裁剪222、刷122的边缘感知滤波224、用于确定刷形122的传播226和相对于指向设备位置的位置、以及上采样228，经由界面121来确定和显示分割预览，以通过将初始低分辨率刷形转移到更高分辨率表示122来改善刷形122(和相关联的分割)的分辨率。如果存在预定义的分割112至113，则可通过所述分割112至113来引导和/或以其他方式约束边缘感知刷122。否则，刷122可动态地确定分割。
在框850处，可确认分割因此，如果分割是可接受的，则可确认分割(例如，通过鼠标点击、按钮选择、手势等)。在某些示例中，分割在界面121上被颜色编码(或图案化、纹理化等)，使得分割从底层图像内容突出出来。在一些此类示例中，如果定义了多个分割，则可用不同的颜色、图案、纹理等表示每个分割。
在框860处，基于图像的分割来生成输出。例如，已被分割成一个或多个区域/对象的图像可用作深度学习网络的训练和/或测试输入。还可提供分割图像用于计算机辅助诊断、放射学读片等。
图9是示例性处理器平台900的框图，所述处理器平台被构造成执行至少图8的指令以实现本文公开和描述的示例性部件。处理器平台900可为例如服务器、个人计算机、移动设备(例如，手机、智能电话、诸如的平板电脑)、个人数字助理(PDA)、互联网装置或任何其他类型的计算设备。
所示示例的处理器平台900包括处理器912。所示示例的处理器912是硬件。例如，处理器912可由来自任何所期望的系列或制造商的集成电路、逻辑电路、微处理器或控制器来实现。
所示示例的处理器912包括本地存储器913(例如，高速缓存)。图9的示例性处理器912执行至少图8的指令，以实现图1至图8的系统、基础结构、显示器和相关联的方法以及相关方法，诸如示例性输入处理器110、刷处理器120(及其接口121和刷122)、输出生成器130等。所示示例的处理器912经由总线918与包括易失性存储器914和非易失性存储器916的主存储器通信。易失性存储器914可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器916可由闪存存储器和/或任何其他所期望类型的存储器设备来实现。对主存储器914、916的访问由时钟控制器控制。
所示示例的处理器平台900还包括接口电路920。接口电路920可由任何类型的接口标准诸如以太网接口、通用串行总线(USB)和/或PCIexpress接口来实现。
在所示示例中，一个或多个输入设备922连接到接口电路920上。输入设备922允许用户将数据和命令输入到处理器912中。输入设备可由例如传感器、麦克风、相机(静止或视频、RGB或深度等)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备924也连接到所示示例的接口电路920上。输出设备924可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备和/或扬声器)来实现。因此，所示示例的接口电路920通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。
所示示例的接口电路920还包括诸如发射器、接收器、收发器、调制解调器和/或网络接口卡的通信设备，以有利于经由网络926(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如，任何种类的计算设备)交换数据。
所示示例的处理器平台900还包括用于存储软件和/或数据的一个或多个大容量存储设备928。此类大容量存储设备928的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、RAID系统以及数字通用光盘(DVD)驱动器。
图9的编码指令932可存储在大容量存储设备928中、易失性存储器914中、非易失性存储器916中和/或诸如CD或DVD的可移动的有形计算机可读存储介质上。
根据前述内容，应当理解，已公开了上述公开的方法、装置和制品，以生成用于将图像数据分割到一个或多个区域中的新的自适应边缘感知刷。某些示例通过提供基于形状和梯度可调节并且响应于图像中的边界/轮廓的刷来改善放射科检查界面技术和能力，以帮助用户在图像和用户之间准确、精确地分割。某些示例改善了图像处理器在图像处理和用户界面生成、操纵和跟踪中的适应性和准确性。某些示例驱动其他技术领域的改善，诸如计算机辅助检测和/或图像数据的诊断、深度学习网络模型生成等。
某些示例使得用户能够相对于在用户界面上显示的图像移动鼠标或其他指向设备，并且刷采取图像的区域所允许的形状(例如，根据梯度所指定的灵敏度/阻力来约束该图像区域的一个或多个边界/轮廓等)。用户可在2D和/或3D中使用刷“绘画”图像以限定图像的分割区域。根据某种颜色、图案、纹理、突出显示等在界面上提供分割预览，并且可确认预览以在图像中生成分割(例如，相应地注释图像数据文件等)。例如，基于在图像数据中定义和/或检测到的轮廓/边界以及刷半径和梯度灵敏度，用户可操纵刷以在一个或多个平面中(例如，在一个或多个视口中分别进行绘画(例如，在每个视口中完成绘画，然后组合)或同步(例如，在一个视口中的绘画出现在另一个视口中的对应的图像区域中))而不跨越任何平面上的边界。因此，刷实时适应其形状以帮助用户并防止跨越图像边界。多个视图(例如，轴向、冠状、矢状、倾斜、3D体积渲染等)可受到影响。刷可用于对图像数据进行分割和注释，以用于例如深度学习和/或其他人工智能网络模型的训练。
虽然本文已描述了某些示例性方法、装置和制品，但本专利的覆盖范围不限于此。相反，本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。

Claims (15)

1.至少一个计算机可读存储介质(913、914、916、928)，所述至少一个计算机可读存储介质包括指令，所述指令在被执行时使得至少一个处理器(912)至少：
构造用于分割图像数据(810)的刷；
经由用户界面来提供关于所述图像数据的所述刷的交互式表示，所述交互式表示将被显示在所述用户界面中显示所述图像数据的视图的多个视口中的每个中并可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口中的每个中进行交互；
基于所述表示的操纵来启用所述视口的更新；
促进显示对应于所述表示的位置的所述图像数据的分割的预览；以及
当所述分割被确认时，促进基于所述分割生成输出，
其中所述表示的所述位置将使用来自用于操纵所述表示的指向设备的三维传播来确定，
所述刷由包括以下各项的坐标进一步限定：用于存储所述表示相对于所述用户界面的第一视口的位置的第一坐标；以及用于存储所述表示相对于所述用户界面的第二视口的位置的第二坐标。
2.根据权利要求1所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述刷将根据半径和梯度来构造，其中所述半径定义所述表示的默认尺寸，并且所述梯度定义对所述图像数据中的边界或轮廓中的至少一个的敏感度，所述表示根据为所述刷定义的所述梯度的值适应在所述图像数据中的边界或轮廓中的所述至少一个。
3.根据权利要求2所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述图像数据中的边界或轮廓中的所述至少一个与预定义的分割相关联。
4.根据权利要求1所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述刷的所述表示将以二维或三维中的至少一个显示。
5.根据权利要求1所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述指向设备具有变形虫距离。
6.根据权利要求1所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述分割的所述预览通过以下方式生成：所述图像数据的自适应子采样和裁剪、对所述刷的所述表示的边缘感知滤波、传播以确定所述表示相对于用于操纵所述表示的指向设备的形状和位置，以及所述表示的上采样。
7.根据权利要求1所述的至少一个计算机可读存储介质(913、914、916、928)，其中所述多个视口包括多个二维查看器和一个三维查看器。
8.一种装置，所述装置包括：
至少一个处理器(912)，和
至少一个计算机可读存储介质(913、914、916、928)，所述至少一个计算机可读存储介质包括指令，所述指令在被执行时使得所述至少一个处理器(912)至少：
构造用于分割图像数据(810)的刷；
经由用户界面来提供关于所述图像数据的所述刷的交互式表示，所述交互式表示将被显示在所述用户界面中显示所述图像数据的视图的多个视口中的每个中并可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口(610至650)中的每个中进行交互；
基于所述表示的操纵来启用所述视口(610至650)的更新；促进显示对应于所述表示的位置的所述图像数据的分割的预览；以及
当所述分割被确认时，促进基于所述分割生成输出，
其中所述表示的所述位置将使用来自用于操纵所述表示的指向设备的三维传播来确定，
所述刷由包括以下各项的坐标进一步限定：用于存储所述表示相对于所述用户界面的第一视口的位置的第一坐标；以及用于存储所述表示相对于所述用户界面的第二视口的位置的第二坐标。
9.根据权利要求8所述的装置，其中所述刷将根据半径和梯度来构造，其中所述半径定义所述表示的默认尺寸，并且所述梯度定义对所述图像数据中的边界或轮廓中的至少一个的敏感度，所述表示根据为所述刷定义的所述梯度的值适应所述图像数据中的边界或轮廓中的所述至少一个。
10.根据权利要求9所述的装置，其中所述图像数据中的边界或轮廓中的所述至少一个与预定义的分割相关联。
11.根据权利要求8所述的装置，其中所述刷的所述表示将以二维或三维中的至少一个来显示。
12.根据权利要求8所述的装置，其中所述指向设备具有变形虫距离。
13.根据权利要求8所述的装置，其中所述分割的所述预览将通过以下方式生成：所述图像数据的自适应子采样和裁剪、所述刷的所述表示的边缘感知滤波、传播以确定所述表示相对于用于操纵所述表示的指向设备的形状和位置，以及所述表示的上采样。
14.根据权利要求8所述的装置，其中所述多个视口(610至650)包括多个二维查看器和一个三维查看器。
15.至少一个计算机可读存储介质(913、914、916、928)，所述至少一个计算机可读存储介质包括处理器可执行指令和数据结构，所述数据结构包括：
刷构造，所述刷构造经由用户界面指定要相对于图像数据显示的交互式表示，所述交互式表示将被显示在所述用户界面中显示所述图像数据的视图的多个视口中的每个中并可用于在提供用于在所述用户界面中显示所述图像数据的视图的多个视口(610至650)中的每个中进行交互以用于分割所述图像数据，其中所述表示的位置将使用来自用于操纵所述表示的指向设备的三维传播来确定，所述刷构造被定义为：
包括半径和梯度的形状，其中所述半径的值定义所述表示的默认尺寸，并且所述梯度的值定义对所述图像数据中的边界或轮廓中的至少一个的敏感度，所述表示根据为所述刷定义的所述梯度的所述值来适应所述图像数据中的边界或轮廓中的所述至少一个；和
坐标，所述坐标包括用于存储相对于所述用户界面的第一视口的所述表示的位置的第一坐标和用于存储相对于所述用户界面的第二视口的所述表示的所述位置的第二坐标。
CN202010000629.1A 2019-01-10 2020-01-02 使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法 Active CN111430012B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/244,821 US11049289B2 (en) 2019-01-10 2019-01-10 Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush
US16/244,821 2019-01-10

Publications (2)

Publication Number Publication Date
CN111430012A CN111430012A (zh) 2020-07-17
CN111430012B true CN111430012B (zh) 2023-11-28

Family

ID=69156237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010000629.1A Active CN111430012B (zh) 2019-01-10 2020-01-02 使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法

Country Status (3)

Country Link
US (2) US11049289B2 (zh)
EP (1) EP3731179A1 (zh)
CN (1) CN111430012B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049289B2 (en) 2019-01-10 2021-06-29 General Electric Company Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush
CN112288653A (zh) * 2020-11-02 2021-01-29 哈尔滨市科佳通用机电股份有限公司 一种高质量切割子图获取方法
US20230082049A1 (en) * 2021-09-16 2023-03-16 Elekta, Inc. Structure contouring, such as for segmentation or radiation treatment planning, using a 3d paint brush combined with an edge-detection algorithm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489224A (zh) * 2013-10-12 2014-01-01 厦门大学 一种交互式三维点云颜色编辑方法
CN106258010A (zh) * 2014-02-04 2016-12-28 弗劳恩霍夫应用研究促进协会 2d图像分析器
CN106682424A (zh) * 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191919B (en) * 1986-06-19 1990-05-23 British Broadcasting Corp Computer graphics
US4910611A (en) * 1989-01-05 1990-03-20 Eastman Kodak Company Method for doing interactive image processing operations on large images
GB9518530D0 (en) 1995-09-11 1995-11-08 Informatix Inc Image processing
US5835086A (en) 1997-11-26 1998-11-10 Microsoft Corporation Method and apparatus for digital painting
US5946534A (en) * 1998-01-08 1999-08-31 Xerox Corporation Apparatus and method for non-interactive electrophotographic development
US6885762B2 (en) * 2000-02-07 2005-04-26 Trustees Of The University Of Pennsylvania Scale-based image filtering of magnetic resonance data
US6456297B1 (en) 2000-05-10 2002-09-24 Adobe Systems Incorporated Multipole brushing
US6478432B1 (en) * 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
US7236178B2 (en) * 2001-07-19 2007-06-26 Autodesk, Inc. Dynamically adjusted brush for direct paint systems on parameterized multi-dimensional surfaces
US7739623B2 (en) 2004-04-15 2010-06-15 Edda Technology, Inc. Interactive 3D data editing via 2D graphical drawing tools
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
US7609888B2 (en) * 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
US7724954B2 (en) * 2005-11-14 2010-05-25 Siemens Medical Solutions Usa, Inc. Method and system for interactive image segmentation
JP2009526335A (ja) 2006-02-10 2009-07-16 ニック ソフトウエア インク デジタル画像の自己適応ブラシ
US7602405B2 (en) 2006-03-17 2009-10-13 Microsoft Corporation Multiple brush components
US8004536B2 (en) * 2006-12-01 2011-08-23 Adobe Systems Incorporated Coherent image selection and modification
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
US20090136096A1 (en) 2007-11-23 2009-05-28 General Electric Company Systems, methods and apparatus for segmentation of data involving a hierarchical mesh
US8487963B1 (en) 2008-05-30 2013-07-16 Adobe Systems Incorporated Preview representation of pixels effected by a brush tip area
US8655097B2 (en) 2008-08-22 2014-02-18 Adobe Systems Incorporated Adaptive bilateral blur brush tool
US8611728B2 (en) * 2009-02-10 2013-12-17 Thomson Licensing Video matting based on foreground-background constraint propagation
US8351654B2 (en) 2009-04-28 2013-01-08 Microsoft Corporation Image processing using geodesic forests
DE102009042326A1 (de) * 2009-09-21 2011-06-01 Siemens Aktiengesellschaft Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts
US8687015B2 (en) 2009-11-02 2014-04-01 Apple Inc. Brushing tools for digital image adjustments
US8810596B2 (en) 2009-11-11 2014-08-19 Apple Inc. Cursor for application of image adjustments
US8386964B2 (en) * 2010-07-21 2013-02-26 Microsoft Corporation Interactive image matting
US8797350B2 (en) * 2010-12-20 2014-08-05 Dr Systems, Inc. Dynamic customizable human-computer interaction behavior
US8526763B2 (en) * 2011-05-27 2013-09-03 Adobe Systems Incorporated Seamless image composition
DE102011076878A1 (de) * 2011-06-01 2012-12-06 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur effizienten Editierung eines dreidimensionalen Volumens mittels Ray Casting
US9098930B2 (en) 2011-09-30 2015-08-04 Adobe Systems Incorporated Stereo-aware image editing
US8970581B2 (en) 2012-01-04 2015-03-03 Carestream Health, Inc. System and method for interactive contouring for 3D medical images
US9299168B2 (en) * 2012-03-06 2016-03-29 Apple Inc. Context aware user interface for image editing
US8792718B2 (en) * 2012-06-29 2014-07-29 Adobe Systems Incorporated Temporal matte filter for video matting
US8897562B2 (en) * 2012-06-29 2014-11-25 Adobe Systems Incorporated Adaptive trimap propagation for video matting
US9730671B2 (en) * 2014-10-03 2017-08-15 David Thomas Gering System and method of voice activated image segmentation
WO2016196443A1 (en) * 2015-05-29 2016-12-08 The Penn State Research Foundation Individualized preoperative planning system and method
US10445462B2 (en) * 2016-10-12 2019-10-15 Terarecon, Inc. System and method for medical image interpretation
US20180114368A1 (en) * 2016-10-25 2018-04-26 Adobe Systems Incorporated Three-dimensional model manipulation and rendering
WO2018201155A1 (en) * 2017-04-28 2018-11-01 The Brigham And Women's Hospital, Inc. Systems, methods, and media for presenting medical imaging data in an interactive virtual reality environment
US11049289B2 (en) * 2019-01-10 2021-06-29 General Electric Company Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489224A (zh) * 2013-10-12 2014-01-01 厦门大学 一种交互式三维点云颜色编辑方法
CN106258010A (zh) * 2014-02-04 2016-12-28 弗劳恩霍夫应用研究促进协会 2d图像分析器
CN106682424A (zh) * 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Advanced Volume Painting with Game Controllers";Veronika Solteszova;《SCCG 2009 proceedings of the 25th spring conference on computer graphics》;113-120 *
"Edge-respecting brushes";Dan R.;《proceedings of the 21st annual acm symposium on user interface software and technology》;20081019;171-180 *
"Editing Tools for 3D Medical Imaging";Derek R. Ney;《IEEE computer graphics and applications》;63-71 *
"Image filtering using morphological amoebas";Romain Lerallut.;《Image and vision computing》;20070203;395-404 *
Dan R.."Edge-respecting brushes".《proceedings of the 21st annual acm symposium on user interface software and technology》.2008,171-180. *
Romain Lerallut.."Image filtering using morphological amoebas".《Image and vision computing》.2007,395-404. *

Also Published As

Publication number Publication date
EP3731179A1 (en) 2020-10-28
US20210327105A1 (en) 2021-10-21
CN111430012A (zh) 2020-07-17
US20200226798A1 (en) 2020-07-16
US11049289B2 (en) 2021-06-29
US11683438B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US20210375011A1 (en) Image color adjustment method and system
CN106663309B (zh) 用于医学成像中的用户引导的骨骼分段的方法和存储介质
US10229753B2 (en) Systems and user interfaces for dynamic interaction with two-and three-dimensional medical image data using hand gestures
US9800882B2 (en) Dynamic digital image compression based on digital image characteristics
Gao et al. Pycortex: an interactive surface visualizer for fMRI
RU2571523C2 (ru) Вероятностная оптимизация сегментации, основанной на модели
US10885392B2 (en) Learning annotation of objects in image
US11683438B2 (en) Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush
US9524080B1 (en) Dynamic customizable human-computer interaction behavior
US10127662B1 (en) Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
CN110168619B (zh) 在虚拟现实或增强现实环境中渲染复杂数据的系统和方法
JP2020179159A (ja) 肝臓腫瘍例のレビューを容易にするシステムおよび方法
US9053574B2 (en) Calibrated natural size views for visualizations of volumetric data sets
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
CN114863076A (zh) 交互式图像编辑
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
US20180260996A1 (en) Methods and systems for segmented volume rendering
JP2010538729A (ja) 経路近傍レンダリング
EP3989172A1 (en) Method for use in generating a computer-based visualization of 3d medical image data
JP2012085833A (ja) ３次元医用画像データの画像処理システム、その画像処理方法及びプログラム
EP3423968B1 (en) Medical image navigation system
Kordt et al. Interactive Volumetric Region Growing for Brain Tumor Segmentation on MRI using WebGL
EP3441944A1 (en) Volume rendering of volumetric image data with interactive segmentation
Paulo et al. 3D Reconstruction from CT Images Using Free Software Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant