CN112419343A - 用于图像分割的系统和方法 - Google Patents

用于图像分割的系统和方法 Download PDF

Info

Publication number
CN112419343A
CN112419343A CN202011352179.9A CN202011352179A CN112419343A CN 112419343 A CN112419343 A CN 112419343A CN 202011352179 A CN202011352179 A CN 202011352179A CN 112419343 A CN112419343 A CN 112419343A
Authority
CN
China
Prior art keywords
neural network
segmentation
image
anatomical structure
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011352179.9A
Other languages
English (en)
Inventor
郭溢沫
孙善辉
陈德仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN112419343A publication Critical patent/CN112419343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)

Abstract

本文描述了与图像分割相关联的系统、方法和装置。该系统、方法和工具具有分层结构，其用于产生解剖结构的粗略分割，然后基于解剖结构的形状先验来细化粗略分割。该粗略分割可以使用多任务神经网络并且基于分割损失和回归损失两者来生成。细化的分割可以通过使用基于形状的模型或基于学习的模型中的一个或多个使形状先验变形来获得。

Description

用于图像分割的系统和方法
相关申请的交叉引用
本申请要求2019年11月27日提交的临时美国专利申请号62/941,198和2020年9月8日提交的临时美国专利申请号17/014,594的权益，此处以引证的方式将该申请的公开内容全文并入。
技术领域
本申请涉及图像处理技术领域。
背景技术
医学成像在现代保健服务中扮演重要角色。利用先进的成像设备，诸如医学共振成像(MRI)扫描仪、超声扫描仪、X光机、计算机断层摄影(CT)扫描仪或正电子发射断层摄影(PET)扫描仪，可以获得丰富的成像数据并将其用于评价人体器官或组织的状况。比如，电影MRI图像中的心肌的自动分割可以使得能够测量重要的心脏诊断指标，诸如心脏的径向和/或周向应变。随着医学图像数据量的增加，对自动图像处理工具的需求也增加。一种自动图像处理技术是图像分割，其涉及识别医学图像中的感兴趣对象并且指示图像中的对象的轮廓，以允许对对象的更聚焦的分析或研究。在先进的计算机视觉和机器学习技术的帮助下，近年来图像分割的准确度和鲁棒性已经显著提高。然而，由于目前技术的限制(例如，涉及图像质量、计算能力等)和人体的复杂性，在本领域中仍然存在许多挑战。
发明内容
本文描述了与医学图像分割相关联的系统、方法和装置。本文所述的图像分割系统可以包括一个或多个处理器，其被配置为实施第一神经网络和第二神经网络。第一神经网络可以被配置为接收包括诸如心肌的解剖结构的视觉表示的图像，并且基于图像生成解剖结构的第一分割。例如，第一神经网络可以被配置为通过以下方式来生成第一分割：将图像的第一多个像素分类为与解剖结构相关联的候选像素，并且估计第二多个像素距最接近像素的解剖结构的对应表面边界的相应距离。第一神经网络可以基于第二多个像素距对应表面边界的相应估计距离和第二多个像素的相应位置来确定解剖结构的边界。响应于确定这种边界，第一神经网络可以确定候选像素中的一个或多个位于边界之外(例如，像素可以是左心室而不是心肌的一部分)，并且从第一分割排除候选像素中的一个或多个。第一神经网络可以包括被训练为执行上述任务的卷积神经网络(CNN)，并且训练可以基于分割损失(例如，与将第一多个像素分类为解剖结构的候选像素相关联)和回归损失(例如，与估计第二多个像素距解剖结构的对应表面边界的距离相关联)来进行。
本文所述的图像分割系统的第二神经网络可以被配置为基于第一分割和与解剖结构相关联的形状先验，来生成解剖结构的第二分割。第二神经网络可以基于第一分割和解剖结构的形状分布初始化形状先验，然后使形状先验变形，以导出第二分割。通过基于第一分割初始化形状先验，图像分割系统可以将形状先验与第一分割基本上对齐，并且防止分割任务陷入局部极小值。形状先验的变形可以使用与解剖结构相关联的形状或外观的统计模型来执行，并且变形可以包括第二神经网络基于图像的特征(例如，强度剖面或梯度)调节统计模型的一个或多个参数。替代地或另外地，变形可以例如通过以下方式使用深度学习神经网络来执行：经由一个或多个卷积层从形状先验的顶点位置附近的图像提取特征，基于所提取的特征(例如，经由回归层)确定用于使顶点位置处的形状先验变形的方向和步长，并且基于所确定的方向和步长移动形状先验的顶点位置，以将形状先验拟合到解剖结构的轮廓中。
在一个具体的实施例子中，所述第二多个像素距所述对应表面边界的距离被确定为对应于所述第二多个像素的相应体素距所述对应表面边界的三维偏移。
附图说明
从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。
图1是例示了左心室的部分与心肌的部分之间的视觉相似性的人类心脏的示例MRI图像。
图2是例示了本文所述的示例图像分割系统的框图。
图3是例示了使用图2的示例图像分割系统生成心肌的粗略分割的框图。
图4是例示了使用图2的示例图像分割系统生成心肌的粗略分割的细化的框图。
图5是例示了用于使用图2的示例图像分割系统来分割心肌的示例过程的流程图。
图6是例示了图2的图像分割系统的示例部件的框图。
具体实施方式
在附图的各图中，通过示例而非限制性的方式例示了本公开。
图1是例示了可以存在于左心室(LV)的部分与心肌的部分之间的视觉相似性的人类心脏的示例MRI图像。MRI图像可以经由心脏MRI扫描获得，例如，作为电影MRI的一部分。如示例图像所示，左心室的部分，诸如在图1的圆圈102内部示出的乳头肌，可以具有与心肌(例如，由黑色圆形104指示)类似的外观(例如，在图像对比度等方面)。相似性可能导致常规图像分割系统将左心室的部分错误分类为属于心肌并且产生不真实的估计结果。本文所述的系统、方法和装置可以克服常规分割系统的缺点并且提高分割结果的准确度和鲁棒性。本文将参考人类心脏的左心室或心肌来描述示例。然而，应当注意，本文所公开的技术可以适用于人体的任何解剖结构的分割。
图2是例示了本文所述的示例图像分割系统200的框图。图像分割系统200可以被配置为接收图像202，该图像描绘诸如人类心脏的人体的解剖结构。图像202可以是经由心脏MRI获得的MRI图像，例如，作为电影MRI的一部分。图像202可以是彩色图像或黑白图像，并且可以包括具有相应特性(例如，在亮度、对比度、强度、梯度等方面)的多个像素。图像分割系统200可以包括第一神经网络204(例如，粗略分割神经网络)，其被配置为接收图像202并且基于图像202生成解剖结构(例如，心肌)的第一分割206(例如，粗略分割)。第一神经网络204可以包括深度卷积神经网络(DNN)、完全卷积神经网络(FCN)和/或另一合适类型的神经网络，其已经通过训练过程学习了如何将图像202的一个或多个部分(例如，一个或多个像素)识别为属于心肌，并且将这些部分与图像的其他部分分割(例如，标记、分离或以其他方式区分)。第一分割206在分割仍然可能是粗略的并且可以经受图像分割系统200的进一步细化的意义上，可以对应于心肌的初步分割。第一神经网络204和第一分割206的导出将在下面更详细地描述。
图像分割系统200可以包括第二神经网络208(例如，精细分割神经网络)，其被配置为接收由第一神经网络204生成的第一分割206，并且基于解剖结构的形状先验210和/或图像202的特征来细化第一分割206，以获得解剖结构的第二分割212(例如，精细分割)。细化操作可以包括第二神经网络208基于解剖结构的形状分布(例如，一般人群中解剖结构的不同形状变化的概率)初始化形状先验210和由第一神经网络204生成的第一分割206。细化操作还可以包括第二神经网络208基于图像202的一个或多个特征使形状先验210变形，以获得第二分割212。第二神经网络208和第二分割212的导出将在下面更详细地描述。
通过具有如上所述的分层结构并且利用彼此互补的基于学习和基于形状的预测技术，图像分割系统200可以产生鲁棒的分割结果，例如，即使在MRI图像中存在伪影和噪声的情况下，诸如在图1中示出的具有乳头肌的图像。图3还例示了使用本文所述的图像分割系统生成解剖结构(例如，心肌)的粗略分割，并且图4还例示了使用本文所述的图像分割系统生成解剖结构的精细分割。
参见图3，本文所述的图像分割系统(例如，图2中的图像分割系统200)可以接收包括诸如心肌的解剖结构的视觉表示的图像302(例如，图2的图像202)。图像分割系统可以包括神经网络304(例如，图2所示的粗略分割神经网络204)，其被配置为基于与心肌相关联的视觉特征生成心肌的分割，神经网络304在图像302中识别该心肌。神经网络304可以包括卷积神经网络(CNN)，诸如深度神经网络或完全卷积神经网络。神经网络304可以包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层，其形成神经网络304的各种部分、分支或子网络。这些部分、分支或子网络可以包括例如骨干网306、分类分支308和/或回归分支310。如下面将更详细描述的，神经网络304可以执行多个任务(例如，经由各个部分、分支或子网络)，因此可以作为多任务神经网络来操作。
神经网络304的骨干网306可以被配置为经由卷积运算来识别图像302中共同表示图像中的特征或图案的关键点，该卷积运算通过多个卷积核或过滤器来进行。卷积运算之后可以是批归一化及/或激活(例如，使用修正线性单元(ReLU)函数)，并且可以通过神经网络304的一个或多个池化层和/或一个或多个全连接层对从批归一化和/或激活提取的特征(例如，为一个或多个特征图的形式)进行下采样(例如，使用2×2窗口以及2的步幅)，以减少特征的冗余和/或尺寸(例如，按系数2减少)。随后，下采样后的特征可以例如经由转置卷积运算(例如，使用步幅为2的3×3转置卷积核心)经受上采样过程，以恢复与所提取特征相关联的空间细节。
从骨干网306的操作可以导出一个或多个密集特征图，并且特征图可以指示图像302的各个区域或像素的视觉特性。基于这些视觉特性，可以例如通过神经网络304的分类分支308将区域或像素的子集分类为以相应的概率属于心肌，这些概率可以在由分类分支308产生的分割概率图中指示。
神经网络304可以被训练为优化与上述分割任务相关联的参数(例如，与神经网络的一层或多层相关联的权重)。训练可以使用心肌的多个图像和/或对应于各个图像的心肌的真实数据分割来进行。参数可以初始地设置为某些默认值(例如，这些默认值可以从概率分布或基于具有类似架构的另一神经网络的参数值来采样)。然后，可以将训练图像提供给神经网络304(例如，经由神经网络的输入层)。响应于接收到这种训练图像，神经网络304可以通过骨干网306和分类分支308处理图像，以从训练图像提取特征并将训练图像的一个或多个区域或像素分类为心肌的一部分。然后可以确定分割损失，该分割损失指示分类结果和与分类相关联的真实数据(例如，心肌的注释分割)之间的差异。分割损失例如可以使用分割损失函数来确定，分割损失函数又可以基于由神经网络304预测的分类与真实数据之间的均方误差(MSE)、L1范数、Dice比率、交叉熵等中的一个或多个。响应于确定分割损失，神经网络304可以基于损失(例如，基于分割损失函数的梯度下降)调节与分割任务相关联的参数，目的是减小预测分类与真实数据之间的差异。
神经网络304还可以被配置为例如经由骨干网306和/或回归分支310来估计一个或多个体素距心肌的对应表面边界的相应距离。一个或多个体素可以包括位于预测的心肌内部的体素，并且可以对应于图像302中的相应像素。对应于各个体素的表面边界可以是距该体素最近的表面边界，并且该体素与表面边界之间的距离可以被估计为该体素从表面边界的3D偏移(例如，基于体素的x、y、z坐标与表面边界上的点的x、y、z坐标之间的差)。估计例如可以使用可以是回归分支310的一部分的回归层(例如，具有单个节点和/或线性激活函数的全连接层)并且基于从训练图像(例如，由骨干网306)提取的特征来执行。作为估计的结果，神经网络304可以生成3D偏移图(例如，除了上述分割概率图之外)，该偏移图可以指示一个或多个体素中的每一个从对应的最近表面边界的估计3D偏移。由于这种3D偏移图可以指示体素的相应位置和各个体素距其对应的最近心肌表面的距离，因此3D偏移图可以用于确定心肌的边界和/或体素是在心肌内部还是心肌外部(例如，是左心室的一部分)。然后可以基于所估计的3D偏移来校正图像(例如，图1所示的具有乳头肌的图像)的区域或像素的错误分类。
神经网络304可以被训练为优化与上述回归任务相关联的参数(例如，与神经网络的一层或多层相关联的权重)。训练可以使用心肌的多个图像(例如，用于上述分割训练的相同图像集合)和/或真实数据来进行，该真实数据指示一个或多个体素距它们在各个图像中最近的心肌表面的距离。参数可以初始地设置为某些默认值(例如，这些默认值可以从概率分布或基于具有类似架构的另一神经网络的参数值来采样)。然后，可以将训练图像提供给神经网络304(例如，经由神经网络的输入层)。响应于接收这种训练图像，神经网络304可以通过骨干网306和回归分支310处理图像，以从训练图像提取特征并估计一个或多个体素距最靠近体素的相应心肌表面边界的距离。然后可以确定回归损失，该回归损失指示回归结果和与回归相关联的真实数据(例如，体素到最近的心肌表面边界的注释距离)之间的差异。回归损失例如可以使用回归损失函数来确定，回归损失函数又可以基于由神经网络304估计的距离与真实数据之间的均方误差(MSE)、L1范数等中的一个或多个。响应于确定回归损失，神经网络304可以基于回归损失(例如，基于回归损失函数的梯度下降)调节与回归任务相关联的参数，目的是减小估计距离与真实数据之间的差异。
通过执行本文所述的分割任务和回归任务，神经网络304可以产生对输入MRI图像中的伪影、噪声和/或模糊性较不敏感的心肌分割312。比如，尽管左心室(LV)内部的一些组织可能具有与心肌类似的图像对比度和/或强度，但是神经网络304可能能够基于由神经网络估计的3D偏移来将这些组织与心肌区分开(例如，LV组织可能比心肌组织更远离心肌表面边界)。为了进一步提高分割的准确度和鲁棒性，本文所述的图像分割系统可以包括第二神经网络(例如，图2的神经网络208)，其被训练为细化由神经网络304产生的分割结果。
图4例示了可以由本文所述的图像分割系统例如使用基于形状的预测模型来实施的精细分割过程。这种基于形状的预测模型可以利用关于心肌形状的先验知识来调节由图像分割系统预测的分割，因此可以克服包括在输入MRI图像中的伪影、噪声和/或模糊性。如图4所示，精细分割可以基于输入来执行，该输入包括心肌的粗略分割402(例如，由图3中的神经网络304生成的分割312)和心肌的形状分布404。形状分布404可以例如基于一般人群中的心肌的已知形状变化来预先确定，由此可见，可以指示形状变化的相应概率。在精细分割的初始阶段，可以基于形状分布404和粗略分割402来初始化心肌的形状先验406。初始化可以例如使用诸如平移和旋转的刚性变换技术和/或使用诸如B样条变形和/或微分同胚变形的可变形变换技术来执行。初始化可以经由神经网络(例如，下面描述的神经网络408)或图像分割系统的另一部件(例如，使用图像配准技术)来执行。由于粗略分割402已经捕获了心肌的一些特性，因此初始化可以使形状先验406接近粗略分割402的近似，并且确保形状先验406类似于心肌的轮廓，由此防止分割陷入局部极小值。一旦形状先验406已经被初始化，它就可以被提供给神经网络408(例如，图2所示的精细分割神经网络208)，该神经网络可以被配置为使形状先验406变形，以拟合心肌的边界。
形状先验406的变形可以使用各种预测技术和/或模型来执行。比如，神经网络408可以基于与变形任务相关联的输入图像的特性(例如，特征)来使形状先验406变形。这些特性可以包括例如输入图像的强度剖面、关于输入图像的梯度信息、输入图像的几何矩、围绕形状先验的一个或多个顶点的图像块的特定特性等。根据这些特性，神经网络408可以确定形状先验406的什么部分(例如，一个或多个顶点位置)可能需要被扩展或收缩、和/或用于执行扩展或收缩的方向和步。
在示例实施方式中，神经网络408可以被训练为学习模型(例如，主动形状模型或ASM)，该模型通过连接的界标的序列表示心肌的形状。各个界标可以对应于心肌图像中的可区分的特征点，并且神经网络408可以被训练为基于包括注释界标的心肌图像来识别这些特征点。例如，神经网络408可以被配置为对训练图像集执行主成分分析(PCA)，以确定心肌的平均形状和/或可接受的(例如，基于在训练数据中看到的形状是合理正常的)平均形状的变化(例如，变形)。使用这种形状模型，神经网络408可以以心肌的起始假设(例如，形状先验406)开始，并且在新图像中的各个建模界标的当前位置周围搜索，以找到与在界标处预期的纹理最佳匹配的附近点。一旦已经找到这种点，神经网络408就可以通过将界标移动到新发现的点来更新心肌的假设，并且重复该过程，直到假设和图像收敛(例如，如图4的410例示)并且获得精细分割412为止。神经网络408可以基于神经网络从作为正常心肌轮廓的训练数据学习到什么、基于一个或多个几何约束(例如，以防止顶点交叉)等来约束(例如，控制)界标点在该搜索过程期间的移动。
在示例实施方式中，神经网络408可以被训练为学习模型(例如，主动外观模型或AAM)，该模型在确定心肌轮廓时除了考虑心肌的形状之外，还考虑心肌的纹理变化(例如，在多个区域中，而不是仅在建模的界标附近)。模型可以使用训练图像集来学习，该训练图像集具有表示关键图像特征的位置的注释界标点。界标可以被表示为一个或多个向量，并且神经网络408可以被配置为对这些界标向量执行PCA，以导出统计形状模型。另外，神经网络408还可以从训练图像采样纹理(例如，强度)信息，并且将PCA应用于纹理数据，以导出统计外观模型。神经网络然后可以串接形状和外观模型的参数，并且将另外的PCA应用于串接的参数，以获得组合的(例如，形状和外观)模型，该组合的模型表示在训练图像集中看到的形状和纹理可变性。使用这种组合模型，神经网络408可以以心肌的起始假设(例如，形状先验406，其可以在形状和纹理两方面都类似于心肌)开始，并且迭代地调节模型参数，以最小化新图像与由模型假设的图像之间的差异(例如，如图4的410例示)，直到假设和图像收敛并且获得精细分割412为止。
在示例实施方式中，神经网络408可以被配置为基于围绕形状先验406的一个或多个顶点位置的图像块来确定使形状先验406变形的方向和/或步。在示例中，神经网络408可以使用回归模型(诸如支持向量回归或随机森林)来回归变形方向和/或步。在示例中，神经网络408可以使用卷积神经网络(CNN)来回归变形方向和/或步，卷积神经网络诸如深度神经网络或完全卷积神经网络，包括一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。卷积层可以各自包括多个卷积核或过滤器，其被配置为从心肌的输入图像(例如，图3中的图像302)提取视觉特征。卷积运算之后可以是批归一化和/或线性或非线性激活，以导出多个特征图，这些特征图指示形状先验406的一个或多个顶点位置周围的区域或像素的视觉特性。神经网络408然后可以基于所提取的特性(例如，视觉特征)例如使用神经网络408的回归层(例如，具有单个节点和/或线性激活函数的全连接层)，来确定扩展或收缩顶点的方向和/或用于扩展或收缩的步长。一旦确定了方向和/或步长，神经网络就可以根据所确定的方向和/或步长使形状先验406在对应顶点位置处变形，如图4的410例示。神经网络可以针对多个顶点位置和/或通过多次迭代重复该过程，以获得心肌的精细分割412。
神经网络408可以被训练为学习(例如，优化)与确定变形的方向和/或步长相关联的参数(例如，与神经网络的一层或多层相关联的权重)(例如，训练可以构成机器学习过程)。训练集可以包括心肌的形状先验(例如，该形状先验可以基于心肌的形状分布和/或心肌的粗略分割导出)。训练集还可以包括心肌的图像和指示心肌的精细分割的真实数据。神经网络408的参数可以初始地设置为某些默认值(例如，这些默认值可以从概率分布或基于具有类似架构的另一神经网络的参数值来采样)。然后，可以将形状先验和训练图像提供给神经网络408(例如，经由神经网络的输入层)。响应于接收到形状先验和训练图像，神经网络408可以通过神经网络408的各种卷积层、池化层和/或全连接层来处理图像，以从训练图像提取特征并估计用于使形状先验在形状先验的一个或多个顶点位置处变形的相应方向和/或步长。神经网络408然后可以使用估计的方向和/或步长使形状先验变形406，确定由变形产生的分割与真实数据分割之间的差异，并且调节神经网络的参数，目的是使差异最小化。该差异可以基于损失函数(诸如基于MSE或L1范数的损失函数)来确定，并且神经网络可以重复预测、比较和参数调节过程，直到满足一个或多个训练终止准则(例如，在完成预定次数的训练迭代之后，在估计损失降到预定阈值以下之后，等等)为止。
本文所述的图像分割系统(例如，图2中的系统200)可以使用一个或多个处理器、一个或多个存储装置和/或其他合适的辅助装置(诸如显示装置、通信装置、输入/输出装置等)来实施。图5是例示了本文所述的示例图像分割系统500的框图。如图所示，图像分割系统500可以包括处理器502，该处理器可以是中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。图像分割系统500还可以包括通信电路504、存储器506、大容量储存装置508、输入装置510和/或通信链路512(例如，通信总线)，图5所示的一个或多个部件可以通过该通信链路交换信息。通信电路504可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器506可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被执行时，使得处理器502执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置508可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器502的操作。输入装置510可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收图像分割系统500的用户输入。
应当注意，图像分割系统500可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图5中仅示出了各个部件的一个实例，本领域技术人员也将理解，图像分割系统500可以包括图中示出的一个或多个部件的多个实例。此外，尽管本文参考各种类型的神经网络、各种类型的层、和/或由某些类型的神经网络或层执行的各种任务来描述示例，但是这些参考仅出于例示性目的而作出，并且不旨在限制本公开的范围。另外，本文以特定顺序描绘和描述了示例图像分割系统的操作。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。并且不是图像分割系统能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由系统执行。
图6是用于训练本文所述的神经网络(例如，图3的神经网络304或图4的神经网络408)的示例过程600的流程图。过程600可以在602处开始，并且在604处，神经网络可以初始化其操作参数，诸如与神经网络的一个或多个过滤器或核相关联的权重。参数例如可以基于来自具有类似架构的另一神经网络的一个或多个概率分布或参数值的样本来初始化。在606处，神经网络可以接收训练图像，通过神经网络的各个层处理图像，并且使用当前分配的参数对目标结果(例如，分割、3D偏移等)进行预测。在608处，神经网络可以基于损失函数和与损失函数相关联的梯度下降(例如，随机梯度下降)来确定要对当前分配的参数进行的调节。例如，损失函数可以基于预测和与预测相关联的真实数据之间的均方误差(MSE)或L1范数距离来实施。在610处，神经网络可以例如经由反向传播过程来对当前分配的参数进行调节。在612处，神经网络可以确定是否满足一个或多个训练终止准则。例如，如果神经网络已经完成预定次数的训练迭代，如果预测值与真实数据值之间的差低于预定阈值，或者如果损失函数的值在两次训练迭代之间的变化低于预定阈值，则神经网络可以确定训练终止准则被满足。如果在612处确定不满足训练终止准则，则神经网络可以返回到606。如果在612处确定满足训练终止准则，则神经网络可以在614处结束训练过程600。
尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。
应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种被配置为分割图像的系统，包括：
一个或多个处理器，其被配置为：
实施第一神经网络，其中，所述第一神经网络被配置为接收包括解剖结构的视觉表示的图像，并且基于所述图像生成所述解剖结构的第一分割；
实施第二神经网络，其中，所述第二神经网络被配置为基于所述第一分割和形状先验生成所述解剖结构的第二分割，所述形状先验与所述解剖结构相关联，并且其中，所述第二神经网络被配置为基于所述第一分割和所述解剖结构的形状分布来初始化所述形状先验，所述第二神经网络还被配置为使所述形状先验变形，以导出所述第二分割；并且
基于所述第二分割指示所述解剖结构的轮廓。
2.根据权利要求1所述的系统，其中，所述形状先验的所述初始化导致所述形状先验与所述第一分割基本上对齐。
3.根据权利要求1所述的系统，其中，所述第二神经网络被配置为基于与所述解剖结构相关联的形状或外观的统计模型来使所述形状先验变形，并且所述变形包括根据所述图像的一个或多个特征来调节所述统计模型的参数。
4.根据权利要求3所述的系统，其中，所述一个或多个特征与所述图像的强度剖面或所述图像的梯度相关联。
5.根据权利要求1所述的系统，其中，所述第二神经网络包括一个或多个卷积层，并且所述第二神经网络被配置为通过至少以下方式来使所述形状先验变形：
经由所述一个或多个卷积层在所述形状先验的顶点位置附近从所述图像提取特征；
基于所述所提取的特征确定用于使所述形状先验在所述顶点位置处变形的方向和步长；以及
基于所述所确定的方向和步长移动所述形状先验的所述顶点位置。
6.根据权利要求5所述的系统，其中，所述第二神经网络还包括回归层，并且所述第二神经网络被配置为经由所述回归层并使用通过机器学习导出的回归模型，来确定用于使所述形状先验变形的所述方向和步长。
7.根据权利要求1所述的系统，其中，所述第一神经网络被配置为通过至少以下方式来生成所述第一分割：
将所述图像的第一多个像素分类为与所述解剖结构相关联的候选像素；
对于第二多个像素中的每一个，估计所述像素距所述解剖结构的最靠近所述像素的表面边界的相应距离；以及
基于所述所估计的距离从所述第一分割排除所述候选像素中的一个或多个。
8.根据权利要求7所述的系统，其中，所述第一神经网络被配置为基于所述第二多个像素距所述对应表面边界的所述相应估计距离和所述第二多个像素的相应位置，来确定所述解剖结构的边界，所述第一神经网络还被配置为基于确定所述候选像素中的所述一个或多个位于所述解剖结构的所述边界之外，来从所述第一分割排除所述候选像素中的所述一个或多个。
9.根据权利要求7所述的系统，其中，所述第一神经网络包括卷积神经网络(CNN)，其被训练为基于分割损失将所述第一多个像素分类为所述解剖结构的所述候选像素，所述CNN还被训练为基于回归损失估计所述第二多个像素距所述对应表面边界的所述距离。
10.一种用于分割图像的方法，所述方法包括：
接收包括解剖结构的视觉表示的图像；
经由第一神经网络基于所述图像生成所述解剖结构的第一分割；
经由第二神经网络基于所述第一分割和形状先验生成所述解剖结构的第二分割，所述形状先验与所述解剖结构相关联，其中，所述第二分割的所述生成包括基于所述第一分割和所述解剖结构的形状分布来初始化所述形状先验，并且使所述形状先验变形，以导出所述第二分割；以及
基于所述第二分割指示所述解剖结构的轮廓。
CN202011352179.9A 2019-11-27 2020-11-26 用于图像分割的系统和方法 Pending CN112419343A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962941198P 2019-11-27 2019-11-27
US62/941,198 2019-11-27
US17/014,594 2020-09-08
US17/014,594 US11334995B2 (en) 2019-11-27 2020-09-08 Hierarchical systems and methods for image segmentation

Publications (1)

Publication Number Publication Date
CN112419343A true CN112419343A (zh) 2021-02-26

Family

ID=74842622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011352179.9A Pending CN112419343A (zh) 2019-11-27 2020-11-26 用于图像分割的系统和方法

Country Status (2)

Country Link
US (1) US11334995B2 (zh)
CN (1) CN112419343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052842A (zh) * 2021-05-27 2021-06-29 腾讯科技（深圳）有限公司 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation
JP7486349B2 (ja) * 2020-05-28 2024-05-17 キヤノン株式会社 ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268873A (zh) * 2014-09-25 2015-01-07 南京信息工程大学 基于核磁共振图像的乳腺肿瘤分割方法
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法
US20180182101A1 (en) * 2016-12-23 2018-06-28 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing
US20180259608A1 (en) * 2015-11-29 2018-09-13 Arterys Inc. Automated cardiac volume segmentation
US20180260950A1 (en) * 2017-03-10 2018-09-13 General Electric Company Methods and systems for model driven multi-modal medical imaging
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110073409A (zh) * 2016-09-29 2019-07-30 皇家飞利浦有限公司 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准
CN110163870A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于深度学习的腹部体影像肝脏分割方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
EP3555850B1 (en) * 2016-12-15 2021-10-27 General Electric Company System and method for image segmentation using a joint deep learning model
US11024025B2 (en) * 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
EP3603737B1 (en) * 2018-07-31 2020-08-26 Flow Neuroscience AB Positioning of electrodes for transcranial brain stimulation
JP2022525198A (ja) * 2019-03-15 2022-05-11 ジェネンテック， インコーポレイテッド 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク
US11030782B2 (en) * 2019-11-09 2021-06-08 Adobe Inc. Accurately generating virtual try-on images utilizing a unified neural network framework

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268873A (zh) * 2014-09-25 2015-01-07 南京信息工程大学 基于核磁共振图像的乳腺肿瘤分割方法
US20180259608A1 (en) * 2015-11-29 2018-09-13 Arterys Inc. Automated cardiac volume segmentation
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US20190205606A1 (en) * 2016-07-21 2019-07-04 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
CN110073409A (zh) * 2016-09-29 2019-07-30 皇家飞利浦有限公司 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准
US20180182101A1 (en) * 2016-12-23 2018-06-28 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法
US20180260950A1 (en) * 2017-03-10 2018-09-13 General Electric Company Methods and systems for model driven multi-modal medical imaging
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN108898606A (zh) * 2018-06-20 2018-11-27 中南民族大学 医学图像的自动分割方法、系统、设备及存储介质
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110163870A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于深度学习的腹部体影像肝脏分割方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PIM MOESKOPS等: "Automatic Segmentation of MR Brain Images With a Convolutional Neural Network", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 35, no. 5, 30 May 2016 (2016-05-30), pages 1252, XP011607958, DOI: 10.1109/TMI.2016.2548501 *
郑申海: "基于多统计信息的形变模型医学图像分割", 《中国博士学位论文全文数据库 信息科技辑》, vol. 2019, no. 4, 15 April 2019 (2019-04-15), pages 138 - 21 *
郭树旭;马树志;李晶;张惠茅;孙长建;金兰依;刘晓鸣;刘奇楠;李雪妍;: "基于全卷积神经网络的肝脏CT影像分割研究", 计算机工程与应用, no. 18, 15 September 2017 (2017-09-15), pages 126 - 131 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052842A (zh) * 2021-05-27 2021-06-29 腾讯科技（深圳）有限公司 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备

Also Published As

Publication number Publication date
US11334995B2 (en) 2022-05-17
US20210158511A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN110475505B (zh) 利用全卷积网络的自动分割
Avendi et al. A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI
Masood et al. A survey on medical image segmentation
US11334995B2 (en) Hierarchical systems and methods for image segmentation
CN113313234A (zh) 用于图像分割的神经网络系统和方法
CN100528075C (zh) 分割心脏磁共振图像中左心室的系统和方法
EP1851722B8 (en) Image processing device and method
Van Assen et al. A 3-D active shape model driven by fuzzy inference: application to cardiac CT and MR
US8150119B2 (en) Method and system for left ventricle endocardium surface segmentation using constrained optimal mesh smoothing
EP2929509A2 (en) Automatic spatial context based multi-object segmentation in 3d images
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
JP2009517163A (ja) 画像内の参照構造に関連付けられた構造をセグメント化する方法、システム及びコンピュータ・プログラム
Ecabert et al. Modeling shape variability for full heart segmentation in cardiac computed-tomography images
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
WO2017062453A1 (en) Image segmentation of organs depicted in computed tomography images
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
CN113888520A (zh) 用于生成牛眼图的系统和方法
Farag Variational approach for small-size lung nodule segmentation
Oktay et al. Probabilistic edge map (PEM) for 3D ultrasound image registration and multi-atlas left ventricle segmentation
Langs et al. Learning deformation and structure simultaneously: In situ endograft deformation analysis
Gan et al. Probabilistic modeling for image registration using radial basis functions: Application to cardiac motion estimation
Klemencic et al. Non-rigid registration based active appearance models for 3D medical image segmentation
Kwon et al. Rolled fingerprint construction using MRF-based nonrigid image registration
Wu et al. Learning best features and deformation statistics for hierarchical registration of MR brain images
Elnakib et al. A new framework for automated segmentation of left ventricle wall from contrast enhanced cardiac magnetic resonance images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination