CN107636659A - 使用深度神经网络检测医学图像中的地标的方法和系统 - Google Patents

使用深度神经网络检测医学图像中的地标的方法和系统 Download PDF

Info

Publication number
CN107636659A
CN107636659A CN201580079857.XA CN201580079857A CN107636659A CN 107636659 A CN107636659 A CN 107636659A CN 201580079857 A CN201580079857 A CN 201580079857A CN 107636659 A CN107636659 A CN 107636659A
Authority
CN
China
Prior art keywords
voxel
neural network
deep neural
image block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580079857.XA
Other languages
English (en)
Other versions
CN107636659B (zh
Inventor
D.刘
B.乔治斯库
郑冶枫
H.阮
S.K.周
V.K.辛格
D.科马尼丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN107636659A publication Critical patent/CN107636659A/zh
Application granted granted Critical
Publication of CN107636659B publication Critical patent/CN107636659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

公开了用于使用深度神经网络来检测医学图像中的解剖地标的方法和系统。对于定心在医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络。基于从所述多个图像分块中的每一个图像分块输入到经训练的深度神经网络的体素的子集，使用经训练的深度神经网络来检测医学图像中的目标地标的位置。

Description

使用深度神经网络检测医学图像中的地标的方法和系统
背景技术
本发明涉及检测医学图像中的解剖地标，并且更具体地，涉及使用深度神经网络检测医学图像中的解剖地标。
深度学习模仿哺乳动物大脑的行为以便从高维输入中提取有意义的表示。数据通过网络的多个层传递。初级层提取低水平线索，诸如针对自然图像的边缘和角落。较深的层将来自之前各层的简单线索合成为较高水平的特征。以该方式，强有力的表示出现在网络的末尾处。深度网络的逐步构造防止学习过早地遭遇高复杂性的数据。若干理论研究示出了某些种类的函数（例如，指示函数）可以由深度网络表示，但是对于具有非充足深度的网络则要求指数计算。
最近，已经以高精度应用深度学习以便图案化（pattern）图像中的识别问题。深度神经网络可以被用在图像相关任务中，诸如检测和分割。然而，由于评估阶段期间的高计算成本，用于深度神经网络的计算时间可能过于大，可能防止深度神经网络被应用于许多有用的应用。
发明内容
本发明提供了用于医学图像中的地标检测的方法和系统。本发明的实施例提供了一种用于以高效的方式将深度神经网络应用于检测3D医学图像中的3D地标的方法。
在本发明的实施例中，对于定心在医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络。基于从所述多个图像分块中的每一个图像分块输入到经训练的深度神经网络的体素的所述子集而使用经训练的深度神经网络来检测医学图像中的目标地标的位置。
本发明的这些和其它优点将通过参照以下详细描述和附图而对于本领域技术人员显而易见。
附图说明
图1图示了根据本发明的实施例用于使用深度神经网络检测医学图像中的地标的方法；
图2图示了根据本发明的第一实施例用于在图像分块内采样的示例性采样图案；
图3图示了根据本发明的第二实施例用于在图像分块内采样的示例性采样图案；
图4图示了示例性AE神经网络；以及
图5是能够实现本发明的计算机的高水平框图。
具体实施方式
本发明涉及用于使用深度神经网络检测医学图像中的地标的方法和系统。在本文描述本发明的实施例以便给出用于检测医学图像中的地标的方法的视觉理解。数字图像通常包括一个或多个对象（或形状）的数字表示。在本文中通常在标识和操控对象的方面来描述对象的数字表示。这样的操控是在计算机系统的存储器或其它电路系统/硬件中达成的虚拟操控。相应地，要理解到，本发明的实施例可以使用存储在计算机系统内的数据而在计算机系统内加以执行。
本发明的实施例利用直接就医学图像数据而被训练的深度神经网络来学习复杂的图像图案以及基于复杂的图像图案来检测医学图像数据中的解剖地标。深度神经网络是基于机器学习的神经网络，其在输入数据和输出数据之间具有所学习的特征或变量的多个隐藏层。深度神经网络将典型地利用三个或更多个隐藏层来加以实现。深度神经网络典型地被用在直接多类分类场景中并且典型地没有应用于解剖地标检测任务，因为深度神经网络向这样的解剖地标检测任务的扩展可能在计算上是非常复杂的。
在地标检测任务中，可以使用滑动窗口方案，在该滑动窗口方案中通过使某一尺寸的窗口在整个图像或整个体积上滑动来检查大量图像分块。深度神经网络直接对每一个图像分块中的图像数据进行操作，并且典型地将图像分块中的每一个体素或像素输入到深度神经网络的输入层的对应节点。出于实际原因，在各向同性1mm体积中可以使用20x20x20体素的图像分块尺寸，这导致向深度神经网络输入8000维输入向量。要理解到，本文描述的方法不限于该特定图像分块尺寸，并且可以类似地应用于任何尺寸的图像分块。例如，也可以使用50x50x50体素的图像分块尺寸。从这样的图像分块向深度神经网络输入的输入向量的大尺寸使这样的深度神经网络难以直观地用于实际应用，所述实际应用诸如地标检测。本发明的实施例提供了用于降低针对给定图像分块的输入向量的维度以及由此实现使用深度神经网络的地标检测任务的加速的方法。
图1图示了根据本发明的实施例用于使用深度神经网络检测医学图像中的地标的方法。图1的方法变换表示患者的解剖结构的医学图像以便检测医学图像中的地标，诸如解剖地标。在步骤102处，接收患者的医学图像。在有利的实施例中，医学图像是3D医学图像，其还可以称为体积，但是本发明不限于此并且也可以类似地应用于2D医学图像或者4D（3D+时间）医学图像。一般将医学图像视为3D医学图像的本发明的实施例的描述将医学图像的元素指代为体素。要理解到，本文描述的实施例可以类似地应用于2D图像，并且贯穿本公开内容，术语“像素”可以替换“体素”。医学图像可以使用任何类型的成像模态来加以采集，诸如计算机断层扫描（CT）、核磁共振成像（MRI）、超声、x射线荧光、正电子发射型断层扫描（PET）、Dyna CT等。医学图像可以从图像采集设备直接接收，所述图像采集设备诸如CT扫描仪、MR扫描仪、超声探针、PET扫描仪等，或者医学图像可以通过加载之前存储在计算机系统的存储器或存储装置上的医学图像或者通过经由网络传输从另一个计算机系统接收医学图像来接收。
在步骤104处，基于采样图案将医学图像的多个图像分块中的每一个图像分块中的体素的子集输入到经训练的深度神经网络。在有利的实施例中，可以使用滑动窗口方案以便通过使具有某一尺寸的窗口在整个3D医学图像上滑动来评估所述多个图像分块。例如，该窗口可以定心在医学图像中的每一个体素处，使得所得到的多个图像分块包括定心在医学图像的每一个体素处的相应图像分块。在示例性实现中，每一个图像分块的尺寸对于各向同性1mm医学图像体积而言可以是20x20x20体素，但是本发明不限于此，并且也可以使用其它尺寸的图像分块（例如，50x50x50体素）。
根据有利的实施例，代替于将特定图像分块中的所有体素馈送至经训练的深度神经网络，使用预确定的采样图案来选择每一个图像内的体素集合的子集以便输入到经训练的深度神经网络。图2和图3图示了可以用于对每一个图像分块中的体素的子集进行采样的两个不同的采样图案。要理解到，针对定心在医学图像中的相应体素处的每一个图像分块而对输入到深度神经网络的体素进行采样不同于对以下体素进行采样——针对这些体素通过深度神经网络来评估图像分块。也就是说，在有利的实施例中，医学图像中的每一个体素都由深度神经网络通过评估定心在医学图像中的每一个体素处的相应图像分块来评估。然而，对与医学图像中的体素对应的每一个图像分块都进行采样以便确定该图像分块内的要输入到深度神经网络的体素的子集。
图2图示了根据本发明的第一实施例用于在图像分块内采样的示例性采样图案。在图2的实施例中，使用基于网格的采样图案202，其对图像分块200稀疏地采样。尽管在图2中作为二维中的正方形示出，但是在应用于3D医学图像时，图像分块200和对应的采样图案202被类似地实现为3D盒。在该情况下，图像分块200和对应的采样图案204中的每一个小正方形都表示医学图像的体素。当应用于2D医学图像时，每一个小正方形都表示2D医学图像的像素。在一种实现中，如在图2的示例中所图示的，采样图案202选择该图像分块内的每一个维度中的每隔一个体素。在图2的采样图案202中，带阴影的正方形表示由采样图案202选择来输入到深度神经网络的体素。当应用于20x20x20图像分块时，选择该图像分块内的每一个维度中的每隔一个体素的采样图案202导致输入向量维度减少12.5%。另外还可以以较大的步长尺寸实现类似的网格采样图案，以便实现更积极的采样。特别地，可以通过在每一个方向上都在输入到深度神经网络的每一个体素之间跳过每n个体素来实现网格采样图案，其中n是大于或等于1的整数。还可能的是，使用下采样例程来对每一个图像分块进行下采样。
图3图示了根据本发明的第二实施例的用于对图像分块进行采样的示例性采样图案。在图3的实施例中，使用对数极坐标采样图案300来选择要输入到深度神经网络的体素的子集，所述对数极坐标采样图案300具有在分块中心附近的较高密度以及更远离分块中心时的较低密度。这允许对象部分在远离中心时的较大失真。在2D空间中，采样图案300对定心在医学图像的每一个像素处的相应圆形（对数极坐标）图像分块内的像素进行采样。在3D空间中，采样图案300对定心在医学图像的每一个体素处的相应球形图像分块的体素进行采样。采样图案300将圆形/球形图像分块划分为很多个分区，所述很多个分区在该图像分块的中心附近较小且彼此较靠近并且随着距该图像分块的中心的距离增加而更大且伸展得更开。在有利的实现中，选择最接近采样图案300的每一个分区的矩心的体素来输入到深度神经网络。这导致接近分块中心的经采样的体素的较高密度以及更远离分块中心的经采样的体素的较低密度。在另一种可能的实现中，可以对采样图案300的每一个分区内的体素值进行平均，并且对于每一个分区，可以将表示该分区中的体素的平均的单个体素值输入到深度神经网络。
返回到图1，在步骤106处，基于针对所述多个图像分块中的每一个图像分块所输入的体素的子集而使用经训练的深度神经网络来检测医学图像中的地标的位置。在有利的应用中，地标可以是解剖地标，所述解剖地标是与器官或其它解剖对象相关联的医学图像中的点（例如，体素）。
深度神经网络是基于机器学习的神经网络，其在输入数据和输出数据之间具有所学习的特征或变量的多个隐藏层。根据有利的实现，深度神经网络将典型地利用三个或更多个隐藏层来加以实现。在有利的实施例中，对深度神经网络进行训练以便检测医学图像数据中的解剖地标的位置。特别地，可以对深度神经网络进行训练以便检测2D医学图像中的解剖地标的2D位置(x,y)或者检测3D医学图像中的解剖地标的3D位置(x,y,z)。如上文所提及的，本文中使用术语“体素”来指代医学图像的元素，而不管维度如何。基于存储在数据库中的多个训练图像来训练深度神经网络。训练图像可以是使用任何医学成像模态所采集的2D或3D医学图像，所述医学成像模态诸如但不限于CT、MRI、超声、X射线荧光、DynaCT等。至少训练图像的子集被标注有目标解剖对象的位置。训练图像另外还可以包括未标注图像。在第一种可能的实现中，经训练的深度神经网络可以是有辨别力的深度神经网络，其针对定心在体素处的图像分块来计算目标地标位于该体素处的可能性。在第二种可能的实现中，经训练的深度神经网络可以是深度神经网络回归器（回归函数），其针对定心在体素处的图像分块来计算从该体素到目标地标的预测位置的差向量。
在检测所接收的医学图像中的地标之前，在离线训练阶段中训练深度神经网络。直接就图像数据对深度神经网络进行训练以便学习复杂的图像图案并且基于复杂的图像图案来检测解剖地标。根据本发明的有利实施例，基于预确定的采样图案，诸如图2的采样图案或者图3的采样图案，直接就从训练图像分块采样的体素来训练深度神经网络。前馈神经网络是具有高效的训练算法（称为后向传播）的神经网络结构。尽管强有力到足以逼近复杂目标函数，但是大的前馈神经网络趋向于使训练数据过拟合。难以利用良好的泛化能力来训练具有多于两个隐藏层的网络。在可能的实施例中，随后是受监管的精细调谐的不受监管的预训练可以用于克服过拟合问题。该技术可以用于训练具有三个或更多隐藏层的网络。可以将预训练视为不受监管的学习过程以便从输入图像数据中发现强有力的图像特征。各种深度学习技术，诸如自动编码器（AE）、去噪自动编码器（DAE）或受限玻尔兹曼机（RBM），可以用于对隐藏层进行预训练。图4图示了示例性AE神经网络。如图2中所示，AE 200是具有一个隐藏层404的前馈神经网络。AE 400具有输入层L1 402、隐藏层L2和输出层L3406。在有利的实现中，输入层402中的每一个节点对应于使用图像分块内的采样图案所采样的体素（或像素）子集中的相应一个。忽略偏项（在图2中标示为+1的节点），输入层402和输出层406分别具有相同数目的节点。AE的目标是最小化输入向量和输出向量之间的差异。如果隐藏层404具有等于或大于输入层402的尺寸，则AE可能学习恒等变换。为了防止这样的平凡解，可以利用具有比输入层402少的节点的隐藏层404来设立AE。隐藏层404的节点可以作为偏项和输入层402的节点的加权和的函数来加以计算，其中向输入层402的节点与隐藏层404中的节点之间的每一个连接分配相应权重。在训练AE 400时学习偏项以及输入层402与隐藏层404之间的权重，例如使用后向传播算法。隐藏层404的节点可以被认为是从自每一个图像分块（由输入层402的节点表示）所采样的体素的子集中提取的特征，并且所学习的权重可以被认为是滤波器，所述滤波器对输入图像数据进行滤波以便生成所述特征。
去噪自动编码器（DAE）可以用于学习输入图像数据的更有意义的表示。在DAE中，随机选择要受干扰（例如，将值设置为等于零）的某一百分比（例如，50%）的输入节点，并且要求DAE在给定受污染观察的情况下重构原始输入向量。这显著增加了所得到的经训练的深度神经网络的鲁棒性。DAE中的隐藏层可以具有比输入层多的节点以便实现过完备表示。在有利的实施例中，使用两级的堆叠式去噪自动编码器（DAE）对深度神经网络进行训练。第一级是不受监管的，其中多层深度神经网络的每一层被训练为重构输入图像数据。在该级中，在训练了具有对输入层进行重构的输出层的DAE之后，摒弃该输出层，并且使用已经训练的隐藏层的激活响应作为向新的DAE的输入来堆叠另一个DAE。该过程可以重复以便一层接一层地对网络进行训练和扩展。第二级是受监管的，并且，相对于从预训练的网络权重开始的输出训练数据而最小化了整个网络误差。例如，为了训练有辨别力的深度神经网络，在预训练了很多个隐藏层之后，可以将用于目标输出的附加层添加到该网络，并且可以使用后向传播来细化整个网络。可替换地，隐藏层的输出可以被视作高水平图像特征，并且用于训练有辨别力的分类器以用于检测解剖对象。为了训练深度神经网络回归器，可以使用线性函数直接回归输出参数空间，或者该输出参数空间可以相对于参数范围（例如，(x,y)或者(x,y,z)）被离散化并且作为多类分类问题进行求解。第二种构想具有以下优点：它可以直接对输出概率编码并且可以生成多种假设，例如针对不同的解剖对象。
在图1的步骤106中，经训练的深度神经网络基于体素的子集来评估医学图像中的每一个体素以便检测医学图像中的解剖地标的位置，所述体素的子集从定心在该体素处的图像分块输入到深度神经网络的输入层。在经训练的深度神经网络是有辨别力的深度神经网络的情况下，经训练的深度神经网络基于从定心在该体素处的图像分块输入到深度神经网络的体素的子集来计算针对每一个体素的概率，并且要么选择具有最高概率的体素要么使具有最高概率的很多个体素成群，以便确定医学图像中的地标的位置。在经训练的深度神经网络是深度神经网络回归器的情况下，经训练的深度神经网络针对每一个体素而基于从定心在该体素处的图像分块输入到深度神经网络的体素的子集来计算位移向量，所述位移向量将该体素的位置映射到医学图像中的地标的预测位置。然后经训练的深度神经网络可以使针对每一个体素计算的预测地标位置成群以便确定医学图像中的地标的位置。
在步骤108处，输出地标检测结果。地标检测结果可以显示在计算机系统的显示设备上。例如，医学图像或者医学图像的部分可以显示在显示设备上，并且可以在所显示的图像中突显或者标注地标位置。在可能的实施例中，其中为医学图像的每一个体素分配对应于检测概率的颜色的概率图可以显示在显示设备上，所述检测概率是通过经训练的深度神经网络针对该体素来计算的。
如上文所述，图1的方法使用经训练的深度神经网络执行医学图像中的地标检测。在有利实施例中，由经训练的深度神经网络检测的地标可以是医学图像中的解剖对象的中心点，并且可以执行图1的方法以实现以下第一阶段：在边缘空间深度学习（MSDL）或者边缘空间深度回归（MSDR）框架下，在具有增加维度的一系列边缘搜索空间中针对医学图像中的解剖对象来检测姿势参数（位置、方位和比例），如在以其整体通过引用并入本文的2015年4月16日提交的、题为“Method and System for Anatomical Object Detection UsingMarginal Space Deep Neural Networks”的美国临时申请号62/148,273中所述。在该情况下，用于地标检测的经训练的深度神经网络可以提供很多个位置候选，这些位置候选然后用于检测第二边缘搜索空间中的位置-方位候选，接着是在第三边缘搜索空间中检测全姿势参数（位置、方位和比例）。此外，在可能的实现中，还可以使用以上描述的采样图案之一对由针对第二和第三边缘搜索空间的相应深度神经网络所评估的图像分块进行采样。
以上描述的用于使用深度神经网络检测医学图像中的地标的方法可以实现在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件的计算机上。这样的计算机的高水平框图在图5中图示。计算机502包含处理器504，所述处理器504通过执行计算机程序指令来控制计算机502的总体操作，所述计算机程序指令定义这样的操作。计算机程序指令可以存储在存储设备512（例如，磁盘）中并且在期望要执行计算机程序指令时加载到存储器510中。因而，图1的方法的步骤可以由存储在存储器510和/或存储装置512中的计算机程序指令来定义并且通过执行计算机程序指令的处理器504来控制。图像采集设备520，诸如CT扫描设备、MR扫描设备、超声设备等，可以连接到计算机502以便向计算机502输入图像数据。可能将图像采集设备520和计算机502实现为一个设备。还可能的是，图像采集设备520和计算机502通过网络无线地通信。在可能的实施例中，计算机502可以关于图像采集设备520远程定位，并且方法步骤可以作为基于服务器或云的服务的部分来加以执行。计算机502还包括用于经由网络与其它设备通信的一个或多个网络接口506。计算机502还包括使得能够实现与计算机502的用户交互的其它输入/输出设备508（例如，显示器、键盘、鼠标、扬声器、按钮等）。这样的输入/输出设备508可以作为标注工具与计算机程序的集合结合使用以便标注从图像采集设备520接收的体积。本领域技术人员将认识到，实际计算机的实现也可以包含其它组件，并且出于说明性目的，图5是这样的计算机的一些组件的高水平表示。
前面的“具体实施方式”要理解为在每一方面都是说明性和示例性的，而不是限制性的，并且本文公开的发明的范围不由“具体实施方式”来确定，而是由如根据专利法所准许的全宽度而解读的权利要求来确定。要理解到，本文示出和描述的实施例仅是说明本发明的原理，并且各种修改可以由本领域技术人员实现而没有超出本发明的范围和精神。本领域技术人员可以实现各种其它特征组合而没有超出本发明的精神和范围。

Claims (25)

1.一种用于检测医学图像中的地标的方法，包括：
对于定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络；以及
基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络来检测所述医学图像中的目标地标的位置。
2.权利要求1所述的方法，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案选择该图像分块内的每一个维度中的每隔一个体素来输入到所述经训练的深度神经网络。
3.权利要求1所述的方法，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案在该图像分块内的每一个维度中跳过在被选择为输入到所述经训练的深度神经网络的每一个体素之间的n个体素。
4.权利要求1所述的方法，其中所述预确定的采样图案是对数极坐标采样图案，所述对数极坐标采样图案在该图像分块的中心附近选择较高密度的体素来输入到所述经训练的深度神经网络以及在更远离该图像分块的中心处选择较低密度的体素来输入到所述经训练的深度神经网络。
5.权利要求4所述的方法，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，选择最接近该分区的矩心的体素来输入到所述经训练的深度神经网络。
6.权利要求4所述的方法，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，计算该分区中的体素值的平均并且将具有针对该分区的平均体素值的体素输入到所述经训练的深度神经网络。
7.权利要求1所述的方法，其中所述经训练的深度神经网络是有辨别力的深度神经网络，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：
在定心在所述多个体素中的每一个体素处的相应图像分块内，基于输入到所述经训练的深度神经网络的体素的子集集合来计算针对所述医学图像中的所述多个体素中的每一个体素的概率；以及
将所述目标地标的位置检测为所述医学图像中的所述多个体素中具有最高概率的一个体素的位置。
8.权利要求1所述的方法，其中所述经训练的深度神经网络是深度神经网络回归器，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：
对于所述医学图像中的所述多个体素中的每一个体素，在定心于该体素处的相应图像分块内基于输入到所述经训练的深度神经网络的体素的子集集合来计算位移向量，所述位移向量将该体素映射到所述医学图像中的所述目标地标的预测位置；以及
通过使针对所述医学图像中的所述多个体素中的每一个体素所计算的所述目标地标的预测位置成群来检测所述目标地标的位置。
9.权利要求1所述的方法，其中基于在多个训练图像分块中的每一个训练图像分块内使用所述预确定的采样图案所采样的体素的相应子集，对所述经训练的深度神经网络进行训练。
10.一种用于检测医学图像中的地标的装置，包括：
用于针对定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络的部件；以及
用于基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置的部件。
11.权利要求10所述的装置，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案选择该图像分块内的每一个维度中的每隔一个体素来输入到所述经训练的深度神经网络。
12.权利要求10所述的装置，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案在该图像分块内的每一个维度上跳过在被选择为输入到所述经训练的深度神经网络的每一个体素之间的n个体素。
13.权利要求10所述的装置，其中所述预确定的采样图案是对数极坐标采样图案，所述对数极坐标采样图案在该图像分块的中心附近选择较高密度的体素来输入到所述经训练的深度神经网络以及在更远离该图像分块的中心处选择较低密度的体素来输入到所述经训练的深度神经网络。
14.权利要求13所述的装置，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，选择最接近该分区的矩心的体素来输入到所述经训练的深度神经网络。
15.权利要求13所述的装置，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，计算该分区中的体素值的平均并且将具有针对该分区的平均体素值的体素输入到所述经训练的深度神经网络。
16.权利要求10所述的装置，其中基于在多个训练图像分块中的每一个训练图像分块内使用所述预确定的采样图案所采样的体素的相应子集，对所述经训练的深度神经网络进行训练。
17.一种非暂时性计算机可读介质，存储有用于在医学图像中检测地标的计算机程序指令，所述计算机程序指令在由处理器执行时使所述处理器执行以下操作，包括：
针对定心在所述医学图像中的多个体素中的相应一个体素处的多个图像分块中的每一个图像分块，基于预确定的采样图案将该图像分块内的体素的子集输入到经训练的深度神经网络；以及
基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集，使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置。
18.权利要求17所述的非暂时性计算机可读介质，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案选择该图像分块内的每一个维度中的每隔一个体素来输入到所述经训练的深度神经网络。
19.权利要求17所述的非暂时性计算机可读介质，其中所述预确定的采样图案是基于网格的采样图案，所述基于网格的采样图案在该图像分块内的每一个维度中跳过在被选择为输入到所述经训练的深度神经网络的每一个体素之间的n个体素。
20.权利要求17所述的非暂时性计算机可读介质，其中所述预确定的采样图案是对数极坐标采样图案，所述对数极坐标采样图案在该图像分块的中心附近选择较高密度的体素来输入到所述经训练的深度神经网络以及在更远离该图像分块的中心处选择较低密度的体素来输入到所述经训练的深度神经网络。
21.权利要求20所述的非暂时性计算机可读介质，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，选择最接近该分区的矩心的体素来输入到所述经训练的深度神经网络。
22.权利要求20所述的非暂时性计算机可读介质，其中所述对数极坐标采样图案将该图像分块分为多个分区，其中更接近该图像分块的中心的分区小于更远离该图像分块的分区，并且对于该图像分块的所述多个分区中的每一个分区，计算该分区中的体素值的平均并且将具有针对该分区的平均体素值的体素输入到所述经训练的深度神经网络。
23.权利要求17所述的非暂时性计算机可读介质，其中所述经训练的深度神经网络是有辨别力的深度神经网络，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：
在定心于所述多个体素中的每一个体素处的相应图像分块内，基于输入到所述经训练的深度神经网络的体素的子集集合来计算针对所述医学图像中的所述多个体素中的每一个体素的概率；以及
将所述目标地标的位置检测为所述医学图像中的所述多个体素中具有最高概率的一个体素的位置。
24.权利要求17所述的非暂时性计算机可读介质，其中所述经训练的深度神经网络是深度神经网络回归器，并且基于从所述多个图像分块中的每一个图像分块输入到所述经训练的深度神经网络的体素的所述子集而使用所述经训练的深度神经网络检测所述医学图像中的目标地标的位置包括：
对于所述医学图像中的所述多个体素中的每一个体素，在定心于该体素处的相应图像分块内基于输入到所述经训练的深度神经网络的体素的子集集合来计算位移向量，所述位移向量将该体素映射到所述医学图像中的所述目标地标的预测位置；以及
通过使针对所述医学图像中的所述多个体素中的每一个体素所计算的所述目标地标的预测位置成群来检测所述目标地标的位置。
25.权利要求17所述的非暂时性计算机可读介质，其中基于在多个训练图像分块中的每一个训练图像分块内使用所述预确定的采样图案所采样的体素的相应子集，对所述经训练的深度神经网络进行训练。
CN201580079857.XA 2015-05-11 2015-05-11 使用深度神经网络检测医学图像中的地标的方法和系统 Active CN107636659B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/030084 WO2016182551A1 (en) 2015-05-11 2015-05-11 Method and system for landmark detection in medical images using deep neural networks

Publications (2)

Publication Number Publication Date
CN107636659A true CN107636659A (zh) 2018-01-26
CN107636659B CN107636659B (zh) 2021-10-12

Family

ID=53373545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079857.XA Active CN107636659B (zh) 2015-05-11 2015-05-11 使用深度神经网络检测医学图像中的地标的方法和系统

Country Status (4)

Country Link
US (1) US10467495B2 (zh)
EP (1) EP3295374B8 (zh)
CN (1) CN107636659B (zh)
WO (1) WO2016182551A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444276A (zh) * 2018-05-04 2019-11-12 西门子医疗有限公司 产生图像数据的方法、计算机断层扫描设备、程序产品和数据载体
CN110490870A (zh) * 2018-08-26 2019-11-22 北京昆仑医云科技有限公司 对图像进行分析的方法、装置和非暂时性计算机可读介质
CN110556179A (zh) * 2018-05-31 2019-12-10 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN111414990A (zh) * 2020-02-20 2020-07-14 北京迈格威科技有限公司 卷积神经网络处理方法、装置、电子设备及存储介质
CN112219138A (zh) * 2018-06-04 2021-01-12 浜松光子学株式会社 断层图像预测装置及断层图像预测方法
CN113168912A (zh) * 2018-09-04 2021-07-23 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
US11748902B2 (en) 2018-08-23 2023-09-05 Shenzhen Keya Medical Technology Corporation Method, device and system for generating a centerline for an object in an image

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529318B2 (en) * 2015-07-31 2020-01-07 International Business Machines Corporation Implementing a classification model for recognition processing
US11800978B2 (en) * 2016-08-05 2023-10-31 Siemens Healthcare Gmbh Deep learning based isocenter positioning and fully automated cardiac MR exam planning
CN109074665B (zh) * 2016-12-02 2022-01-11 阿文特公司 用于经由医学成像系统导航到目标解剖对象的系统和方法
BR112019028132A2 (pt) * 2017-06-30 2020-07-28 Promaton Holding B.V sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador
WO2019064040A1 (en) 2017-09-29 2019-04-04 Nanovare Sas DEVICES AND METHODS FOR ANALYZING MALE INFERTILITY
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10672164B2 (en) * 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10614557B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Digital image completion using deep learning
EP3493154A1 (en) 2017-12-01 2019-06-05 Koninklijke Philips N.V. Segmentation system for segmenting an object in an image
US11449759B2 (en) * 2018-01-03 2022-09-20 Siemens Heathcare Gmbh Medical imaging diffeomorphic registration based on machine learning
EP3518249B1 (fr) * 2018-01-30 2022-03-16 Dental Monitoring Procédé d'analyse d'une représentation d'une arcade dentaire
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
US11062469B2 (en) 2018-03-09 2021-07-13 Microsoft Technology Licensing, Llc 4D tracking utilizing depth data from multiple 3D cameras
US10755391B2 (en) 2018-05-15 2020-08-25 Adobe Inc. Digital image completion by learning generation and patch matching jointly
JP7214432B2 (ja) * 2018-10-22 2023-01-30 キヤノン株式会社 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
CN109685866B (zh) * 2018-12-25 2023-07-18 上海联影医疗科技股份有限公司 晶体位置查找表构建方法、装置、计算机设备和存储介质
WO2020146741A1 (en) 2019-01-10 2020-07-16 Selim Olcum Calibration of a functional biomarker instrument
CN111833288B (zh) * 2019-04-12 2024-02-09 阿里巴巴集团控股有限公司 图像识别方法、装置和设备
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
US11308623B2 (en) 2019-07-09 2022-04-19 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
EP4010734A4 (en) * 2019-08-08 2023-08-16 BFLY Operations, Inc. METHODS AND APPARATUS FOR COLLECTING ULTRASOUND IMAGES
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN110826485B (zh) * 2019-11-05 2023-04-18 中国人民解放军战略支援部队信息工程大学 一种遥感影像的目标检测方法及系统
US11087525B2 (en) * 2020-01-08 2021-08-10 International Business Machines Corporation Unsupervised learning of three dimensional visual alphabet
CN111311008B (zh) * 2020-02-21 2021-04-30 山东大学 交直流大电网动态安全风险态势滚动前瞻预警方法及系统
CN111539484A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 训练神经网络的方法及装置
US11573775B2 (en) * 2020-06-17 2023-02-07 Bank Of America Corporation Software code converter for resolving redundancy during code development
US11782685B2 (en) * 2020-06-17 2023-10-10 Bank Of America Corporation Software code vectorization converter
EP4189588A1 (en) * 2020-07-31 2023-06-07 Koninklijke Philips N.V. Landmark detection in medical images
EP4005672A1 (en) 2020-11-25 2022-06-01 Pera Labs Medikal Arastirma ve Gelistirme Limited Sirketi A device for separating and analyzing seminal sample, system and method
EP4006142A1 (en) 2020-11-25 2022-06-01 Pera Labs Medikal Arastirma ve Gelistirme Limited Sirketi Analysis of seminal samples, method and system
US11530974B1 (en) 2021-11-01 2022-12-20 Travera, Inc. Cellular measurement, calibration, and classification
CN114387436B (zh) * 2021-12-28 2022-10-25 北京安德医智科技有限公司 壁冠状动脉检测方法及装置、电子设备和存储介质
WO2023175798A1 (ja) * 2022-03-16 2023-09-21 日本電気株式会社 モデル訓練装置、モデル訓練方法、及び記録媒体
EP4300433A1 (en) * 2022-06-30 2024-01-03 Siemens Healthcare GmbH Method for identifying a type of organ in a volumetric medical image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585458A (zh) * 2004-05-27 2005-02-23 上海交通大学 利用支持向量机进行视频字幕定位和提取的方法
US20130083016A1 (en) * 2011-09-30 2013-04-04 University of Clean Florida Research Foundation, Inc. Generating Flower Images and Shapes with Compositional Pattern Producing Networks
US20140247977A1 (en) * 2013-03-01 2014-09-04 Impac Medical Systems, Inc. Method and Apparatus for Learning-Enhanced Atlas-Based Auto-Segmentation
CN104143101A (zh) * 2014-07-01 2014-11-12 华南理工大学 一种基于超声图像的乳腺肿瘤区域自动识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661870B2 (en) * 2001-03-09 2003-12-09 Tomotherapy Incorporated Fluence adjustment for improving delivery to voxels without reoptimization
US8184888B2 (en) * 2007-09-19 2012-05-22 Siemens Medical Solutions Usa, Inc. Method and system for polyp segmentation for 3D computed tomography colonography
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9626566B2 (en) * 2014-03-19 2017-04-18 Neurala, Inc. Methods and apparatus for autonomous robotic control
JP6376873B2 (ja) * 2014-07-16 2018-08-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585458A (zh) * 2004-05-27 2005-02-23 上海交通大学 利用支持向量机进行视频字幕定位和提取的方法
US20130083016A1 (en) * 2011-09-30 2013-04-04 University of Clean Florida Research Foundation, Inc. Generating Flower Images and Shapes with Compositional Pattern Producing Networks
US20140247977A1 (en) * 2013-03-01 2014-09-04 Impac Medical Systems, Inc. Method and Apparatus for Learning-Enhanced Atlas-Based Auto-Segmentation
CN104143101A (zh) * 2014-07-01 2014-11-12 华南理工大学 一种基于超声图像的乳腺肿瘤区域自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOLGER R. ROTH ET AL: "A New 2.5D Representation for Lymph Node Detection Using Random Sets of Deep Convolutional Neural Network Observations", 《MICCAI 2014, PART I》 *
李长勇 等: "基于深度图像的蔬果形状特征提取", 《 农业机械学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444276A (zh) * 2018-05-04 2019-11-12 西门子医疗有限公司 产生图像数据的方法、计算机断层扫描设备、程序产品和数据载体
CN110556179A (zh) * 2018-05-31 2019-12-10 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN110556179B (zh) * 2018-05-31 2023-04-07 通用电气公司 使用深度神经网络标记全脊柱图像的方法和系统
CN112219138A (zh) * 2018-06-04 2021-01-12 浜松光子学株式会社 断层图像预测装置及断层图像预测方法
US11748902B2 (en) 2018-08-23 2023-09-05 Shenzhen Keya Medical Technology Corporation Method, device and system for generating a centerline for an object in an image
CN110490870A (zh) * 2018-08-26 2019-11-22 北京昆仑医云科技有限公司 对图像进行分析的方法、装置和非暂时性计算机可读介质
CN113168912A (zh) * 2018-09-04 2021-07-23 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
CN113168912B (zh) * 2018-09-04 2023-12-01 艾登斯 Ip 有限公司 使用深度学习确定3d数据集中对象的增长速度
CN111414990A (zh) * 2020-02-20 2020-07-14 北京迈格威科技有限公司 卷积神经网络处理方法、装置、电子设备及存储介质
CN111414990B (zh) * 2020-02-20 2024-03-19 北京迈格威科技有限公司 卷积神经网络处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20180089530A1 (en) 2018-03-29
EP3295374A1 (en) 2018-03-21
US10467495B2 (en) 2019-11-05
CN107636659B (zh) 2021-10-12
WO2016182551A1 (en) 2016-11-17
EP3295374B1 (en) 2023-08-23
EP3295374C0 (en) 2023-08-23
EP3295374B8 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
CN107636659A (zh) 使用深度神经网络检测医学图像中的地标的方法和系统
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
Pezeshk et al. 3-D convolutional neural networks for automatic detection of pulmonary nodules in chest CT
US10210613B2 (en) Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
Patravali et al. 2D-3D fully convolutional neural networks for cardiac MR segmentation
CN106127217B (zh) 用于近似深入神经网络以用于解剖对象检测的方法和系统
JP6635648B2 (ja) 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
JP2022518446A (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
Guan et al. Thigh fracture detection using deep learning method based on new dilated convolutional feature pyramid network
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111340682A (zh) 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN105931226A (zh) 基于深度学习的自适应椭圆拟合细胞自动检测分割方法
US20210383534A1 (en) System and methods for image segmentation and classification using reduced depth convolutional neural networks
CN106408610A (zh) 用边缘空间深度神经网络进行解剖对象检测的方法和系统
JP2019114262A (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
US10929643B2 (en) 3D image detection method and apparatus, electronic device, and computer readable medium
CN113034495B (zh) 一种脊柱影像分割方法、介质及电子设备
CN110033019A (zh) 人体部位的异常检测方法、装置和存储介质
CN111415728A (zh) 基于cnn和gan的ct图像数据自动分类方法及设备
CN107403160A (zh) 一种智能驾驶场景中图像检测方法、设备及其存储设备
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
Sun et al. Deep convolutional nets for pulmonary nodule detection and classification
Chauhan et al. Medical image fusion methods: Review and application in cardiac diagnosis
Shaker Detection and segmentation of osteoporosis in human body using recurrent neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant