CN109844808A - 多模态医学图像处理 - Google Patents

多模态医学图像处理 Download PDF

Info

Publication number
CN109844808A
CN109844808A CN201780062468.5A CN201780062468A CN109844808A CN 109844808 A CN109844808 A CN 109844808A CN 201780062468 A CN201780062468 A CN 201780062468A CN 109844808 A CN109844808 A CN 109844808A
Authority
CN
China
Prior art keywords
data
medicine
input data
input
clinical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780062468.5A
Other languages
English (en)
Inventor
彼得·凱奇凱梅蒂
托拜厄斯·赖肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kailong Medical Technology Co Ltd
Kheiron Medical Technologies Ltd
Original Assignee
Kailong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kailong Medical Technology Co Ltd filed Critical Kailong Medical Technology Co Ltd
Publication of CN109844808A publication Critical patent/CN109844808A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及医学图像中感兴趣区域的识别。更具体地，本发明涉及基于多种类型的医学图像数据上训练的编码和/或分类方法来识别医学图像中的感兴趣区域。各方面和/或实施例寻求提供一种用于基于多模态数据输入来训练编码器和/或分类器的方法，以便基于单一模态的数据输入源对医学图像中的感兴趣区域进行分类。

Description

多模态医学图像处理
技术领域
本发明涉及医学图像中感兴趣区域的识别。尤其涉及基于对多种类型的医学图像数据进行训练的编码和/或分类方法识别医学图像中感兴趣的区域。
背景技术
计算机辅助诊断(又称CAD)是医学专业人员近40年来开发和应用的一项技术，用于帮助解释由磁共振成像、X射线成像和超声成像等技术生成的医学图像。
上述医学成像技术例如会产生大量的图像数据，这些数据通常由医学专业人员如放射科医师手动处理，并且，具体来说这些数据由该医学专业人员分析或评估，以用于确定诊断。例如乳房X线照相术的典型诊断是与癌症的筛查和检测有关的。
计算机辅助诊断可与医学成像技术一起用于处理由医学成像技术生成的图像数据，以便突出每个图像中可能指示一个或多个医学专业人员(例如放射科医师)感兴趣的图像区域的明显区域。
计算机辅助诊断几乎从未用于替代医学专业人员的意见，因为它尚未达到医学专业人员可以接受的可靠性水平。
此外，一些医学图像数据，如X射线图像数据，由于在获得的图像中缺乏分辨率或清晰度，并不总是实现某种诊断的最佳数据。因此，医学专业人员或其他医学专业人员需要进行进一步的数据获取或测试，以根据即时可用的图像数据确认任何初步诊断。
发明内容
各方面和/或实施例寻求提供一种基于多模态数据输入的编码器和/或分类器的训练方法，以便基于数据输入源的单一模态对医学图像中感兴趣的区域进行分类。
第一方面，本发明提供了一种自动识别医学或临床图像数据中感兴趣区域的方法，所述方法包括以下步骤：接收未标记的输入数据，所述输入数据包括来自多种数据模态之一的数据；使用经过训练的编码器对所述未标记的输入数据进行编码；使用经过训练的联合表示模块确定联合表示；以及使用所述联合表示作为经过训练的分类器的输入，为所述输入数据生成标记数据。
这样，所述方法不需要依赖手动设计的特性来获得任何输入数据的联合表示。本方法使用许多预先训练的组件自动确定联合表示。
可选的，所述编码器、所述联合表示模块和所述分类器用包含多种模态的输入训练数据进行训练。在运行时(或测试时)，该方法可能只接收一种输入模态。为了提高识别医学或临床数据中感兴趣区域的准确性，使用多种输入模态对预先训练的组件进行训练，这样可在仅收到一种输入时确定所述联合表示。
可选的，提供一种或多种输入数据模态。在某些情况下，可以使用多种医学图像类型作为输入。
可选的，所述输入数据包括以下一项或多项：乳房X光摄影；X射线；计算机断层(CT)扫描；磁共振成像(MRI)数据；组织学数据；乳房X光摄影数据；遗传序列数据和/或超声数据。
可选的，所述联合表示模块使用从一个或多个经过训练的编码器处接收到的一个或多个输出进行训练。
可选的，所述联合表示模块接收编码数据作为浮点数的三维张量。可选地，所述联合表示为向量的形式。
最佳地，生成标记数据还包括生成未标记输入数据中一个或多个感兴趣区域的指示。
可选的，未标记输入数据的模态数比用于训练编码器、联合表示模块和分类器的输入训练数据的模态数少一个。这样，经过训练的组件将始终具有一种额外的数据模态，以帮助输入数据。
第二方面，本发明提供了一种为医疗学或临床数据训练分类器的方法，包括以下步骤：从接收预先标记的数据集中接收未标记的输入数据，所述输入数据包括来自多个种模态的数据；对来自多个种模态的未标记的输入数据进行编码以形成联合表示；使用自适应分类算法对所述联合表示进行分类，以从所述联合表示中生成标记数据；比较预先标记数据集的预标记数据和所述标记数据，并输出比较数据；根据所述比较数据调整自适应分类算法；重复所述方法的上述步骤，直到所述比较数据达到预先确定的阈值，表明无需对适应性分类算法进行进一步调整。
可选的，由多个连接的和/或配对的编码器执行用于对来自多种模态的未标记输入数据进行编码以形成所述联合表示的步骤。
通过使用至少两种数据源对分类器进行训练，可以生成用于对医学或临床数据，例如识别感兴趣的区域，进行分类的训练过的编码器配对和联合表示。
可选的，所述输入数据包括来自多种数据源的数据。可选地，接收两种模态的输入数据。可选地，所述未标记的输入数据以一个或多个医学图像的形式存在。可选地，所述多个医学图像是相关的。可选地，所述输入数据包括以下一个或多个：乳腺X线摄影；X射线；计算机断层(CT)扫描；磁共振成像(MRI)扫描；和/或超声扫描。可选地，所述医学图像是DICOM文件形式。
通过提供来自多种数据源和/或多种模态的输入数据，例如包括乳腺X线摄影、X射线、CT、MRI和/或超声数据在内的医学数据，这些医学数据均可以是DICOM文件格式，可以使用这些数据执行分类器、编码器和联合表示的训练。如果多个医学图像是相关的，例如，如果它们都与特定类型的癌变生长有关，则可以对分类器、编码器和联合表示执行更强大的训练。
可选的，对来自多种模态的未标记输入数据进行编码以形成联合表示的步骤是对每种模态单独执行的。
从多种不同的模态中产生联合表示可能需要和/或受益于使用已经被该模态训练过的特定编码器。
可选的，所述自适应分类算法包括一种机器学习算法。
通过提供机器学习算法，使用本文公开的方法所产生的错误在将来可被学习到，从而减少将来可能产生的错误量。
可选的，适应性分类算法包括支持向量机(SVM)、多层感知器和/或随机森林。
使用可以用反向传播训练的分类器，例如多层感知器，可以在训练分类器的同时微调编码器模型的参数。通过提供一定程度的鲁棒性和泛化能力，SVMs甚至可以在未知数据上表现良好。随机森林安排可以提供更快的训练速度，并促进特征选择。
第三方面，本发明提供了一种用于医学或临床目的数据分类方法，包括以下步骤：接收未标记的输入数据；所述输入数据包括来自多种数据模态之一的数据；使用经过训练的编码器将未标记的输入数据编码成经训练的联合表示；以及在经过训练的联合表示上使用学习到的分类算法进行分类，用于从经过训练的联合表示上生成标记数据。可选地，提供一种输入数据模态。
通过使用两种数据源训练分类器，可以生成经过训练的编码器和联合表示用于对医学或临床数据进行分类，例如识别感兴趣的区域。此类分类可仅使用一种数据模态进行，因为在需要时可能只存在一种数据模态，例如，如果患者刚接受X光检查但尚未进行进一步检查。然而，如前所述，训练方法和分类可以从其他数据模态中受益，即使是在该数据模态当场缺失的情况下。
可选的，执行分类的步骤还包括生成未标记数据中一个或多个感兴趣区域的指示。可选的，所述一个或多个感兴趣的区域是表示癌性生长。
通过着重关注感兴趣的区域，用户可以查看他们可能忽略的一部分医学图像。用户还可以简单查看未指示区域来节省时间，从而避免浪费精力分析图像中不感兴趣的部分。
可选的，未标记输入数据的模态数比用于训练学习的分类算法的输入数据模态数少一个。可选的，使用的任何编码器或解码器都是CNNs(细胞神经网络)和/或RNNs，所述CNNs包括以下任何一个：VGG、Alexnet，所述RNNs可选的包括具有512个隐藏单元的双向LSTM。
第四方面，本发明提供了一种用于训练分类器和/或使用如本发明所述的相应方法对医学或临床目的数据进行分类的装置。
附图说明
附图通过示例说明本发明，而非限制本发明。类似的附图标记指代类似的元件。
图1是多模神经编码器的训练过程示意图；
图2是编码器-解码器架构的详细视图；
图3是分类器的训练过程示意图；
图4是经过训练的分类器的使用示意图；
图5是经过训练的另一个分类器的使用示意图。
具体实施方式
参考图1，第一个实施例现在将描述多模神经编码器1的训练。
在本实施例中，提供了一种训练多模神经编码器1的方法，在本实施例中，该多模神经编码器1可操作以接收两个或多个单独的数字成像和医学通信(DICOM)文件5、6。每个DICOM文件5、6输入到DICOM解码器10、11中。每个DICOM文件5、6可以来自不同类型的传感器或成像技术(或“模态”)，因此来自不同的信息源。例如，一个DICOM文件5可以来自X射线数据，另一个DICOM文件6可以来组织学数据。类似地，X光数据、组织学数据、MRI数据、乳房X线数据和基因序列数据的任何组合都可以用作输入数据。
输入数据可以是任意模态和任意维度。例如，一个输入数据可能是二维乳房摄影图像，另一个输入数据可能是一维遗传数据。
DICOM解码器10、11读取相应的DICOM图像5、6并将其转换为无损联合图像专家组(JPEG)图像。JPEG图像15、16被读取到内存中，在内存中它们被表示为浮点数的三维张量。
然后将这些三维张量输入相应的编码器20、21以获得共享表示25(有时称为联合表示)。通过实施机器学习技术，系统自动学习并创建最合适的联合表示。联合表示25可以是给定长度的向量(即一维张量)的形式。精确长度是任意的，但在这个实施例中，它通常在512到4000个元素的范围内，其中每个元素都是实数。每个编码器20、21的输出都输入到同一联合表示25中。联合表示中的元素是与从编码器20、21接收的权重有关的实数。因此，可以通过使用来自多模态输入的一组权重来创建联合表示。每个输入都有自己的权重集来创建联合表示。例如，考虑具有两种输入模态的场景。第一输入模态的表示创建如下：
y(1)＝f(1)(W(1)x(1)+b(1))
其中，f(1)是非线性函数，W(1)是一组权重，x(1)是输入，b(1)是第一模态的偏差。第二模态的表示创建如下：
y(2)＝f(2)(W(2)x(2)+b(2))
其中，f(2)是非线性函数，W(2)是一组权重，x(2)是输入，b(2)是第二模态的偏差。
因此，每个编码器的输出表示是一个向量。当存在多个编码器时，每个编码器应用于不同的输入模态，但它们可以具有相同的长度。例如，对于n个不同的输入：
len(y(1))＝＝len(y(2))＝＝len(y(3))＝＝...＝＝len(y(n))
然后，可以将这些向量组合成与单个向量具有相同长度(Ien)的一个联合表示。在神经网络中，向量可以通过多种方式组合。这可以通过以下方式实现：
1.求和：其中联合表示是所有n个向量的和；
2.平均池化：取所有n个向量的平均值作为联合表示；
3.最大池化：取n个向量的最大值作为联合表示；或
4.学习池化：使用一个1×1内核的卷积层为n个向量中的每一个向量生成加权平均值，且卷积层中的权重可以训练。
学习池化可以为开发将单个表示组合成联合表示的最佳方法提供更好的灵活性。此外，在训练过程中，最佳加权平均值可以通过反向传播自动设置。
参考图2，对多模神经编码器1更详细地描述如下。
所述联合表示中的第一个元素25a将会接收来自每个编码器20、21的输入权重，第二个元素25b和第三个元素25c也是如此，对于任何其他元素(图2未示出)，依此类推。其他编码器22(可能包括图2未显示的其他编码器)也可以输入共同的联合表示25，这取决于正在分析的图像模态的数量。更多的输入模态可以提供一种更有效果和/或更高效的方法来训练编码器20-22。每个编码器的每个输出与所述联合表示中的每个元素都相连。层之间的权重存储在矩阵中。许多可作为多模神经编码器1一部分的CNNs在一端或端层具有低级表示。因此，CNNs可以包含许多卷积层，卷积层后面是全连接层。一个或多个CNNs可用于将高维输入编码为低维表示。在本实施例中，这样的表示是联合表示25的形式，进一步的，包含多个共享相同表示的编码器。每个编码器20-22都可连接到同一全连接层。所述联合表示25是一种数据结构，可与每个编码器20-22所在的层和每个解码器30-32所在的层完全相连，接收来自所有编码器20-22的输入，并将其输出发送给所有的解码器30-32。
为了产生可用的联合表示25，对任何编码器的输出执行加权和。如果有多个编码器，如表示中的编码器20-22，联合表示是对所有编码器20-22输出的加权和。联合表示25的权重仅在训练期间更新，并在运行时保持不变，如图4所示。在运行时，执行权重更新的算法(在本实施例中是反向传播算法)根本不运行。接着，将联合表示25提供的数据输出给一个或多个解码器。然后，每个解码器30、31将数据恢复为JPEG图像15、16。每个解码器30、31适于解码至少一种模态的输入数据，且该模态包括原始DICOM文件5、6的数据模态之一。如果使用其他编码器22将数据输入相同的联合表示25，则可以使用其他解码器32将数据恢复为JPEG图像。
因此，使用从每个编码器接收的权重来训练联合表示25。多模神经自动编码器1的进一步训练可以使用反向传播算法和梯度下降法。反向传播算法计算关于参数的误差梯度。然后使用梯度下降法更新权重。误差函数或重建标准是均方误差：
其中xi和yi分别是输入图像和重建图像中的像素。该训练过程是一项无监督的学习任务。因此，无需标记数据：
Dn＝{(x0)，...，(xn)}
多模神经自动编码器1因此训练编码器20、21和联合表示25。在此训练过程中，不需要对解码器30、31进行训练。所有被训练的组件的训练过程基本上同时发生，这被称为“端到端”过程。自动编码器1可操作地将输入15、16编码成低维联合表示25，然后通过解码器30、31将输入重构成输出17、18，其与提供给编码器的输入15、16基本相同。编码器20、21和解码器30、31中的权重使用反向传播算法同时进行训练。
权重可以通过提供输入15来更新，然后输入15在整个过程中进行“向前传递”，这样最终被处理为输出17。如果输出17与预期输出(来自训练集)不匹配，则两者之间的差异则为错误。然后可以在该过程中对错误进行反向传播，从而计算关于每个参数的损失梯度。然后，通过将梯度设置为零来更新权重以获得准确度。如此，如果输出17与输入15相差太大，那么该算法将受到惩罚。由于输出被安排为与输入相同，并且使用了训练集，因此多模神经编码器1训练过程的这一阶段可以在无监督的情况下进行。
参考图3，对分类器的训练细节进行如下描述。
一旦多模神经自动编码器1使用多种模态进行了无监督的预训练，包含编码器20、21和联合表示25的多编码器模块65可作为训练时间50的一部分输入到分类器55中。分类器可以是多层感知器、支持向量机(SVM)或随机森林等形式。当分类器使用多层感知器时，分类器也可以通过反向传播算法和梯度下降法进行训练，允许编码器对预训练的权重进行微调。本训练程序是一项受监督的学习任务，需要一个带标签的数据集：
Dn＝{(x0，y0)，...，(xn，yn)}
其中，是三维图像，y∈[0，1]是标签。
分类器训练在这个阶段的输出是(图像)输入的标签，而不是像以前那样的图像本身。因此，为了计算一个或多个存在的错误，则需要一个包含这些标签的数据集。此类数据集以训练数据75的形式提供，该数据集已被分类并提供了相关标签。因此，当分类器55根据提供的输入生成标签时，可以使用来自训练数据75已知正确的标签来检查该生成的标签。如图2所示，两个标签之间的任何差异都将是错误的结果，可以执行反向传播来查找和减少错误的来源。
所使用的分类器类型，例如SVM、随机树林或多层感知器，可以使用单独的训练算法进行训练。这些算法可以分别包括最大利润优化、决策树平均和反向传播。
参考图4，将更详细地描述使用经过训练的分类器的过程。
图4显示了运行时100，一旦分类器使用预先训练的编码器模型进行了训练，这些模型会对应于我们已经标记了数据的模态。在运行时100期间，对于提供的每个数据点，联合表示25中实数的值都不同，但联合表示的权重保持不变。在本例中，单个输入以DICOM文件5的形式被送入DICOM解码器10，与之前一样，该解码器读取DICOM图像并将其转换为无损JPEG图像15。然后将JPEG图像读取到内存中。在内存中，它被表示为浮点数的三维张量。张量被送入编码器20以获得联合表示25。提供一种简化编码器模块70，所述简化编码器模块70包括编码器20和联合表示25。所述简化编码器模块70的输出输送给分类器55，然后分类器输出一个预测。在运行时100期间和/或使用简化编码器模块70，还可以提供进一步的训练。
除图4外，图5还显示了DICOM文件形式的多个输入示例。在本例中，每个输入可能与上述训练阶段中描述的不同模态相关。
本发明提供了一种计算机辅助诊断(CAD)系统，可用于识别医学图像中感兴趣的区域。从医学图像中对病理进行分类的功能是一种非线性的、高度复杂的功能。卷积神经网络(CNN)可以对任何此类功能进行建模：
y＝f(Wx+b)
其中，f是非线性函数，W是权重矩阵，x是输入，b是偏差向量。
通过使用多阶段训练优化权重矩阵，使误差准则最小化，包括：使用图像重建准则通过联合表示25获得经过训练的多模神经自动编码器1；以及通过提供经过预先训练的联合表示25的输入来训练分类器55，以获得两种模态的联合表示。
因此，计算机辅助诊断CAD能够通过使用不同模态的联合表示来识别医学图像中感兴趣的区域，即使在给定时刻只能提供单一模态。例如，如果患者仅接受了X光检查，并且无法获得进一步的信息，则可以利用其他缺失的模态提供图像分析。因此，本发明具有可操作性，可从多种模态(例如乳房X光片和相应的组织学图像)中学习特征，但在运行时只需要一种模态来执行分析。预测的优选方式来自细胞级组织学图像。但是，当患者被诊断出来时，通常不存在组织学数据，而只能访问医学成像数据。
分类器55的输出可以是一个简单的“是/否”回答，以指示接收到的输入15是否有异常。CAD可以对输入图像进行补片，并确定该补片是否有异常。CAD可以对覆盖整个输入的齿距网格执行这样的操作，从而允许在看起来具有这种异常的区域周围识别出感兴趣的区域。
在本实施例中，具体地，两个输入15、16用于训练多模神经编码器1和分类器55。但是，只需要一个输入就可以使用经过训练的神经编码器1和分类器55。使用运行时未提供的进一步数据(如组织学数据)获得的训练可使产生的输出受益。在一些实施例中，可能会提供多个输入，只要一个或多个较少输入，然后使用经过训练的神经编码器1和分类器55来产生输出。
本实施例所述的任何系统特征也可作为方法特征提供，反之亦然。如本文所用，装置和功能特征可以在它们的相应结构方面交替表达。
一个方面的任何特征可以以任何适当的组合应用于其他方面。特别地，方法方面可以应用于系统方面，反之亦然。此外，一个方面中的任何、部分和/或所有特性可以以任何适当的组合应用于任何其他方面中的任何、部分和/或所有特性。
还应当认识到，在任何方面描述和定义的各种特征的特定组合都可以单独实施和/或提供和/或使用。

Claims (28)

1.一种自动识别医学或临床图像数据中感兴趣区域的方法，所述方法包括以下步骤：
接收未标记的输入数据，所述输入数据包括来自多种数据模态之一的数据；
使用经过训练的编码器对所述未标记的输入数据进行编码；
使用经过训练的联合表示模块确定联合表示；以及
使用所述联合表示作为经过训练的分类器的输入，为所述输入数据生成标记数据。
2.根据权利要求1所述的方法，其中，利用包含多种模态的输入训练数据训练所述编码器、所述联合表示模块和所述分类器。
3.根据任何前述权利要求所述的方法，其中，提供一种或多种模态的输入数据。
4.根据权利要求3所述的方法，其中，所述输入数据包括以下项中的一项或多项：乳房X光摄影；X射线；计算机断层(CT)扫描；磁共振成像(MRI)数据；组织学数据；乳房X光摄影数据；遗传序列数据和/或超声数据。
5.根据任何前述权利要求所述的方法，其中，使用从一个或多个经过训练的编码器接收的一个或多个输出进行训练所述联合表示模块。
6.根据任何前述权利要求所述的方法，其中，所述联合表示模块接收编码数据作为浮点数的三维张量。
7.根据任何前述权利要求所述的方法，其中，所述联合表示为向量的形式。
8.根据任何前述权利要求所述的方法，其中，生成标记数据还包括生成未标记输入数据中一个或多个感兴趣区域的指示。
9.根据任何前述权利要求所述的方法，其中，未标记输入数据的模态数比用于训练所述编码器、所述联合表示模块和所述分类器的输入训练数据的模态数少一个。
10.一种为医学或临床数据训练分类器的方法，包括以下步骤：
从预标记数据集中接收未标记的输入数据，所述输入数据包括来自多种模态的数据；
对来自多种模态的未标记的输入数据进行编码以形成联合表示；
使用自适应分类算法对所述联合表示进行分类，以从所述联合表示中生成标记数据；
比较预标记数据集中的预标记数据和所述标记数据，并输出比较数据；
根据所述比较数据调整所述自适应分类算法；
重复所述方法的上述步骤，直到所述比较数据达到预先确定的阈值，表明无需对所述自适应分类算法进行进一步调整。
11.根据权利要求1所述的一种为医学或临床数据训练分类器的方法，其中，由多个连接的和/或配对的编码器执行对来自多种模态的未标记输入数据进行编码以形成所述联合表示的步骤。
12.根据权利要求1或2所述的一种为医学或临床数据训练分类器的方法，其中，所述输入数据包括来自多种来源的数据。
13.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，接收两种模态的输入数据。
14.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述未标记的输入数据以一个或多个医学图像的形式存在。
15.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述未标记的输入数据以多个医学图像的形式存在。
16.根据权利要求6所述的一种为医学或临床数据训练分类器的方法，其中，所述多个医学图像是相关的。
17.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中所述输入数据包括以下一种或多种：所述输入数据包括以下一个或多个：乳腺X线摄影；X射线；计算机断层(CT)扫描；磁共振成像(MRI)扫描；和/或超声扫描。
18.根据权利要求5到8中任一权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述医学图像是DICOM文件形式。
19.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，对来自多种模态的未标记输入数据进行编码以形成联合表示的步骤是针对每种模态单独执行的。
20.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述自适应分类算法包括一种机器学习算法。
21.根据任何前述权利要求所述的一种为医学或临床数据训练分类器的方法，其中，所述自适应分类算法包括支持向量机(SVM)、多层感知器和/或随机森林。
22.一种为医学或临床目的对数据进行分类的方法，包括以下步骤：
接收未标记的输入数据，所述输入数据包括来自多种数据模态之一的数据；
使用经过训练的编码器将所述未标记的输入数据编码成经训练的联合表示；以及
在经过训练的联合表示上使用学习到的分类算法执行分类，用于从经过训练的联合表示上生成标记数据。
23.根据权利要求13所述的一种为医学或临床目的对数据进行分类的方法，其中，提供一种模态的输入数据。
24.根据权利要求13或14所述的一种为医学或临床目的对数据进行分类的方法，其中，执行分类的步骤还包括生成所述未标记数据中一个或多个感兴趣区域的指示。
25.根据权利要求13到15中任一权利要求所述的一种为医学或临床目的对数据进行分类的方法，其中，所述一个或多个感兴趣的区域是表明癌性生长。
26.根据任何前述权利要求所述的一种为医学或临床目的对数据进行分类的方法，其中，所述未标记的输入数据的模态数比用于训练学习到的分类算法的输入数据的模态数少一种。
27.根据任何前述权利要求所述的一种为医学或临床目的训练分类器和/或对数据进行分类的方法，其中，使用的任何编码器或解码器都是CNNs，所述CNNs包括以下任何一个：VGG、和/或Alexnet，和/或RNNs，所述RNNs包括具有512个隐藏单元的双向LSTM。
28.一种用于分别使用任何前述权利要求所述的方法为医学或临床目的训练分类器和/或对数据进行分类的装置。
CN201780062468.5A 2016-09-05 2017-09-05 多模态医学图像处理 Pending CN109844808A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1615051.8A GB201615051D0 (en) 2016-09-05 2016-09-05 Multi-modal medical image procesing
GB1615051.8 2016-09-05
PCT/GB2017/052583 WO2018042211A1 (en) 2016-09-05 2017-09-05 Multi-modal medical image processing

Publications (1)

Publication Number Publication Date
CN109844808A true CN109844808A (zh) 2019-06-04

Family

ID=57140008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062468.5A Pending CN109844808A (zh) 2016-09-05 2017-09-05 多模态医学图像处理

Country Status (6)

Country Link
US (1) US11106950B2 (zh)
EP (2) EP3507767A1 (zh)
JP (2) JP2019530116A (zh)
CN (1) CN109844808A (zh)
GB (1) GB201615051D0 (zh)
WO (1) WO2018042211A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111084621A (zh) * 2019-12-30 2020-05-01 上海数创医疗科技有限公司 基于深度自编码器的qrs波群形态识别方法和装置
CN112348082A (zh) * 2020-11-06 2021-02-09 上海依智医疗技术有限公司 深度学习模型构建方法、影像处理方法及可读存储介质
CN113827277A (zh) * 2021-10-21 2021-12-24 复旦大学 一种声致超声成像方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201615051D0 (en) 2016-09-05 2016-10-19 Kheiron Medical Tech Ltd Multi-modal medical image procesing
CN106650789B (zh) * 2016-11-16 2023-04-07 同济大学 一种基于深度lstm网络的图像描述生成方法
JP6897335B2 (ja) * 2017-05-31 2021-06-30 富士通株式会社 学習プログラム、学習方法および物体検知装置
US10789942B2 (en) * 2017-10-24 2020-09-29 Nec Corporation Word embedding system
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
EP3783533A1 (en) * 2018-04-17 2021-02-24 BGI Shenzhen Artificial intelligence-based ophthalmic disease diagnostic modeling method, apparatus, and system
US20190325060A1 (en) * 2018-04-24 2019-10-24 Cisco Technology, Inc. SYMBOLIC CLUSTERING OF IoT SENSORS FOR KNOWLEDGE DISCOVERY
US10956787B2 (en) * 2018-05-14 2021-03-23 Quantum-Si Incorporated Systems and methods for unifying statistical models for different data modalities
EP3803884A2 (en) * 2018-05-30 2021-04-14 Quantum-Si Incorporated Methods and apparatus for multi-modal prediction using a trained statistical model
US11971963B2 (en) 2018-05-30 2024-04-30 Quantum-Si Incorporated Methods and apparatus for multi-modal prediction using a trained statistical model
US11967436B2 (en) * 2018-05-30 2024-04-23 Quantum-Si Incorporated Methods and apparatus for making biological predictions using a trained multi-modal statistical model
JP7223539B2 (ja) * 2018-09-25 2023-02-16 キヤノンメディカルシステムズ株式会社 乳がん診断支援装置、乳がん診断支援システム、および乳がん診断支援方法
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
GB2577909B (en) 2018-10-10 2020-11-18 Symetrica Ltd Gamma-ray spectrum classification
US11083913B2 (en) 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
KR102258756B1 (ko) * 2019-04-12 2021-05-28 계명대학교 산학협력단 의료 영상을 이용한 암의 병기 결정 방법 및 의료 영상 분석 장치
WO2020241074A1 (ja) * 2019-05-30 2020-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及びプログラム
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
EP4049238A1 (en) 2019-10-25 2022-08-31 Deephealth, Inc. System and method for analyzing three-dimensional image data
JP7457315B2 (ja) 2019-12-20 2024-03-28 株式会社トプコン 情報処理装置、推論モデル生成方法、情報処理方法、及びプログラム
JP6797344B1 (ja) * 2020-07-10 2020-12-09 三菱電機株式会社 学習装置、活用装置、プログラム、学習方法及び活用方法
EP4270307A1 (en) 2020-12-25 2023-11-01 FUJIFILM Corporation Information processing device, information processing device operating method, and information processing device operating program
CN112862727B (zh) * 2021-03-16 2023-06-23 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
WO2023059742A1 (en) * 2021-10-05 2023-04-13 Neumora Therapeutics, Inc. Machine learning systems for processing multi-modal patient data
CN115177291B (zh) * 2022-08-01 2023-11-10 首都医科大学附属北京朝阳医院 用于识别重症监护病房获得性肌无力的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820274A (zh) * 2003-06-27 2006-08-16 美国西门子医疗解决公司 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
CN105103163A (zh) * 2013-03-07 2015-11-25 火山公司 血管内图像中的多模态分割
US20160048741A1 (en) * 2014-08-12 2016-02-18 Siemens Aktiengesellschaft Multi-layer aggregation for object detection
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9402601B1 (en) * 1999-06-22 2016-08-02 Teratech Corporation Methods for controlling an ultrasound imaging procedure and providing ultrasound images to an external non-ultrasound application via a network
US7657299B2 (en) * 2003-08-21 2010-02-02 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
JP4477439B2 (ja) * 2004-07-12 2010-06-09 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
JP6164639B2 (ja) * 2013-05-23 2017-07-19 国立研究開発法人情報通信研究機構 ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム
JP6415878B2 (ja) * 2014-07-10 2018-10-31 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理方法及び医用画像診断装置
WO2016092394A1 (en) * 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning
JP2019512758A (ja) * 2016-01-15 2019-05-16 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ マルチモーダル生成機械学習のためのシステムおよび方法
US20180039884A1 (en) * 2016-08-03 2018-02-08 Barnaby Dalton Systems, methods and devices for neural network communications
GB201615051D0 (en) 2016-09-05 2016-10-19 Kheiron Medical Tech Ltd Multi-modal medical image procesing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820274A (zh) * 2003-06-27 2006-08-16 美国西门子医疗解决公司 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
CN105103163A (zh) * 2013-03-07 2015-11-25 火山公司 血管内图像中的多模态分割
US20160048741A1 (en) * 2014-08-12 2016-02-18 Siemens Aktiengesellschaft Multi-layer aggregation for object detection
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIQI LIU等: "Multimodal_Neuroimaging_Feature_Learning_for_Multiclass_Diagnosis_of_Alzheimers_Disease", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111084621A (zh) * 2019-12-30 2020-05-01 上海数创医疗科技有限公司 基于深度自编码器的qrs波群形态识别方法和装置
CN111084621B (zh) * 2019-12-30 2022-09-06 上海数创医疗科技有限公司 基于深度自编码器的qrs波群形态识别方法和装置
CN112348082A (zh) * 2020-11-06 2021-02-09 上海依智医疗技术有限公司 深度学习模型构建方法、影像处理方法及可读存储介质
CN113827277A (zh) * 2021-10-21 2021-12-24 复旦大学 一种声致超声成像方法
CN113827277B (zh) * 2021-10-21 2023-10-03 复旦大学 一种声致超声成像方法

Also Published As

Publication number Publication date
US20190197366A1 (en) 2019-06-27
WO2018042211A1 (en) 2018-03-08
JP2022116080A (ja) 2022-08-09
JP2019530116A (ja) 2019-10-17
EP4102455A1 (en) 2022-12-14
EP3507767A1 (en) 2019-07-10
GB201615051D0 (en) 2016-10-19
US11106950B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109844808A (zh) 多模态医学图像处理
Riquelme et al. Deep learning for lung cancer nodules detection and classification in CT scans
Almotiri et al. Retinal vessels segmentation techniques and algorithms: a survey
Jalali et al. ResBCDU-Net: a deep learning framework for lung CT image segmentation
Ali et al. Machine learning based automated segmentation and hybrid feature analysis for diabetic retinopathy classification using fundus image
Saffari et al. Fully automated breast density segmentation and classification using deep learning
US8938113B2 (en) Adaptive visualization for direct physician use
Rampun et al. Breast density classification using local quinary patterns with various neighbourhood topologies
Nadeem et al. Deep learning for diabetic retinopathy analysis: A review, research challenges, and future directions
Prasath Polyp detection and segmentation from video capsule endoscopy: A review
Rashid et al. Skin cancer disease detection using transfer learning technique
Kim et al. Deep learning in multi-class lung diseases’ classification on chest X-ray images
Ghoniem A novel bio-inspired deep learning approach for liver cancer diagnosis
Oza et al. A bottom-up review of image analysis methods for suspicious region detection in mammograms
US20240054637A1 (en) Systems and methods for assessing pet radiology images
Tonozuka et al. The role of artificial intelligence in endoscopic ultrasound for pancreatic disorders
Cortés-Ferre et al. Deep learning applied to intracranial hemorrhage detection
Mostafa et al. A survey on AI techniques for thoracic diseases diagnosis using medical images
Usman et al. Deha-net: A dual-encoder-based hard attention network with an adaptive roi mechanism for lung nodule segmentation
Aleid et al. Artificial intelligence approach for early detection of brain tumors using MRI images
Lizzi et al. Convolutional neural networks for breast density classification: performance and explanation insights
Sengupta et al. Intracranial hemorrhages segmentation and features selection applying cuckoo search algorithm with gated recurrent unit
Behara et al. Skin lesion synthesis and classification using an improved DCGAN classifier
Gugulothu et al. A novel deep learning approach for the detection and classification of lung nodules from ct images
CN116883768A (zh) 基于多模态特征融合的肺结节智能分级方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190604