CN112116609A - 基于图像中的结构或材料分割的机器学习分类方法与系统 - Google Patents

基于图像中的结构或材料分割的机器学习分类方法与系统 Download PDF

Info

Publication number
CN112116609A
CN112116609A CN202010563984.XA CN202010563984A CN112116609A CN 112116609 A CN112116609 A CN 112116609A CN 202010563984 A CN202010563984 A CN 202010563984A CN 112116609 A CN112116609 A CN 112116609A
Authority
CN
China
Prior art keywords
machine learning
segmentation
learning model
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010563984.XA
Other languages
English (en)
Inventor
彭宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Straxcorp Pty Ltd
Original Assignee
Straxcorp Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Straxcorp Pty Ltd filed Critical Straxcorp Pty Ltd
Publication of CN112116609A publication Critical patent/CN112116609A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A61B5/4509—Bone density determination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于图像中的结构或材料分割的机器学习分类方法与系统。用于对受试者的图像中的结构或材料进行分类的系统包括：分割器，其配置为形成图像中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；分类器，其实现经过训练的分类机器学习模型，该经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及输出部，其用于输出表示分类和分数的结果。

Description

基于图像中的结构或材料分割的机器学习分类方法与系统
与相关申请的交叉引用
本申请基于2019年6月21日提交的第16/448,474号美国专利申请，并要求其优先权，该申请提交的内容通过引用全部并入本文。
技术领域
本发明涉及一种基于结构或材料分割的计算机视觉系统和方法，该系统和方法利用机器学习，特别是深度神经网络，用于对图像(例如，医学图像)进行分类(并监测其变化)。可能的医学成像应用包括：计算机断层扫描(Computed Tomography，CT)、磁共振(Magnetic Resonance，MR)、超声、高分辨率外周骨定量计算机断层扫描(High-Resolutionperipheral Quantitative Computed Tomography，HRpQCT)和病理扫描仪成像。
背景技术
计算机视觉和图像处理技术已经应用于医学图像分析。一些计算机辅助系统通过两个步骤来实现分析：分割和定量计算。分割是通过区分图像中的像素(在2D图像中)或体素(在3D图像中)，将图像(如医学图像)中的结构或对象彼此分割(或区分)的过程。在分割的基础上，计算诸如体积、形状、密度的定量特征。例如，在脑部CT或MRI扫描中分割病变后计算病变的大小和形状；可以在髋部双能x线吸收测定法(Dual-energy X-rayAbsorptiometry，DXA)扫描中分割股骨颈后计算骨密度(bone mineral density)。医生将这些计算值与健康参考数据进行比较后，可以作出诊断或治疗决定。
例如，T分数是患者骨密度与年轻正常参考平均值相比的标准分数。世界卫生组织(World Health Organization，WHO)将骨质疏松症定义为T分数为-2.5或更低，即骨密度低于30岁健康男性/女性平均值的2.5个标准差或更高。
分割可以手动、半手动或自动实现。在手动分割的示例中，用户操作计算机在髋部DXA扫描上移动矩形框，从而选择股骨颈的区域。
半手动分割可以由采用用户的初始化或输入的图像处理程序来执行。例如，用户可以操作计算机在腕部CT扫描上绘制近似的骨边界；然后程序将近似的边界调整为将骨骼从周围组织分割的轮廓。
自动分割可以通过利用感兴趣对象的特征(例如，强度值、边缘和形状)来执行。在一个现有的示例中，基于体素值的阈值化方法被用于在CT扫描中将骨骼从周围组织分割。一些其他程序利用机器学习算法训练分类器来分割医学图像中的异常组织。例如，基于特征的机器学习算法(例如，支持向量机和决策树)可以用作通过利用肿瘤图像和正常图像作为训练数据的分类器。经过训练的分类器在整个新图像上逐个“窗口”滑动以分割肿瘤组织的任何图像区域。
机器学习算法在这一领域显示出良好的准确性和效率。然而，无论是收集足够的训练数据，还是对训练数据进行注释，都是重大的挑战。训练图像必须由专家进行注释，这是繁琐而耗时的过程。此外，在一些应用中，准确地注释训练图像可能非常困难或者几乎不可能(甚至对专家来说)。例如，在骨质量评估中，由皮质骨和松质骨组成的任何样本都存在过渡区。过渡区包括与骨髓管相邻的内皮质和与皮质(皮质与内皮质表面连续)相邻的骨小梁。过渡区是骨重建的活跃场所。在骨微观结构评估中，识别和分割这一区域是很重要的，但由于图像分辨率的限制，专家基本上不可能准确、一致地注释这一区域。没有带注释的图像作为训练数据，分割模型就无法训练。
在过去的几年中，深度学习或深度神经网络在许多视觉识别任务(例如，自然图像分类)上都超过了人类。在示例性CNN(卷积神经网络)实现中，网络包括输入层、隐藏层和输出层。图像通过输入层送入网络。对图像进行采样并应用卷积运算生成隐藏层。在网络中，每一层的输出用作下一层的输入。输出层全连接在将输出分类结果的端部。训练数据是带有分类标签的图像。训练过程得到神经网络的参数。在完成训练后，通过神经网络、利用得到的参数对新图像进行处理，以生成分类结果。例如，深度神经网络算法可以用于训练模型，以从光学相干断层扫描(Optical Coherence Tomography，OCT)图像中确定糖尿病视网膜病变的状况(例如，无、轻度、中度、重度)。
然而，这种端对端的解决方案在临床实践中带来两个问题。首先，端对端解决方案是黑匣子：输入是医学图像，输出是疾病或状况的分类。很难解释神经网络作出决策的过程，因此用户很难评估分类结果的可靠性。其次，这个解决方案需要大量的训练数据。如上所述，在医学应用中，对训练数据进行注释或标记是繁琐而耗时的过程。因此，为每种类型分类结果的每个类别收集足够的训练数据是巨大的挑战。
发明内容
根据本发明的第一方面，提供一种用于对受试者的图像中的结构或材料进行分类的系统，其包括：
分割器，其配置为形成图像(其包括例如医学图像)中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；
分类器，其实现经过训练的分类机器学习模型，所述经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及
输出部，其用于输出表示分类和分数的结果。
在一个实施方案中，所述分类器基于所述受试者的分割图和非图像数据生成所述一个或多个分类。
该系统可以配置为训练分类机器学习模型。
在一个实施方案中，分割器包括：
i)结构分割器，其配置为生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，
ii)材料分割器，其配置为生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或
iii)异常分割器，其配置为生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。
在一个示例中，结构分割器配置为利用结构分割机器学习模型生成结构分割图，材料分割器配置为利用材料分割机器学习模型生成材料分割图，以及异常分割器配置为利用异常分割模型生成异常分割图。结构分割器可以配置为训练结构分割机器学习模型，材料分割器配置为训练材料分割机器学习模型，和/或异常分割器配置为训练异常分割模型。
在一个实施方案中，所述系统还包括分割图处理器，所述分割图处理器配置为在由分类器输入分割图之前对分割图进行处理。在一个示例中，分割图处理器配置为对分割图进行降采样。
在一个实施方案中，分类机器学习模型包括神经网络、支持向量机、决策树或其组合。例如，分类机器学习模型可以包括神经网络，所述神经网络包括卷积神经网络层和全连接神经网络层。
在一个实施方案中，图像是医学图像，并且分类对应于结构或材料或者受试者在各自的时间段内将维持特定状况或症状的概率。在一个示例中，时间段包括短期的时间段、长期的时间段、以及短期的时间段和长期的时间段中间的至少一个中期的时间段。在另一个示例中，状况或症状是骨折。
在一个实施方案中，图像是医学图像，并且分类对应于结构或材料或者受试者将维持各状况或症状的概率。在一个示例中，状况或症状是骨折状况。
在一个实施方案中，图像是医学图像，并且分类对应于相应疾病或病理进展率的概率。例如，分类可以包括对应于以下任何一个或多个的分类：稳定、适度恶化和加速恶化。
在一个实施方案中，图像是医学图像，并且分类对应于各个治疗选项的疗效的概率。例如，治疗选项可以包括抑制吸收治疗和/或合成代谢治疗。
在一个实施方案中，图像是医学图像，并且分类对应于各自的医疗状况。例如，医疗状况可以包括以下任何一个或多个：骨软化症、肿瘤、骨坏死和感染。
在一个实施方案中，分类机器学习模型是利用与训练受试者相关的图像数据和非图像数据训练的模型，并且基于与受试者相关的图像数据(通常构成一个或多个图像)和非图像数据生成各自分数。
根据本发明的第二方面，提供一种用于对受试者的图像中的结构或材料进行分类的计算机实现的方法，其包括：
在图像中形成结构或材料的一个或多个分割；
根据分割产生图像的一个或多个分割图，一个或多个分割图包括从结构或材料的各个预定义的类别集合中分配的分割图的像素或体素的类别；
利用经过训练的分类机器学习模型，以基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及
输出表示分类和分数的结果。
在一个实施方案中，分类机器学习模型用于基于与受试者相关的分割图和非图像数据生成一个或多个分类。
所述方法可以包括训练所述分类机器学习模型。
在一个实施方案中，形成所述一个或多个分割包括：
i)生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，
ii)生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或
iii)生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。
例如，所述方法可以包括利用结构分割机器学习模型生成结构分割图，利用材料分割机器学习模型生成材料分割图，以及利用异常分割模型生成异常分割图。具体而言，所述方法可以包括训练结构分割机器学习模型、材料分割机器学习模型和/或异常分割模型。
根据本发明的第三方面，提供一种计算机实现的诊断方法，其包括第二方面的方法。
根据本发明的第四方面，提供一种用于训练分类机器学习模型的计算机实现的方法，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述方法包括：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合(这样，训练集合和测试集合分别包括一些带注释的分割图和一些带注释的非图像数据)，通过分割一个或多个图像获得带注释的分割图；
(a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
(b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
(c)在测试数据上测试所述分类机器学习模型；
(d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤(d)中发现性能不令人满意时，重复步骤(a)至(d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。
此方面可以与第二方面一起使用或结合使用(或作为第二方面的一部分)，例如以用于训练第二方面的分类机器学习模型。
所述方法可以包括分割一个或多个图像(例如，在生成带注释的分割图的过程中)。
在一个实施方案中，当在步骤(d)中发现性能不令人满意时，所述方法包括接收和利用更多图像和非图像数据来训练分类机器学习模型。
分类模型可以由各种机器学习算法训练，因此可以包括例如神经网络、支持向量机、决策树或其组合。
因此，在一个实施方案中，分类机器学习模型包括神经网络，所述神经网络具有多个包含人工神经元的层，其中参数包括层数、神经元数、神经元权重和神经元函数参数；对分类机器学习模型进行测试包括在测试数据上对分类机器学习模型进行测试。
在一个实施方案中，对参数进行更新包括确定损失函数的梯度。
在一个实施方案中，图像是医学图像，非图像数据包括临床记录。
在一个实施方案中，所述方法包括将带注释的分割图和带注释的非图像数据分为训练集合、开发集合和测试集合，并利用开发数据来研究学习过程和调整参数(以及，当分类机器学习模型包含神经网络时，对层进行调整)。
根据该方面，还提供一种用于训练分类机器学习模型的系统，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述系统包括处理器，所述处理器配置为：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；
(a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
(b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
(c)在测试数据上测试所述分类机器学习模型；
(d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤(d)中发现性能不令人满意时，重复步骤(a)至(d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。
根据本发明的第五方面，提供一种计算机程序，所述计算机程序包括程序代码，当由多个计算设备中的一个执行时所述程序代码配置为实现第二方面至第四方面中的任何一个或多个的方法。根据该方面，还提供一种计算机可读介质，其包括这样的计算机程序。
应当注意的是，本发明的上述每个方面的各种单独特征中的任何一个，以及包括在权利要求中的本文中所描述的实施方案的各种单独特征中的任何一个，可以视情况而定进行组合。
附图说明
为了更清楚地确定本发明，现在将参照以下附图以示例的方式描述实施方案，其中：
图1是根据本发明实施方案的分类系统的示意图；
图2是示出图1的分类系统在根据医学成像扫描计算受试者骨折风险时的操作的高级示意图；
图3是图1的分类系统的分割器的操作的示意图；
图4是图1的分类系统的分类器的操作的示意图；
图5是训练图1的分类系统的分类神经网络的流程图。
具体实施方式
图1是根据本发明实施方案的用于对医学图像中的结构或材料进行分类(基于结构和材料分割)的分类系统10的示意图。
参照图1，系统10包括分类控制器12和用户界面14(其包括GUI16)。用户界面14设置为向用户呈现信息和接收用户的输入(包括反馈)；用户界面通常包括：一个或多个显示器(在其中一个或多个显示器上可以显示GUI 16)、web浏览器、键盘和鼠标，以及可选地包括打印机。分类控制器12包括至少一个处理器18和存储器20。系统10可以实现为例如，计算机(例如，个人计算机或移动计算设备)上的软件和硬件的组合，或者专用图像分割系统。系统10可以可选地为分布式的；例如，存储器20的一些或全部组件可以位于远离处理器18的位置；用户界面14可以位于远离存储器20和/或处理器18的位置。例如，系统10可以以面向服务的架构来实现，其组件通过诸如LAN(局域网)、WAN(广域网)或因特网的通信网络彼此通信。系统10可以部署在云中，并由不同位置的用户共享使用。
在一些其它实施方案中，系统10实现为(软件和硬件的)独立系统或可以由计算机执行的独立软件，并且系统10部署在一个位置；例如，系统10可以部署在医院、医疗诊所或其它临床环境中。
存储器20与处理器18进行数据通信，存储器20通常包括易失性存储器和非易失性存储器(并且可以包括一个以上的每种类型存储器)，存储器20包括RAM(随机存取存储器)、ROM和一个或多个大容量存储设备。
如下面更详细地讨论的，处理器18包括：分割器22(其包括结构分割器24a、材料分割器24b和异常材料分割器24c的形式的异常分割器)、分割图处理器26和非图像数据处理器28。处理器18还包括：分类器30、I/O接口32和结果输出部34。
存储器20包括：程序代码36、图像数据38、非图像数据40、分割模型42(在本例中包括结构分割模型44、材料分割模型46和异常材料分割模型48的形式的异常分割模型)、分割图50(在本例中包括结构分割图52、材料分割图54和异常材料分割图56形式的异常分割图)。结构分割器24a、材料分割器24b和异常材料分割器24c训练各自的分割模型44、46、48，并利用分割模型44、46、48对传入的图像执行分割，并分别生成结构分割图52、材料分割图54和异常材料分割图56。
存储器20还包括分类神经网络58形式的分类机器学习模型，由分类器30来训练和利用该分类器学习模型，从而通过利用分割图50和非图像数据40执行分类。分类控制器12至少部分地(并且在一些实施方案中完全地)由执行来自存储器20的程序代码36的处理器18实现。
应当注意，由于本实施方案涉及医疗图像中的结构和/或材料的分类，所以异常材料分割器24c也可以被称为异常组织分割器，异常材料分割图56也可以被称为异常组织分割图。
广义地说，I/O接口32配置为读取或接收与受试者相关的医学图像数据和非图像数据，并将这些数据存储为存储器20的图像数据38和非图像数据40以进行处理。在本实施方案中，图像数据38通常采用以下形式：例如受试者的身体区域的医学图像。非图像数据40通常包括来自各种结构化和非结构化数据源的受试者或患者信息，这些信息通过受试者的医疗咨询、治疗和后续咨询进行收集。受试者结构化数据可以包括：诸如性别、年龄、体重、身高的基本受试者信息；诸如血液检测结果和DNA检测结果的实验室检测结果；诸如药物种类和剂量的治疗数据；以及诸如吸烟、饮酒习惯和骨折史的问卷数据。受试者非结构化数据可以包括：实验室结果的文本文档、医生笔记和放射学报告。非图像数据40可以为多种格式，例如数字数据、文本、语音和视频。
分割器22处理图像数据38(其构成一个或多个医学图像)，并分别利用结构分割模型44、材料分割模型46和异常材料分割模型48，根据图像数据38生成以不同的方式表征图像数据38的结构分割图52、材料分割图54和异常材料分割图56。然后分类器30输入所得到的分割图50和非图像数据40，并由此以分类输出的形式从中生成结果。在本实施方案中，分类输出经由I/O接口32并在结果输出部34和/或用户界面14处呈现给用户或用于进一步分析。
分类器30的分类输出(在本实施方案中，利用分类神经网络58生成)包括一个或多个分类中的每类(并且优选地，多个可能分类中的每类)的各自状况得分。每一个分数代表受试者落入相应分类的预测的可能性。在骨脆弱性评估的本示例中，分类为“可忽略骨折风险”、“即将骨折风险”、“中期骨折风险”和“长期骨折风险”。下面对分类输出进行更详细的描述。
在替代实施方案中，分类器为一个或多个状况进展状态中的每一个输出相应的疾病进展分数。每一个分数代表当前状况将进展到另一种状况的预测的可能性。例如，在骨脆弱性评估中，疾病进展可以包括“稳定”、“适度恶化”和“加速恶化”。
在又一实施方案中，分类器为多个治疗选项中的每一个输出相应的治疗分数。每一个分数代表治疗对患者来说最有效的预测的可能性。例如，在骨脆弱性评估中，治疗选项可以包括“抑制吸收”、“合成代谢”和“抑制吸收+合成代谢”。
在又一实施方案中，分类输出包括对应于已知医疗状况或病理的一个或多个可能分类中的每一个的分数。例如，在骨脆弱性评估中，这些分类可以是“骨软化症”、“肿瘤”、“骨坏死”和“感染”。在该实施方案中，所得分数表示受试者(例如，骨)样本符合该分类/状况的程度。如果只有一个分类有显著的分数，或者一个分类的分数明显大于所有其他分数，则该分类可以被视为对应状况或病理的诊断或建议诊断。
在一些实施方案中，分类输出包括两组或多组这样的分数(从上述示例或其他示例中选择)。
回到图1，如本领域技术人员将理解的，构成一个或多个医学图像的图像数据38包括由一个或多个医学成像设备(如，HRpQCT扫描仪)实现的各种医学成像模式(例如，HRpQCT，或高分辨率外周骨定量计算机断层扫描)中的一个或多个生成的数据。这些设备中的每一个都会扫描样本(无论是体内还是体外)，并创建视觉呈现，通常是受试者身体内部的一部分。医学图像可以描绘例如受试者身体的一部分或整个身体(例如，大脑、髋部或腕部)。通过利用不同的成像模式扫描同一样本或身体部位，可以获得医学图像，因为不同的成像模式可以揭示同一样本或身体部位的不同特征。通过利用相同的成像模式扫描不同的身体部位，可以获得医学图像，因为同一患者的不同身体部位可以为更好地诊断疾病或状况提供不同的见解。例如，在骨脆弱性评估中，可以利用HRpQCT扫描仪对患者的腕部和腿部进行扫描(或者通过利用不同成像模式扫描不同样本或身体部位获得)，以提供用于评估受试者骨质量的信息。
图像数据38可以构成可以表示为像素的2D阵列的2D(二维)图像，或者可以构成可以表示为体素的3D阵列的3D(三维)图像。为了方便起见，下面描述的医学图像是可以表示为体素的3D阵列的3D图像。
如上所述，由分割器22利用训练的分割模型42将存储在图像数据38中的一个或多个接收到的医学图像分割为各自的分割图50。每个分割图52、54、56不同地表征各自的医学图像。结构分割图52将医学图像表示为一个或多个不同于预定义的结构集合的解剖结构。例如，腕部CT扫描可以分割为致密皮质、过渡区和骨小梁区。材料分割图将医学图像表示为多个不同于预定义的材料集合的材料。例如，腕部CT扫描可以分割为矿化材料、完全矿化材料、骨小梁区的红骨髓和骨小梁区的黄骨髓。异常材料分割图56将医学图像表示为正常材料和异常材料(或在本示例中，正常组织和异常组织)。例如，肿瘤或骨折可以从腕部CT扫描中分割出来，并在异常材料分割图56中表示为“异常”。
分割图50与非图像数据40一起输入分类器30。分类器30基于分割图50和非图像数据40生成一个或多个分类输出。分类器30的输入数据通常是多维的，因此分类器30用机器学习算法(例如，神经网络、支持向量机、决策树或其组合)来实现。
在本实施方案中，分类器30采用或实现为分类神经网络58(尽管在其它实施方案中，其它机器学习算法也可以接受)，在本示例中分类神经网络58包括卷积神经网络层和全连接神经网络层。如下所述，分类神经网络58利用训练数据进行训练。
如上所述，最终分类输出由系统10经由结果输出部34或用户界面14输出给用户。分类输出可以可选地包括对应的分割图50中的一个或多个的视觉呈现。如果分割图50可以帮助用户解释分类输出(例如，评估结果的可靠性)，则可以呈现分割图50。
图2是高级示意图50，其示出系统10在根据医学成像扫描计算受试者骨折风险时的操作，在本示例中，医学成像扫描为腕部HRpQCT扫描62(在62'处也显示为阴性)。如图2所示，系统10接收包括多个切片的腕部HRpQCT扫描62。(如技术人员将理解的，HRpQCT扫描可以包括100个或更多个切片，但为了简单起见，图中描绘了四个切片)。
分割器22将扫描62分割为结构分割图52，其中扫描被分割为致密皮质、外过渡区、内过渡区和骨小梁区。分割器22将扫描62分割为材料分割图54，其中扫描62被分割为周围肌肉、周围脂肪、黄骨髓脂肪和红骨髓脂肪。包括分割图52、54、异常材料分割图56和非图像数据40(例如，包括性别和年龄在内的临床因素)的数据64由经过训练的分类器30处理以生成分类输出。分类输出包括分割图52、54和表或报告66。表或报告66以数字和/或图形形式包括每个类别的骨折风险的骨折概率：即将骨折风险68a(两年内骨折：t＜2y)、中期骨折风险68b(二至五年内骨折：2≤t＜5y)、长期骨折风险68c(五至十年内骨折，5≤t≤10y)和可忽略骨折风险68d。在示出的示例中，腕部在2年内有骨折风险的概率为95.6％，腕部在二至五年内有骨折风险的概率为2.4％，腕部在五至十年内有骨折风险的概率为1.6％，腕部为可忽略骨折风险的概率为0.3％。换言之，受试者在未来五年内不会发生腕部骨折的概率(要么是因为腕部为可忽略骨折风险，要么是因为只有长期骨折风险)只有4.4％。表或报告66不包括诊断(例如，受试者患有骨质疏松症)，但应认识到，这些概率会具有很大的价值，包括例如促使受试者进行诊断，例如进行医学检察或咨询。
图3是分割器22的操作70的示意图。分割器22配置为接收包括一个或多个医学图像的输入(来自图像数据38)，并处理图像以生成分割图50。可以通过扫描患者的不同身体部位，利用相同的成像模式来获取医学图像。例如，在一些评估骨质量的应用中，可以通过HRpQCT扫描仪扫描患者的腕部和腿部以进行评估。通过扫描患者的相同或不同身体部位，可以利用不同的成像模式来获取医学图像。例如，在一些评估骨骼质量的其它应用中，需要获取患者的腕部HRpQCT扫描和髋部DXA扫描以进行评估(不过还是要谨记，可以通过利用其他成像模式扫描不同的样本或身体部位来获取医学图像)。
参照图3，分割器22实现一个或多个处理分支1到n(图中标记为721，…，72n)，对应于受试者的医学图像1到n(标记为381，…，38n)。在多个处理分支的情况下，例如由于不同的成像模式(标记为741，…，74n)，如在所示示例中的情况一样，医学图像381，…，38n可以是不同的身体部位，单个身体部位的不同扫描，或这些中的两个或多个的组合。各个分割分支721、…、72n配置为接收图像、根据图像类型分割图像(例如，利用不同的程序代码36)和生成分支输出(其包括输入图像的分割图50)。
为了处理相应的输入医学图像，分割器22首先配置为根据输入图像的类型选择处理分支1到n中的处理分支。分割器22根据样本(例如，扫描的身体部位)和成像模式确定图像的类型，这些信息可以根据各个图像确定，包括根据存储在医学图像的头文件中的元数据和/或文件类型确定。例如，可以从元数据访问被扫描的身体部位和成像模式的信息。
每个输入医学图像1到n由三个分割程序(即，结构分割器24a、材料分割器24b和异常材料分割器24c)中的一个或多个处理成相应的分割图52、54、56。因此，分割器22并行地或顺序地利用分割器24a、24b、24c(分别标记为24a1、…、24an、24b1、…、24bn和24c1、…、24cn)中的每一个的多达n个示例，尽管每个分割器24a、24b、24c的此类示例的数目(在每种情况下从0到n)可以不同。
结构分割器24a、材料分割器24b和异常材料分割器24c可以在每个处理分支721、…、72n中生成各自的分割图。在图3中，例如，结构分割器24a、材料分割器24b和异常材料分割器24c生成对应于医学成像模式1到n的各自的分割图；所得到的结构分割图、材料分割图和异常组织分割图对应地标记为结构分割图521、…、52n、材料分割图541、…、54n和异常组织分割图561、…、56n。然而，应该注意的是，在一些应用中，可能不可能或不希望生成所有三种类型的分割图。例如，这可能是由于图像、成像模式或分割器24a、24b、24c的限制(例如，由于分割器训练数据的限制产生)。
结构分割器24a、材料分割器24b和异常材料分割器24c将来自各自的预先确定的类型(或类别)集合中的一个或多个“类型”(或“类别”)分配给这些分割图50的每个体素。因此，在本实施方案中，结构分割器24a为扫描中的每个体素分配相应的结构类型(来自预定义的结构类型集合)。例如，腕部HRpQCT扫描分割为结构分割图52，其中，将来自“周围组织”、“致密皮质”、“过渡区”和“骨小梁区”集合中的结构类型(或类别)分配给扫描中的每个体素。
材料分割器24b将各自的材料类型(来自预定义的材料类型集合)分配给每个体素。例如，在本实施方案中，材料分割器24b将腕部HRpQCT扫描分割为材料分割图54，其中，扫描中的每个体素被分配来自“矿化材料”、“完全矿化材料”、“红骨髓脂肪”和“黄骨髓脂肪”集合的材料类型。
异常材料分割器24c将各自的异常或正常类型(来自预定义的异常或正常类型集合，例如包含“正常”和“异常”的集合)分配给每个体素。例如，在本实施方案中，异常材料分割器24c将腕部HRpQCT扫描分割为异常组织分割图54，其中，扫描中的每个体素被分配“正常”或“异常”。可选地，在一些其它实施方案中，异常材料分割器24c可以区分不同类型的异常，并且预定义的异常或正常类型集合可以包括除“正常”之外的一个或多个特定异常，这些异常和正常类型特定于所检查的样本类型；如果样本是骨骼，例如，这些可以包括“骨折裂缝”或“骨肿瘤”。在这样的实施方案中，对于异常材料分割器24c不能确定特定类型异常的情况，集合可以可选地包括“异常”。
在一些实现中，结构分割器24a、材料分割器24b和异常材料分割器24c将具有置信界限或概率的各个类型分配给医学图像中的每个体素。在一些其他实现中，结构分割器24a、材料分割器24b和异常材料分割器24c可以将多个类型(每个类型可选地具有置信界限或概率)分配给医学图像中的每个体素。例如，在分割腕部HRpQCT扫描时，结构分割器24a可以将“过渡区”和“骨小梁区”都分配给不明确的体素，但具有各自(且通常不同)的置信界限或概率。
分割器22利用经过训练的分割模型42(其包括结构分割模型、材料分割模型和异常材料分割模型)生成分割图50。利用机器学习算法(例如，神经网络、支持向量机、决策树或其组合)训练分割模型。在本实施方案中，利用深度神经网络来训练分割模型，深度神经网络包括多个层，多个层包括卷积神经网络层、全连接神经网络层、归一化层和乘法层。
分割器22还可以(或者可选地)利用基于非机器学习的方法来执行分割，例如基于边缘、角点和过渡斜率的位置的方法，或者基于诸如图像的直方图和强度值的全局特征的方法。例如，美国专利申请公开号2012/0232375A1(“Method and System for ImageAnalysis of Selected Tissue Structures，用于所选组织结构的图像分析方法及系统”)公开了一种基于骨的局部和全局特征、根据腕部CT扫描分割致密皮质与骨小梁区之间的过渡区的方法：在许多应用中，在分割器22中实现该方法是合适的。
图4是分类器30的操作80的示意图。分类器30配置为接收包括分割图50(由分割器22生成)和非图像受试者数据40的输入，并且处理该输入以便生成一个或多个分类结果。
然而，分割图50和非图像受试者数据40在分别由分割图处理器26和非图像数据处理器28传递到分类器30之前都被处理。例如，在一些实现中，将分割图50降采样到较低分辨率的图中可能是有利的，以允许由分类器30进行更快的图像处理；如果需要或必要的话，这种处理由分割图处理器26执行。在一些实现中，分割图处理器26设置已被分配了不止一种类型(尽管通常具有不同的置信界限或概率)的任何体素的类型(在特定分割图中)，例如通过将具有更高或最高概率的类型分配给体素。
非图像数据可以包括结构化和非结构化数据。非图像数据处理器28配置为采用各种技术、通过在根据数据的结构和形式的每种情况下从数据中提取特征来处理任何结构化数据。例如，结构化数据通常存储和保持在结构化数据存储装置中，例如数据库表、.json文件、.xml文件和.csv文件。非图像数据处理器28通过查询来自数据的各个源的所需参数和属性从结构化数据中提取特征。
非图像数据处理器28分两步处理非结构化数据：首先将其转换为结构化数据，然后从转换后的数据中提取特征。非图像数据处理器28采用的转换方法针对每个源。例如，为了将医生的笔记转换为结构化数据，非图像数据处理器28利用经过训练的光学字符识别(Optical Character Recognition，OCR)模型来将笔记转换为计算机可识别的文本。然后，非图像数据处理器28利用关键字(例如，在本例中，“骨折”、“疼痛”、“跌倒”等)来解析转换后的文本。一旦非结构化数据转换为结构化数据，则非图像数据处理器28随后从现在的结构化数据中提取特征。
处理后的非图像数据40和分割图22被传递到分类器30，分类器30利用这些输入生成包括分类分数(例如，疾病状况分数82、疾病进展分数84和/或治疗分数86)的分类输出。
图5是根据本发明实施方案的用深度神经网络训练分类器30的分类神经网络58的流程图90。如图所示，在步骤92，收集或输入包括医学图像数据和非图像数据的数据以用于训练和测试。在步骤94，由分割器22分割收集的图像以生成分割图(如上所述)。
在步骤96，利用由具有领域知识的有资格专家提供的标签对图像数据38和非图像数据40进行注释。在医疗应用中，训练分类输出可以基于受试者临床记录来确定。例如，如果分类输出包括骨折概率分数，则训练输出是根据受试者的病史确定的骨折时间(扫描后)，如果没有明显骨折，记录为“可忽略风险”(或某种等效名称)。如果分类输出包括与已知医疗状况相对应的类别的分数，则训练输出是受试者的实际医疗状况(其也是根据受试者的临床记录确定的)。
在步骤98，数据(其包括分割图50和非图像数据40)被分成训练集合、开发集合或“dev”集合(在一些实现中可以省略)和测试集合，每个集合用于不同的用途。训练集合是运行学习算法的数据；dev集合是用于调整参数的数据；测试集合是用于评估训练模型性能的数据。
在步骤100，实现深度神经网络的各层。每一层都由人工神经元组成。人工神经元是一种数学函数，它接收一个或多个输入并对其求和以产生输出。通常，每个输入都是单独加权的，并且总和通过非线性函数传递。当神经网络学习时，模型的权重会根据产生的误差(网络输出和注释之间的差)进行调整，直到误差不能进一步减小为止。
在步骤102，对分类神经网络58的参数(其包括层数、神经元数、神经元权重和神经元函数参数等)进行初始化。在步骤104，在训练数据集合上运行学习算法以更新分类神经网络58的参数。例如，可以通过确定损失函数的梯度来更新参数。损失函数由标记的分类输出和分类神经网络58生成的输出来计算。dev数据可以用于调查学习过程并调整层和参数。
在步骤106，在测试数据上测试设置有分类神经网络58的分类器30。在步骤108，评估分类器30的性能是否令人满意。如果性能不令人满意，则处理返回到步骤92，其中收集更多的训练数据。
如果在步骤108，发现性能令人满意，则在步骤110继续处理，其中将经过训练的分类器30输出或标记用于部署，或用于释放以供使用。然后处理结束。
本发明领域的技术人员将理解，可以在不脱离本发明的范围的情况下进行许多修改，特别是明显地，可以利用本发明实施方案的某些特征来形成进一步的实施方案。
应当理解，如果本文中提及任何现有技术，则该引用不构成承认现有技术构成任何国家的本领域的公知常识的一部分。
在本发明所附的权利要求和之前的描述中，除非上下文因明示语言或必要暗示而另有要求，否则词语“包括”或变型(例如“包含”、“包括有”)以包容性意义使用，也即，指定所述特征的存在，但不排除在本发明的各种实施方案中进一步特征的存在或添加。

Claims (21)

1.一种用于训练分类机器学习模型的计算机实现的方法，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述方法包括：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；
a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
c)在测试数据上测试所述分类机器学习模型；
d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤d)中发现性能不令人满意时，重复步骤a)至d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。
2.根据权利要求1所述的方法，其包括当发现性能不令人满意时，收集更多的图像和非图像数据以用于训练所述分类机器学习模型。
3.根据权利要求1或2所述的方法，其中，所述分类机器学习模型包括具有多个层的神经网络，所述多个层包括人工神经元，其中：
参数包括层数、神经元数、神经元权重和神经元函数参数；以及
测试所述分类机器学习模型包括在测试数据上测试所述分类机器学习模型。
4.根据权利要求1至3中任一项所述的方法，其包括将带注释的分割图和带注释的非图像数据分为训练集合、开发集合和测试集合，并利用开发数据来研究学习过程和调整参数。
5.一种根据权利要求1到4中任一项所述的方法训练的分类机器学习模型。
6.一种用于训练分类机器学习模型的系统，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述系统包括处理器，所述处理器配置为：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；
a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
c)在测试数据上测试所述分类机器学习模型；
d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤d)中发现性能不令人满意时，重复步骤a)至d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。
7.一种用于对受试者的图像中的结构或材料进行分类的系统，其包括：
分割器，其配置为形成图像中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；
分类器，其实现经过训练的分类机器学习模型，所述经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及
输出部，其用于输出表示分类和分数的结果。
8.根据权利要求7所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述分类器基于与受试者有关的分割图和非图像数据生成一个或多个分类。
9.根据权利要求7或8所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述分割器包括：
i)结构分割器，其配置为生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，
ii)材料分割器，其配置为生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或
iii)异常分割器，其配置为生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。
10.根据权利要求9所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述结构分割器配置为利用结构分割机器学习模型生成结构分割图，所述材料分割器配置为利用材料分割机器学习模型生成材料分割图，以及所述异常分割器配置为利用异常分割模型生成异常分割图。
11.根据权利要求7至10中任一项所述的用于对受试者的图像中的结构或材料进行分类的系统，其还包括分割图处理器，所述分割图处理器配置为在由分类器输入分割图之前对所述分割图进行降采样或以其他方式进行处理。
12.根据权利要求7至11中任一项所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述分类机器学习模型包括：
a)神经网络、支持向量机和/或决策树；或
b)包括卷积神经网络层和全连接神经网络层的神经网络。
13.根据权利要求7至12中任一项所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述图像是医学图像，并且所述分类对应于：
i)结构或材料或者受试者在各自时间段内维持特定状况或症状的概率；
ii)结构或材料或者受试者在各自的时间段中维持特定状况或症状的概率，各自的时间段包括短期的时间段、长期的时间段以及短期的时间段和长期的时间段中间的至少一个中期的时间段；
iii)结构或材料或者受试者维持各自状况或症状的概率；
iv)各自的疾病或病理进展率的概率；
v)各自的疾病或病理进展率的概率，分类包括对应于以下任一或多个的分类：稳定、适度恶化、加速恶化；
vi)各治疗选项的疗效的概率；
vii)各治疗选项的疗效的概率，该治疗选项包括抑制吸收治疗和/或合成代谢治疗；
viii)各医学状况；和/或
ix)包括以下中的任一项或多项的各医学状况：骨软化症、肿瘤、骨坏死和感染。
14.根据权利要求7至13中任一项所述的用于对受试者的图像中的结构或材料进行分类的系统，所述经过训练的分类机器学习模型是根据权利要求1至4中任一项的方法训练的模型。
15.一种用于对受试者的图像中的结构或材料进行分类的计算机实现的方法，其包括：
在图像中形成结构或材料的一个或多个分割；
根据分割生成图像的一个或多个分割图，一个或多个分割图包括从结构或材料的各个预定义的类别集合中分配的分割图的像素或体素的类别；
利用经过训练的分类机器学习模型，以基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及
输出表示分类和分数的结果。
16.根据权利要求15所述的方法，其中：
i)经过训练的分类机器学习模型基于与受试者相关的分割图和非图像数据生成一个或多个分类，和/或
ii)已经利用与训练受试者相关的图像数据和非图像数据训练的经过训练的分类机器学习模型，基于与受试者相关的图像数据和非图像数据生成各自分数。
17.根据权利要求15或16所述的方法，其中，形成所述一个或多个分割包括：
i)生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，
ii)生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或
iii)生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。
18.根据权利要求17所述的方法，其包括利用结构分割机器学习模型生成结构分割图，利用材料分割机器学习模型生成材料分割图，以及利用异常分割模型生成异常分割图。
19.根据权利要求15至18中任一项所述的方法，所述经过训练的分类机器学习模型是根据权利要求1至4中任一项所述的方法训练的模型。
20.一种根据权利要求15至19中任一项所述的方法生成的受试者的图像中的结构或材料的分类。
21.一种计算机可读介质，其包括计算机程序代码，当由一个或多个计算设备执行时，所述计算机程序代码配置为实现权利要求1至4和权利要求15至19中任一项所述的方法。
CN202010563984.XA 2019-06-21 2020-06-19 基于图像中的结构或材料分割的机器学习分类方法与系统 Pending CN112116609A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/448,474 2019-06-21
US16/448,474 US11263497B2 (en) 2019-06-21 2019-06-21 Method and system for machine learning classification based on structure or material segmentation in an image

Publications (1)

Publication Number Publication Date
CN112116609A true CN112116609A (zh) 2020-12-22

Family

ID=70921817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563984.XA Pending CN112116609A (zh) 2019-06-21 2020-06-19 基于图像中的结构或材料分割的机器学习分类方法与系统

Country Status (4)

Country Link
US (2) US11263497B2 (zh)
EP (1) EP3754600A1 (zh)
JP (1) JP2021002339A (zh)
CN (1) CN112116609A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991370A (zh) * 2021-04-08 2021-06-18 重庆大学 一种岩心ct裂纹识别与分割方法
CN113873196A (zh) * 2021-03-08 2021-12-31 南通市第一人民医院 一种提高感染防控管理质量的方法及系统
CN115168408A (zh) * 2022-08-16 2022-10-11 北京永洪商智科技有限公司 基于强化学习的查询优化方法、装置、设备及存储介质
CN115168408B (zh) * 2022-08-16 2024-05-28 北京永洪商智科技有限公司 基于强化学习的查询优化方法、装置、设备及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209057A1 (en) 2017-05-11 2018-11-15 The Research Foundation For The State University Of New York System and method associated with predicting segmentation quality of objects in analysis of copious image data
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
EP3889894A1 (en) * 2020-04-01 2021-10-06 Siemens Healthcare GmbH Improved abnormality detection in medical imaging data
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
US11587236B2 (en) 2020-10-30 2023-02-21 International Business Machines Corporation Refining lesion contours with combined active contour and inpainting
US11436724B2 (en) * 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11694329B2 (en) 2020-10-30 2023-07-04 International Business Machines Corporation Logistic model to determine 3D z-wise lesion connectivity
US11688517B2 (en) 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
KR102603525B1 (ko) * 2021-06-28 2023-11-16 전남대학교산학협력단 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법
WO2023054287A1 (ja) * 2021-10-01 2023-04-06 富士フイルム株式会社 骨疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク
WO2023078545A1 (en) * 2021-11-03 2023-05-11 Medimaps Group Sa Method for analyzing a texture of a bone from a digitized image
CN116369959B (zh) * 2023-06-05 2023-08-11 杭州医策科技有限公司 基于双模态ct的甲状旁腺术前定位方法和装置
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009171A (zh) * 2013-03-01 2015-10-28 因派克医药系统有限公司 用于学习增强的基于图谱的自动分割的方法和装置
CN107492090A (zh) * 2016-06-09 2017-12-19 西门子保健有限责任公司 根据合成数据利用机器学习的基于图像的肿瘤表型分析
WO2019002474A1 (en) * 2017-06-28 2019-01-03 Deepmind Technologies Limited GENERALIZED MEDICAL IMAGING ANALYSIS USING NEURONAL SEGMENTATION AND CLASSIFICATION NETWORKS
CN109410188A (zh) * 2017-10-13 2019-03-01 北京昆仑医云科技有限公司 用于对医学图像进行分割的系统和方法
WO2019106061A1 (en) * 2017-12-01 2019-06-06 Ucb Biopharma Sprl Three-dimensional medical image analysis method and system for identification of vertebral fractures

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1996959A4 (en) 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
WO2010115885A1 (en) 2009-04-03 2010-10-14 Oslo Universitetssykehus Hf Predictive classifier score for cancer patient outcome
US9064320B2 (en) 2009-09-11 2015-06-23 Straxcorp Pty Ltd Method and system for image analysis of selected tissue structures
JP5762008B2 (ja) 2011-01-19 2015-08-12 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
US9760990B2 (en) * 2014-12-14 2017-09-12 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition
US9858665B2 (en) * 2015-04-03 2018-01-02 Regents Of The University Of Minnesota Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US10657364B2 (en) 2016-09-23 2020-05-19 Samsung Electronics Co., Ltd System and method for deep network fusion for fast and robust object detection
EP3392832A1 (en) 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
EP3676759A4 (en) 2017-08-31 2021-05-26 Omniearth, Inc. SYSTEMS AND PROCEDURES FOR THE AUTOMATIC ESTIMATION OF OBJECT PROPERTIES FROM DIGITAL IMAGES
EP3511866A1 (en) * 2018-01-16 2019-07-17 Koninklijke Philips N.V. Tissue classification using image intensities and anatomical positions
JPWO2019176806A1 (ja) * 2018-03-16 2021-04-08 富士フイルム株式会社 機械学習装置および方法
KR102243644B1 (ko) * 2018-12-07 2021-04-23 서울대학교 산학협력단 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델
WO2020133354A1 (en) * 2018-12-29 2020-07-02 Shenzhen Malong Technologies Co., Ltd. 3d segmentation network and 3d refinement module
TW202040518A (zh) * 2019-01-07 2020-11-01 瑞典商艾西尼診斷公司 用於平台中立性全身影像分段之系統及方法
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
US11545266B2 (en) * 2019-09-30 2023-01-03 GE Precision Healthcare LLC Medical imaging stroke model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009171A (zh) * 2013-03-01 2015-10-28 因派克医药系统有限公司 用于学习增强的基于图谱的自动分割的方法和装置
CN107492090A (zh) * 2016-06-09 2017-12-19 西门子保健有限责任公司 根据合成数据利用机器学习的基于图像的肿瘤表型分析
WO2019002474A1 (en) * 2017-06-28 2019-01-03 Deepmind Technologies Limited GENERALIZED MEDICAL IMAGING ANALYSIS USING NEURONAL SEGMENTATION AND CLASSIFICATION NETWORKS
CN109410188A (zh) * 2017-10-13 2019-03-01 北京昆仑医云科技有限公司 用于对医学图像进行分割的系统和方法
WO2019106061A1 (en) * 2017-12-01 2019-06-06 Ucb Biopharma Sprl Three-dimensional medical image analysis method and system for identification of vertebral fractures

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARUN KRISHNARAJ: "simulating Dual-energy X-ray absorptionmetry in CT using Deep-learning segmentation cascade", JOURNAL OF THE AMERICAN COLLEGE OF RADIOLOGY, vol. 16, no. 10, 12 April 2019 (2019-04-12), pages 1 - 8, XP085846821, DOI: 10.1016/j.jacr.2019.02.033 *
CEM M. DENIZ: "segmentation of the proximal femur from MR images using Deep convolutional neural networks", ARXIV, 5 February 2017 (2017-02-05), pages 1 - 13 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873196A (zh) * 2021-03-08 2021-12-31 南通市第一人民医院 一种提高感染防控管理质量的方法及系统
CN112991370A (zh) * 2021-04-08 2021-06-18 重庆大学 一种岩心ct裂纹识别与分割方法
CN112991370B (zh) * 2021-04-08 2022-11-25 重庆大学 一种岩心ct裂纹识别与分割方法
CN115168408A (zh) * 2022-08-16 2022-10-11 北京永洪商智科技有限公司 基于强化学习的查询优化方法、装置、设备及存储介质
CN115168408B (zh) * 2022-08-16 2024-05-28 北京永洪商智科技有限公司 基于强化学习的查询优化方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2021002339A (ja) 2021-01-07
US20200401843A1 (en) 2020-12-24
US20220147757A1 (en) 2022-05-12
US11263497B2 (en) 2022-03-01
EP3754600A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
US11263497B2 (en) Method and system for machine learning classification based on structure or material segmentation in an image
EP3754599A1 (en) Image analysis method and system
Cabitza et al. Machine learning in orthopedics: a literature review
US10997466B2 (en) Method and system for image segmentation and identification
US10667776B2 (en) Classifying views of an angiographic medical imaging system
Al-Helo et al. Compression fracture diagnosis in lumbar: a clinical CAD system
CN111210897A (zh) 处理医学图像
AU2021236468A1 (en) Image Analysis Method and System
Tay et al. Ensemble-based regression analysis of multimodal medical data for osteopenia diagnosis
RU2720363C2 (ru) Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта
US11200671B2 (en) Reference image guided object detection in medical image processing
AU2019204380C1 (en) A Method and System for Machine Learning Classification Based on Structure or Material Segmentation in an Image
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
Kang et al. Prediction of bone mineral density in CT using deep learning with explainability
Amin et al. Automatic Detection and classification of Scoliosis from Spine X-rays using Transfer Learning
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
Ruikar et al. DNN-based knee OA severity prediction system: pathologically robust feature engineering approach
Musatian et al. Medical images segmentation operations
Díaz-Parra et al. A fully automated method for spinal canal detection in computed tomography images
Fatema et al. Development of an automated optimal distance feature-based decision system for diagnosing knee osteoarthritis using segmented X-ray images
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
EP4156021A1 (en) A method and system for annotation of medical images
Al-Kafri A Machine Learning and Computer Assisted Methodology for Diagnosing Chronic Lower Back Pain on Lumbar Spine Magnetic Resonance Images
Musleh Machine learning framework for simulation of artifacts in paranasal sinuses diagnosis using CT images
Krogh Deep Learning-Based Bone Segmentation of the Metatarsophalangeal Joint: Using an Automatic and an Interactive Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Vitoria, Australia

Applicant after: Kovibem Artificial Intelligence Co.,Ltd.

Address before: Australia, Vitoria

Applicant before: STRAXCORP Pty Ltd.