CN111417980A - 用于椎骨骨折的识别的三维医学图像分析方法和系统 - Google Patents

用于椎骨骨折的识别的三维医学图像分析方法和系统 Download PDF

Info

Publication number
CN111417980A
CN111417980A CN201880077725.7A CN201880077725A CN111417980A CN 111417980 A CN111417980 A CN 111417980A CN 201880077725 A CN201880077725 A CN 201880077725A CN 111417980 A CN111417980 A CN 111417980A
Authority
CN
China
Prior art keywords
voxel
image
voxels
fracture
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880077725.7A
Other languages
English (en)
Other versions
CN111417980B (zh
Inventor
J·尼古拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UCB Biopharma SRL
Original Assignee
UCB Biopharma SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UCB Biopharma SRL filed Critical UCB Biopharma SRL
Publication of CN111417980A publication Critical patent/CN111417980A/zh
Application granted granted Critical
Publication of CN111417980B publication Critical patent/CN111417980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • A61B6/035Mechanical aspects of CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明提供了一种基于机器的学习方法来估计3D图像中的骨折的概率,更具体而言椎骨骨折的概率。利用该方法的方法和系统利用数据驱动的计算模型来学习用于对椎骨骨折进行分类的3D图像特征。

Description

用于椎骨骨折的识别的三维医学图像分析方法和系统
技术领域
本发明涉及医学图像分析,并且提供了一种用于识别3D图像中的骨折的,更具体而言识别椎骨骨折的,系统和方法。
背景技术
骨质疏松症是一种影响骨骼的疾病,其中骨骼变弱的增加会增加骨折的风险。常见的骨质疏松性骨折发生在脊柱的椎骨、前臂的骨骼和髋部。每3秒钟就会发生一次骨质疏松性骨折,其中最常见的是椎骨骨折(Johnell等人,2006年)。椎骨骨折预示着后续的骨折,例如具有中度或重度椎骨骨折的患者发生后续髋部骨折的风险高4.8至6.7倍(Buckens等人,2014年)。Roux等人证明,发生轻度椎骨骨折的四分之一患者将很可能在随后的两年内再次发生骨折(Roux等人,2007年)。
椎骨骨折的临床评估是困难的,因为许多患者不知道他们已遭受椎骨骨折。据估计,只有三分之一的椎骨骨折受到临床关注(Cooper等人,1992年),而放射科医生在含脊柱的CT中漏报了54%的椎骨骨折(Mitchell等人,2017年)。尽管国际骨质疏松基金会已努力提高对椎骨骨折的认识并提供有关椎骨骨折检测的培训,但临床中心的骨科护理人员几乎没有筛查和早期诊断具有椎骨骨折的患者的方法。
用于放射科医生的图像分析的常见方法涉及根据提出的问题来查看3D图像的特定2D切片。这将图像分析步骤限制在特定的问题上,并消除了原始3D图像中潜在有价值的信息。当前的放射学实践是根据Genant的半定量椎骨骨折评估(VFA)方法对椎骨骨折进行分级的(Genant等,1993年)。该方法评估在3D图像模式(CT,MR)中的中矢状面处/周围或X射线图像中的椎体形态。如Buckens等人的报道(2013年),胸部CT上观察者内和观察者间的可靠性以及半定量VFA的一致性在患者和椎骨水平上都并非微不足道。
椎骨压迫性骨折的外观和程度差异很大(Schwartz和Steinberg,2005年)。关于脊椎骨折检测的大多数出版物都受到放射科医生如何应用Genant分类的启发:首先,他们试图以高准确度对椎骨进行分段,其次,对终板进行检测,最后,量化每个椎骨的高度损失以便检测椎骨骨折。
美国专利8,126,249公开了一种用于检测骨质疏松性骨折的基于形状的模型方法。Klinder等人(2009年)应用基于模型的方法来自动检测、识别和分段CT中的椎骨。该方法已在横断面和纵向研究中得到临床验证,该研究涉及使用一台Siemens MDCT扫描仪研究的80名患者。根据Genant分类,使用前、中和后高度降低来报告从T5到L5的分级椎骨骨折。Baum等人(2014年)报告了该方法的结果,其中对高度比进行ROC分析并且每次MDCT检查平均执行50分钟。(Yao等人,2012年)使用轴向高度指南针(compass)来检测和定位压迫性骨折,该指南针利用CT中存在的3D信息。该方法最近已经在横断面研究中进行了讨论,该研究涉及150名对照组患者,其报告按等级和类型从T1至L5对椎体压迫性骨折进行解剖定位和分类(Burns等人,2017年)。这项研究报告了使用1275个椎骨(其中210个胸椎体和腰椎体骨折)的私有数据集的具有95.7%的敏感性和43个假阳性结果的椎骨骨折检测。这些结果基于对椎骨骨折的自有定义(最小10%高度损失)。最近的出版物讨论了使用卷积神经网络(CNN)和递归神经网络(RNN)在CT中在患者水平检测压迫性骨折(Bar等人,2017年)。该算法在从分段脊柱提取的矢状面片上使用2D CNN,并预测患者图像中是否存在一个或多个椎骨骨折,而无需定位或计数骨折数量。
Buckens等人(2013年)使用三种患者水平和两种椎骨水平的测量讨论了在观察者内和观察者间的VFA在CT上的可变性和可靠性。作者得出结论,结果证明了可接受的可重复性,但是数据集使用了有限数量的图像(50)和椎骨骨折(2-4%)。对呈现结果的详细分析表明,使用监督学习的数据驱动方法必须处理关于(一组)(一个或多个)放射科医生提供的读数的明显噪声。
随着临床成像数据量持续稳定增长,开发三维图像处理系统和方法是具有重大临床重要性的技术问题,以减少观察者间的可变性并允许筛查椎骨骨折。本发明通过提供三维图像处理方法来提供计算机环境中的技术解决方案,该三维图像处理方法分析图像中的特定数据以自动检测3D图像中的骨折,而无需执行对骨骼结构的详细分段。
发明内容
本发明提供了一种用于预测受试者中椎骨骨折的存在的三维医学图像分析系统,包括:
3D图像处理器(101),用于接收和处理所述受试者的3D图像数据、产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成;
体素分类器(104),用于使用计算模型为所述体素分配体素包含骨折的一个或多个类别概率;以及
骨折概率估计器(103),用于估计在所述受试者中椎骨骨折的存在的概率。
本发明还提供了一种医学成像工作站,包括:
用于生成受试者的至少一个3D图像(1401)的成像装置以及如本文所公开的用于在至少一个生成的图像中预测所述受试者中椎骨骨折的存在的系统。
本发明还提供了预测个体中椎骨骨折的存在的三维医学图像分析方法,所述方法包括以下步骤:
接收包括脊髓的成像信息的3D成像数据(201);
处理所述图像并产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成(202);
使用计算模型为每个体素计算体素包含骨折的类别概率(204);
识别所述体素中的任何体素是否被分类为包含骨折(205);以及
基于被分类为包含骨折的所述体素的识别,预测所述个体中椎骨骨折的存在(206)。
本发明还提供了一种计算机程序,该计算机程序包括用于执行所述方法的步骤的代码部件,其中所述计算机程序执行是在计算机上进行的。
本发明还提供了一种在其上存储可执行指令的非暂态计算机可读介质,该可执行指令在由计算机执行时使计算机执行用于预测个体中椎骨骨折的存在的方法。
附图说明
下面通过参考附图描述本发明,其中:
图1是用于识别3D图像中的骨折的系统的框图。
图2示出了用于识别3D图像中的骨折的方法的框图。
图3是包括附加元件的用于识别骨折的系统的示意图。
图4是本发明的成像工作站的示意图。
图5是描绘3D图像处理器的操作步骤的流程图。
图6是描述脊髓定位器的操作步骤的流程图。
图7是描绘体素分类器的操作步骤的流程图。
图8是描绘椎骨定位器的操作步骤的流程图。
图9是描绘椎骨解剖标签分配器的操作步骤的流程图。
图10是描绘椎骨分类器的操作步骤的流程图。
图11是描绘图像分类器的操作步骤的流程图。
图12示出了用于体素和最终图像分类的CNN的设计。
图13示出了使用本文描述的方法的四重交叉验证测试结果:在手动椎骨水平误差分析之后,沿着脊柱的误差分布。FN=假阴性或未命中,FP=假阳性或误报(false alert)。
图14示出了样本图像,对于该样本图像,本方法正确地分类了具有不同骨折等级的骨折的椎骨以及所有正常的椎骨。
具体实施方式
本发明使用机器学习方法来分析成像数据并对3D图像中的,更具体而言对CT图像中的,骨折进行预测。
特别地,本发明提供了一种用于预测受试者中椎骨骨折的存在的三维医学图像分析系统,其包括:3D图像处理器(101),用于接收和处理所述受试者的3D图像数据、产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成;体素分类器(104),用于使用计算模型为所述体素分配体素包含骨折的一个或多个类别概率;以及骨折概率估计器(103),用于估计在所述受试者中椎骨骨折的存在的概率。可选地,这样的系统可以附加地包括脊髓检测器(102),用于检测所述图像的包括脊髓的部分。这可以减少要分析和分类的体素的数量并显著减少计算机处理时间。
系统的元件中的每个元件都是正在执行特定步骤集合的子系统。图5-12中图示了子系统(元件)中每一个的示例性步骤。每个这样的子系统可以具有一个或多个输入数据(或信号)和一个或多个输出。
图1是图示用于预测受试者中椎骨骨折的存在的三维医学图像分析系统的各方面的框图。仅图示了与本公开相关的元件。该系统可以例如使用合适的一个或多个微处理器来实现。系统的附加元件在图3中示出。例如,在计算机可读介质上提供计算机程序以在所述微处理器上实现系统。所述系统可以包括用于存储软件的存储器、用于存储数据的存储器、用于与其它设备进行通信的通信端口,例如,有线或无线网络连接。这样的端口可以用于接收图像数据和提供由系统产生的数据和处理后的信号。该系统还可以包括用户界面和用于与用户界面交互的用户输入设备。这样的系统可以用于显示3D图像和由系统生成的结果。
图像处理器(101)将其接收到的3D图像数据切分成3D体素集合。图像处理器(101)可以经由计算机网络或经由被配置为与图像源交互的另一个通信端口来接收所述3D图像。这样的图像源可以是成像数据库、成像计算机或记录此类图像的成像装置。3D图像数据可以包括图像强度,所述图像强度具有信号动态范围。
在一个实施例中,图像处理器(101)产生1mm3的各向同性体素集合。在又一个实施例中,图像处理器产生表示同一图像的整体的两个体素集合,包括第一尺寸的第一体素集合和第二尺寸的第二体素集合。在一个实施例中,第一体素可以各自是1mm3的各向同性体素,并且第二体素可以各自是3mm3的各向同性体素。这样的各向同性尺寸极大地简化了后续步骤。在一个特定实施例中,图像处理器(101)输出3D体素集合,其中所述3D体素是各向异性体素。
在另一个实施例中,所述图像处理器(101)输出3D体素集合,这些3D体素被归一化为所述体素的强度的均值(mean)和单位标准偏差。图像中的体素强度被归一化为零均值和单位方差。这些附加的预处理步骤为体素分类器(104)提供统一的强度和比例,从而避免了计算模型来学习该强度归一化作为子任务。当没有预先执行此类图像预处理步骤时,机器学习模型将必须在训练数据集中隐式学习这种强度归一化。如果没有,那么它将因不同图像之间强度范围的变化而被“抵消”,并将学习与任务相关的泛化图像特征。
脊髓检测器(102)使用最大信号强度在所述图像数据中粗略地定位脊髓。特别地,可以使用累积分布函数(CDF)>=0.9895来处理信号强度。CDF是输出在随机变量(在这种情况下为信号强度)中找到值的概率的统计函数。脊髓检测器通过考虑具有非常高的CDF值的强度来定位骨密度(CT中非常高的强度值)。与仅使用图像强度值相比,使用CDF的优势在于其鲁棒性。虽然仅使用强度值允许对强度值设置简单的阈值,但不同的扫描仪提供了骨骼组织的略有不同的强度值,并且这可能导致分析的准确性较差。CDF的使用允许考虑强度的动态范围,从而使分析更加鲁棒。此外,脊髓检测器(102)可以使用解剖学先验信息来沿着x、y和z轴粗略地定位脊髓。腹部和胸部CT检查包含广阔的视场来捕获所有组织并分析各种适应症。原则上,可以对图像的每个体素执行体素分类。本发明集中于脊柱周围的体素以避免对肺、肋骨和其它不相关的解剖结构中的体素进行不必要的计算。
脊髓检测器(102)可以利用对CT图像中的脊椎有效的信号强度和位置先验。更具体地,可以如上所述识别高强度骨强度以定位脊柱边界,并进一步将其细化,从而观察脊柱位于沿着x轴(从左到右)和沿着身体的后部(除非严重脊柱侧弯的情况)居中。脊髓检测生成的输出图像是脊柱裁剪的体积,这将要在下游步骤中进一步处理的体素的体积平均减少了15倍。
体素分类器(104)可以或者从脊髓检测器(102)接收3D图像数据,例如,以至少两个脊柱裁剪的输出图像的形式,每个图像具有不同的体素尺寸,或者直接从3D图像处理器(101)接收3D图像数据,例如,以至少两个图像(两个图像数据集)的形式,每个图像具有不同的体素尺寸。
在特定实施例中,体素分类器(104)在周围体素的情境下对所述一个或多个体素集合中的每个所述体素进行分类。
在更具体的实施例中,体素分类器(104)在周围体素的情境下对每个所述体素进行分类,并在关注的体素位于中心的30-40mm3的所述体素的情境下对第一集合中的每个体素进行分类,以及在关注的体素位于中心的90-120mm3的所述体素的情境下对第二集合中的每个体素进行分类。具体而言,第一3D体素集合是1mm3的各向同性体素集合,而第二3D体素集合是3mm3的各向同性体素集合。
在特定实施例中,体素分类器(104)正在使用卷积神经网络(CNN)。图3中提供了此类网络的示例集。CNN已成功应用于分类、对象检测和分段任务。CNN体系架构已应用于各种2D图像任务,并且诸如批量归一化(Ioffe和Szegedy,2015年)、初始模块(Szegedy等人,2015年)和残差连接(He等人,2016年)之类的改进已在ImageNet竞赛中(自然图像中对象的分类)将性能提升到超越人类级别。令人惊讶的是,只有一小部分已公开的方法充分利用了CT和MRI中可用的3D数据结构。Cicek等人(2016年)和Kamnitsas等人(2017)的最新工作已成功将3D CNN应用于显微镜和MRI图像,其中体系架构经过优化以应对增加的存储器和计算量。
CNN由层构成,每个层使用卷积来处理各个体素,该卷积使过滤器窗口在整个输入图像上滑动。过滤器尺寸决定有多少个体素对中心体素的输出有贡献(例如,尺寸为3x3x3的3D过滤器暗示中心体素从所有相邻体素输出强度的加权和)。通常,每一层都有多个过滤器以学习各种特征,并且CNN由多个层组成以建立足够大的接收场。接收场可以被解释为最终CNN层可以看到的结构的尺寸。
用于分类的CNN网络通常在其末端具有两个完全连接的层和一个分类层。所有层都经过端到端训练,这意味着学得的特征对于手头的分类是有意义的。在发布在一个数据集上成功训练的模型并转移这些特征以解决不同任务之后,CNN引起了极大的关注。转移学习技术基于以下观察结果:第一CNN层学习通用特征(例如,边缘和拐角),并且更高的CNN层将这些组合到与手头任务相关的更具体的特征(例如,猫的脸或车轮的形状)中。
在具体实施例中,体素分类器(104)正在利用包括神经网络层集合的CNN,其中神经网络层的序列包括:
对于每个体素集合,一个或多个卷积层,所述一个或多个卷积层被配置为在周围体素的情境下接收从所述体素集合导出的输入,以生成两个或更多个卷积输出,
一个或多个全连接层,用于聚合所述两个或更多个卷积输出;以及
分类层,从所述一个或多个完全连接层接收输入以执行最终分类。
一个或多个卷积层可以被设计为两个卷积层。在开始时使用两个体素集合(每个体素集合具有相同数量的不同尺寸的体素)将提供两个卷积输出。每个体素集合都使用其自己单独的CNN网络进行分析。
一个或多个连接层允许聚合从每个体素集合产生的输出。来自一个或多个卷积层的卷积输出可以被解释为学得的特征。当使用两个体素集合(通过两个CNN网络进行分析)时,这将产生在不同情境下学得的两个特征集合(例如,一个特征集合查看高分辨率图像,并且另一个特征集合查看图像的更大部分,但分辨率较低/较模糊的图像)。一个或多个连接层将这些特征相加或以其它方式一起堆叠在一个大的特征向量中。最后的完全连接的层再次处理这些特征向量(非线性操作),以便最终分类层(下一项符号)为每个类别输出一个概率并为输入图像中的每个体素输出该概率(因此,该体素的概率1为背景体素,该体素的概率2为正常椎骨体素,该体素的概率3为骨折的椎骨体素)。
分类层的输出是每个类别的概率值。对于包含NxMxK个体素的输入图像(3D),输出为NxMxK个体素,每个体素包含每个类别的一个概率值。
CNN还可以包括附加的聚合和卷积层。更具体而言,以上例示的CNN附加地包括:
聚合层,用于聚合来自所述一个或多个卷积输出的输出;
从来自第一和第二卷积输出的所述聚合输出接收输入的一个或多个卷积层。
更具体地,CNN使用尺寸为33体素的滑动过滤器。
更具体而言,根据一个优选实施例的用于分类的CNN包括17个卷积层,每个过滤器的尺寸为33,以便在正常途径中具有353的有效接收场(1mm3的第一体素集合)和在子采样途径中具有1053的有效接收场(3mm3的第二体素集合)(图12)。这种选择是由人类平均椎骨的最大宽度为54mm的经验观察结果驱动的,因此在评估任何椎体体素时,要求最少100个体素的接收场(各向同性1mm3输入图像),以使椎体内部的所有体素都有贡献。在正常途径和子采样途径被堆叠在一起之后添加卷积层进一步平滑了结果并改善了系统性能。
体素分类器(104)通过每个体素分配一个或多个类别的概率来对每个体素进行分类。可以选择任何合适的分类器。不同的分类技术对于技术人员是已知的。每个具体分类器可能都需要对系统的每个组件进行调整。在特定实施例中,体素分类器(104)通过将一个或多个类别标签分配给所述体素来使用预训练的分类器对体素组中的每个体素进行分类。
在特定实施例中,体素分类器(104)为每个体素计算被分类为背景、正常、骨折类别的概率。
在特定实施例中,使用被划分为体素的带注释的输入3D图像集合对体素分类器(104)进行预训练,其中强度噪声信号沿着x、y和z轴被添加到每个3D体素。通过将噪声添加到输入强度并跨X、Y和Z轴随机拒绝图像来执行数据增强。这提高了系统的鲁棒性,以应对输入图像中的高可变性(不同的扫描仪、不同的患者位置)。
在特定实施例中,体素分类器(104)利用CNN,该CNN使用带注释的输入3D图像集合使用有利于前景的采样率进行预训练,更具体而言,背景:正常:骨折的采样率可以是1:3:3。这样的比率允许有足够的示例来首先去除背景,然后着重于区分正常和骨折的椎骨。
诸如残差连接(He等人,2016年)、批量归一化(Ioffe和Szegedy,2015年)和参数化整流线性单元(PReLU)非线性(He等人,2015年)之类的技术可以应用于CNN。RmsProp优化器,L1和L2正则化可以应用,来以指数方式退火0.001的学习率,并训练35个片段(epochs)。
分类网络可以例如使用在如Kamnitsas等人(2017年)的在Theano(Github上可获得的代码库)中建立的体素分类管道中所述的3D CNN来实现。DeepMedic软件(https://github.com/Kamnitsask/deepmedic)可以用于执行加权采样以抵消类别不平衡、生成正常途径和子采样途径的组合以增加情境,并最终在图像片段上采用密集训练方案来应对此类3D CNN中观察到的存储器和计算约束。
可以使用训练数据集来训练CNN,该训练数据集可以使用半手工方法产生。使用监督学习技术的体素分类需要每个体素一个标签。这是非常昂贵的标记任务,每个图像可能需要一个小时以上才能执行分类。
这种分类的一种可能的方式在Glocker等人(2013年)的使用稀疏注释方案中的密集分类将每个图像的手动注释时间平均缩短到两分钟中描述。该方案适合围绕椎骨质心坐标cv的高斯质心似然函数ψv。质心坐标是通过手动注释提供的(凭经验确定的自由参数hv很好地覆盖具有不重叠点云的每个椎骨)。手动注释每个椎骨一个质心点就足以为每个椎骨建立密集的标签点云。视场v中的椎骨列表是动态的,并且取决于输入图像。
Figure BDA0002517791890000111
读出被限制为在视场中存在的每个椎骨一个Genant分类,并且以与脊柱裁剪的强度图像I相同的尺寸自动生成标签图像L。使用所描述的方法,结果得到的标签图像并非体素完美的,但这种方法对于手头的检测任务足够准确。这个步骤产生具有与输入图像I相同大小(尺寸)的3D图像L,该输入图像对于背景体素具有强度值0,对于正常椎骨体素具有强度值1,并且对于骨折椎骨体素具有强度值2。根据上述方法半自动生成体素强度。这个步骤的结果是可以被馈送到CNN分类器中的具有K对图像I和标签图像L的训练数据库。
骨折概率估计器(103)是使用可能与其它附加信息组合的体素分类输出来提供图像中存在椎骨骨折的概率估计的子系统。可以为整个图像或图像的一部分提供这种概率。
在特定实施例中,骨折概率估计器(103)包括图像分类器(108)。图像分类器(108)被配置为将所述3D图像分类为具有或不具有骨折,并且针对所述3D图像的每个体素从体素分类器(104)接收输入,并且为所述3D图像提供聚合概率值的输出,这种聚合概率是通过优化性能指标(例如,灵敏度/特异度或查准率/查全率)以经验方式估计的。替代地,可以使用具有分配的骨折类别概率的体素的数量的计数。
在另一个实施例中,图像分类器(108)被配置为基于具有分配的骨折类别概率的体素的数量的最小阈值对3D图像进行分类。
在另一个实施例中,骨折概率估计器(103)包括3D图像中的椎骨定位器(105)。骨折概率估计器(103)可以包括椎骨定位器(105)和椎骨解剖标签分配器(106)。
在另一个实施例中,骨折概率估计器(103)可以附加地包括椎骨分类器(107),该椎骨分类器输出3D图像中每个椎骨具有骨折的概率。这种分类器可以被配置为与椎骨定位器(105)和椎骨解剖标签分配器(106)一起工作。椎骨定位器(105)可以被配置为产生3D图像内的每个椎骨的质心坐标。椎骨解剖标签分配器(106)可以用于将解剖级别信息分配给3D图像中的每个椎骨。这样的信息可以用于帮助预测结果的可视化。椎骨分类器(107)将所有组件组合到输入图像的后续答案中。对于图像中存在的每个椎骨(它们通过本方法被自动检测):骨折标签(例如,正常或骨折的椎骨)、椎骨质心(在3D空间中定位)、椎骨解剖标签(例如,L5、L1、T12等)。因此,不是为整个3D图像提供一个椎骨骨折预测(108的输出),107为每个存在的椎骨提供椎骨骨折预测并在图像中定位该椎骨(既在空间中在物理上定位,又通过使用解剖标签定位)。
本发明还提供了一种医学成像工作站,该医学成像工作站包括用于生成受试者的至少一个3D图像(1401)的成像装置以及如本文描述的用于预测至少一个生成的图像中所述受试者的椎骨骨折的风险的系统。这样的装置可以是具有屏幕的设备和用于选择图像并审查系统的输出的输入设备的形式。该系统还可以经由计算机网络与成像装置远程交互。这样的成像工作站的元件可以分布在不同的服务器之间,并且数据库系统可以用于存储成像数据、计算模型、系统的不同元件的中间输出以及用于存储最终输出。这样的数据库系统也可以分布在不同的服务器之间,并且不同的数据可以存储在不同的服务器上。
本发明还提供了预测个体中椎骨骨折的存在的三维医学图像分析方法,所述方法包括以下步骤:
接收包括脊髓的成像信息的3D成像数据(201);
处理所述图像并产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成(202);
使用计算模型为每个体素计算体素包含骨折的类别概率(204);
识别所述体素中的任何体素是否被分类为包含骨折(205);以及
基于被分类为包含骨折的所述体素的识别,预测所述个体中椎骨骨折的存在(206)。
在特定实施例中,该方法附加地包括以下步骤:在所述图像内定位脊髓并为包括脊髓的每个体素集合生成脊柱裁剪的输出图像(203),以及输出包括脊髓的体素集合。该步骤将在图像处理(202)的步骤之后。
在特定实施例中,经由计算机网络接收3D成像信息。替代地,经由被配置为与图像信息生成设备或系统进行通信的通信端口来接收这样的成像信息。更特别地,成像信息被存储在医学图像数据库中。
在本方法的更具体的实施例中,使用通过使用训练数据集训练的模型来执行体素分类,该训练数据集是使用包括以下步骤的方法生成的:
i.经由用户界面输入训练图像中每个椎骨的质心坐标;
ii.经由用户界面输入椎骨骨折标签;
iii.在所选择的质心坐标周围拟合高斯质心似然函数;
iv.产生训练数据集中每个所述图像的信号强度和标签对的数据集。
更具体而言,在预注释的图像集合上训练计算模型。可以使用上述依赖于手动定位质心坐标以及后续应用高斯质心似然函数的方法来注释此类图像。此外,由专家评估椎骨状态以向其分配分类标签。这种分类标签可以是正常的骨折,或者可能指示骨折的等级。
在特定实施例中,在已经被划分为体素集合的预注释的图像集合上训练计算模型。在一个实施例中,沿着x、y和z轴将强度噪声信号添加到每个产生的3D体素。
在另一个实施例中,在所述图像内定位脊髓的步骤(203)是基于最大信号强度的识别,以在所述图像数据中定位脊髓。特别地,可以使用如上所述的累积分布函数(CDF)>=0.9895来处理信号强度。替代地,在所述图像内定位脊髓的步骤(203)可以附加地使用解剖学先验信息来沿着x、y和z轴粗略地定位脊髓。
在该方法的另一个实施例中,处理并将所述图像划分为体素集合的步骤(202)输出3D体素集合,其中所述3D体素是1mm3的各向同性体素。由于上述原因,这种尺寸是有利的。
在该方法的另一个实施例中,处理并将所述图像划分为体素集合的步骤(202)输出3D体素集合,其中所述3D体素是各向异性体素。
在该方法的另一个实施例中,处理并将所述图像划分为体素集合的步骤(202)附加地包括归一化为所述体素的强度的均值和单位标准偏差的步骤。
在该方法的另一个实施例中,处理并将所述图像划分为体素集合的步骤(202)附加地包括将强度噪声信号沿着x、y和z轴添加到每个产生的3D体素的步骤。
在该方法的另一个实施例中,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)包括通过为每个体素分配一个或多个类别的概率来对每个体素进行分类。
在该方法的另一个实施例中,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)包括在周围体素集合的情境下每个集合中的每个所述3D体素的两个分类。更具体而言,在周围体素的情境下对每个所述体素执行这样的分类,并且在30-40mm3的所述体素的情境下对第一集合中的每个体素和在90-120mm3的所述体素的情境下对第二集合中的每个体素进行分类。在具体实施例中,第一集合在35mm3的所述体素的情境下进行分类,并且第二集合在105mm3的所述体素的情境下进行分类。更具体而言,在这种情况下,第一体素集合是1mm3的体素集合,并且第二体素集合是3mm3的体素集合。
在该方法的另一个实施例中,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)使用分类器,以通过使用预训练的分类器为所述体素分配一个或多个类别标签对体素组中的每个体素进行分类。
在该方法的另一个实施例中,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)产生对于图像中的每个体素被分类为背景、正常、骨折类别的输出概率。
在该方法的另一个实施例中,预测椎骨骨折的风险的步骤(206)包括将所述3D图像分类为具有或不具有骨折,并且其中所述步骤为所述3D图像的每个体素从使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)接收输入分类值,并且其中所述步骤提供所述3D图像的聚合概率值的输出。
在该方法的另一个实施例中,预测椎骨骨折的风险的步骤(206)包括基于具有分配的骨折类别概率的体素的数量的最小阈值对所述3D图像进行分类。
在另一个实施例中,该方法附加地包括在图像中定位椎骨的步骤和为3D图像中存在的椎骨分配标签的步骤。
在另一个实施例中,该方法附加地包括将标签分配给3D图像中存在的椎骨的步骤。
在另一个实施例中,该方法附加地包括通过分配所述椎骨具有骨折的概率来进行椎骨分类的步骤。更具体而言,定位椎骨的步骤产生每个椎骨在所述3D图像内的质心坐标。
在该方法的另一个实施例中,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用卷积神经网络(CNN)。更具体而言,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用包括神经网络层集合的卷积神经网络(CNN),其中神经网络层集合包括:
对于每个体素集合,一个或多个卷积层,所述一个或多个卷积层被配置为在周围体素的情境下接收从所述体素集合导出的输入,以生成两个或更多个卷积输出;
一个或多个完全连接层,用于聚合每个体素集合的所述两个或更多个卷积输出;以及
分类层,从所述一个或多个完全连接层接收输入以执行最终分类。
CNN还可以包括附加的聚合和卷积层。更具体而言,以上例示的CNN附加地包括:
聚合层,用于聚合来自所述一个或多个卷积输出的输出;
从来自第一和第二卷积输出的所述聚合输出接收输入的一个或多个卷积层;
在该方法的另一个实施例中,使用计算模型为每个体素计算包含骨折的类别概率的步骤(204)正在利用卷积神经网络(CNN),该卷积神经网络使用带注释的输入3D图像集合使用有利于前景的采样率进行预训练,更具体而言,背景:正常:骨折的这种采样率可以是1:3:3。
在另一个实施例中,该方法所述3D图像数据包括图像强度,所述图像强度具有信号动态范围。
将认识到的是,本发明也适用于适于将本发明的系统和方法付诸实践的计算机程序,特别是载体上或载体中的计算机程序。本发明还提供了一种计算机程序,其包括用于执行本文描述的方法的步骤的代码部件,其中所述计算机程序执行是在计算机上进行的。本发明还提供了一种在其上存储可执行指令的非暂态计算机可读介质,该可执行指令在由计算机执行时使计算机执行如本文所述的用于预测个体中骨质疏松性骨折风险的方法。本发明还提供了一种计算机程序,该计算机程序包括用于本文公开的系统的元件的代码部件,其中所述计算机程序执行是在计算机上进行的。
计算机程序可以是源代码、目标代码、代码中间源的形式。程序可以是部分编译的形式,或者是适合用于实现该方法及其根据本发明的变型的任何其它形式。这样的程序可以具有许多不同的体系架构设计。可以将实现根据本发明的方法或系统的功能的程序代码细分为一个或多个子例程或子组件。存在在这些子例程之间分配功能的许多不同方式,并且这些方式对于本领域技术人员将是已知的。子例程可以一起存储在一个可执行文件中,以形成自包含的程序。替代地,一个或多个或所有子例程可以存储在至少一个外部库文件中,并且可以静态地或动态地(例如,在运行时)与主程序链接。主程序包含对至少一个子例程的至少一个调用。子例程也可以相互调用。
本发明还提供了一种计算机程序产品,该计算机程序产品包括实现本文所述方法的步骤或其如本文所述变型的计算机可执行指令。这些指令可以细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。与计算机程序产品相关的另一个实施例包括与本文阐述的系统和/或产品中的至少一个的每个部件对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在一个或多个文件中。
应当注意的是,上述实施例图示而不是限制本发明,并且本领域技术人员将能够设计许多替代实施例而不脱离权利要求的范围。在权利要求中,放在括号之间的任何参考符号不应被解释为限制权利要求。动词“包括”及其词形变化的使用不排除权利要求中所述的元件或步骤之外的元件或步骤的存在。
元件之前的冠词“一”不排除存在多个这样的元件。可以借助于包括几个不同元件的硬件以及借助于适当编程的计算机来实现本发明。在列举几个元件的系统权利要求中,这些元件中的几个元件(子系统)可以由一个且相同的硬件来实施。在互不相同的从属权利要求中记载某些措施的事实并不表示不能使用这些措施的组合。
示例
示例1。在CT图像集合上识别椎骨骨折的系统的性能。
来自一所大学医院的成像数据库的120例腹部和胸部CT检查的匿名图像系列被用于本文描述的方法。这些图像是在2017年2月和3月在四种不同的扫描仪(Siemens、Philips和两种类型的GE扫描仪)上采集的,包括具有各种适应症的年龄超过70岁的患者(平均年龄是81岁,范围:70-101岁,64%的女性患者)。因此,该数据集包含协议的异构范围、重构格式和表示该患者群体的临床实践中的样本的患者。椎骨分布总共包含1219个椎骨,其中228个(18.7%)骨折。该数据集已由一名放射科医生(S.R.)整理,为视场内的每个椎骨提供了Genant等级(正常,轻度,中度,重度)。
表1总结了使用本文描述的方法对数据集使用四重交叉验证的患者级别的预测结果。在这种情况下,我们使用了小于Nmages的Npatients,因为用于训练模型的数据集包含针对患者子集的腹部和胸部检查。
表1:使用四重交叉验证的患者骨折存在表现
(Npatients=101)
(a)关键指标
指标 该方法(%)
准确度 93.07
查准率 98.48
查全率 91.55
特异度 96.67
(b)混淆矩阵
放射科医生
该方法 骨折 正常
骨折 65 1
正常 6 29
总计 71 30
我们已经使用有噪声的地面真值(ground-truth)椎骨质心生成了椎骨级别的结果。为了了解该方法造成的错误以及可能的根本原因(数据或算法),我们针对放射科医生的读数对椎骨级别的错误进行了手动分析。
错误的三分之二以上发生在胸部区域,这可以通过偏斜的数据集来解释(参见图13)。
在与放射科医生评估各个错误之后,我们得出结论,在轻度等级上几乎有15%的错误是值得怀疑的。这项观察清楚地表明,用作地面真值标签的放射科医生读数是有噪声的(在Buckens等人(2013年)中报告为观察者内和观察者间的可变性)。
40%的椎骨错误涉及两到六个椎骨系列中的连续错误。有趣的是,在检查与我们的数据集相关联的放射科医生读数时,可以看到类似的结果。如Genant等人(1993年)描述的,必须比较一个参考椎骨的高度损失(已经报道了使用多个参考椎骨的统计平均值的变量(Burns等人,2017年)),这些系列引起麻烦是不足为奇的,因为它们消除了参考椎骨的概念并且在更远的地方使用参考椎骨是不明显的,因为椎骨尺寸自然地从下位到上位减小。
测试结果包含椎骨,其在临床上与骨质疏松症诊断的相关性较低(例如,S1、C7和C6),并且其在数据集中的示例数量有限。
数据集包含少量椎骨病变(例如,椎骨融合、海绵内疝、由于进行中的骨形成过程导致的异常外观)。这会导致一些错误,因为它们的图像特征明显不同于正常的椎骨,并且分类器可能会将其与骨折的情况混淆。
最后,可以看到低胸椎(例如,L2、T12和T11)具有相对较高的遗漏率(假阴性),这与以前的工作(Burns等人,2017年)是一致的。
该方法进一步针对临床实践和最新报道的患者级别的骨折检测结果进行了基准测试。为了针对临床实践对结果进行基准测试,我们使用了Buckens等人(2013年)报告的观察者间绝对协议作为三位观察者相对于一位观察者的准确度(后者因此被认为是地面真值)。表1a中报告的结果优于四位人类观察者报告的患者骨折存在的准确度范围(82%至92%)(Buckens等人,2013年)。必须注意的是,体素分类器已经按照相同的标准进行了培训和测试,而这些观察者很可能已经进行了独立培训。尽管如此,Buckens等人(2013年)的结果还是在学术中心的临床研究中被采用,其中四位放射科医生事先接受了专门的骨折分级培训,并且每个图像花费更多的时间对椎骨骨折(研究设置)进行分类。由于这些条件对任何医院(不仅仅是学术机构)的标准放射学实践是有利的,因此结果与临床实践相当。表3将我们的方法与(Bar等人,2017年)中报告的患者骨折结果进行了比较。必须注意的是,两个结果是使用不同的数据集生成的。
表3:患者骨折存在表现的代理基准测试(两个结果在不同的测试集上报告)。
Figure BDA0002517791890000201
Figure BDA0002517791890000211
参考资料
Baum等人(2014年)Automatic detection of osteoporotic vertebralfractures in routine thoracic and abdominal mdct.European radiology,24(4):872-880
Buckens等人(2013年)Intra and interobserver reliability and agreementof semiquantitative vertebral fracture assessment on chest computedtomography.PloS one,8(8):e71204
Buckens等人(2014年)Prevalent vertebral fractures on chest ct:higherrisk for future hip fracture.Journal of Bone and Mineral Research,29(2):392-398
Cicek等人(2016年)3d u-net:learning dense volumetric segmentation fromsparse annotation.In International Conference on Medical Image Computing andComputer-Assisted Intervention,第424-432页。Springer
Cooper等人(1992年)Incidence of clinically diagnosed vertebralfractures:A population-based study in rochester,minnesota,1985-1989年。Journalof Bone and Mineral Research,7(2):221-227
Genant等人(1993年)Vertebral fracture assessment using asemiquantitative technique.Journal of bone and mineral research,8(9):1137-1148
Glocker等人(2013年)Vertebrae localization in pathological spine ctvia dense classification from sparse annotations.In International Conferenceon Medical Image Computing and Computer-Assisted Intervention,第262-270页。Springer
He等人(2015年)Delving deep into rectifiers:Surpassing human-levelperformance on imagenet classification.In Proceedings of the IEEEinternational conference on computer vision,第1026-1034页。He等人(2016年)Deepresidual learning for image recognition.In Proceedings of the IEEE conferenceon computer vision and pattern recognition,第770-778页。
International Osteoporosis Foundation.Vertebral Fracture TeachingProgram https://www.iofbonehealth.org/what-we-do/training-and-education/educational-slide-kits/vertebral-fracture-teaching-program,2017年.
Ioffe and Szegedy(2015年)Batch normalization:Accelerating deepnetwork training by reducing internal covariate shift.In InternationalConference on Machine Learning,第448-456页。
Johnell等人(2006年)An estimate of the worldwide prevalence anddisability associated with osteoporotic fractures.Osteoporosis international,17(12):1726-1733
Kamnitsas等人(2017年)Efficient multi-scale 3d CNN with fullyconnected CRF for accurate brain lesion segmentation.Medical Image Analysis,36:61-78
Klinder等人(2009年)Automated model-based vertebra detection,identification,and segmentation in ct images.Medical image analysis,13(3):471-482
Litjens等人(2017年)A survey on deep learning in medical imageanalysis.arXiv preprint arXiv:1702.05747
Mitchell等人(2017年)Reporting of vertebral fragility fractures:canradiologists help reduce the number of hip fractures?Archives ofOsteoporosis,12(1):71
Roux等人(2007年)Mild prevalent and incident vertebral fractures arerisk factors for new fractures.Osteoporosis International,18(12):1617-1624
Schwartz等人(2005年)Detection of vertebral fractures.Currentosteoporosis reports,3(4):126-135
Szegedy等人(2015年)Going deeper with convolutions.In Proceedings ofthe IEEE conference on computer vision and pattern recognition,第1-9页

Claims (64)

1.一种用于预测受试者中椎骨骨折的存在的三维医学图像分析系统,包括:
3D图像处理器(101),用于接收和处理所述受试者的3D图像数据、产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成;
体素分类器(104),用于使用计算模型为所述体素分配体素包含骨折的一个或多个类别概率;以及
骨折概率估计器(103),用于估计在所述受试者中椎骨骨折的存在的概率。
2.如权利要求1所述的系统,附加地包括脊髓检测器(102),用于检测所述图像的包括脊髓的部分。
3.如权利要求2所述的系统,其中脊髓检测器(102)使用最大信号强度在所述图像数据中定位脊髓。
4.如权利要求3所述的系统,其中脊髓检测器(102)使用解剖学先验信息来沿着x、y和z轴定位脊髓。
5.如权利要求1所述的系统,其中所述3D图像数据是经由计算机网络接收的。
6.如权利要求1所述的系统,其中3D图像处理器(101),其中至少一个3D体素集合是1mm3的各向同性体素集合。
7.如权利要求1所述的系统,其中3D图像处理器(101),其中第一3D体素集合是1mm3的各向同性体素集合,并且第二3D体素集合是3mm3的各向同性体素集合。
8.如权利要求1所述的系统,其中3D图像处理器(101),其中至少一个3D体素集合是各向异性体素集合。
9.如权利要求1所述的系统,其中3D图像处理器(101)输出被归一化为所述体素的强度的均值和单位标准偏差的3D体素集合。
10.如权利要求1所述的系统,其中所述体素分类器(104)在周围体素的情境下对所述一个或多个体素集合中的每个所述体素进行分类。
11.如权利要求6所述的系统,所述体素分类器(104)在周围体素的情境下对每个所述体素进行分类,并且在30-40mm3的所述体素的情境下对在第一集合中的每个体素进行分类,并且在90-120mm3的所述体素的情境下对在第二集合中的每个体素进行分类。
12.如权利要求10所述的系统,在35mm3的所述体素的情境下对第一集合进行分类,并且在105mm3的所述体素的情境下对第二集合进行分类。
13.如权利要求1所述的系统,其中体素分类器(104)通过为每个体素分配一个或多个类别概率来对每个体素进行分类。
14.如权利要求1所述的系统,其中体素分类器(104)使用预训练的分类器通过将一个或多个类别标签分配给所述体素来对每个体素进行分类。
15.如权利要求1所述的系统,其中体素分类器(104)为每个体素计算被分类为背景、正常、骨折类别的概率。
16.如权利要求1所述的系统,其中骨折概率估计器(103)包括被配置为从体素分类器(104)接收输入的图像分类器(108)。
17.如权利要求1所述的系统,其中骨折概率估计器(103)包括图像分类器(108),图像分类器(108)被配置为将所述3D图像分类为具有或不具有骨折并且从体素分类器(104)接收针对所述3D图像的每个体素的输入并且提供所述3D图像的聚合概率值的输出。
18.如权利要求17所述的系统,其中所述图像分类器(108)被配置为基于具有分配的骨折类别概率的体素的数量的最小阈值对所述3D图像进行分类。
19.如权利要求1所述的系统,其中骨折概率估计器(103)包括存在于所述3D图像中的椎骨解剖标签分配器(106)。
20.如权利要求1所述的系统,其中所述骨折概率估计器(103)包括椎骨定位器(105)。
21.如权利要求20所述的系统,其中所述椎骨定位器(105)产生每个椎骨在所述3D图像内的质心坐标。
22.如权利要求1所述的系统,其中骨折概率估计器(103)包括椎骨分类器(107)。
23.如权利要求1所述的系统,其中体素分类器(104)正在利用卷积神经网络(CNN)。
24.如权利要求10所述的系统,其中体素分类器(104)正在利用包括神经网络层集合的CNN,其中神经网络层的序列包括:
对于每个体素集合,一个或多个卷积层,所述一个或多个卷积层被配置为在周围体素的情境下接收从所述体素集合导出的输入,以生成两个或更多个卷积输出;
一个或多个完全连接层,用于聚合所述两个或更多个卷积输出;以及
分类层,从所述一个或多个完全连接层接收输入以执行最终分类。
25.如权利要求24所述的系统,其中最终分类是向每个体素分配被分类为正常、骨折或背景的概率。
26.如权利要求1所述的系统,其中使用划分为体素的带注释的输入3D图像集合对体素分类器(104)进行预训练,其中强度噪声信号沿着x、y和z轴被添加到每个3D体素。
27.如权利要求1所述的系统,其中体素分类器(104)正在利用使用带注释的输入3D图像集合使用有利于前景的采样率预训练的CNN。
28.如权利要求1所述的系统,其中体素分类器(104)正在利用使用带注释的输入3D图像集合使用背景:正常:骨折为1:3:3的采样率预训练的CNN。
29.如权利要求1所述的系统,其中所述3D图像数据包括图像强度,所述图像强度具有动态信号范围。
30.如权利要求1所述的系统,其中所述3D图像数据被接收并存储在数据库系统中。
31.一种医学成像工作站,包括:
成像装置,用于生成受试者的至少一个3D图像(1401),以及
根据权利要求1至30中的任一项所述的系统,用于在至少一个生成的图像中预测所述受试者中椎骨骨折的存在。
32.一种预测个体中椎骨骨折的存在的三维医学图像分析方法,所述方法包括以下步骤:
接收包括脊髓的成像信息的3D成像数据(201);
处理所述图像并产生两个或更多个3D体素集合,其中每个集合对应于整个所述3D图像,并且其中每个集合由不同尺寸的相等体素组成(202);
使用计算模型为每个体素计算体素包含骨折的类别概率(204);
识别所述体素中的任何体素是否被分类为包含骨折(205);以及
基于被分类为包含骨折的所述体素的识别,预测所述个体中椎骨骨折的存在(206)。
33.如权利要求32所述的方法,附加地包括以下步骤:在所述图像内定位脊髓并为包括脊髓的每个体素集合生成脊柱裁剪的输出图像(203),以及输出包括脊髓的体素集合。
34.如权利要求32所述的方法,其中所述3D成像信息是经由计算机网络接收的。
35.如权利要求32所述的方法,其中所述分类是通过使用训练数据集训练的模型来执行的,所述训练数据集是使用包括以下步骤的方法生成的:
i.经由用户界面输入训练图像中每个椎骨的质心坐标;
ii.经由用户界面输入椎骨骨折标签;
iii.在所选择的质心坐标周围拟合高斯质心似然函数;
iv.产生训练数据集中每个所述图像的信号强度和标签对的数据集。
36.如权利要求32所述的方法,其中所述计算模型是在预先注释的图像集合上训练的。
37.如权利要求32所述的方法,其中所述计算模型是在已经被划分为两个或更多个体素集合的预先注释的图像集合上训练的。
38.如权利要求32所述的方法,其中处理并将所述图像划分为两个或更多个体素集合(202)包括沿着x、y和z轴向每个产生的3D体素添加强度噪声信号。
39.如权利要求33所述的方法,其中在所述图像内定位脊髓的步骤(203)是基于最大信号强度以在所述图像数据中粗略地定位脊髓。
40.如权利要求33所述的方法,其中在所述图像内定位脊髓的步骤(203)使用解剖学先验信息来沿着x、y和z轴粗略地定位脊髓。
41.如权利要求32所述的方法,其中所述3D体素集合中的至少一个是1mm3的各向同性体素集合。
42.如权利要求32所述的方法,其中所述3D体素集合中的至少一个是各向同性体素集合。
43.如权利要求32所述的方法,其中处理并将所述图像划分为体素集合(202)附加地包括归一化为所述体素的强度的均值和单位标准偏差的步骤。
44.如权利要求32所述的方法,其中处理并将所述图像划分为体素集合(202)附加地包括将强度噪声沿着x、y和z轴添加到每个产生的3D体素的步骤。
45.如权利要求32所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)包括通过为每个体素分配一个或多个类别的概率来对每个体素进行分类。
46.如权利要求32所述的方法,使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)包括在周围体素的情境下对所述一个或多个体素集合中的每个所述体素进行分类。
47.如权利要求46所述的方法,其中在周围体素的情境下对每个所述体素执行分类,并且在30-40mm3的所述体素的情境下对第一集合中的每个体素进行分类,并且在90-120mm3的所述体素的情境下对第二集合中的每个体素进行分类。
48.如权利要求47所述的方法,其中第一集合在35mm3的所述体素的情境下进行分类,并且第二集合在105mm3的所述体素的情境下进行分类。
49.如权利要求46所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)使用分类器,以在周围体素的情境下使用预训练的分类器通过为所述体素分配一个或多个类别标签而对每个体素进行分类。
50.如权利要求32所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)产生对于图像中的每个体素被分类为背景、正常、骨折类别的输出概率。
51.如权利要求32所述的方法,其中预测椎骨骨折的风险的步骤(206)包括将所述3D图像分类为具有或不具有骨折,并且其中所述步骤为所述3D图像的每个体素从使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)接收输入分类值,并且其中所述步骤提供所述3D图像的聚合概率值的输出。
52.如权利要求32所述的方法,其中预测椎骨骨折的风险的步骤(206)包括基于具有分配的骨折类别概率的体素的数量的最小阈值对所述3D图像进行分类。
53.如权利要求32所述的方法,附加地包括在图像中定位椎骨的步骤和将解剖学标签分配给3D图像中存在的椎骨的步骤。
54.如权利要求32所述的方法,附加地包括将标签分配给3D图像中存在的椎骨的步骤。
55.如权利要求32所述的方法,附加地包括通过分配所述椎骨具有骨折的概率来进行椎骨分类的步骤。
56.如权利要求53所述的方法,其中所述定位椎骨的步骤产生每个椎骨在所述3D图像内的质心坐标。
57.如权利要求32所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用卷积神经网络(CNN)。
58.如权利要求46所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用包括神经网络层集合的卷积神经网络(CNN),其中神经网络层集合包括:
对于每个体素集合,一个或多个卷积层,所述一个或多个卷积层被配置为在周围体素的情境下接收从所述体素集合导出的输入,以生成两个或更多个卷积输出;
聚合层,用于聚合来自每个体素集合的所述一个或多个卷积输出的输出;
从来自第一和第二卷积输出的所述聚合输出接收输入的一个或多个卷积层;
一个或多个完全连接层,用于聚合所述两个或更多个卷积输出;以及
分类层,从所述一个或多个完全连接层接收输入以执行最终分类。
59.如权利要求58所述的方法,其中通过向每个体素分配被分类为正常、骨折或背景的概率来执行最终分类。
60.如权利要求32所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用卷积神经网络(CNN),所述卷积神经网络使用带注释的输入3D图像集合使用有利于前景的采样率进行预训练。
61.如权利要求32所述的方法,其中使用计算模型为每个体素计算体素包含骨折的类别概率的步骤(204)正在利用卷积神经网络(CNN),该卷积神经网络使用带注释的输入3D图像集合使用1:3:3的背景:正常:骨折的采样率进行预训练。
62.如权利要求32所述的方法,其中所述3D图像数据包括图像强度,所述图像强度具有动态信号范围。
63.一种计算机程序,包括用于执行权利要求32-62中的任一项所述的方法的步骤的代码部件,其中所述计算机程序执行是在计算机上进行的。
64.一种在其上存储可执行指令的非暂态计算机可读介质,所述可执行指令在由计算机执行时使所述计算机执行权利要求32-62中的任一项所述的用于预测个体中椎骨骨折的风险的方法。
CN201880077725.7A 2017-12-01 2018-11-29 用于椎骨骨折的识别的三维医学图像分析方法和系统 Active CN111417980B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1720059.3A GB201720059D0 (en) 2017-12-01 2017-12-01 Three-dimensional medical image analysis method and system for identification of vertebral fractures
GB1720059.3 2017-12-01
PCT/EP2018/082925 WO2019106061A1 (en) 2017-12-01 2018-11-29 Three-dimensional medical image analysis method and system for identification of vertebral fractures

Publications (2)

Publication Number Publication Date
CN111417980A true CN111417980A (zh) 2020-07-14
CN111417980B CN111417980B (zh) 2024-06-04

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899880A (zh) * 2020-08-03 2020-11-06 暨南大学附属第一医院(广州华侨医院) 腰椎骨小梁负载应力改变及隐匿骨折人工风险评估方法
CN112529035A (zh) * 2020-10-30 2021-03-19 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别不同电台个体种类的智能识别方法
CN113470004A (zh) * 2021-07-22 2021-10-01 上海嘉奥信息科技发展有限公司 一种基于ct的单个椎体的分割方法、系统及介质
WO2023010248A1 (zh) * 2021-08-02 2023-02-09 香港中文大学 利用胸腹部正位x线片检测脊柱骨质疏松性压缩性骨折的装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737250A (zh) * 2011-01-14 2012-10-17 西门子公司 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统
US20140105471A1 (en) * 2011-10-18 2014-04-17 Matthew Sherman Brown Computer-Aided Bone Scan Assessment With Automated Lesion Detection And Quantitative Assessment Of Bone Disease Burden Changes
US20160113612A1 (en) * 2014-10-28 2016-04-28 Siemens Aktiengesellschaft Method for the fully automatic detection and assessment of damaged vertebrae
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737250A (zh) * 2011-01-14 2012-10-17 西门子公司 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统
US20140105471A1 (en) * 2011-10-18 2014-04-17 Matthew Sherman Brown Computer-Aided Bone Scan Assessment With Automated Lesion Detection And Quantitative Assessment Of Bone Disease Burden Changes
US20160113612A1 (en) * 2014-10-28 2016-04-28 Siemens Aktiengesellschaft Method for the fully automatic detection and assessment of damaged vertebrae
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BURNS JOSEPH E ET AL.: "\"Deep convolutional networks for automated detection of posterior-element fractures on spine CT\"", 《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING》, vol. 9785, pages 97850, XP060070462, DOI: 10.1117/12.2217146 *
BURNS JOSEPH E: "\"Multi-atlas Segmentation with Joint Label Fusion of Osteoporotic Vertebral Compression Fractures on CT\"", 《ADVANCES IN BIOMETRICS : INTERNATIONAL CONFERENCE》, pages 74 *
DARKO TERN ET AL: ""\"Parametric modelling and segmentation of vertebral bodies in 3D CT and MR spine images"", 《PHYSICS IN MEDICINE AND BIOLOGY》, vol. 56, pages 7505 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899880A (zh) * 2020-08-03 2020-11-06 暨南大学附属第一医院(广州华侨医院) 腰椎骨小梁负载应力改变及隐匿骨折人工风险评估方法
CN112529035A (zh) * 2020-10-30 2021-03-19 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别不同电台个体种类的智能识别方法
CN113470004A (zh) * 2021-07-22 2021-10-01 上海嘉奥信息科技发展有限公司 一种基于ct的单个椎体的分割方法、系统及介质
WO2023010248A1 (zh) * 2021-08-02 2023-02-09 香港中文大学 利用胸腹部正位x线片检测脊柱骨质疏松性压缩性骨折的装置

Also Published As

Publication number Publication date
US20200364856A1 (en) 2020-11-19
JP7241075B2 (ja) 2023-03-16
CA3084097A1 (en) 2019-06-06
US11710233B2 (en) 2023-07-25
KR20200095504A (ko) 2020-08-10
IL274767A (en) 2020-07-30
US20220358644A1 (en) 2022-11-10
IL274767B1 (en) 2024-05-01
JP2021504061A (ja) 2021-02-15
EP3718077A1 (en) 2020-10-07
SG11202004739RA (en) 2020-06-29
NZ764955A (en) 2023-11-24
US11341639B2 (en) 2022-05-24
WO2019106061A1 (en) 2019-06-06
GB201720059D0 (en) 2018-01-17
AU2018376561A1 (en) 2020-06-18
AU2018376561B2 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US11710233B2 (en) Three-dimensional medical image analysis method and system for identification of vertebral fractures
US11275976B2 (en) Medical image assessment with classification uncertainty
Wu et al. Fracture detection in traumatic pelvic CT images
US20210236080A1 (en) Cta large vessel occlusion model
CN111210897A (zh) 处理医学图像
Larhmam et al. Vertebra identification using template matching modelmp and K K-means clustering
US20210217166A1 (en) Automated screening of medical data
Kim et al. Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector
Raja'S et al. Automatic diagnosis of lumbar disc herniation with shape and appearance features from MRI
US20180365876A1 (en) Method, apparatus and system for spine labeling
US11741694B2 (en) Spinal fracture detection in x-ray images
JP2012529319A (ja) 画像からの身体部分の形状の改善された位置合わせ
Hussain et al. Deep learning in DXA image segmentation
US11704796B2 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
Wu et al. Bone segmentation and 3D visualization of CT images for traumatic pelvic injuries
Vania et al. Automatic spine segmentation using convolutional neural network via redundant generation of class labels for 3D spine modeling
Al-Helo et al. Segmentation of lumbar vertebrae from clinical CT using active shape models and GVF-snake
Bhavya et al. Cervical Spine Fracture Detection Using Pytorch
de Azevedo Marques et al. Content-based retrieval of medical images: landmarking, indexing, and relevance feedback
CN111417980B (zh) 用于椎骨骨折的识别的三维医学图像分析方法和系统
Xiu et al. Construction of a Computer-Aided Analysis System for Orthopedic Diseases Based on High-Frequency Ultrasound Images
Bromiley et al. Error Estimation for Appearance Model Segmentation of Musculoskeletal Structures Using Multiple, Independent Sub-models
Aal et al. Survey: Automatic recognition of musculoskeletal disorders from radiographs
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
Arpitha et al. Automatic vertebral body fracture classification through PCA based angle estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023861

Country of ref document: HK

GR01 Patent grant