CN112116552A - 图像分析方法和系统 - Google Patents
图像分析方法和系统 Download PDFInfo
- Publication number
- CN112116552A CN112116552A CN202010564495.6A CN202010564495A CN112116552A CN 112116552 A CN112116552 A CN 112116552A CN 202010564495 A CN202010564495 A CN 202010564495A CN 112116552 A CN112116552 A CN 112116552A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- machine learning
- trained
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 10
- 238000010801 machine learning Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 41
- 201000010099 disease Diseases 0.000 claims description 32
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 32
- 238000010191 image analysis Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 17
- 208000010392 Bone Fractures Diseases 0.000 claims description 16
- 206010017076 Fracture Diseases 0.000 claims description 15
- 208000023178 Musculoskeletal disease Diseases 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000001054 cortical effect Effects 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 8
- 210000001185 bone marrow Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000037182 bone density Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 208000017445 musculoskeletal system disease Diseases 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 206010065687 Bone loss Diseases 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000005750 disease progression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 208000015872 Gaucher disease Diseases 0.000 description 2
- 208000001132 Osteoporosis Diseases 0.000 description 2
- 238000007470 bone biopsy Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 208000035143 Bacterial infection Diseases 0.000 description 1
- 206010005949 Bone cancer Diseases 0.000 description 1
- 206010070918 Bone deformity Diseases 0.000 description 1
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000018084 Bone neoplasm Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000022362 bacterial infectious disease Diseases 0.000 description 1
- 230000033558 biomineral tissue development Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000002436 femur neck Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 208000005368 osteomalacia Diseases 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供一种图像分析方法和系统。所述方法包括：量化从受试者的医学图像分割和识别的一个或多个特征；从与所述受试者有关的非图像数据中提取临床相关特征；利用经过训练的机器学习模型评估从医学图像中分割的量化特征和从非图像数据中提取的特征；输出一个或多个特征评估结果。
Description
与相关申请的交叉引用
本申请基于2019年6月21日提交的第16/448,460号美国专利申请，并要求其优先权，该申请提交的内容通过引用全部并入本文。
技术领域
本发明涉及一种图像分析方法和系统，特别地但并非仅限于医学成像方面的应用，例如，诊断和监测(例如，肌肉骨骼)成像中的疾病或状况。感兴趣区域可以是这样的医学图像中的2D区域或3D体积。可能的医学成像应用包括：计算机断层扫描(CT)、磁共振(MR)、超声和病理扫描仪成像。
背景技术
与肌肉骨骼相关疾病的发生有关的发病率、死亡率和费用正在增加，部分原因是长寿增加了老年人口的比例。早期检测肌肉骨骼疾病有助于减少疾病进展或减少负面后果(如骨折)的干预。
在肌肉骨骼成像领域，各种方法用于检测肌肉骨骼疾病。例如，骨活检用于检测骨癌或其它骨疾病，并能准确测量组织的特征。然而，骨活检是侵入性的，会引起疼痛和恐惧。
在其它方法中，肌肉骨骼疾病的评估是通过分析肌肉骨骼图像来识别或量化异常，这些图像通过各种成像模式收集，成像模式包括：双能X线吸收测定法(Dual-energy X-ray Absorptiometry，DXA)、计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)和X线扫描仪。在肌肉骨骼疾病(如骨脆性、骨关节炎、类风湿性关节炎、骨软化症和骨畸形)的筛查和评估中，每种模式都有独特的优势。
例如，高分辨率外周骨定量计算机断层扫描(High-Resolution peripheralQuantitative Computed Tomography，HRpQCT)是高分辨率、低辐射、非侵入性的；其用于评估骨质量的三个重要决定因素：微结构、矿化和生物力学特性。
有手动、半手动和自动技术用于评估肌肉骨骼疾病，涉及各种成像模式。例如，骨髓负荷(Bone Marrow Burden，BMB)分数是MRI评分方法，用于手动评估骨髓在戈谢病(Gaucher disease)中的参与程度。放射科医生通过腰椎和股骨的MRI图像，利用根据排列标准的信号强度和分布来测量BMB分数。例如，一个已知的分数范围是腰椎0到8分，股骨0到8分，总分为0到16分。BMB总分越高表示骨髓受累越严重。
利用DXA图像半手动测量骨密度。脊柱或髋部用DXA扫描。放射科医生或医生选择感兴趣区域(例如，脊柱扫描上的不同脊柱部分和髋部扫描上的股骨颈)。根据预先定义的密度校准公式确定选定区域的骨密度。将测量的密度值与具有峰值骨量的一群同性别年轻人的测量值进行比较，将其转换为T分数。T分数≥-1被认为正常；T分数-2.5<T<-1被分类为骨量减少；T分数为≤-2.5被定义为骨质疏松。临床医生在评估骨折发展风险以及是否应推荐治疗时，会考虑T分数。
然而，手动或半手动分析肌肉骨骼成像的主要关注包括劳动强度和再现性。由于测量及其评估的主观性，无法保证准确度和再现性。
一种现有的用于评估肌肉骨骼图像的自动方法在美国专利第9,064,320号中公开，其发明名称为“Method and System for Image Analysis of Selected TissueStructures，用于所选组织结构的图像分析方法及系统”。这种方法自动分析和评估肌肉骨骼图像，如，腕部CT扫描。该方法可以用于自动从腕部CT扫描中提取桡骨，将桡骨分割成微观结构(即：致密皮质、过渡区和骨小梁区)，并量化皮质孔隙度和骨小梁密度。
已知的方法主要集中在每一个单独的测量上，这对于理解肌肉骨骼的某些属性是否可以区分有病和无病的人没有帮助。例如，BMB分数仅评估骨髓在戈谢病中的参与程度；BMD分数仅评估骨密度对骨折风险的贡献；皮质孔隙度测量骨的重要属性，但不能提供关于骨微观结构的完整信息。
发明内容
根据本发明的第一方面，提供一种计算机实现的图像分析方法，其包括：
量化从受试者的医学图像分割和识别的一个或多个特征(其包括例如结构或材料)；
从一个或多个非图像数据源中提取与所述受试者有关的非图像数据；
从与所述受试者有关的非图像数据中提取临床相关特征；
利用经过训练的机器学习模型评估从医学图像中分割的量化特征和从非图像数据中提取的特征；以及
输出一个或多个特征评估结果。
因此，通过利用机器学习算法(例如，深度学习算法)组合从图像和非图像数据中提取的多个特征，本发明可以用于诊断和监测医学成像(例如，肌肉骨骼图像)中的疾病或状况。
在一个实施方案中，所述方法包括：接收图像，从图像中分割一个或多个特征，以及识别从图像中分割的特征。
在一个实施方案中，所述方法包括：接收具有从中分割的特征的图像，并识别从图像中分割的特征。
在一个实施方案中，分割和识别通过机器学习算法训练的分割和识别模型来实现，所述机器学习算法训练的分割和识别模型配置为从图像中分割和识别特征。在一个示例中，经过训练的分割和识别模型包括深度卷积神经网络训练的模型。
在一个实施方案中，经过训练的机器学习模型包括疾病分类模型。
在一个实施方案中，经过训练的机器学习模型包括：利用从患者数据中提取的特征以及指示疾病或非疾病的标签或注释进行训练的模型。
在一个实施方案中，经过训练的机器学习模型：深度学习神经网络或其它机器学习算法(例如，支持向量机、决策树或AdaBoost)。
在一个实施方案中，经过训练的机器学习模型是训练用于诊断和/或监测一种或多种(例如，肌肉骨骼)疾病的模型。
在一个实施方案中，所述方法进一步包括(i)对经过训练的机器学习模型进行训练，和/或(ii)利用从新的或新分析的受试者数据中获得的附加标记数据对经过训练的机器学习模型(例如，不断地)进行更新。
在一个实施方案中，结果包括一个或多个疾病分类和/或概率。
在一个实施方案中，该方法还包括至少基于结果生成报告。在示例中，该方法包括另外根据来自领域知识数据库的信息生成报告。
在一个实施方案中，评估包括骨脆性评估。
在一个实施方案中，结果包括一个或多个骨折风险分数。
根据本发明的第二方面，提供一种图像分析系统，其包括：
特征量化器，其配置为量化从受试者的医学图像分割和识别的一个或多个特征(结构或材料)；
非图像数据处理器，其配置为从一个或多个非图像数据源中提取与所述受试者有关的非图像数据并从与所述受试者有关的非图像数据中提取临床相关特征；
特征评估器，其配置为利用经过训练的机器学习模型评估从医学图像中分割的特征和从非图像数据中提取的特征；以及
输出部，其配置为输出一个或多个特征评估结果。
在一个实施方案中，系统还包括分割器和识别器，所述分割器和识别器配置为接收图像、从图像中分割一个或多个特征并识别从图像中分割的特征。在一个示例中，所述分割器和识别器包括分割和识别模型(即，利用机器学习算法训练的分割和识别模型)，其配置为从图像中分割和识别特征。训练的分割和识别模型可以包括深度卷积神经网络训练的模型。
在一个实施方案中，经过训练的机器学习模型包括疾病分类模型。
在一个实施方案中，经过训练的机器学习模型包括使用从患者数据中提取的特征以及指示疾病或非疾病的标签或注释进行训练的模型。
在一个实施方案中，经过训练的机器学习模型包括深度学习神经网络或其它机器学习算法。
在一个实施方案中，经过训练的机器学习模型是训练用于诊断和/或监测一种或多种(例如，肌肉骨骼)疾病的模型。
在一个实施方案中，所述系统进一步包括机器学习模型训练器，其配置为利用从新的或新分析的受试者数据中获得的附加标记数据对经过训练的机器学习模型(例如，不断地)进行更新。
在一个实施方案中，结果包括一个或多个疾病分类和/或概率。
在一个实施方案中，所述系统还包括报告生成器，所述报告生成器配置为至少基于结果生成报告。在一个示例中，报告生成器配置为另外基于来自(例如，系统的)领域知识数据库的信息生成报告。
在一个实施方案中，特征评估器配置为评估骨脆性。
在一个实施方案中，结果包括一个或多个骨折风险分数。
根据本发明的第二方面，提供包括指令的计算机程序代码，当由一个或多个计算设备执行时，这些指令配置为实现第一方面的图像分析方法。此方面还提供包括这种计算机程序代码的计算机可读介质(其可以是非易失性的)。
应当注意的是，本发明的上述每个方面的各种单独特征中的任何一个，以及包括在权利要求中的本文中所描述的实施方案的各种单独特征中的任何一个，可以视情况而定进行组合。
附图说明
为了更清楚地确定本发明，现在将参照以下附图以示例的方式描述实施方案，其中：
图1是根据本发明实施方案的医学图像分析系统的示意图；
图2A和图2B是存储在图1的医学图像分析系统的存储器中的示例性图像数据的示意图；
图3A和图3B示意性地描绘图1的医疗图像分析系统的非图像数据存储(分别为未填充和填充的)的示例；
图4是图1的医学图像分析系统的图像数据处理器在骨脆性应用中的操作示意图；
图5是图1的医学图像分析系统的非图像数据处理器对包括结构化和非结构化数据的示例性非图像数据的操作的示意图；
图6是图1的医学图像分析系统的特征评估器的一个(或多个)机器学习模型的离线训练的示意图；
图7是图1的医学图像分析系统的报告生成器的示意图；
图8示出图1的医学图像分析系统在骨脆性应用中的示例性操作，其中，图像数据包括腕部HRpQCT扫描，非图像数据包括基本患者信息；以及
图9是由图1的医学图像分析系统的报告生成器生成的示例性报告。
具体实施方式
图1是根据本发明实施方案的以医学图像分析系统10的形式的图像分析系统的示意图。
参照图1，系统10包括图像分析控制器12和用户界面14(其包括GUI 16)。用户界面14通常包括一个或多个显示器(在其中一个或多个显示器上可以显示GUI 16)、键盘和鼠标，以及可选地包括打印机。图像分析控制器12包括至少一个处理器18和存储器20。系统10可以实现为例如，计算机(例如，个人计算机或移动计算设备)上的软件和硬件的组合，或者专用图像分割系统。系统10可以可选地为分布式的；例如，存储器20的一些或全部组件可以位于远离处理器18；用户界面14可以位于远离存储器20和/或与处理器18，并且，实际上，用户界面14可以包括网页浏览器和移动设备应用。
存储器20与处理器18进行数据通信，存储器20通常包括易失性存储器和非易失性存储器(并且可以包括一个以上的每种类型存储器)，存储器20包括RAM(随机存取存储器)、ROM和一个或多个大容量存储设备。
如下面更详细地讨论的，处理器18包括：图像数据处理器22(其包括分割器和识别器24和特征量化器25)、非图像数据处理器26、特征评估器28(其包括先例比较器29)、机器学习模型训练器30、报告生成器32、I/O接口34和以结果输出部36的形式的输出部。存储器20包括：程序代码38、图像数据40、非图像数据42、训练数据44、经过训练的机器学习模型46和领域知识48。图像分析控制器12至少部分地由执行来自存储器20的程序代码38的处理器18来实现。
广义地说，I/O接口34配置为将与受试者或患者有关的医学图像数据和非图像数据(例如，DICOM格式)读取或接收为存储器20的图像数据40和非图像数据42以进行分析。图像数据处理器22利用分割器和识别器24以及特征量化器25从图像数据分割(即提取)和量化特征，非图像数据处理器26从非图像数据提取特征，特征评估器28利用一个或多个机器学习模型46处理特征，然后I/O接口34将分析结果输出到例如结果输出部36和/或GUI 16。
在分析肌肉骨骼图像时，系统10利用人工智能(例如，深度神经网络)、其它机器学习算法和计算机视觉算法，以准确和可再现地自动提取特征并量化具有特定值的图像特征。结果适合于随后用于定位肌肉骨骼疾病的位置、适用于诊断肌肉骨骼疾病和监测疾病进展。
参考图1，系统10配置为接收两种类型的受试者或患者数据：图像数据(例如，在一个或多个解剖部位、通过一个或多个图像模式获取的医学图像)和非图像数据(结构化患者数据，例如临床病史数据和问卷数据，以及非结构化患者数据，例如医生的笔记和语音记录)。系统10将这些数据分别存储为图像数据40和非图像数据42。非图像数据的不同数据形式和结构决定了非图像数据处理器26的操作。
图像数据处理器22包括两个组件：分割器和识别器24以及特征量化器25，分割器和识别器24配置为执行分割和识别，特征量化器25配置为执行特征量化。图像数据40由图像数据处理器22处理，图像数据处理器22利用分割器和识别器24自动分割和识别来自受试者或患者的医学图像的临床相关结构、特征或材料(在本实施方案中)，然后特征量化器25量化临床相关的经过分割和识别的结构、特征、材料或其组合。然而，应当注意，在一些实施方案中，系统10可以配置为接收已经分割的图像(可选地，已经识别的经过分割的特征)，使得可以省略分割器和识别器24或其使用。
在本实施方案中，利用传统(即，非机器学习)图像处理方法(例如，阈值化、轮廓检测或斑点检测)，或根据美国专利第9,064,320号中公开的方法(发明名称为“Method andsystem for image analysis of selected tissue structures，用于所选组织结构的图像分析方法及系统”)来实现分割和识别。
然而，在一些其它实施方案中，分割器和识别器24包括经机器学习算法训练的分割和识别模型，该分割和识别模型配置为从图像分割和识别感兴趣的结构或特征。例如，在骨脆性应用中，这种使用深度卷积神经网络训练的模型可以用于从腕部HRpQCT扫描中分割和识别桡骨；训练数据可以为区分桡骨、尺骨和周围材料的体素的带注释的腕部HRpQCT扫描。
非图像数据由非图像数据处理器26处理，其从非图像数据中提取临床相关特征。
由特征评估器28将从图像数据和非图像数据获得的量化特征输入到机器学习模型46中。机器学习模型46是利用带有标签(即，构成机器学习的“参考标准(ground truth)”的注释)的训练数据进行预先训练的。例如，为了训练骨分割模型，训练数据通常包括原始图像和相应的参考标准(在其中对骨进行了注释的图像)。为了训练疾病分类模型，训练数据通常包括从患者数据中提取的特征和相应的参考标准，其是表示疾病或非疾病的标签/注释。(术语“标签”和“注释”本质上是可以互换的，但是“标签”在本文中通常保留用于疾病或状况，而“注释”通常保留用于图像分割/识别机器学习模型中的图像注释)。
在本实施方案中，处理器18包括机器学习模型训练器30，其配置为利用训练数据44(其可以包括新的受试者数据)训练机器学习模型46(并重新训练或更新机器学习模型46，如下所述)。然而，在其它实施方案中，机器学习模型训练器30可以仅配置为或仅用于重新训练或更新机器学习模型46。
各种机器学习算法(利用来自图像和非图像数据的特征)可以用于训练本实施方案中用于诊断和监测肌肉骨骼疾病等的机器学习模型46，例如，深度学习神经网络(优选地)或其它机器学习算法(例如，支持向量机、决策树和AdaBoost)。
在一个实现中，利用从新分析的患者数据获得的附加标记数据不断更新预先训练的机器学习模型46。
因此，特征评估器28利用机器学习模型46评价和评估特征，然后将结果(例如，以分类和概率的形式)输出到报告生成器32。报告生成器32基于这些结果生成报告。报告生成器32还可以从领域知识48中提取附加信息，并将该信息与结果相结合，且在报告中呈现。
例如，在骨脆性评估应用的实施方案中，利用机器学习模型46的特征评估器28可以输出包含骨折风险分数的结果。报告生成器32可以配置为从领域知识48中提取由该分数指示的信息，例如，帮助解释该分数的信息。然后，报告生成器32可以在报告中呈现得分和该信息。
最终报告通过结果输出部36和/或用户界面14输出。
图2A和图2B是存储为图像数据40的示例性图像数据的示意图。图像数据包括受试者或患者的临床相关医学图像，通常在一个或多个解剖部位、通过一个或多个成像模式获取的图像。
例如，在骨脆性的示例中，输入图像数据可以包括腕部HRPpQCT扫描50，如图2A所示。在另一示例中，可能期望分析外周骨骼和中心骨骼，因此，如图2B所示，输入图像数据可以包括：腕部HRpQCT扫描50、腿部HRpQCT扫描52、脊椎DXA扫描54和髋部DXA扫描56(并且，如果可选地合并骨髓信息，则包括髋部MRI扫描58)。
图3A和图3B示意性地描绘分别未填充和填充的非图像数据42的示例。由系统10接收并存储为非图像数据42的非图像数据可以包括大量指示肌肉骨骼疾病的有用数据。如图3A所示，非图像数据可以包括来自各种结构化和非结构化的数据源的患者信息，这些数据例如在受试者或患者的医学咨询和治疗期间收集。结构化数据可以包括：基本患者信息(比如，性别、年龄、体重、身高)；实验室检测结果(比如，血液检测结果和DNA检测结果)；治疗数据(比如，药物种类和剂量)；以及问卷数据(比如，吸烟、饮酒习惯和骨折史)。非结构化数据可以包括实验室结果的文本文档、医生笔记和放射报告。
如图3A所示，非图像数据42中的非图像数据可以是多种格式，例如，结构化视频62、文本64、数字66和/或语音68，以及非结构化视频72、文本74、数字76和/或语音78。图3B描绘示例性场景，其中，非图像数据包括：临床信息和历史80形式的结构化文本64、患者测量82形式的结构化数字66、患者行走84时视频形式的非结构化视频72、医生笔记86形式的非结构化文本74，以及患者访谈88形式的非结构化语音78。
在根据非图像数据的每一部分的结构和形式的每种情况下，在处理非图像数据时，非图像数据处理器26配置有并采用不同的数据处理和特征提取技术。
图4是图像数据处理器22在骨脆性应用中的操作的示意图90。在本例中，利用预先训练的深度神经网络模型从腕部HRpQCT扫描中识别和分割桡骨92。然后，桡骨由分割器和识别器24分割并识别为致密皮质94、过渡区96和骨小梁区98。接下来，由特征量化器25将不同结构或结构组合的属性量化为以下特征：全桡骨体积骨密度(the volumetric bonemineral density，vBMD)102、皮质孔隙度(骨体积中孔隙的百分比)104、过渡区vBMD(过渡区体积骨密度)106、骨小梁区vBMD(骨小梁区体积骨密度)108、基质矿化水平(矿化材料的平均百分比)110、骨髓脂肪率(骨小梁区骨髓脂肪密度)112、皮质厚度(致密皮质的平均厚度)114以及骨小梁组织分离度(骨小梁组织的平均分离度)116。之所以选择这些特征，是因为它们指示骨脆性和骨折的风险。在其它应用中，与感兴趣的状况相关的特征也将同样被选择。
图5是非图像数据处理器26对包括结构化和非结构化数据的示例性非图像数据42的操作的示意图120。非图像数据处理器26利用各种工具从非图像数据中提取特征，每种工具适于提取不同结构和形式的非图像数据的类型。
结构化数据122通常存储和保持在结构化数据存储装置中，例如，数据库表、.json文件、.xml文件和.csv文件。非图像数据处理器26通过从数据源中查询124所需的参数和属性，从而从结构化数据源中提取感兴趣的信息，使得从结构化数据中提取特征。应注意的是，在某些情况下，结构化数据本身可以是完整的，并且是感兴趣的，因此不需要查询。
非结构化数据126可以包括医生笔记、语音记录和图形报告等，因此，在特征提取之前，非图像数据处理器26通常将非结构化数据126转换128为结构化数据。非图像数据处理器26采用的转换方法特定于非结构化数据的每个源或类型。例如，为了将医生笔记转换为结构化数据，非图像数据处理器26可以包括或使用经过训练的光学字符识别(OCR)模型来将笔记转换128为系统10可识别的文本。然后，非图像数据处理器26解析文本(使用诸如“骨折”、“疼痛”、“跌倒”等关键字)。
在另一示例中，非图像数据处理器26可以包括或采用经过训练的语音识别模型，以将根据访谈所记录的语音转换128为系统10可识别的文本。然后，非图像数据处理器26通过参考原始访谈问题将转换后的文本分割并组织成结构化数据。
在另一示例性实施方案中，非图像数据可以包括视频，例如因为研究已经表明行走步态的模式与骨折风险相关。非图像数据处理器26处理视频并从中提取130步态特征。
一旦转换128为结构化数据，非图像数据处理器26通过从数据源查询124所需的参数和属性来从(以前是非结构化的)结构化数据中提取特征。然而，如上所述，如果现在的结构化数据本身是完整的并且感兴趣的，则不需要查询；在上面的行走视频示例中，在将视频转换为构成结构化数据的步态特征之后，不需要这样的查询124。
最终，非图像数据处理器26提取特征130，例如性别132、年龄134、吸烟习惯136、骨折史138、治疗史140和步态142。
图6是机器学习模型46中的一个或多个模型的(离线)训练的示意图144。首先，在步骤146，从训练数据44的数据库访问或选择训练数据以进行处理。训练数据可以包括受试者图像数据和/或受试者非图像数据。选择具有各种属性的数据进行训练，以表示目标人群。通过使用上述方法在步骤148提取特征和在步骤150量化提取的特征来处理训练数据。然后，训练数据包括一组量化特征。
在步骤152，利用正确的诊断结果(由人类操作者)对训练数据进行注释。在步骤154，由提取的特征结合诊断标签所表示的训练数据被输入机器学习模型训练器30的一个或多个机器学习算法，以训练一个或多个模型。应该认识到，各种机器学习算法可以适合于训练模型。它可以是黑箱算法(例如，神经网络)，以便人们不可读决策过程。可替选地，它可以是白箱算法(例如，决策树、支持向量机或线性判别分析)，以便人类能够解释模型的决策过程。它还可以包括结合白箱和黑箱算法的混合算法。
在步骤156，现在经过训练的一个或多个模型被部署以供使用，通常通过存储在机器学习模型46中。
在使用中，从新患者数据中提取的特征被输入到现在经过训练的机器学习模型46中。如上所述，机器学习模型46评估特征并输出一个或多个结果。结果可以是二元分类、分数或概率。在一些实施方案中，新的患者数据(在可选的步骤158)可以添加到训练数据44，以用于再训练或更新模型46。
模型训练及其效用是特定于领域的；因此，由此产生的每一个机器学习模型46也是如此。模型46中的每一个都依赖于数据和目标状况(例如，状况，比如骨脆性；疾病，比如，骨质疏松症；感染，比如，特定的细菌感染)。在一个实施方案中，通过生成一个或多个疾病概率分数，模型46中的一个被训练并用于诊断一个或多个疾病或状况。在另一个实施方案中，多个模型46可以被训练并用于诊断各自的疾病。同样，在另一个实施方案中，可以训练模型46中的一个以产生表示一个或多个症状(例如，骨折)的可能性的预测，或者多个模型46可以被训练并用于产生表示各个症状的可能性的各自预测。
图7是报告生成器32的示意图，其至少基于从机器学习模型46获得的结果162生成报告。在生成报告时，报告生成器32还可以利用存储在领域知识48中的信息。例如，该信息可以包括在解释由特征评估器28输出的结果时(例如，诊断和治疗指南)对医生有价值的信息。例如，在应用系统10评估骨折时，医生可以收到与不同水平骨折风险相关的治疗指南。然后，该报告可以包括由特征评估器28生成的并表征受试者或患者的骨的多个结果(例如，脆性分数、孔隙度分数和骨小梁分数)，并且包括用于解释这些分数和选择治疗的信息。
可选地，该信息可以包括具有可比分数的(一个或多个)受试者或患者的过去队列的诊断，和/或为该队列规定的治疗或疗法。实际上，在一些实施方案中，特征评估器28包括可选的先例比较器29，其配置为将机器学习模型46生成的结果(特别是数值结果，例如，分数)与来自领域知识48的此类信息进行比较，以基于该比较自动形成诊断(通过分配受试者患有一个或多个疾病的概率)和疗法/治疗建议，并将其输出到报告生成器32以包含在报告中。
报告还可以包括监测疾病进展和治疗效果的结果。例如，如果在后续试验中发现被治疗的受试者或患者的骨折风险降低，则可以证明治疗的有效性。
报告还可以显示类似或相反的情况。呈现类似或相反的情况对医师评估预后并确定治疗有价值。类似或相反情况的呈现可以对培训缺乏经验的用户有用，或帮助用户确认模型46产生的结果。此外，通过研究类似或相反的情况来观察过去的受试者或患者对不同治疗选项的反应，医师可以评估治疗对当前患者的疗效(或建议治疗的可能疗效)。
报告生成器32将所有这些结果和信息164包括在报告166中，然后报告生成器32将报告166(经由结果输出部36)传送到用户界面14(例如，网页浏览器、PC应用程序或移动设备应用程序)以供一个或多个用户阅读。
图8示出系统10在骨脆性应用中的示例性操作。图像数据包括腕部HRpQCT扫描172，非图像数据包括基本患者信息174。如图8所示，分割器和识别器24利用机器学习模型46中经过训练的分割和识别模型46'识别和提取176桡骨，并将其分割178为结构：致密皮质、过渡区和骨小梁区。基于这种结构分割，特征量化器25确定皮质孔隙度180和骨小梁密度182。
非图像数据处理器26利用查询184从非图像数据的基本患者信息174中提取性别186和年龄188。特征评估器28接收四个特征：皮质孔隙度180、骨小梁密度182、性别186和年龄188。特征评估器28利用另一个经过训练的模型46”(在本示例中，以骨衰变模型的形式)、通过评估上述四个特征180、182、186、188来生成结构脆性分数190。或者，可以利用诸如Zebaze等人在“Increased Cortical Porosity and Reduced Trabecular Density AreNot Necessarily Synonymous With Bone Loss and Microstructural Deterioration，皮质孔隙度增加和骨小梁密度降低不一定等同于骨丢失和微观结构恶化”(JBMR Plus(2018))中所描述的算法来训练骨衰变模型46'，训练数据44代表上述四个特征180、182、186、188，并利用正确的骨脆性诊断进行注释。
报告生成器32利用脆性分数190和其它信息生成报告166，报告166最终输出到以网页浏览器的形式(在该示例中)的用户界面14。
图9是由系统10的报告生成器32生成的示例性报告200。报告200包括几个登记表：受试者/患者详细信息登记表202、骨体积分率图登记表204、分数登记表206和分数图登记表208。受试者/患者详细信息登记表202通常包括传记详细信息(例如姓名、出生日期、性别和年龄)、医生姓名、数据获取日期和数据处理日期(也是报告200的日期)。
骨体积分率图登记表204包括患者桡骨体积(在该示例中)的伪色3D重建210、对应参考(通常为健康)桡骨体积的伪色3D重建212和伪色图例(key)214(注意，在图9中，颜色被复制为灰度)。伪色用于表示“骨体积分率”，即样本单位体积的矿化骨体积。报告200呈现彼此相邻的重建210、212，以便医师能够容易地评估骨丢失(在该示例中)的程度和分布。
分数登记表206包括由特征评估器28生成的分数。在该示例中，这些分数是脆性分数216、孔隙度分数218和骨小梁分数220，以百分比表示。脆性分数216表示皮质和骨小梁同时恶化的程度。孔隙度分数218表示皮质骨的孔隙度。骨小梁分数220是表示骨小梁区域的密度的分数。
可选地，这些分数216、218、220可以在相应的条带222、224、226上以图形方式呈现，分数例如被表示为滑块228、230、232。在该示例中，每个条带都标有三个值：低值和高值表示条带末端的分数，第三个值表示低风险与高风险(或正常与异常)范围之间的划分。例如，在所示的脆性分数216的条带222的示例中，这三个值分别是20％、90％和70％。在所示的孔隙度分数218的条带224的示例中，分别为20％、60％和46％；在所示的骨小梁分数220的条带226的示例中，分别为0％、10％和2％。
这三个值(低端、高端和低风险与高风险之间的划分)是根据先前数据确定的，例如，训练数据44或领域知识48中包含的数据。或者，系统10可以从一个或多个外部数据库访问一些或全部的先前数据。
可选地，条带222、224、226可以被着色或阴影化以指示低风险的区域234和高风险的区域236，以便能够立即从视觉上清楚地看到各个滑块228、230、232(以及由此得到的分数216、218、220)是否对应于与高风险或低风险受试者相关联的先前数据。在图9中，使用更密集的阴影表示高风险的区域。
因此，在分数登记表206中，报告200给出75％的脆性分数216(表示高风险)、37％的孔隙度分数(表示低风险)和1％的骨小梁分数(表示高风险)。这些分数，无论是单独的还是组合的，都构成诊断，尽管它们不能识别特定的疾病或折磨。然而，它们给用户有用的症状指示，以及这些症状有多明显。
分数图登记表208呈现脆性分数(FS(％))、孔隙度分数(PS(％))和骨小梁分数(TS(％))的图240、242和244，分别随时间T而变化。在所示示例中，时间轴划分通常为一天或两天，但是在一般情况下，每个划分将表示扫描之间的时间(这也意味着单个图中的划分可能不表示恒定的时间差)。在图9中，图240、242、244首先表示分数登记表206的分数，然后是每种情况在一系列后续咨询中获得的后续分数；图240、242、244因此使得医师可以快速评估受试者的变化，无论是自发的、对治疗的反应还是其它。
本发明领域的技术人员将理解，可以在不脱离本发明的范围的情况下进行许多修改，特别是，明显地，可以利用本发明实施方案的某些特征来形成进一步的实施方案。
应当理解，如果本文中提及任何现有技术，则该引用不构成承认现有技术构成任何国家的本领域的公知常识的一部分。
在本发明所附的权利要求和之前的描述中，除非上下文因明示语言或必要暗示而另有要求，否则词语“包括”或变型(例如“包含”、“包括有”)以包容性意义使用，也即，指定所述特征的存在，但不排除在本发明的各种实施方案中进一步特征的存在或添加。
Claims (19)
1.一种计算机实现的图像分析方法，其包括：
量化从受试者的医学图像分割和识别的一个或多个特征；
从一个或多个非图像数据源中提取与所述受试者有关的非图像数据；
从与所述受试者有关的非图像数据中提取临床相关特征；
利用经过训练的机器学习模型评估从医学图像中分割的量化特征和从非图像数据中提取的特征；以及
输出一个或多个特征评估结果。
2.根据权利要求1所述的方法，其包括：
a)接收图像并从图像中分割一个或多个特征，或者
b)接收具有从中分割的特征的图像；以及
识别从图像中分割的特征。
3.根据权利要求1或2所述的方法，其中，分割和识别通过机器学习算法训练的分割和识别模型来实现，所述机器学习算法训练的分割和识别模型配置为从图像中分割和识别特征。
4.根据权利要求3所述的方法，其中，经过训练的分割和识别模型包括深度卷积神经网络训练的模型。
5.根据前述权利要求中任一项所述的方法，其中，经过训练的机器学习模型包括
a)疾病分类模型；
b)利用从患者数据中提取的特征以及指示疾病或非疾病的标签或注释进行训练的模型；和/或
c)深度学习神经网络或其它机器学习算法。
6.根据前述权利要求中任一项所述的方法，其中，经过训练的机器学习模型是训练用于诊断和/或监测一种或多种肌肉骨骼疾病的模型。
7.根据前述权利要求中任一项所述的方法，进一步包括：i)对经过训练的机器学习模型进行训练，和/或ii)利用从新的或新分析的受试者数据中获得的附加标记数据对经过训练的机器学习模型进行更新。
8.根据前述权利要求中任一项所述的方法，其中，结果包括：i)一个或多个疾病分类；ii)一个或多个疾病概率；和/或iii)一个或多个骨折风险分数。
9.根据前述权利要求中任一项所述的方法，其中，评估包括骨脆性评估。
10.一种图像分析系统，其包括：
特征量化器，其配置为量化从受试者的医学图像分割和识别的一个或多个特征；
非图像数据处理器，其配置为从一个或多个非图像数据源中提取与所述受试者有关的非图像数据并从与所述受试者有关的非图像数据中提取临床相关特征；
特征评估器，其配置为利用经过训练的机器学习模型评估从医学图像中分割的量化特征和从非图像数据中提取的特征；以及
输出部，其配置为输出一个或多个特征评估结果。
11.根据权利要求10所述的图像分析系统，其还包括分割器和识别器，所述分割器和识别器配置为接收图像、从图像中分割一个或多个特征、以及识别从图像中分割的特征。
12.根据权利要求11所述的图像分析系统，其中，所述分割器和识别器包括机器学习算法训练的分割和识别模型，所述机器学习算法训练的分割和识别模型配置为从图像中分割和识别特征。
13.根据权利要求12所述的图像分析系统，其中，训练的分割和识别模型包括深度卷积神经网络训练的模型。
14.根据权利要求10至13中任一项所述的图像分析系统，其中，所述经过训练的机器学习模型包括：
a)疾病分类模型；
b)利用从患者数据中提取的特征以及指示疾病或非疾病的标签或注释进行训练的模型；和/或
c)深度学习神经网络或其它机器学习算法。
15.根据权利要求10至14中任一项所述的图像分析系统，其中，经过训练的机器学习模型是训练用于诊断和/或监测一种或多种肌肉骨骼疾病的模型。
16.根据权利要求10至15中任一项所述的图像分析系统，进一步包括机器学习模型训练器，其配置为利用从新的或新分析的受试者数据中获得的附加标记数据对经过训练的机器学习模型进行更新。
17.根据权利要求10至16中任一项所述的图像分析系统，其中，结果包括：i)一个或多个疾病分类；ii)一个或多个疾病概率；和/或iii)一个或多个骨折风险分数。
18.根据权利要求10至17中任一项所述的图像分析系统，其中，所述特征评估器配置为评估骨脆性。
19.一种计算机可读介质，其包括计算机程序代码，当由一个或多个计算设备执行时，所述计算机程序代码配置为实现根据权利要求1至9中的任一项所述的图像分析方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/448,460 US11087463B2 (en) | 2019-06-21 | 2019-06-21 | Image analysis method and system for assessing bone fragility |
| US16/448,460 | 2019-06-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116552A true CN112116552A (zh) | 2020-12-22 |
Family
ID=70921807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564495.6A Pending CN112116552A (zh) | 2019-06-21 | 2020-06-19 | 图像分析方法和系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US11087463B2 (zh) |
| EP (2) | EP4345744A3 (zh) |
| JP (1) | JP2021000442A (zh) |
| CN (1) | CN112116552A (zh) |
| ES (1) | ES2980813T3 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951412A (zh) * | 2021-03-11 | 2021-06-11 | 深圳大学 | 一种辅助诊断方法及其应用 |
| CN113223699A (zh) * | 2021-04-01 | 2021-08-06 | 复旦大学附属华山医院 | 构建腰椎骨量减少和骨质疏松筛查模型的方法和系统 |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
| JP7224757B2 (ja) * | 2017-10-13 | 2023-02-20 | キヤノン株式会社 | 診断支援装置、情報処理方法、診断支援システム及びプログラム |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| WO2020077117A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| US20230026440A1 (en) * | 2019-12-20 | 2023-01-26 | Basf Se | Optimized powder production |
| US20210304896A1 (en) * | 2020-03-31 | 2021-09-30 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for medical diagnosis |
| US12094114B2 (en) * | 2021-03-24 | 2024-09-17 | Ping An Technology (Shenzhen) Co., Ltd. | Method, system, and storage medium for opportunistic screening of osteoporosis using plain film chest X-ray (CXR) |
| CN115120262A (zh) * | 2021-03-24 | 2022-09-30 | 陈海冰 | 基于超声图像的识别装置 |
| US11830189B2 (en) * | 2021-04-02 | 2023-11-28 | Anode IP LLC | Systems and methods to process ultrasound images for musculoskeletal conditions |
| US20220343026A1 (en) * | 2021-04-15 | 2022-10-27 | BicDroid Inc. | System and method for protecting deep image classifiers |
| US12014807B2 (en) * | 2021-12-10 | 2024-06-18 | Merative Us L.P. | Automated report generation using artificial intelligence algorithms |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020025063A1 (en) * | 1998-08-28 | 2002-02-28 | Chunsheng Jiang | Method and system for the computerized analysis of bone mass and structure |
| US20040106868A1 (en) * | 2002-09-16 | 2004-06-03 | Siau-Way Liew | Novel imaging markers in musculoskeletal disease |
| US20180247020A1 (en) * | 2017-02-24 | 2018-08-30 | Siemens Healthcare Gmbh | Personalized Assessment of Bone Health |
| US20190027252A1 (en) * | 2016-07-12 | 2019-01-24 | Mindshare Medical, Inc. | Medical analytics system |
| US20190139641A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Healthcare Gmbh | Artificial intelligence for physiological quantification in medical imaging |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US906432A (en) | 1908-02-01 | 1908-12-08 | Charles Elmer Jackson | Reamer. |
| AU6046800A (en) | 1999-05-26 | 2000-12-12 | Health Hero Network, Inc. | Converting unstructured information into structured information |
| WO2011029153A1 (en) | 2009-09-11 | 2011-03-17 | Straxcorp Pty Ltd | Method and system for image analysis of selected tissue structures |
| WO2014070753A2 (en) | 2012-10-29 | 2014-05-08 | Health Fidelity, Inc. | Methods for processing clinical information |
| US9265441B2 (en) | 2013-07-12 | 2016-02-23 | Siemens Aktiengesellschaft | Assessment of traumatic brain injury |
| CN105530946A (zh) * | 2013-09-11 | 2016-04-27 | 南加利福尼亚大学 | 具有高度表达的fas配体的干细胞组合物 |
| US10593035B2 (en) | 2015-03-18 | 2020-03-17 | University Of South Florida | Image-based automated measurement model to predict pelvic organ prolapse |
| US10111632B2 (en) | 2017-01-31 | 2018-10-30 | Siemens Healthcare Gmbh | System and method for breast cancer detection in X-ray images |
| US11636288B2 (en) | 2017-11-06 | 2023-04-25 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
-
2019
- 2019-06-21 US US16/448,460 patent/US11087463B2/en active Active
-
2020
- 2020-05-28 EP EP24150725.0A patent/EP4345744A3/en active Pending
- 2020-05-28 ES ES20177205T patent/ES2980813T3/es active Active
- 2020-05-28 EP EP20177205.0A patent/EP3754599B1/en active Active
- 2020-06-10 JP JP2020101124A patent/JP2021000442A/ja active Pending
- 2020-06-19 CN CN202010564495.6A patent/CN112116552A/zh active Pending
-
2021
- 2021-07-08 US US17/370,455 patent/US11727562B2/en active Active
-
2023
- 2023-06-26 US US18/214,104 patent/US20230351588A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020025063A1 (en) * | 1998-08-28 | 2002-02-28 | Chunsheng Jiang | Method and system for the computerized analysis of bone mass and structure |
| JP2002523204A (ja) * | 1998-08-28 | 2002-07-30 | アーチ・デベロップメント・コーポレーション | 骨質量・構造のコンピュータ依拠分析方法および装置 |
| US20040106868A1 (en) * | 2002-09-16 | 2004-06-03 | Siau-Way Liew | Novel imaging markers in musculoskeletal disease |
| US20190027252A1 (en) * | 2016-07-12 | 2019-01-24 | Mindshare Medical, Inc. | Medical analytics system |
| US20180247020A1 (en) * | 2017-02-24 | 2018-08-30 | Siemens Healthcare Gmbh | Personalized Assessment of Bone Health |
| CN108498075A (zh) * | 2017-02-24 | 2018-09-07 | 西门子保健有限责任公司 | 骨骼健康的个性化评估 |
| US20190139641A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Healthcare Gmbh | Artificial intelligence for physiological quantification in medical imaging |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112951412A (zh) * | 2021-03-11 | 2021-06-11 | 深圳大学 | 一种辅助诊断方法及其应用 |
| CN113223699A (zh) * | 2021-04-01 | 2021-08-06 | 复旦大学附属华山医院 | 构建腰椎骨量减少和骨质疏松筛查模型的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4345744A2 (en) | 2024-04-03 |
| US20230351588A1 (en) | 2023-11-02 |
| US20210334968A1 (en) | 2021-10-28 |
| ES2980813T3 (es) | 2024-10-03 |
| US11727562B2 (en) | 2023-08-15 |
| EP3754599C0 (en) | 2024-05-22 |
| JP2021000442A (ja) | 2021-01-07 |
| US11087463B2 (en) | 2021-08-10 |
| EP3754599A1 (en) | 2020-12-23 |
| EP3754599B1 (en) | 2024-05-22 |
| EP4345744A3 (en) | 2024-06-12 |
| US20200402226A1 (en) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727562B2 (en) | System and method for diagnosing, monitoring, screening for or evaluating a musculoskeletal disease or condition | |
| US20220147757A1 (en) | Method and system for machine learning classification based on structure or material segmentation in an image | |
| Cabitza et al. | Machine learning in orthopedics: a literature review | |
| Laserson et al. | Textray: Mining clinical reports to gain a broad understanding of chest x-rays | |
| AU2023270223A1 (en) | Image Analysis Method and System | |
| Hennessey et al. | Artificial intelligence in veterinary diagnostic imaging: A literature review | |
| Nagarajan et al. | Characterizing trabecular bone structure for assessing vertebral fracture risk on volumetric quantitative computed tomography | |
| Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
| AU2019204380C1 (en) | A Method and System for Machine Learning Classification Based on Structure or Material Segmentation in an Image | |
| Wiersema | Evolution of forensic anthropological methods of identification | |
| Kang et al. | Prediction of bone mineral density in CT using deep learning with explainability | |
| Ruikar et al. | DNN-based knee OA severity prediction system: pathologically robust feature engineering approach | |
| Maya et al. | Automatic detection of brain strokes in CT images using soft computing techniques | |
| Bouzeboudja et al. | Multifractal analysis for improved osteoporosis classification | |
| Dorraki et al. | Hip osteoarthritis: A novel network analysis of subchondral trabecular bone structures | |
| Hovakimyan et al. | Artificial Intelligence Methods in Osteoporosis Prediction Problem | |
| Ramos | Analysis of medical images to support decision-making in the musculoskeletal field | |
| CN115482914B (zh) | 一种医疗影像数据处理方法，设备及存储介质 | |
| Checefsky et al. | Assessing vertebral fracture risk on volumetric quantitative computed tomography by geometric characterization of trabecular bone structure | |
| US20230096522A1 (en) | Method and system for annotation of medical images | |
| Krithika et al. | Automated Boneage Analysis Using Machine Learning | |
| Türkmen et al. | Vertebral Bone Segmentation and Detection of Non-Traumatic Vertebral Compression Fractures with CNN from Computed Tomography Images. | |
| Rodríguez Martín | Predictive modelling of femur fracture from dxa scans using radiomics and machine learning | |
| Salmanipour et al. | Prediction of sex, based on skull CT scan measurements in Iranian ethnicity by machine learning-based model | |
| Teresa | ASSESSING MUSCULOSKELETAL ABNORMALITIES WITH DEEP LEARNING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Vitoria, Australia Applicant after: Kovibem Artificial Intelligence Co.,Ltd. Address before: Australia, Vitoria Applicant before: STRAXCORP Pty Ltd. |
|
| CB02 | Change of applicant information |