CN117616452A - 具有视觉反馈的轮廓的自动局部评估 - Google Patents

具有视觉反馈的轮廓的自动局部评估 Download PDF

Info

Publication number
CN117616452A
CN117616452A CN202280046506.9A CN202280046506A CN117616452A CN 117616452 A CN117616452 A CN 117616452A CN 202280046506 A CN202280046506 A CN 202280046506A CN 117616452 A CN117616452 A CN 117616452A
Authority
CN
China
Prior art keywords
image
overlay
machine learning
learning model
contours
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046506.9A
Other languages
English (en)
Inventor
D·索基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical International Co ltd
Original Assignee
Siemens Medical International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical International Co ltd filed Critical Siemens Medical International Co ltd
Publication of CN117616452A publication Critical patent/CN117616452A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

局部评估网络结合了用作分类器的鉴别器(111a)，其可被包括在生成式对抗性网络GAN(111)内。GAN(111)可包括用于创建分割的生成式网络，诸如U‑NET。局部评估网络在包括感兴趣的器官的医学图像和分割(掩模)图像的图像对(220)上被训练。网络被训练以区分图像对(220)是否表示基准情况。GAN(111)检查鉴别器(111a)的内部层，并且评估每个局部图像区域对最终分类的贡献。鉴别器(111a)可通过分析机器学习模型的层的权重来分析对分类有贡献的图像对(220)的区域。

Description

具有视觉反馈的轮廓的自动局部评估
相关申请的交叉引用
本申请要求于2021年6月28日提交的美国专利申请第17/361,110号的优先权，该申请通过引用整体并入本文。
技术领域
本申请总体上涉及用于器官分割的局部质量保证评估的人工智能建模。
背景技术
放射疗法(基于放射的疗法)用作癌症处理以发出高剂量的放射，其可杀死细胞或缩小肿瘤。目标是在放射疗法处理期间向患者的解剖结构的靶区域递送足够的放射以杀死癌细胞。邻近或围绕靶区域的其他器官或解剖区域可采用放射束的方式，并且可接收到足以损伤或伤害这类器官的放射。在使用各种成像模式进行放射疗法之前，医师或放射肿瘤学家标识感兴趣的器官，这些器官通常包括靶区域和危及器官两者。此外，可获得患者的解剖结构的模拟图像。
对于安全有效的放射疗法处理，准确分割感兴趣的器官至关重要。手动描画靶区(target volume)和危及器官仍然是许多诊所的标准例程，尽管这是耗时的并且易于观测者内和观测者间变化。自动分割方法寻求减少描画工作量并统一器官边界限定。然而，在将自动分割部署到临床应用程序中时，有必要解决质量控制的问题。最先进的自动分割方法，诸如结合机器学习的方法，仍然可能失败。此外，现有方法不适合全自动轮廓勾画。重要的是要检测任何可能导致错误标识的关键错误。
分割质量控制的当前临床实践需要人类视觉检查，例如由放射肿瘤学家进行。自动分割算法没有向用户提供任何关于分割结果的哪些区域应该密切评估的指导。因此，为分割算法提供第二次检查的临床医生需要评估每个轮廓的每个区域。这是非常耗费资源的。这提出了对自动技术的需求，该自动技术可突显最可能需要校正的轮廓的区域供人类评估。
发明内容
根据本发明的一个方面，提供了一种根据权利要求1的方法。
根据本发明的第二方面，提供了一种根据权利要求13的方法。
根据本发明的第三方面，提供了一种根据权利要求14的系统。
从属权利要求中限定了任选特征。
由于上述原因，需要用于对感兴趣的器官的轮廓进行自动局部评估的系统和方法，以突显轮廓的问题区域供人类评估。需要对感兴趣的器官的分割进行自动评估，从而为器官分割提供置信度水平。所公开的用于质量保证的系统和方法标识对器官分割的低置信度水平有贡献的轮廓区域。所公开的系统和方法自动评估器官轮廓，以提供轮廓的局部区域的置信度水平的视觉指示。
如本文实施例所述，可在包括感兴趣的器官的医学图像和分割(掩模)图像的图像对上训练双输入机器学习神经网络分类器。这些图像对有两种类型：其中掩模图像是基准情况(ground truth)分割的图像对，以及其中掩模不同于基准情况的图像对。机器学习分类器被训练以区分图像对是表示基准情况，还是不表示基准情况。训练数据可结合两个数据集。一个数据集包括感兴趣的器官的医学图像加上基准情况分割(掩模)图像。另一个数据集包括感兴趣的器官的医学图像加上不同于基准情况的分割(掩模)图像。训练神经网络分类器来区分这两个数据集。
训练之后，当呈现医学图像/掩模对时，神经网络将医学图像/掩模对分类为是否表示基准情况。如果图像对被分类为不表示基准情况，则网络可通过分析神经网络的层的权重来确定对分类有贡献的医学图像/掩模对的局部区域。这些局部区域可被突显并报告给临床医生用于质量保证审查。
局部评估网络可结合鉴别网络，本文也称为鉴别器，其用作分类器。局部评估网络可包括生成式网络，也称为生成器。在一个实施例中，鉴别网络和生成式网络共同形成生成式对抗性网络(GAN)。在一个实施例中，生成式网络可以是被配置为生成分割的卷积神经网络(CNN)，诸如U-Net。
局部评估网络可应用GAN来确定鉴别器内部层的权重。在一个实施例中，类别激活图(CAM)可检查内部层并且评估每个局部图像区域对最终分类的贡献。所公开的实施例例如经由热图提供轮廓的局部区域的置信度水平的视觉指示。
在一个实施例中，一种方法包括由处理器执行机器学习模型，该机器学习模型接收描绘具有轮廓的器官的患者的解剖区域的第一图像和包括勾画轮廓的覆盖图的第二图像的输入，并且该机器学习模型还被配置为预测指示覆盖图匹配轮廓的可能性的第一置信度得分，其中该机器学习模型基于第三图像集和第四图像集而被训练，第三图像集描绘具有第二轮廓集的第二器官集，第四图像集包括不正确地勾画第二轮廓集的第二覆盖图集；以及由处理器呈现第一图像和第三覆盖图以在图形用户界面上显示，其中第三覆盖图内的多个局部区域具有表示多个局部区域中的相应局部区域对第一置信度得分的贡献的视觉属性。
第二图像内的覆盖图可经由第二机器学习模型生成。
第四图像集可经由第二机器学习模型预被先前生成。
该方法还可以包括基于描绘具有第三轮廓集的第三器官集的第五图像集和包括正确地勾画第三轮廓集的第四覆盖图集的第六图像集而训练机器学习模型。
第一置信度得分可指示覆盖图的多个局部区域正确地勾画轮廓的局部区域的可能性。第一置信度得分可指示覆盖图与解剖图像之间的关系类似于训练数据中被标记为正确的那些关系的可能性。
可通过将GAN应用于来自第三图像集和第四图像集的训练数据来训练机器学习模型。
可通过应用GAN来训练机器学习模型以确定鉴别器内部层的权重。
鉴别器可基于来自第三图像集和第四图像集的训练数据而生成CAM以确定导致降低的置信度得分的图像区域。
相应局部区域对第一置信度得分的贡献可对应于机器学习模型的层的权重。
视觉属性可对应于空间热图的颜色编码。
可经由监督训练协议来训练机器学习模型。
机器学习模型可以是具有匹配类别和不匹配类别的二元分类器。
第一图像可以是计算机断层摄影(CT)图像、磁共振成像(MRI)图像或正电子发射断层摄影(PET)扫描图像。
在一个实施例中，一种系统包括服务器，该服务器包括处理器和包含有指令的非暂时性计算机可读介质，该指令在由处理器执行时使得处理器执行操作，该操作包括：执行机器学习模型，该机器学习模型接收描绘具有轮廓的器官的患者的解剖区域的第一图像和包括勾画轮廓的覆盖图的第二图像的输入，并且该机器学习模型还被配置为预测指示覆盖图匹配轮廓的可能性的第一置信度得分，其中该机器学习模型基于第三图像集和第四图像集而被训练，第三图像集描绘具有第二轮廓集的第二器官集，第四图像集包括不正确地勾画第二轮廓集的第二覆盖图集；以及呈现第一图像和第三覆盖图以在图形用户界面上显示，其中第三覆盖图内的多个局部区域具有表示多个局部区域中的相应局部区域对第一置信度得分的贡献的视觉属性。
当由处理器执行时，该指令可使得处理器通过将GAN应用于来自第三图像集和第四图像集的训练数据来训练机器学习模型。
可通过应用GAN来训练机器学习模型以确定鉴别器内部层的权重。
鉴别器可基于来自第三图像集和第四图像集的训练数据而生成CAM以确定导致降低的置信度得分的图像区域。
CAM可包括梯度加权类别激活图(Grad-CAM)。
视觉属性可对应于空间热图的颜色编码。
机器学习模型还可以基于描绘具有第三轮廓集的第三器官集的第五图像集和包括正确地勾画第三轮廓集的第四覆盖图集的第六图像集而被训练。
附图说明
本公开的非限制性实施例通过示例的方式参照附图进行描述，附图是示意性的且不旨在按比例绘制。除非指示为表示背景技术，否则附图表示本公开的各方面。
图1图示了根据一个实施例的轮廓的自动局部评估系统的组件。
图2图示了根据一个实施例的局部评估网络。
图3图示了根据一个实施例的运行经训练的对抗性网络鉴别器以创建局部评估可视化的结果。
图4图示了根据一个实施例的轮廓的自动局部评估过程的流程图。
具体实施方式
现在将参考附图中描绘的说明性实施例，并且在本文将使用特定语言来描述这些实施例。然而，应理解，这并不意指限制权利要求或本公开的范围。相关领域的技术人员和拥有本公开的人将会想到的对本文所图示的发明特征的变更和另外修改，以及本文所图示的主题的原理的附加应用，将被认为在本文所公开的主题的范围内。在不脱离本公开的精神或范围的情况下，可使用其他实施例和/或可做出其他改变。详细描述中描述的说明性实施例并不意指限制所呈现的主题。
当需要医学成像来观察内部器官或内部器官集时，可利用若干个系统，诸如X射线、计算机断层扫描(CT)、锥形束CT图像(CBCT)、四维CT图像(例如，随时间变化的CT图像)、磁共振成像(MRI)图像、正电子发射断层扫描(PET)图像、超声波图像和/或其组合。医学图像可以是二维的或三维的(立体的)。二维医学图像可以是三维体积的横截面“切片”。
包含有患病或异常组织或器官的感兴趣的(多个)结构的三维重建的一个目的是准备三维放射疗法处理计划。为了验证放射处理规程被正确应用，实施质量保证协议以验证所开发的处理计划是准确的。
放射疗法处理计划在医学规程期间使用，该医学规程选择性地将身体的精确区域(诸如癌性肿瘤)暴露于特定剂量的放射，以破坏不期望的组织。可以准备初始处理计划，其限定人体中要处理的区域，诸如癌组织、异常细胞、病变和器官，称为临床靶区(CTV)。称为规划靶区(PTV)的另一区允许规划或处理递送的不确定性，以确保放射疗法剂量实际递送到CTV。放射疗法处理规划一般考虑CTV附近的关键正常组织结构，称为危及器官(OAR)。目标是向PTV递送足够的放射以在放射疗法处理期间杀死癌细胞。邻近或围绕PTV的OAR可采用放射束的方式，并且可接收到足以损伤或伤害这类器官或解剖区域的放射。通常地，医师或放射肿瘤学家在进行放射疗法之前使用合适的成像模态标识PTV和OAR两者。此外，医师或放射肿瘤学家可标识病变，例如器官或组织中因损伤或疾病而受到损伤的区域。此外，可获得患者的解剖结构的模拟图像。PTV、OAR、病变和医师或放射肿瘤学家在规划放射疗法时感兴趣的其他器官或解剖区域在本文中被称为感兴趣的器官。
对于安全且有效的放射疗法处理，准确分割感兴趣的器官可能至关重要。手动分割方法需要大量的专家时间，而自动分割方法可以被部署以减少描画工作量。在临床应用中勾画感兴趣的器官的轮廓时，有必要解决质量控制的问题。最先进的自动分割方法，诸如结合机器学习的方法，仍然可能失败。自动分割算法通常没有为用户提供任何关于分割结果的哪些区域应该密切评估的指导。为分割算法提供第二次检查的临床医生需要评估每个轮廓的每个区域，这非常耗费资源。
本文所公开的实施例整合了感兴趣的器官的轮廓的自动局部评估，以突显轮廓的问题区域供人类评估。感兴趣的器官分割的自动评估可以为器官分割提供置信度水平。用于质量保证的系统和方法标识对器官分割的低置信度水平有贡献的轮廓区域。本文所公开的实施例自动评估轮廓，并且提供轮廓的局部区域的置信度水平的视觉指示。
图1图示了根据一个实施例的轮廓的自动局部评估系统100的组件。系统100可包括分析服务器110、系统数据库110b、机器学习模型111a、111b、电子数据源120a-d(统称为电子数据源120)、终端用户设备140a-c(统称为终端用户设备140)、管理员计算设备150和具有医学设备计算机162的医学设备160。图1中描绘的各种组件可属于放射疗法诊所，在该诊所，患者可接收放射疗法处理，在一些情况下，经由位于诊所内的一个或多个放射疗法机器(例如，医学设备160)。上述组件可通过网络130彼此连接。网络130的示例可包括但不限于私有或公共LAN、WLAN、MAN、WAN和因特网。网络130可包括根据一个或多个标准和/或经由一个或多个运输介质的有线和/或无线通信。
系统100不限于本文所描述的组件，并且可包括附加的或其他的组件(为了简洁未示出)，这些组件被视为在本文所描述的实施例的范围内。
可以根据诸如传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)和IEEE通信协议等各种通信协议来执行网络130上的通信。在一个示例中，网络130可以包括根据蓝牙规范集或另一标准或专有无线通信协议的无线通信。在另一示例中，网络130还可以包括通过蜂窝网络的通信，包括例如GSM(全球移动通信系统)、CDMA(码分多址)、EDGE(全球演进增强型数据)网络。
分析服务器110可生成并显示电子平台，该电子平台被配置为使用各种计算机模型111(包括人工智能和/或机器学习模型，诸如鉴别器111a和生成器111b)进行轮廓的自动局部评估。电子平台可显示一个或多个医学图像，诸如感兴趣的患者器官的图像和这些器官的轮廓的图像。在患者处理计划的推断阶段，电子平台可显示置信度得分，该置信度得分指示包含当前患者的感兴趣的器官或其他靶区的轮廓的医学图像的准确性。根据所确定的置信度得分，该平台可显示医学图像中包含对否定分类有贡献的感兴趣的器官的轮廓的区域。这些区域可以被突显并报告以供质量保证审查。所公开的实施例可以例如经由热图提供轮廓的局部区域的置信度水平的视觉指示。
电子平台可包括显示在每个电子数据源120、终端用户设备140和/或管理员计算设备150上的图形用户界面(GUI)。由分析服务器110生成和托管的电子平台的示例可以是基于web的应用程序或被配置为显示在诸如移动设备、平板计算机、个人计算机和类似项的不同电子设备上的网站。
在非限制性示例中，操作医学专业设备120b、140c的医师或放射肿瘤学家可以访问平台，审查置信度得分和医学图像，并且在适当情况下可启动手动质量保证审查。医师或放射肿瘤学家可审查突显感兴趣的器官的有问题区域的结果，这些区域导致器官轮廓的低置信度得分。医师或放射肿瘤学家可视觉检查显示轮廓的局部区域的置信度水平的空间模式的热图或其他数据可视化。因此，医学专业设备(例如，医学专业设备140c)可被用作显示由分析服务器110预测的结果的设备，并且在一些情况下还可用作电子数据源(例如，电子数据源120b)以训练机器学习模型111。
分析服务器110可托管操作本文所描述的任何电子设备的用户(例如，终端用户、医学专业人员)可访问的网站，其中可基于每个特定用户的角色或查看许可来控制经由各种网页呈现的内容。分析服务器110可以是包括处理器和能够执行本文所描述的各种任务和过程的非暂时性机器可读存储装置的任何计算设备。分析服务器110可采用各种处理器，诸如中央处理单元(CPU)和图形处理单元(GPU)等。这类计算设备的非限制性示例可包括工作站计算机、膝上型计算机、服务器计算机和类似项。虽然系统100包括单个分析服务器110，但是分析服务器110可包括在诸如云环境的分布式计算环境中操作的任何数目的计算设备。
分析服务器110可以执行被配置为显示电子平台(例如，托管网站)的软件应用，该电子平台可生成并向每个电子数据源120和/或终端用户设备140提供各种网页。不同的用户可使用网站来查看所显示的内容和/或与所显示的内容进行交互。
分析服务器110可被配置为基于用户授权凭证集(例如，用户名、密码、生物测定学、加密证书和类似项)要求用户认证。分析服务器110可以访问被配置为存储用户凭证的系统数据库110b，分析服务器110可被配置为参考该系统数据库110b以便确定输入的凭证集(据称认证用户)是否匹配标识和认证用户的适当凭证集。
分析服务器110可基于系统100内的特定用户的角色而生成和托管网页。在这类实施方式中，用户的角色可由存储在系统数据库110b中的用户记录中的数据字段和输入字段来限定。分析服务器110可认证用户，并且可通过执行访问目录协议(例如，LDAP)来标识用户的角色。分析服务器110可生成根据由系统数据库110b中的用户记录限定的用户角色定制的网页内容。
分析服务器110可以从用户接收医学图像或从数据储存库检索这类数据，分析数据并在电子平台上显示结果。比如，在非限制性示例中，分析服务器110可从数据库120d查询和检索医学图像，并且将医学图像与从操作医学专业设备120b的医师接收的片段数据相结合。附加地或备选地，分析服务器110可以自动分割医学图像或对从医学设备160捕获的医学图像执行其他预处理步骤。
分析服务器110可执行各种机器学习模型111(例如，鉴别器111a和生成器111b)以分析所检索的数据。分析服务器110然后可经由管理员计算设备150和/或终端用户设备140上的电子平台显示结果。
电子数据源120可以表示包含、检索和/或输入与包括患者数据和处理数据的患者处理计划相关联的数据的各种电子数据源。比如，分析服务器110可使用诊所计算机120a、医学专业设备120b、服务器120c(与医师和/或诊所相关联)和数据库120d(与医师和/或诊所相关联)来检索/接收与患者的处理计划相关联的数据。
终端用户设备140可以是包括处理器和能够执行本文所描述的各种任务和过程的非暂时性机器可读存储介质的任何计算设备。终端用户设备140的非限制性示例可以是工作站计算机、膝上型计算机、平板计算机和服务器计算机。在操作中，各种用户可以使用终端用户设备140来访问由分析服务器110在操作上管理的GUI。具体地，终端用户设备140可包括诊所计算机140a、诊所服务器140b和医学处理设备140c。即使在本文被称为“终端用户”设备，这些设备也不总是由终端用户操作。比如，诊所服务器140b可以不由终端用户直接使用。然而，存储在诊所服务器140b上的结果可用于填充由终端用户经由医学专业设备140c访问的各种GUI。
管理员计算设备150可表示由系统管理员操作的计算设备。管理员计算设备150可被配置为显示由分析服务器110生成的放射疗法处理属性(例如，在一个或多个机器学习模型和/或系统的训练期间确定的各种分析度量)；监测由分析服务器110、电子数据源120和/或终端用户设备140使用的各种模型111；审查反馈；和/或促进由分析服务器110维护的机器学习模型111的训练或再训练(校准)。
医学设备160可以是被配置为实施患者的放射疗法处理的放射疗法机器。医学设备160还可包括能够发出放射的成像设备，使得医学设备160可根据各种方法执行成像以准确地对患者的内部结构成像。例如，医学设备160可包括旋转系统(例如，静态或旋转的多视图系统)。多视图系统的非限制性示例可包括立体系统(例如，两个系统可以被正交地布置)。医学设备160还可以与医学设备计算机162通信，医学设备计算机162被配置为显示本文所论述的各种GUI。例如，分析服务器110可将由机器学习模型111a、111b预测的结果显示在医学设备计算机162上。
在操作中，医师或其他医学专业人员可以访问在医学专业人员设备120b上执行的应用，并且输入患者数据和患者的处理数据(例如，患者信息、患者诊断、放射疗法放射要求和/或阈值)。分析服务器110然后可以使用患者标识符从电子数据源120查询患者数据(例如，患者的解剖结构和/或医学图像)。分析服务器然后可以标识与患者相关联的诊所(例如，执行处理的诊所)并检索与处理模板和诊所规则相关联的一个或多个文件。分析服务器110然后可以利用本文所描述的系统和方法来生成与轮廓的自动局部评估有关的数据。
放射疗法诊所的医学专业人员可以访问位于诊所的终端用户设备140或访问与诊所相关联的帐户。医学专家可在用户界面处提供输入，该输入使得终端用户设备140传送访问与诊所和/或位于诊所内的放射疗法机器相关联的机器学习模型111的请求。该请求可包括与机器学习模型111、诊所、由一个或多个医学专业人员生成的处理计划、和/或放射疗法机器集相关联的标识符，分析服务器110可以使用该标识符作为查找表中的关键字来标识机器学习模型111。分析服务器110可以接收请求，并且在一些情况下，在认证用户之后，经由标识符标识机器学习模型111。分析服务器110可以将所标识的机器学习模型111传送到终端用户设备140，或者发送指示终端用户设备被授权访问模型111的警报。在接收或访问机器学习模型111时，终端用户设备140可执行本文所描述的系统和方法来训练或再训练机器学习模型111以预测轮廓的自动化局部评估。
分析服务器110可以存储机器学习模型111(例如，神经网络、随机森林、支持向量机或其他深度学习模型，包括组合在GAN 111中的鉴别器111a和生成器111b)，其被训练以预测由医学图像的各种像素或体素表示的解剖结构。各种机器学习技术可以涉及“训练”机器学习模型以预测(例如，估计可能性)与特定解剖结构相关联的医学图像的每个像素或体素或者以其他方式表示特定解剖结构。
机器学习模型111可以存储在系统数据库110b中，并且可以对应于各体的放射疗法诊所或以其他方式不同的放射疗法机器集(例如，位于个体的放射疗法诊所、位于不同地理区域、处理特定类型的疾病(诸如不同类型的癌症)、处理特定性别等的放射疗法机器)。例如，机器学习模型111可与指示放射疗法诊所、放射疗法机器集或特定疾病的标识符相关联。
在各种实施例中，机器学习模型111使用一个或多个深度学习引擎来执行用于放射疗法处理计划的图像数据的自动分割。尽管使用深度卷积神经网络进行了示例，但是应理解，任何备选和/或附加的(多个)深度学习模型均可用于实施深度学习引擎。深度学习引擎包括在训练阶段被训练的处理路径。一旦被训练，就可使用深度学习引擎(例如，由临床医生)来在推断阶段期间对当前患者执行自动分割。
一种深度学习引擎是卷积神经网络(CNN)。CNN是神经网络的分支，并且由层的堆叠组成，每个层执行特定的操作，例如卷积、合并、损耗计算等。每个中间层接收前一层的输出作为其输入。开始层是输入层，其直接连接到输入图像，并且可以具有与输入图像中的像素数目相等的神经元数目。下一层集是卷积层，其呈现将一定数目的滤波器与输入数据卷积的结果，并且作为特征提取器执行。通常地称为内核的滤波器具有由设计者根据内核大小限定的任意大小。每个神经元只对前一层的特定区域做出反应，称为感受域。每个卷积层的输出被视为激活图(activation map)，其突显了在输入上应用特定滤波器的效果。卷积层之后可以是激活层以将非线性应用于每层的输出。下一层可以是帮助减小卷积输出的维数的合并层。在各种实施方式中，高级抽象由完全连接的层提取。神经连接和内核的权重可以在训练阶段被连续优化。
实际上，训练数据可以是通过观察和经验由用户生成的，以促进监督学习。例如，可从为先前患者开发的过去处理计划中提取训练数据。训练数据可经由任何合适的数据扩充方法(例如，旋转、翻转、平移、缩放、噪声添加、裁剪、其任意组合等)而被预处理，以产生具有修改特性的新数据集，以使用基准情况来改进模型泛化。
如图1所示，用于感兴趣的器官轮廓的自动局部评估的模型111结合了在GAN 111中组合的鉴别器111a和生成器111b。生成器111b可以是被配置为生成分割的CNN，诸如U-NET。GAN 111是用作分类器的对抗性网络。U-NET 111b在模型训练期间生成分割，并且GAN鉴别器111a评估这些分割。模型111可应用GAN来确定鉴别器111a的内部层的权重。GAN 111利用基于通过鉴别器的间接训练的无监督机器学习，鉴别器本身可动态地更新。对抗性网络111的训练可基于相似的器官或者基于经由不同机器学习模型的图像分割。
模型111的输入包括图像对集，每个图像对包括医学图像，诸如CT扫描和分割或轮廓。图像对可以体现CT扫描与从CT扫描创建的掩模或分割的正确关联。备选地，图像对可体现CT扫描与假的或不正确的掩模的关联。GAN鉴别器111a评估图像对以确定哪些图像对是正确匹配的(例如，具有足够高的置信度得分)，以及哪些图像对是不正确匹配的。模型输出可以包括指示图像对匹配的可能性的置信度得分，并且可以包括二元分类(例如，匹配或不匹配)。
图2的流程图示出了局部评估网络200。局部评估网络200包括鉴别器，其用作分类器。局部评估网络还包括生成式网络或生成器。在一个实施例中，鉴别器和生成器共同形成生成式对抗性网络(GAN)。局部评估网络200可应用GAN来确定鉴别器的内部层的权重。在一个实施例中，生成式网络可以是被配置为创建分割的CNN，诸如U-Net。
网络200接收图像对220作为输入。图像对包括左边的医学图像(CT 224)和右边的分割或轮廓(掩模228)。在一个实施例中，临床医生已经在掩模228中描画了大脑。掩模228可通过自动分割而产生，或者可由诸如放射治疗师或医学放射剂量师的人类而产生。图像对220可体现CT 224与从CT扫描创建的掩模228的正确关联。这种类型的图像对可在监督训练协议的训练数据中被标记为正确的(CORRECT)。备选地，图像对220可体现CT 224与假的或不正确的掩模228的关联。这种类型的图像对在监督训练协议的训练数据中可能被标记为不正确(INCORRECT)。例如，可以从不同于与CT 224正确关联的掩模的一系列分割中选择不正确的掩模。
输入层236连结CT图像输入232和掩模图像输入，也称为目标图像234。这导致针对每个卷积层的N×N×2空间局部模式，包括针对每个像素的两个值。网络的一系列ResNet块244…248中的每一个均对应于给定的卷积层。使用残差块244…248，除了将层激活馈送到下一层之外，激活图还被快速转发到卷积神经网络中的更深层。每一层可馈入下一层，并且可直接馈入约2-3跳之外的层。ResNet允许具有大量层的神经网络被更容易地训练。
每个卷积层提取图像的一小部分，并且对其应用卷积滤波器，以便提取图像的特征。ResNet块层244…248将卷积滤波器应用于图像，以将图像抽象成特征图，也称为激活图。每个滤波器可跨整个视野重复。这些复制的单元共享相同的参数化(权重向量和偏差)并形成激活图。卷积滤波器标识图像中存在的特征，诸如边缘、竖直线、水平线和/或弯曲等。给定的卷积滤波器可对应于给定的空间模式，诸如寻找水平线的滤波器或寻找竖直线的滤波器。卷积滤波器具有可学习的参数。层的权重是通过将卷积滤波器应用于该层而确定的值。
就在最终输出层之前，CNN执行全局平均合并260。如此获得的特征被馈送到产生期望输出的密集层270。密集层270是完全连接的层，其中该层中的所有神经元均连接到下一层中的神经元。在局部评估网络200中，密集层270输出表示二元分类的单个数字，匹配280或不匹配290。Dense 270可以输出置信度得分S，例如0与1之间的值，如果S>0.5，则该值可将图像对220分类为匹配280，并且如果S≤0.5，则可将图像对220分类为不匹配290。
相应局部区域的置信度得分可对应于机器学习模型的层的权重。模型层的权重表示对最终置信度得分的贡献。例如，层的权重可指示对不匹配290的二元分类做出主要贡献的图像区域。这些区域可表示低置信度分割的质量保证审查的最高优先级。
在所公开的实施例中，网络200应用类别激活图(CAM)作为可视化技术。特定目标种类的CAM指示CNN用来标识种类的鉴别区域。在一个实施例中，CAM在得到最终结果之前查看中间层。CAM检查每一层并评估每个子图像或图像区域对二元分类280、290的贡献。鉴别器可基于来自第三图像集和第四图像集的训练数据而生成CAM以确定导致降低的置信度得分的图像区域。
所公开的实施例可应用各种技术对激活图中捕获的图像的局部特征进行可视化。可视化技术可生成热图。在所公开的实施例中，热图，在本文中也称为空间热图，采用诸如强度或色调的颜色变化来提供关于目标现象如何随空间变化的明显视觉提示。空间热图可由用于可视化空间数据的软件程序创建。
在一个实施例中，局部评估网络200应用梯度加权类别激活映射(Grad-CAM)来提供图像的局部特征的视觉解释。Grad-CAM描述于Ramprasaath R.Selvaraju、MichaelCogswell、Abhishek Das、Ramakrishna Vedantam、Devi Parikh、Dhruv Batra；“Grad-CAM：Visual Explanations from Deep Networks via Gradient-based Localization”，2017年IEEE计算机视觉国际会议(IEEE International Conference on Computer Vision)中。Grad-CAM使用进入最终卷积层的目标概念的梯度来产生粗略的局部图。Grad-CAM突显图像中的重要区域以预测目标概念。Grad-CAM创建了一个高分辨率的类别鉴别可视化。所公开的实施例应用Grad-CAM来理解局部图像特征如何影响图像的总体置信度得分。在一个实施例中，Grad-CAM计算粗略的Grad-CAM局部化以生成热图。热图可显示不同局部区域对置信度得分的相对贡献。
图3图示了在推断时间运行图2的经训练的对抗性网络鉴别器以生成一系列医学图像/掩模对310、320、330和340的结果。对抗性网络鉴别器的训练数据输入了来自以下参考文献的四幅医学图像：Martin Vallières、Emily Kay-Rivest、Léo Jean Perrin、XavierLiem、Christophe Furstoss、Nader Khaouam、Phuc Félix Nguyen-Tan、Chang-Shu Wang、Khalil Sultanem，“Data from Head-Neck-PET-CT”，《癌症成像档案(The Cancer ImagingArchive)》，doi:10.7937/K9/TCIA.2017.8oje5q00(2017)。
在每个医学图像/掩模对中，主黑白图像显示大脑的CT切片。绿线312、322、332和342中的每一条均勾画出颅骨内部的轮廓，并且表示基准情况分割。例如，基准情况分割可由人类来描画，或者可以是由人类审查评估为正确的自动分割。黑线314、324、334和344中的每一条均勾画出颅骨内部的轮廓，并且表示不正确的分割。
经训练的对抗性网络生成提供CAM可视化的热图316、326、336和346。每个颜色清洗包括热图，该热图具有表示在CAM中捕获的机器学习模型的层的权重的色调的空间图案。机器学习模型的层的权重可对应于分割的局部区域对总体置信度得分的贡献。如颜色梯度条350中所示，对应于黄色和绿色色调的较高值表示更可能不正确的层区域。对应于蓝色和紫色色调的较低值表示更有可能是正确的层区域。黄色和绿色区域对负总体置信度得分的贡献最大。
图4图示了由分析服务器执行的过程的流程图。在步骤402中，分析服务器执行机器学习模型，该机器学习模型接收描绘器官的患者的解剖区域的第一图像的输入。第二图像包括勾画出解剖区域轮廓的覆盖图。机器学习模型被配置为预测第一置信度得分，该第一置信度得分指示覆盖图正确地勾画轮廓的可能性。机器学习模型基于描绘具有第二轮廓集的第二器官集的第三图像集和包括不正确地勾画第二轮廓集的第二覆盖图集的第四图像集而被训练。
在步骤402的各种实施例中，机器学习模型还基于描绘具有第三轮廓集的第三器官集的第五图像集和包括正确地勾画第三轮廓集的第四覆盖图集的第六图像集而被训练。
在步骤404中，分析服务器呈现第一图像和第三覆盖图，以在图形用户界面上显示。第三覆盖图内的多个局部区域具有表示多个局部区域的相应局部区域对第一置信度得分的贡献的视觉属性。
结合本文所公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性的组件、块、模块、电路和步骤已经在上面一般地按照它们的功能性进行了描述。这类功能性是被实施为硬件还是软件取决于特定应用程序和施加于整个系统的设计约束。所属领域的技术人员可针对每个特定应用程序以不同方式实施所描述的功能性，但是这类实施方式决策不应被解释为使得脱离本公开或权利要求书的范围。
以计算机软件实施的实施例可按软件、固件、中间件、微代码、硬件描述语言或其任意组合来实施。代码片段或机器可执行指令可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类别、或指令、数据结构或程序语句的任意组合。代码片段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码片段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或传送。
用于实施这些系统和方法的实际软件代码或专用控制硬件不限制所要求保护的特征或本发明。因此，在不参考特定软件代码的情况下描述了系统和方法的操作和行为，应理解，软件和控制硬件可被设计为基于本文中的描述来实施系统和方法。
当以软件实施时，功能可作为一个或多个指令或代码存储在非暂时性计算机可读或处理器可读存储介质上。本文所公开的方法或算法的步骤可以体现在处理器可执行软件模块中，该处理器可执行软件模块可驻留于计算机可读或处理器可读存储介质上。非暂时性计算机可读介质或处理器可读介质包括促进将计算机程序从一个地方转移到另一个地方的计算机存储介质和有形存储介质。非暂时性处理器可读存储介质可以是可以由计算机访问的任何可用介质。作为示例而非限制，这类非暂时性处理器可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储设备，或可以用于以指令或数据结构的形式存储期望程序代码并可以由计算机或处理器访问的任何其他有形存储介质。本文所使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。另外，方法或算法的操作可作为代码和/或指令的一个或任意组合或集驻留在非暂时性处理器可读介质和/或计算机可读介质上，该非暂时性处理器可读介质和/或计算机可读介质可并入计算机程序产品中。
提供对所公开实施例的先前描述以使所属领域的技术人员能够制作或使用本文中所描述的实施例及其变化形式。所属领域的技术人员将容易明白对这些实施例的各种修改，并且本文所界定的原理可在不脱离本文所公开的标的物的精神或范围的情况下应用于其他实施例。因此，本公开不旨在限于本文所示的实施例，而是与符合以下权利要求以及本文所公开的原理和新颖特征的最宽范围一致。
虽然已经公开了各个方面和实施例，但是可设想其他方面和实施例。所公开的各个方面和实施例是出于说明的目的，而不旨在进行限制，其真实范围和精神由所附权利要求指示。

Claims (20)

1.一种方法，包括：
由处理器执行机器学习模型，所述机器学习模型接收描绘具有轮廓的器官的患者的解剖区域的第一图像和包括勾画所述轮廓的覆盖图的第二图像的输入，并且所述机器学习模型还被配置为预测指示所述覆盖图正确地勾画所述轮廓的可能性的第一置信度得分，
其中所述机器学习模型基于第三图像集和第四图像集而被训练，所述第三图像集描绘具有第二轮廓集的第二器官集，所述第四图像集包括不正确地勾画所述第二轮廓集的第二覆盖图集；以及
由所述处理器呈现所述第一图像和第三覆盖图以在图形用户界面显示，其中所述第三覆盖图内的多个局部区域具有表示所述多个局部区域中的相应局部区域对所述第一置信度得分的贡献的视觉属性。
2.根据权利要求1所述的方法，其中包括所述第二覆盖图集的所述第四图像集经由第二机器学习模型生成。
3.根据权利要求2所述的方法，其中包括所述第二覆盖图集的所述第四图像集经由所述第二机器学习模型被先前生成。
4.根据前述权利要求中任一项所述的方法，其中所述机器学习模型还基于第五图像集和第六图像集而被训练，所述第五图像集描绘具有第三轮廓集的第三器官集，所述第六图像集包括正确地勾画所述第三轮廓集的第四覆盖图集。
5.根据前述权利要求中任一项所述的方法，其中所述第一置信度得分指示所述覆盖图的所述多个局部区域正确地勾画所述轮廓的局部区域的可能性。
6.根据前述权利要求中任一项所述的方法，其中通过将生成式对抗性网络(GAN)应用于来自所述第三图像集和所述第四图像集的训练数据，来训练所述机器学习模型。
7.根据权利要求6所述的方法，其中所述机器学习模型被配置为应用所述GAN来确定鉴别器的内部层的权重。
8.根据权利要求7所述的方法，其中所述鉴别器基于来自所述第三图像集和所述第四图像集的训练数据而生成类别激活图(CAM)，以确定导致降低的置信度得分的图像区域。
9.根据前述权利要求中任一项所述的方法，其中所述相应局部区域对所述第一置信度得分的所述贡献对应于所述机器学习模型的层的权重。
10.根据前述权利要求中任一项所述的方法，其中所述视觉属性对应于空间热图的颜色编码。
11.根据前述权利要求中任一项所述的方法，其中所述机器学习模型是具有匹配类别和不匹配类别的二元分类器。
12.根据前述权利要求中任一项所述的方法，其中所述第一图像是计算机断层摄影(CT)图像、磁共振成像(MRI)图像或正电子发射断层摄影(PET)扫描图像。
13.一种方法，包括：
由处理器执行机器学习模型，所述机器学习模型接收描绘具有轮廓的器官的患者的解剖区域的第一图像和包括勾画所述轮廓的覆盖图的第二图像的输入，并且所述机器学习模型还被配置为预测指示所述覆盖图正确地勾画所述轮廓的可能性的第一置信度得分，
其中所述机器学习模型基于第三图像集和第四图像集而被训练，所述第三图像集描绘具有第二轮廓集的第二器官集，所述第四图像集包括不正确地勾画所述第二轮廓集的第二覆盖图集，其中所述机器学习模型还基于第五图像集和第六图像集而被训练，所述第五图像集描绘具有第三轮廓集的第三器官集，所述第六图像集包括正确地勾画所述第三轮廓集的第四覆盖图集；以及
由所述处理器呈现所述第一图像和第三覆盖图以在图形用户界面上显示，其中所述第三覆盖图内的多个局部区域具有表示所述多个局部区域中的相应局部区域对所述第一置信度得分的贡献的视觉属性。
14.一种系统，包括：
服务器，包括处理器和包含指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时使得所述处理器执行操作，所述操作包括：
执行机器学习模型，所述机器学习模型接收描绘具有轮廓的器官的患者的解剖区域的第一图像和包括勾画所述轮廓的覆盖图的第二图像的输入，并且所述机器学习模型还被配置为预测指示所述覆盖图正确地勾画所述轮廓的可能性的第一置信度得分，其中所述机器学习模型基于第三图像集和第四图像集而被训练，所述第三图像集描绘具有第二轮廓集的第二器官集，所述第四图像集包括不正确地勾画所述第二轮廓集的第二覆盖图集；以及
呈现所述第一图像和第三覆盖图以在图形用户界面上显示，其中所述第三覆盖图内的多个局部区域具有表示所述多个局部区域中的相应局部区域对所述第一置信度得分的贡献的视觉属性。
15.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质包含指令，所述指令在由所述处理器执行时使得所述处理器通过将生成式对抗性网络(GAN)应用于来自所述第三图像集和所述第四图像集的训练数据，来训练所述机器学习模型。
16.根据权利要求15所述的系统，其中所述机器学习模型被配置为应用所述GAN来确定鉴别器的内部层的权重。
17.根据权利要求16所述的系统，其中所述鉴别器基于来自所述第三图像集和所述第四图像集的训练数据而生成类别激活图(CAM)，以确定导致降低的置信度得分的图像区域。
18.根据权利要求17所述的系统，其中所述CAM包括梯度加权类别激活图(Grad-CAM)。
19.根据权利要求14至权利要求18中任一项所述的系统，其中所述视觉属性对应于空间热图的颜色编码。
20.根据权利要求14至权利要求19中任一项所述的系统，其中所述机器学习模型还基于第五图像集和第六图像集而被训练，所述第五图像集描绘具有第三轮廓集的第三器官集，所述第六图像集包括正确地勾画所述第三轮廓集的第四覆盖图集。
CN202280046506.9A 2021-06-28 2022-06-21 具有视觉反馈的轮廓的自动局部评估 Pending CN117616452A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/361,110 US20220414402A1 (en) 2021-06-28 2021-06-28 Automatic localized evaluation of contours with visual feedback
US17/361,110 2021-06-28
PCT/US2022/034253 WO2023278196A1 (en) 2021-06-28 2022-06-21 Automatic localized evaluation of contours with visual feedback

Publications (1)

Publication Number Publication Date
CN117616452A true CN117616452A (zh) 2024-02-27

Family

ID=82558032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046506.9A Pending CN117616452A (zh) 2021-06-28 2022-06-21 具有视觉反馈的轮廓的自动局部评估

Country Status (4)

Country Link
US (1) US20220414402A1 (zh)
EP (1) EP4364087A1 (zh)
CN (1) CN117616452A (zh)
WO (1) WO2023278196A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041202A1 (en) * 2017-08-30 2019-03-07 Vita-Course Technologies Co., Ltd. SYSTEM AND METHOD FOR USER IDENTIFICATION
EP3826544B1 (en) * 2018-07-26 2024-06-05 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
US11282208B2 (en) * 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
WO2020194662A1 (ja) * 2019-03-28 2020-10-01 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法
US11049044B1 (en) * 2020-07-07 2021-06-29 Blackshark.Ai Gmbh Visual image annotation utilizing machine learning for in-time feedback
US11282291B1 (en) * 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
JP2023156101A (ja) * 2022-04-12 2023-10-24 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム

Also Published As

Publication number Publication date
US20220414402A1 (en) 2022-12-29
EP4364087A1 (en) 2024-05-08
WO2023278196A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
Dong et al. Automatic multiorgan segmentation in thorax CT images using U‐net‐GAN
Rhee et al. Automatic detection of contouring errors using convolutional neural networks
US11735309B2 (en) Method and system for automated quality assurance in radiation therapy
Kieselmann et al. Cross‐modality deep learning: contouring of MRI data from annotated CT data only
US20230310890A1 (en) Artificial intelligence modeling for radiation therapy dose distribution analysis
CN117098578A (zh) 用于放射疗法剂量分布分析的人工智能建模
Li et al. BrainK for structural image processing: creating electrical models of the human head
US20230097224A1 (en) Ai-based atlas mapping slice localizer for deep learning autosegmentation
US20220414402A1 (en) Automatic localized evaluation of contours with visual feedback
Schreibmann et al. Automated population‐based planning for whole brain radiation therapy
CN117561577A (zh) 人工智能建模以建议场几何模板
US20220414867A1 (en) Classification of organ of interest shapes for autosegmentation quality assurance
EP4372684A1 (en) Patient-specific auto-segmentation in online adaptive radiotherapy
US20240157172A1 (en) Heterogeneous radiotherapy dose prediction using generative artificial intelligence
Wynne et al. Rapid unpaired CBCT‐based synthetic CT for CBCT‐guided adaptive radiotherapy
US11829450B2 (en) Dual domain tracking of target structures
US20220414525A1 (en) Machine learning approach for solving beam angle optimization
US20220414428A1 (en) Artificial intelligence enabled preference learning
US20220309673A1 (en) Using radiation dose information for automatic organ segmentation model training
Gil et al. Segmentation of laser induced retinal lesions using deep learning (December 2021)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination