CN116848588A - 医学图像中的健康状况特征的自动标注 - Google Patents

医学图像中的健康状况特征的自动标注 Download PDF

Info

Publication number
CN116848588A
CN116848588A CN202180093797.2A CN202180093797A CN116848588A CN 116848588 A CN116848588 A CN 116848588A CN 202180093797 A CN202180093797 A CN 202180093797A CN 116848588 A CN116848588 A CN 116848588A
Authority
CN
China
Prior art keywords
callout
features
map
trained
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093797.2A
Other languages
English (en)
Inventor
C·塞罗伊西
N·卡钦斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulse Medical Co
Original Assignee
Pulse Medical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pulse Medical Co filed Critical Pulse Medical Co
Publication of CN116848588A publication Critical patent/CN116848588A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
    • G01T1/2914—Measurement of spatial distribution of radiation
    • G01T1/2992—Radioisotope data or image processing not related to a particular imaging system; Off-line processing of pictures, e.g. rescanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

可以使用已经被训练为将图像分类为具有或不具有某种医学健康状况的分类模型，在医学图像中自动标注该医学健康状况的特征。可以进一步处理已自动标注的特征，以生成用于治疗该医学健康状况的治疗计划，例如利用激光、超声波或其他治疗方法。

Description

医学图像中的健康状况特征的自动标注
相关申请
本发明要求2020年12月23日提交的加拿大专利申请3,103,872的优先权，其标题为“医学图像中的健康状况特征的自动标注”，其全部内容通过引用合并于此。
技术领域
本公开涉及医学图像的处理，具体涉及医学图像中存在的健康状况的特征的自动标注。
背景技术
医学图像通常用于识别潜在的疾病或健康状况。这些图像可以由专业人员处理，也可以由经过训练的机器学习模型处理。例如，图像分割模型将图像作为输入，并输出线向量或图像蒙板(Image mask)，该线向量或掩模概括出模型被训练来识别的特定特征，例如与疾病或健康状况相关的特征。虽然此类图像分割模型能够为疾病特征提供相对准确的分割或提取，但这些模型需要具有输入图像以及相应已标注的特征的相对大的训练数据集。训练所需的输入图像的已标注的特征通常是手动执行的。
手动标注图像中的特征来创建训练数据集可能是不切实际的，这是由于需要的图像量很大，和/或标注许多小特征很困难。但如果没有已标注的特征，分割模型就不能被训练来提取未知图像中的特征。
分割模型可以被训练来提取图像中的特征，而分类模型可以被训练来将未知图像分类为一个或多个分类。图1示出了此类分类模型。如图所示，未训练的模型102能够用已被标记为健康104a或疾病104b的多个图像来训练。类似于分割模型的训练，这些图像可以被标记为表示健康状况或疾病状况。然而，鉴于图像被标记为健康、或存在特定疾病或健康状况，生成训练数据集可能明显更容易。一旦模型102已经被充分训练，则经过训练的模型106就可以用于对未知图像108进行分类。经过训练的模型106可以将未知图像分类为健康110a或代表特定疾病的110b。经过训练的模型106可以被训练来对一种或多种疾病或健康状况进行分类。
虽然分类模型和分割模型可能是有用的，但最好能有一种附加的、替代的和/或改进的技术来处理医学图像，特别是处理医学图像以自动标注医学图像。
发明内容
根据本公开，提供了一种标注医学图像的方法，包括：将医学图像传递给经过训练的机器学习(ML)分类模型；从经过训练的ML分类模型接收分类输出，该分类输出包括医学图像中存在的特定健康状况的置信度值；如果所指示的健康状况中的置信度高于预定义的高置信度阈值，则通过以下方式处理医学图像以自动识别医学图像中存在的特定健康状况的关键特征：对于多个像素组中的每个像素组，确定相应像素组的变化对经过训练的ML分类输出的预测影响；以及基于多个像素组的预测影响输出标注图，提供特定健康状况的关键特征的指示。
根据该方法的另一个实施例，预定义的置信度阈值至少是95％。
根据该方法的另一个实施例，预定义的置信度阈值至少是99％。
根据该方法的另一个实施例，GUI允许用户选择医学图像中存在的一个或多个关键特征，并从标注图中移除或修改所选择的关键特征。
根据该方法的另一个实施例，从标注图中移除所选择的关键特征被用作调整经过训练的ML分类模型的反馈。
根据该方法的另一个实施例，GUI包括用于自动或半自动地识别与特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
根据该方法的另一个实施例，该方法还包括：处理输出标注图以生成用于治疗该健康状况的治疗计划。
根据该方法的另一个实施例，处理输出标注图包括：基于标注图生成治疗图，还包括部分对应于标注图中识别的一个或多个关键特征的一个或多个治疗位置。
根据该方法的另一个实施例，生成治疗图包括：检索与医学图像相关联的一个或多个附加图像；识别该一个或多个附加图像中的一个或多个特征；以及基于在该一个或多个附加图像中识别的一个或多个特征来确定在标注图中识别的适合于治疗的一个或多个关键特征。
根据该方法的另一个实施例，该方法还包括：基于治疗图和标注图的比较生成模型反馈；以及基于模型反馈来调整经过训练的ML分类模型。
根据该方法的另一个实施例，该方法还包括通过网络从远程计算机系统接收医学图像；以及将标注图返回到远程计算机系统。
根据该方法的另一个实施例，该方法还包括确定与返回标注图相关联的费用。
根据该方法的另一个实施例，该方法还包括训练分类模型以提供经过训练的ML分类模型。
根据该方法的另一个实施例，训练分类模型包括在已标记的训练图像上使用数据增强。
根据该方法的另一个实施例，使用以下一个或多个方式确定相应像素组的变化对经过训练的ML分类输出的预测影响：遮挡(Occlusion)；显著性(Saliency)。
根据该方法的另一个实施例，多个像素组中的至少一个像素组包括单一像素。
根据该方法的另一个实施例，多个像素组中的至少一个像素组包括多个相邻像素。
根据本公开，还提供了一种存储指令的非暂时性计算机可读介质，该指令在由系统的一个或多个处理器执行时配置该系统以提供标注医学图像的方法，该方法包括：将医学图像传递给经过训练的机器学习(ML)分类模型；从经过训练的ML分类模型接收分类输出，该分类输出包括医学图像中存在的特定健康状况的置信度值；如果所指示的健康状况中的置信度高于预定义的高置信度阈值，则通过以下方式处理医学图像以自动识别医学图像中存在的特定健康状况的关键特征：对于多个像素组中的每个像素组，确定相应像素组的变化对经过训练的ML分类输出的预测影响；以及基于多个像素组的预测影响输出标注图，提供特定健康状况的关键特征的指示。
根据该非暂时性计算机可读介质的另一个实施例，预定义的置信度阈值至少是95％。
根据该非暂时性计算机可读介质的另一个实施例，预定义的置信度阈值至少是99％。
根据该非暂时性计算机可读介质的另一个实施例，输出标注图包括：生成包括标注图的表示的图形用户界面(GUI)；以及输出GUI以在显示设备上显示。
根据该非暂时性计算机可读介质的另一个实施例，GUI允许用户选择医学图像中存在的一个或多个关键特征，并从标注图中移除或修改所选择的关键特征。
根据该非暂时性计算机可读介质的另一个实施例，从标注图中移除所选择的关键特征被用作调整经过训练的ML分类模型的反馈。
根据该非暂时性计算机可读介质的另一个实施例，GUI包括用于自动或半自动地识别与特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
根据该非暂时性计算机可读介质的另一个实施例，执行指令提供的方法还包括：处理输出标注图以生成用于治疗该健康状况的治疗计划。
根据该非暂时性计算机可读介质的另一个实施例，处理输出标注图包括：基于标注图生成治疗图，还包括部分对应于标注图中识别的一个或多个关键特征的一个或多个治疗位置。
根据该非暂时性计算机可读介质的另一个实施例，生成治疗图包括：检索与医学图像相关联的一个或多个附加图像；识别该一个或多个附加图像中的一个或多个特征；以及基于在该一个或多个附加图像中识别的一个或多个特征来确定在标注图中识别的适合于治疗的一个或多个关键特征。
根据该非暂时性计算机可读介质的另一个实施例，执行指令提供的方法还包括：基于治疗图和标注图的比较生成模型反馈；以及基于模型反馈来调整经过训练的ML分类模型。
根据该非暂时性计算机可读介质的另一个实施例，执行指令提供的方法还包括：通过网络从远程计算机系统接收医学图像；以及将标注图返回到远程计算机系统。
根据该非暂时性计算机可读介质的另一个实施例，执行指令提供的方法还包括确定与返回标注图相关联的费用。
根据该非暂时性计算机可读介质的另一个实施例，执行指令提供的方法还包括训练分类模型以提供经过训练的ML分类模型。
根据该非暂时性计算机可读介质的另一个实施例，训练分类模型包括在已标记的训练图像上使用数据增强。
根据该非暂时性计算机可读介质的另一个实施例，使用以下一个或多个方式确定相应像素组的变化对经过训练的ML分类输出的预测影响：遮挡；显著性。
根据该非暂时性计算机可读介质的另一个实施例，多个像素组中的至少一个像素组包括单一像素。
根据该非暂时性计算机可读介质的另一个实施例，多个像素组中的至少一个像素组包括多个相邻像素。
根据本公开，还提供了一种标注医学图像的系统，包括：至少一个处理器；至少一个存储指令的存储器，当至少一个处理器执行指令时，该存储器将系统配置为提供一种标注医学图像的方法，包括：将医学图像传递给经过训练的机器学习(ML)分类模型；从经过训练的ML分类模型接收分类输出，该分类输出包括医学图像中存在的特定健康状况的置信度值；如果所指示的健康状况中的置信度高于预定义的高置信度阈值，则通过以下方式处理医学图像以自动识别医学图像中存在的特定健康状况的关键特征：对于多个像素组中的每个像素组，确定相应像素组的变化对经过训练的ML分类输出的预测影响；以及基于多个像素组的预测影响输出标注图，提供特定健康状况的关键特征的指示。
根据该系统的另一个实施例，预定义的置信度阈值至少是95％。
根据该系统的另一个实施例，预定义的置信度阈值至少是99％。
根据该系统的另一个实施例，输出标注图包括：生成包括标注图的表示的图形用户界面(GUI)；以及输出GUI以在显示设备上显示。
根据该系统的另一个实施例，GUI允许用户选择医学图像中存在的一个或多个关键特征，并从标注图中移除或修改所选择的关键特征。
根据该系统的另一个实施例，从标注图中移除所选择的关键特征被用作调整经过训练的ML分类模型的反馈。
根据该系统的另一个实施例，GUI包括用于自动或半自动地识别与特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
根据该系统的另一个实施例，执行指令提供的方法还包括：处理输出标注图以生成用于治疗该健康状况的治疗计划。
根据该系统的另一个实施例，处理输出标注图包括：基于标注图生成治疗图，还包括部分对应于标注图中识别的一个或多个关键特征的一个或多个治疗位置。
根据该系统的另一个实施例，生成治疗图包括：检索与医学图像相关联的一个或多个附加图像；识别该一个或多个附加图像中的一个或多个特征；以及基于在该一个或多个附加图像中识别的一个或多个特征来确定在标注图中识别的适合于治疗的一个或多个关键特征。
根据该系统的另一个实施例，执行指令提供的方法还包括：基于治疗图和标注图的比较生成模型反馈；以及基于模型反馈来调整经过训练的ML分类模型。
根据该系统的另一个实施例，执行指令提供的方法还包括：通过网络从远程计算机系统接收医学图像；以及将标注图返回到远程计算机系统。
根据该系统的另一个实施例，执行指令提供的方法还包括确定与返回标注图相关联的费用。
根据该系统的另一个实施例，执行指令提供的方法还包括训练分类模型以提供经过训练的ML分类模型。
根据该系统的另一个实施例，训练分类模型包括在已标记的训练图像上使用数据增强。
根据该系统的另一个实施例，使用以下一个或多个方式确定相应像素组的变化对经过训练的ML分类输出的预测影响：遮挡；显著性。
根据该系统的另一个实施例，多个像素组中的至少一个像素组包括单一像素。
根据该系统的另一个实施例，多个像素组中的至少一个像素组包括多个相邻像素。
附图说明
本公开的更多特征和优势将通过以下详细描述结合附图说明变得显而易见，其中：
图1示出了训练和使用机器学习分类模型。
图2示出了自动疾病特征标注功能。
图3示出了一种在医学图像中自动标注疾病特征的方法。
图4示出了另一种在医学图像中自动标注疾病特征的方法。
图5示出了一种用于自动标注疾病特征、计划疾病治疗和执行治疗计划的系统。
图6示出了一种自动标注医学图像的方法。
图7示出了一种更新经过训练的模型的方法。
图8示出了另一种更新经过训练的模型的方法。
具体实施方式
下面将进一步描述一种能够自动提取和标注医学图像中的特征的自动标注系统。自动提取允许从图像中提取特征，该特征可以包括指示特定疾病的特征。如下面进一步描述的，该过程不是使用经过训练的分割模型来提取特征，而是使用经过训练的分类模型结合输入修改来识别输入图像内导致图像被分类为健康(Healthy)或患病(Diseased)的位置。如果分类模型不能将图像分类为高置信度，则自动特征标注可能不能很好地执行。因此，该过程首先将图像分类为健康或患病，然后，如果疾病预测置信度高于阈值，例如95％，则可以使用输入修改来自动提取特征。已识别的特征可以被进一步处理，例如自动标注各个特征，这些特征又可以用于各种应用。例如，已标注的特征可以用于计划疾病的治疗。在具有适当标记的大量输入图像可用的情况下，例如“健康图像”、“疾病A图像”和“疾病B图像”，可以使用这些标记来训练分类网络，然后可以使用该分类网络以提供标注/特征提取输出。
训练自动特征提取的第一步是为一个或多个标记训练分类模型。该模型可以具有任何结构，但由于需要具有非常高的精度，因此可以基于表现最好的图像分类模型来选择模型，例如xception、resnext或mnastnet。例如，根据本公开的一种提供视网膜分类的模型，可以是添加了附加层以用于图像缩小的xception。视网膜分类模型经过3000张带有“健康”和“糖尿病视网膜病变”两类标记的图像的训练，可达到99.9％的准确率。为了增加可用的训练数据，可以使用训练数据增强，其例如通过旋转、拉伸、镜像或调整其他特性来调整或修改训练图像来生成附加图像。数据增强可以帮助避免或减少分类模型对可用图像的过度拟合。
在训练分类模型之后，可以将经过训练的模型应用于未知图像，以便将其分类为健康或指示糖尿病视网膜病变的图像。如果糖尿病视网膜病变的预测置信度高于预测阈值，则将未知输入图像与输入修改一起使用，以确定影响分类模型的分类结果的图像部分。在从图像中提取特征时，输入修改可以使用几种算法中的一种来修改输入图像。例如，遮挡涉及使用分类模型多次评估输入图像，其中在每次分类尝试中，方形蒙板(Square mask)隐藏输入图像中的一些像素。每次评估模型时，都会在图像上翻译(Translate)蒙板，并记录感兴趣的输出类别的值。然后可以绘制与蒙板位置(x，y)对应的输出类别值的2D图。生成的2D图显示出感兴趣的特征。
与其他方法相比，遮挡可能非常低效且不准确。例如，显著性是计算分类模型的输入图像的梯度的另一种技术。梯度指示输入变化时输出的变化。在遮挡过程实际改变输入并确定模型的输出的情况下，显著性过程通过确定分类模型的输入梯度或图像梯度，来基于输入变化以数学方法确定输出的变化。输入梯度可以定义为：
输入梯度
其中：
·Ci是用于特征提取i的所需类别的模型输出
·ax,y是位置(x，y)处的模型输入或输入图像像素
梯度可以用数学方法计算并直接用于特征提取，以识别输入图像中对分类具有最大影响的位置。其他可以用于输入修改的技术还可包括引导反向传播(Guidedbackpropagation)、积分梯度(Integrative gradients)、噪声隧道梯度(Noise tunnelinggradient)等。
图2示出了自动疾病特征标注功能。尽管在图2中未示出，但是自动疾病特征标注功能202可以由一个或多个计算机系统来实现，该一个或多个计算机系统包括执行存储在一个或多个存储器单元中的指令以实现该功能的一个或多个处理器。自动疾病特征标注功能202能够处理一个或多个输入图像204。输入图像204是医学图像，例如眼睛或眼睛的一部分的图像；但也可以使用其他医学图像，例如，包括超声图像、MRI图像、X射线图像、光学显微镜、2-光子显微镜、共聚焦显微镜、光学相干断层扫描、光声成像、组织切片等。图像204可以由疾病检测功能206处理，该功能确定训练的分类模型208被训练来识别的特定疾病的存在或不存在。经过训练的分类模型208可以被训练来对一种或多种疾病或健康状况进行分类。此外，尽管在图2中仅示出了单一经过训练的分类模型，但是疾病检测功能206可以将输入图像204传递给多个不同的经过训练的分类模式，这些分类模式被训练来检测不同的疾病/健康状况。
经过训练的分类模型208接收输入图像并提供指示该模型被训练来识别的一个或多个标记的分类输出。该分类模型可以由各种网络架构提供，或者基于各种网络架构，例如，包括xception、resnext或mnastnet。来自经过训练的模型的输出包括预测置信度的指示。如果预测置信度高于特定疾病标记的第一高阈值，例如95％或更高，则图像204可以由特征提取功能210处理。特征提取功能使用输入修改技术，例如遮挡、显著性、引导反向传播、积分梯度、噪声隧道梯度等，来确定输入图像中的像素在达到分类时的重要性。特征提取功能生成指示改变特定像素值对分类输出的影响的特征提取图。该特征提取图可以用于自动标注图像中存在的疾病特征。如图所示，自动疾病特征标注功能202可以将图像分类为存在特定疾病或健康状况212，以及突出显示已提取的特征，如圆圈214所示意性示出的。如果预测置信度低于高阈值，但高于疾病或健康状况的低阈值，则自动疾病特征标注功能202能够识别图像中存在的疾病，但不具有足够高的精度来自动提取疾病特征。在这种情况下，自动疾病标注功能202将图像分类为具有疾病216，但不标注任何特征。如果来自经过训练的分类模型的输出指示图像是健康图像，则自动疾病标注功能202还可以将图像分类为健康218。
由自动特征提取突出显示的特征可以直接用作已标注的疾病特征。可替换地，可进一步处理已突出显示的特征，以生成已标注的疾病特征。已提取的特征可以突出显示图像中存在的实际上不是疾病的一部分的特征。例如，在眼睛的图像中，特征提取可以突出显示眼睛的部分，例如黄斑、视神经、血管等，以及疾病特征，例如与糖尿病视网膜病变/健康状况相关的微动脉瘤。可对已提取的特征进行处理，以移除非疾病特征，提供已标注的疾病特征。如果已标注的疾病特征与已提取的特征不同，则已标注的疾病特征，或已提取的特征与已标注的疾病特征之间的差异可以用作进一步训练或更新经过训练的分类模型的反馈。
图3示出了一种自动分类医学图像并提取特征的方法。方法300可以由可以接收医学图像的计算机系统来执行。实现方法300的计算机系统可以直接连接到捕获医学图像的成像系统，或者可以是该成像系统的一部分，或者可以与此类成像系统分离。无论计算机系统的具体位置或集成如何，方法300都将图像传递给经过训练的分类模型(302)。分类模型被训练以将图像分类为健康或指示该模型已被训练以识别的特定疾病。该模型可以被训练来对一种或多种疾病或健康状况进行分类。除了提供疾病分类的指示之外，该模型还提供模型的分类是正确的置信度指示。一旦从分类模型接收到输出，则可确定图像是被分类为健康还是患病(304)。如果图像被分类为健康(在304处为健康)，则该方法输出健康预测(306)。该模型可以明确地将图像分类为健康。附加地或替代地，低于某个预测置信度阈值的疾病分类可以被认为健康。
当图像被分类为患病或不健康时(在304处为患病)，方法300确定预测置信度是否高于特征提取阈值(308)。为了正确地提取特征，输入图像的分类必须高于某个置信水平，例如，该置信水平可以是95％或更高。为了提取特征所必需的分类预测中的置信水平可以被称为提取阈值。如果预测置信度低于提取阈值(在308处为否)，则输出来自分类模型的疾病预测(310)。但是，如果预测置信度高于提取阈值(在308处为是)，则该方法继续从图像中提取特征(312)。特征提取依赖于分类模型，以便识别图像的特征或部分、分类的结果，并且因此，为了提供可接受的特征提取结果，由模型提供的分类必须足够准确，即在预测中具有高置信度。已提取的特征可以作为单一2D图或多个2D图提供。例如，根据输入图像中使用的通道，可以为图像的红、绿、蓝(RGB)通道或其他通道生成相应的2D特征图。此外，一个或多个单个的2D图也可以组合成一个2D图。
特征一旦提取完成，就可以进一步处理特征，例如，以进一步标注已提取的特征(314)。在已提取的特征可以作为2D图或蒙板提供，且该蒙板提供导致疾病分类的输入图像内的位置的情况下，对已提取的特征进行标注可以导致单个对象中的每个表示特定特征或特征组。例如，对于糖尿病视网膜病变，单个已标注的特征可以是微神经鞘瘤的输入图像内的位置。
图4示出了一种在医学图像中自动标注疾病特征的方法。方法400假设该图像已经被经过训练的分类模型分类为指示疾病，并且分类置信度高于用于使用分类模型执行特征提取的阈值。方法400接收图像(402)，然后对于图像中的每个像素位置(404，408)，该方法确定像素位置(406)的预测影响，直到所有像素位置都已确定了为止。每个像素位置可以是单个的像素或像素组。可以通过各种方式来确定像素位置对预测的影响，例如通过位置的像素值被全部改变为黑色、白色、灰色或其他颜色的遮挡，然后将已调整的图像提供给经过训练的分类模型，以便对已调整的图像进行分类，然后与来自原始输入图像的基准预测进行比较。还可以通过用于确定不同像素位置对来自分类模型的分类输出的影响的其他技术，例如，包括显著性，其确定模型的输入/图像梯度，该输入/图像梯度进而提供改变输入对输出的影响，或者提供像素位置处的改变值对分类的影响。可以单独地、一次一个地或并行地确定不同像素位置的影响，或者，例如。可以通过确定分类模型的梯度来同时计算不同的像素位置。
在确定了所有像素位置的预测影响之后，可以基于像素位置的影响来生成(410)特征提取图。特征提取图可以是指示不同的像素位置对分类的影响的2D图或图像。2D特征图可以被输出(412)到其他过程或功能，例如用于显示或进一步处理(414)。可进一步处理该特征图，以识别和标注单个特征。例如，特征图可以突出显示单个特征，例如血管、视神经、微动脉瘤、核膜等。每个特征都可以被标注。可以通过处理由特征图突出显示的输入图像的位置，来自动完成单个特征标注。单个已标注的特征的每一个都可以提供已标注的特征信息，例如单个特征的标识符或名称、已标注的特征的细节，例如图像内的位置、特征的形状等。已标注的特征或已提取的特征的2D图可以用于各种目的，例如，包括计划疾病的治疗。
图5示出了一种用于自动标注疾病特征、计划疾病治疗和执行治疗计划的系统。如图所示，系统500包括实现各种功能的服务器。尽管被示为单一服务器，但是该功能或该功能的一部分可以由多个服务器或计算系统来实现。该服务器包括用于执行指令的CPU 502、用于存储指令的存储器504、非易失性(NV)存储元件506和用于将输入和/或输出设备连接到服务器的输入/输出(IO)接口。在由CPU 502执行时，存储在存储器504中的指令和数据将服务器配置为提供各种功能510。
功能510包括自动疾病特征标注功能512。标注功能512可以接收被示为眼睛的眼底图像的医学图像514，尽管该功能可以应用于其他类型的医学图像。疾病检测功能516可以接收图像并将其传递给一个或多个经过训练的分类模型518，其被训练为将图像分类为健康或患病。经过训练的模型518还提供对经过训练的模型518的分类的预测置信度指示。如果预测置信度高于特征提取阈值(例如可以是95％或更高)，则特征提取功能520可以进一步处理图像以提取特征。如上所述，特征提取可以使用经过训练的分类模型以及输入修改，来识别图像中的特征。
已提取的特征可以被进一步处理，其可以作为突出显示影响分类结果的图像内的位置的2D图提供。例如，图形用户界面(GUI)功能522可以处理已提取的特征，以生成显示提取的特征或已提取的特征的表示的GUI。GUI功能522提供的GUI还可以提供附加功能，例如，它可以提供与特征交互的能力，包括可能手动添加、移除或调整特征，以及显示其他信息，例如患者详细信息、原始图像、其他医学图像524等。
已提取的特征还可以由已提取的特征标注功能526来处理。虽然由特征提取功能520突出显示的已提取的特征提供了经过训练的模型用于将图像分类为患病的重要特征指示，但是已提取的特征可以包括并非疾病特征，而是接受成像的器官(例如眼睛)的共同特征的特征。这些共同特征可以使用已经被训练来识别共同特征的经过训练的模型来识别，例如使用存在和不存在共同特征的图像。此外，已提取的特征作为2D图像图提供，该2D图像图突出显示了特征在图像中的位置，但并不提供单个特征。已提取的特征标注功能526可以从已提取的特征中识别单个特征，并生成相应的单个已标注的特征。已提取的特征标注功能526可以使用各种技术来处理已提取的特征图来识别单个特征，这些技术包括，例如，可以处理2D特征图以及可能的输入图像来分离单个特征的图像处理技术。一旦识别出单个特征，就可以生成相应的单个已标注的特征，包括关于已标注的特征的信息，例如图像内的位置、已标注的特征的大小和/或形状、标识符和/或名称、关于该已标注的特征的注释或评论等。已提取的特征标注功能可以生成与单个已提取的特征中的每一个相对应的已标注的特征，或者可以生成与已提取的特征的子集相对应的已标注的特征，例如仅那些对于成像器官不常见的单个特征。也就是说，诸如血管、视神经等的常见特征可能不会被处理为相应的已标注的特征。附加地或替代地，已提取的特征标注功能可以包括用于手动添加/移除已标注的特征的功能。
已提取的特征或从已提取的特征生成的已标注的特征可以由治疗计划功能528处理。治疗计划功能可以利用机器学习技术来识别已提取的和/或已标注的特征中可以被治疗的部分。治疗计划功能可以在计划治疗时利用附加信息，例如附加医学图像524。例如，在治疗眼部疾病时，可以处理眼底图像以识别可以治疗的特征，而附加图像可以识别诸如视网膜厚度之类的附加信息，从而帮助选择用于实际治疗的特征子集。
反馈功能530可以生成反馈，例如，该反馈可以由模型再训练功能532或其他模型使用，例如在治疗计划或标记已提取的特征中使用的那些模型。该反馈可以通过各种方式产生。例如，该反馈可以直接从用户的手动交互生成，例如手动移除特征或已标注的特征。该反馈可以通过将治疗计划与已提取的特征进行比较来生成，该治疗计划可以提供用于治疗疾病健康状况的重要特征的指示。该反馈可以用于训练或调整分类模型，以便仅基于可以治疗的那些特征对图像进行分类。
如图所示，系统500可以包括显示器或监视器534，用于显示允许操作人员与系统交互的GUI。应当理解，图5中所示的GUI仅仅是说明性的，实际的GUI可以通过广泛的格式呈现期望的信息。如图所示，GUI可以显示包括输入图像536在内的各种信息，这些信息被示为眼睛的眼底图像，但也可以使用其他医学图像。GUI可以包括单个已标注的特征538的图像。GUI可以提供控件540，其允许操作人员与单个已标注的特征交互。例如，控件可以允许操作人员选择单个已标注的特征并调整信息542，例如其位置、大小、形状、名称、注释等。此外，控件可以包括允许操作人员移除已标注的特征或可能添加或定义新的已标注的特征的功能。用于修改已标注的特征的功能可以提供允许操作人员手动添加、移除或修改已标注的特征的功能。附加地或替代地，用于修改已标注的特征的功能可以自动地或半自动地执行修改，例如，需要一些用户输入来定义要修改的可能的已标注的特征的一般区域，和/或确认或拒绝可能的修改。GUI还可以显示用于治疗症状的治疗计划544。尽管在图5中未示出，但GUI可以向操作人员提供用于调整治疗计划的控件。GUI可以提供操作人员对反馈功能所做的任何改变的指示，以便可能地调整已识别的和/或已标注的特征的方式。
系统500还可以连接到治疗系统546，该治疗系统被示为激光治疗系统，但也可以使用其他治疗系统。例如，该治疗系统可以通过利用激光治疗已确定的位置来执行治疗计划。
以上示出了由可以直接连接到治疗系统546的单一服务器提供的各种功能。该功能可以由一个或多个联网系统提供。例如，疾病检测功能516、训练模型518和特征提取功能520可以在一个或多个云服务器中实现，这些云服务器可以由不同的专业人员访问，可能是收费的。基于云的功能可以与其他计算机系统或控制器(例如治疗系统的控制器)交互。此外，特征提取的结果可以用于识别要治疗的特征，或者输出可以作为输入提供给其他系统，例如用于训练其他模型等。
图6示出了一种在医学图像中自动标注疾病特征的方法。方法600类似于方法400，两者具有类似步骤，即使用将不再详细描述的类似附图标号。如图所示，在标注特征和计划治疗时，该功能可以利用附加的医学图像。方法600在提取特征时利用附加图像。在处理每个像素位置(404，408)时都使用附加图像或信息。附加图像或信息可用于调整像素位置(606a)的模型参数，然后使用已调整的参数(606b)确定像素位置的预测影响。附加信息可以用于局部微调分类模型。例如，该模型可以被微调为在存在许多其他特征的像素位置更敏感，而在其他区域则不那么敏感。附加信息可以包括附加医学图像、患者信息、来自其他像素位置的信息等。
图7示出了一种更新经过训练的模型的方法。方法700生成并显示已标注的特征的GUI(702)。GUI可以允许用户与已标注的特征交互，例如，包括选择已标注的特征中的一个或多个并删除或改变选定特征，或者选择图像中的位置并创建新的已标注的特征。无论调整已标注的特征的交互如何，都将来自更新的已标注的特征的GUI的反馈接收为关于疾病特征的反馈(704)。可以基于接收到的反馈，对经过训练的分类模型和/或用于从已提取的特征自动生成已标注的特征的模型进行更新或重新训练。
图8示出了另一种更新经过训练的模型的方法。方法800处理已标注的特征，以创建用于治疗医学图像中存在的疾病的治疗计划。该治疗计划可以指定利用激光或超声设备等系统进行治疗的位置。该治疗计划可以提供疾病相关特征的良好指示。将治疗计划与已提取的特征图进行比较(804)，并基于治疗计划和已提取的特征图之间的差异，对经过训练的分类模型和/或用于从已提取的特征自动生成已标注的特征的模型进行更新或重新训练。
上文已经描述了使用反馈来重新训练模型。除了如上所述使用来自GUI的反馈或已提取的特征与治疗计划之间的差异之外，还可以使用其他信息来识别在疾病识别或其治疗中可能不重要的已提取的特征。例如，在眼病的检测或治疗中，已提取的特征不仅可以包括疾病特征，还可以包括眼睛的特征，例如静脉或其他结构。这些常见结构可以使用其他技术来识别，例如被训练为仅识别从图像中已识别的那些特征或结构的其他机器学习模型。然后，可以从已提取的疾病特征中移除这些已识别的结构。修改过程可以是迭代过程或试错过程，反复尝试识别不同特征或改变特征，直至达到特定结果。然后，可以使用移除了共同特征的、修改后的已提取的特征来重新训练分类模型，以便将模型集中在疾病特征上。此外，上文已经描述了使用分类模型来识别某些疾病特征，然后使用反馈来改进分类模型的训练以更好地识别疾病特征。使用特定分类模型识别的疾病特征也可以用于识别应该会被另一分类模型忽略的特征。例如，微动脉瘤可能对识别和/或治疗糖尿病视网膜病变很重要，但对其他情况或疾病来说并不重要，因此应该被忽视。
本领域的普通技术人员应理解，图1-4中所示的系统和组件可以包括附图中未示出的组件。为了图示的简单和清晰，图中的元件不一定是按比例的，仅仅是示意性的，并且不构成对元件结构的限制。对本领域的技术人员而言显而易见的是，在不脱离权利要求书中定义的本发明的范围的情况下，可以进行各种变化和修改。
尽管已经描述了某些组件和步骤，但是可以设想，单独描述的组件以及步骤可以组合在一起成为更少的组件或步骤，或者这些步骤可以顺序地、非顺序地或同时地执行。此外，尽管上文被描述为以特定顺序发生，但是本领域的普通技术人员在考虑过当前教导后将理解，某些步骤相对于其他步骤的特定顺序是可以改变的。类似地，单独的部件或步骤可以由多个部件或步骤提供。考虑过当前教导的本领域的普通技术人员将理解，除了作为说明性示例在本文中描述的具体实施方式之外，本文中所描述的组件和过程还可以由软件、固件和/或硬件的各种组合来提供。
各种实施例的技术可以使用软件、硬件和/或软件和硬件的组合来实现。各种实施例涉及装置，例如可以在通信系统或数据存储系统中使用的节点。各种实施例还涉及非暂时性机器，例如计算机、可读介质，例如ROM、RAM、CD、硬盘等，其包括用于控制机器(例如处理器)以实现所描述的一个或多个方法的一个、多个或全部步骤的机器可读指令。
一些实施例涉及包括计算机可读介质的计算机程序产品，该计算机可读介质包括用于使一个计算机或多个计算机实现各种功能、步骤、动作和/或操作的代码，例如上述步骤中的一个或多个或全部。根据实施例，计算机程序产品可以并且有时确实包括用于要执行的每个步骤的不同代码。因此，计算机程序产品可以并且有时确实包括用于方法(例如，操作通信设备(例如，无线终端或节点)的方法)的每个单独步骤的代码。该代码可以是以下形式：机器(例如，计算机)、存储在诸如随机存取存储器(RAM)、只读存储器(ROM)或其他类型的存储设备的计算机可读介质上的可执行指令。除了涉及计算机程序产品之外，一些实施例还涉及被配置为实现上述一个或多个方法的各种功能、步骤、动作和/或操作中的一个或多个的处理器。因此，一些实施例还涉及被配置为实现本文所描述的方法的一些或全部步骤的处理器，例如CPU。例如，该处理器可以用于本申请中所述的通信设备或其他设备。
鉴于以上描述，对本领域的技术人员而言，上述各种实施例的方法和设备的许多附加变化将是显而易见的。此类变化应视为在本文范围内。

Claims (54)

1.一种标注医学图像的方法，包括：
将医学图像传递给经过训练的机器学习(ML)分类模型；
从所述经过训练的ML分类模型接收分类输出，所述分类输出包括所述医学图像中存在特定健康状况的置信度值；
如果所指示的健康状况的置信度高于预定义的高置信度阈值，则通过以下方式处理所述医学图像以自动识别所述医学图像中存在的所述特定健康状况的关键特征：
对于多个像素组中的每个像素组，确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响；以及
基于所述多个像素组的所述预测影响输出标注图，所述标注图提供所述特定健康状况的所述关键特征的指示。
2.根据权利要求1所述的方法，其中所述预定义的置信度阈值至少是95％。
3.根据权利要求1所述的方法，其中所述预定义的置信度阈值至少是99％。
4.根据权利要求1至3中任一项所述的方法，其中输出所述标注图包括：
生成包括所述标注图的表示的图形用户界面(GUI)；以及
输出所述GUI以在显示设备上显示。
5.根据权利要求4所述的方法，其中所述GUI允许用户选择所述医学图像中存在的一个或多个关键特征，并从所述标注图中移除或修改所选择的关键特征。
6.根据权利要求5所述的方法，其中从所述标注图中移除所选择的关键特征被用作调整所述经过训练的ML分类模型的反馈。
7.根据权利要求4至6中任一项所述的方法，其中所述GUI包括用于自动或半自动地识别与所述特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
8.根据权利要求1至7中任一项所述的方法，还包括：
处理所述输出标注图以生成用于治疗所述健康状况的治疗计划。
9.根据权利要求8所述的方法，其中处理所述输出标注图包括：
基于所述标注图生成治疗图，并且包括部分对应于所述标注图中识别的所述一个或多个关键特征的一个或多个治疗位置。
10.根据权利要求9所述的方法，其中生成所述治疗图包括：
检索与所述医学图像相关联的一个或多个附加图像；
识别所述一个或多个附加图像中的一个或多个特征；以及
基于在所述一个或多个附加图像中所识别的一个或多个特征来确定在所述标注图中识别的适合于治疗的一个或多个关键特征。
11.根据权利要求9或10所述的方法，还包括：
基于所述治疗图和所述标注图的比较生成模型反馈；以及
基于所述模型反馈来调整所述经过训练的ML分类模型。
12.根据权利要求1至11中任一项所述的方法，还包括：
通过网络从远程计算机系统接收医学图像；以及
将所述标注图返回到所述远程计算机系统。
13.根据权利要求12所述的方法，还包括确定与返回所述标注图相关联的费用。
14.根据权利要求1至13中任一项所述的方法，还包括训练分类模型以提供所述经过训练的ML分类模型。
15.根据权利要求14所述的方法，其中训练所述分类模型包括在已标记的训练图像上使用数据增强。
16.根据权利要求1至15中任一项所述的方法，其中使用以下一个或多个方式确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响：
遮挡；以及
显著性。
17.根据权利要求1至16中任一项所述的方法，其中所述多个像素组中的至少一个像素组包括单一像素。
18.根据权利要求1至16中任一项所述的方法，其中所述多个像素组中的至少一个像素组包括多个相邻像素。
19.一种存储指令的非暂时性计算机可读介质，在所述指令由系统的一个或多个处理器执行时配置所述系统以提供一种标注医学图像的方法，包括：
将医学图像传递给经过训练的机器学习(ML)分类模型；
从所述经过训练的ML分类模型接收分类输出，所述分类输出包括所述医学图像中存在特定健康状况的置信度值；
如果所指示的健康状况的置信度高于预定义的高置信度阈值，则通过以下方式处理所述医学图像以自动识别所述医学图像中存在的所述特定健康状况的关键特征：
对于多个像素组中的每个像素组，确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响；以及
基于所述多个像素组的所述预测影响输出标注图，所述标注图提供所述特定健康状况的所述关键特征的指示。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述预定义的置信度阈值至少是95％。
21.根据权利要求19所述的非暂时性计算机可读介质，其中所述预定义的置信度阈值至少是99％。
22.根据权利要求19至21中任一项所述的非暂时性计算机可读介质，其中输出所述标注图包括：
生成包括所述标注图的表示的图形用户界面(GUI)；以及
输出所述GUI以在显示设备上显示。
23.根据权利要求22所述的非暂时性计算机可读介质，其中所述GUI允许用户选择所述医学图像中存在的一个或多个关键特征，并从所述标注图中移除或修改所选择的关键特征。
24.根据权利要求23所述的非暂时性计算机可读介质，其中从所述标注图中移除所选择的关键特征被用作调整所述经过训练的ML分类模型的反馈。
25.根据权利要求22至24中任一项所述的非暂时性计算机可读介质，其中所述GUI包括用于自动或半自动地识别与所述特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
26.根据权利要求19至25中任一项所述的非暂时性计算机可读介质，其中执行所述指令所提供的所述方法还包括：
处理所述输出标注图以生成用于治疗所述健康状况的治疗计划。
27.根据权利要求26所述的非暂时性计算机可读介质，其中处理所述输出标注图包括：
基于所述标注图生成治疗图，并且包括部分对应于所述标注图中所识别的一个或多个关键特征的一个或多个治疗位置。
28.根据权利要求27所述的非暂时性计算机可读介质，其中生成所述治疗图包括：
检索与所述医学图像相关联的一个或多个附加图像；
识别所述一个或多个附加图像中的一个或多个特征；以及
基于在所述一个或多个附加图像中所识别的一个或多个特征来确定在所述标注图中识别的适合于治疗的一个或多个关键特征。
29.根据权利要求27或28所述的非暂时性计算机可读介质，其中执行所述指令所提供的所述方法还包括：
基于所述治疗图和所述标注图的比较生成模型反馈；以及
基于所述模型反馈来调整所述经过训练的ML分类模型。
30.根据权利要求19至29中任一项所述的非暂时性计算机可读介质，其中执行所述指令所提供的所述方法还包括：
通过网络从远程计算机系统接收医学图像；以及
将所述标注图返回到所述远程计算机系统。
31.根据权利要求30所述的非暂时性计算机可读介质，其中执行所述指令所提供的所述方法还包括确定与返回所述标注图相关联的费用。
32.根据权利要求19至31中任一项所述的非暂时性计算机可读介质，其中执行所述指令提供的所述方法还包括训练分类模型以提供所述经过训练的ML分类模型。
33.根据权利要求32所述的非暂时性计算机可读介质，其中训练所述分类模型包括在已标记的训练图像上使用数据增强。
34.根据权利要求19至33中任一项所述的非暂时性计算机可读介质，其中使用以下一个或多个方式确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响：
遮挡；以及
显著性。
35.根据权利要求19至34中任一项所述的非暂时性计算机可读介质，其中所述多个像素组中的至少一个像素组包括单一像素。
36.根据权利要求19至34中任一项所述的非暂时性计算机可读介质，其中所述多个像素组中的至少一个像素组包括多个相邻像素。
37.一种标注医学图像的系统，包括：
至少一个处理器；
至少一个存储指令的存储器，在所述指令由所述至少一个处理器执行时，配置所述系统以提供一种标注医学图像的方法，所述方法包括：
将医学图像传递给经过训练的机器学习(ML)分类模型；
从所述经过训练的ML分类模型接收分类输出，所述分类输出包括所述医学图像中存在特定健康状况的置信度值；
如果所指示的健康状况的置信度高于预定义的高置信度阈值，则通过以下方式处理所述医学图像以自动识别所述医学图像中存在的所述特定健康状况的关键特征：
对于多个像素组中的每个像素组，确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响；以及
基于所述多个像素组的所述预测影响输出标注图，所述标注图提供所述特定健康状况的所述关键特征的指示。
38.根据权利要求37所述的系统，其中所述预定义的置信度阈值至少是95％。
39.根据权利要求37所述的系统，其中所述预定义的置信度阈值至少是99％。
40.根据权利要求37至39所述的系统，其中输出所述标注图包括：
生成包括所述标注图的表示的图形用户界面(GUI)；以及
输出所述GUI以在显示设备上显示。
41.根据权利要求40所述的系统，其中所述GUI允许用户选择所述医学图像中存在的一个或多个关键特征，并从所述标注图中移除或修改所选择的关键特征。
42.根据权利要求41所述的系统，其中从所述标注图中移除所选择的关键特征被用作调整所述经过训练的ML分类模型的反馈。
43.根据权利要求40至42中任一项所述的系统，其中所述GUI包括用于自动或半自动地识别与所述特定健康状况无关的不相关特征、并使用所识别的不相关特征作为反馈的功能。
44.根据权利要求37至43中任一项所述的系统，其中执行所述指令所提供的所述方法还包括：
处理所述输出标注图以生成用于治疗所述健康状况的治疗计划。
45.根据权利要求44所述的系统，其中处理所述输出标注图包括：
基于所述标注图生成治疗图，并且包括部分对应于所述标注图中所识别的一个或多个关键特征的一个或多个治疗位置。
46.根据权利要求45所述的系统，其中生成所述治疗图包括：
检索与所述医学图像相关联的一个或多个附加图像；
识别所述一个或多个附加图像中的一个或多个特征；以及
基于在所述一个或多个附加图像中所识别的一个或多个特征来确定在所述标注图中识别的适合于治疗的一个或多个关键特征。
47.根据权利要求45或46中任一项所述的系统，其中执行所述指令提供的所述方法还包括：
基于所述治疗图和所述标注图的比较生成模型反馈；以及
基于所述模型反馈来调整所述经过训练的ML分类模型。
48.根据权利要求37至47中任一项所述的系统，其中执行所述指令所提供的所述方法还包括：
通过网络从远程计算机系统接收医学图像；以及
将所述标注图返回到所述远程计算机系统。
49.根据权利要求48所述的系统，其中执行所述指令所提供的所述方法还包括确定与返回所述标注图相关联的费用。
50.根据权利要求37至49中任一项所述的系统，其中执行所述指令所提供的所述方法还包括训练分类模型以提供所述经过训练的ML分类模型。
51.根据权利要求50所述的系统，其中训练所述分类模型包括在已标记的训练图像上使用数据增强。
52.根据权利要求37至51中任一项所述的系统，其中使用以下一个或多个方式确定所述相应像素组的变化对所述经过训练的ML分类输出的预测影响：
遮挡；以及
显著性。
53.根据权利要求37至52中任一项所述的系统，其中所述多个像素组中的至少一个像素组包括单一像素。
54.根据权利要求37至52中任一项所述的系统，其中所述多个像素组中的至少一个像素组包括多个相邻像素。
CN202180093797.2A 2020-12-23 2021-12-21 医学图像中的健康状况特征的自动标注 Pending CN116848588A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA3,103,872 2020-12-23
CA3103872A CA3103872A1 (en) 2020-12-23 2020-12-23 Automatic annotation of condition features in medical images
PCT/CA2021/051853 WO2022133590A1 (en) 2020-12-23 2021-12-21 Automatic annotation of condition features in medical images

Publications (1)

Publication Number Publication Date
CN116848588A true CN116848588A (zh) 2023-10-03

Family

ID=82100508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093797.2A Pending CN116848588A (zh) 2020-12-23 2021-12-21 医学图像中的健康状况特征的自动标注

Country Status (7)

Country Link
US (1) US20240054638A1 (zh)
EP (1) EP4268240A1 (zh)
JP (1) JP2024500938A (zh)
CN (1) CN116848588A (zh)
AU (1) AU2021408159A1 (zh)
CA (2) CA3103872A1 (zh)
WO (1) WO2022133590A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3137612A1 (en) * 2021-11-05 2023-05-05 Pulsemedica Corp. Hybrid classifier training for feature extraction
US20240112329A1 (en) * 2022-10-04 2024-04-04 HeHealth PTE Ltd. Distinguishing a Disease State from a Non-Disease State in an Image
CN115620286B (zh) * 2022-11-02 2023-05-05 安徽云层智能科技有限公司 一种基于大数据的数据自动标注系统及方法
CN115546218B (zh) * 2022-12-02 2023-03-21 京东方科技集团股份有限公司 置信度阈值确定方法和装置、电子设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140036054A1 (en) * 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
DE102016219488A1 (de) * 2016-10-07 2018-04-12 Siemens Healthcare Gmbh Verfahren zum Bereitstellen einer Konfidenzinformation
WO2019051356A1 (en) * 2017-09-08 2019-03-14 The General Hospital Corporation SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS
JP6952124B2 (ja) * 2017-10-05 2021-10-20 富士フイルム株式会社 医療画像処理装置
EP3826544A1 (en) * 2018-07-26 2021-06-02 Koninklijke Philips N.V. Ultrasound system with an artificial neural network for guided liver imaging
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US20200194108A1 (en) * 2018-12-13 2020-06-18 Rutgers, The State University Of New Jersey Object detection in medical image
US10910100B2 (en) * 2019-03-14 2021-02-02 Fuji Xerox Co., Ltd. System and method for generating descriptions of abnormalities in medical images
WO2020227661A1 (en) * 2019-05-09 2020-11-12 Materialise N.V. Surgery planning system with automated defect quantification

Also Published As

Publication number Publication date
US20240054638A1 (en) 2024-02-15
AU2021408159A1 (en) 2023-07-06
JP2024500938A (ja) 2024-01-10
WO2022133590A1 (en) 2022-06-30
CA3103872A1 (en) 2022-06-23
CA3202916A1 (en) 2022-06-30
EP4268240A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
Huff et al. Interpretation and visualization techniques for deep learning models in medical imaging
JP5868231B2 (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
US10733727B2 (en) Application of deep learning for medical imaging evaluation
Bhuvaneswari et al. A new fusion model for classification of the lung diseases using genetic algorithm
Zhang et al. Diabetic retinopathy grading by a source-free transfer learning approach
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
KR102015224B1 (ko) 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치
US20210219839A1 (en) Method for classifying fundus image of subject and device using same
KR102160390B1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
Bisla et al. Skin lesion segmentation and classification with deep learning system
Ogiela et al. Natural user interfaces in medical image analysis
US10957038B2 (en) Machine learning to determine clinical change from prior images
CN112686899B (zh) 医学图像分析方法和装置、计算机设备及存储介质
Fontanella et al. Diffusion models for counterfactual generation and anomaly detection in brain images
CN112074912A (zh) 使用介入x射线图像和深度学习的交互式冠状动脉标记
JP2020062355A (ja) 画像処理装置、データ生成装置及びプログラム
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
Tariq et al. Diabetic retinopathy detection using transfer and reinforcement learning with effective image preprocessing and data augmentation techniques
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
WO2023077238A1 (en) Hybrid classifier training for feature annotation
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
Mohammedhasan et al. A new deeply convolutional neural network architecture for retinal blood vessel segmentation
Boulahia et al. Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination