CN112634255B - 脑部病灶检测模型的建立方法、装置以及计算机设备 - Google Patents

脑部病灶检测模型的建立方法、装置以及计算机设备 Download PDF

Info

Publication number
CN112634255B
CN112634255B CN202011614591.3A CN202011614591A CN112634255B CN 112634255 B CN112634255 B CN 112634255B CN 202011614591 A CN202011614591 A CN 202011614591A CN 112634255 B CN112634255 B CN 112634255B
Authority
CN
China
Prior art keywords
brain
training
image
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011614591.3A
Other languages
English (en)
Other versions
CN112634255A (zh
Inventor
徐枫
刘傲寒
娄昕
郭雨晨
吕晋浩
雍俊海
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Chinese PLA General Hospital
Original Assignee
Tsinghua University
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Chinese PLA General Hospital filed Critical Tsinghua University
Priority to CN202011614591.3A priority Critical patent/CN112634255B/zh
Publication of CN112634255A publication Critical patent/CN112634255A/zh
Application granted granted Critical
Publication of CN112634255B publication Critical patent/CN112634255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提出一种脑部病灶检测模型的建立方法、装置、计算机设备和存储介质。其中，方法通过使用小规模的标注数据，采用协同训练的方式同时训练一个自然语言处理NLP模型和一个卷积模型，在每一次迭代中，利用NLP模型和卷积模型从剩余未标注数据集中选择部分数据更新到训练集，继续训练，进而将完成训练的卷积模型作为脑部病灶检测模型。由此通过利用配对的CT影像与报告中的文本信息，进行协同训练，以实现脑部CT病灶的自动检测的方法；在模块训练时，只需要少量数据标注，便可以对大规模数据进行训练，大大节省了深度学习过程中的数据标注工作量。

Description

脑部病灶检测模型的建立方法、装置以及计算机设备
技术领域
本申请属于深度学习、计算机视觉以及自然语言处理领域，尤其涉及一种脑部病灶检测模型的建立方法、装置、计算机设备和计算机可读存储介质。
背景技术
医学影像如CT(Computed Tomography，电子计算机断层扫描)、MRI(MagneticResonance Imaging，磁共振成像)等已经成为临床诊断的重要工具，但人工诊断依赖于经验丰富的医师，人力成本高。近年来，基于深度学习等人工智能方法的医学影像自动诊断方法发展迅速。卷积神经网络等计算机视觉方法可以高效且准确地对医学图像进行分类、病灶检测。在自然语言处理领域中，序列模型等方法可以高效地完成文本分类等任务，使得对病历与影像描述等医学文本的处理成为可能。然而，深度学习的训练需要大量标注数据。医学领域的数据标注工作相较于自然图像，对标注者有很高的专业要求，大量的数据标注工作成本很高。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种脑部病灶检测模型的建立方法，以实现只需要少量数据标注，便可以对大规模数据进行训练，大大节省了脑部病灶检测模型训练过程中的数据标注工作量。
本申请的第二个目的在于提出一种脑部病灶检测模型的建立装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种脑部病灶检测模型的建立方法，包括：
获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本；
根据多个脑部CT影像样本生成平均脑部CT影像，并对所述平均脑部CT影像中的各区域进行分割标注；
从所述多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于所述平均脑部CT影像中各区域的分割标注，为所述至少部分脑部CT影像样本及其对应的影像描述文本标注所述至少部分脑部CT影像样本中每个区域有无病灶，得到训练集；
基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据；
根据所述三维训练数据对所述卷积模型进行训练，并根据所述训练集之中所述至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型；
在每一次迭代中，根据所述卷积模型和所述NLP模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述NLP模型进行训练；
将完成训练的卷积模型作为所述脑部病灶检测模型。
本申请实施例的方法，，解决现有技术中的技术问题。
为达上述目的，本申请第二方面实施例提出了一种脑部病灶检测模型的建立装置，包括：
第一获取模块，用于获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本；
区域分割标注模块，用于根据多个脑部CT影像样本生成平均脑部CT影像，并对所述平均脑部CT影像中的各区域进行分割标注；
训练集获取模块，用于从所述多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于所述平均脑部CT影像中各区域的分割标注，为所述至少部分脑部CT影像样本及其对应的影像描述文本标注所述至少部分脑部CT影像样本中每个区域有无病灶，得到训练集；
生成模块，用于基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据；
训练模块，用于根据所述三维训练数据对所述卷积模型进行训练，并根据所述训练集之中所述至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型；
所述训练模块，还用于在每一次迭代中，根据所述卷积模型和所述NLP模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述NLP模型进行训练；
确定模块，用于将完成训练的卷积模型作为所述脑部病灶检测模型。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例所述的脑部病灶检测模型的建立方法。
为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请第一方面实施例所述的脑部病灶检测模型的建立方法。
根据本申请实施例的技术方案，综合利用了CT影像与文本描述两种模态的信息，只需要少量的启动数据标注，便可以利用大规模未标注数据进行协同训练，得到CT影像的异常检测模型。大大提高了对日常医学工作生成的大量无标注影像与文本数据的利用率，减少了标注的工作量。需要说明的是，本工作中的医学影像不仅局限于脑部CT影像，还可迁移至身体其他部位、其他模态的医学影像，如MRI等。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种脑部病灶检测模型的建立方法的流程示意图；
图2是根据本申请实施例的脑部病灶检测模型的具体训练过程的示意图；
图3是根据本申请实施例的平均CT图像与区域分割示意图；
图4是根据本申请一个实施例的脑部病灶检测模型的建立装置的结构框图；
图5是根据本申请另一个实施例的脑部病灶检测模型的建立装置的结构框图；
图6是根据本申请一个实施例的计算机设备的结构框图；
图7是根据本申请实施例的输入数据的示例图；
图8是根据本申请实施例的卷积模型训练数据生成方法的示例图；
图9是根据本申请实施例的卷积模型的网络结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的脑部病灶检测模型的建立方法、装置、计算机设备和存储介质。
图1为本申请实施例所提供的一种脑部病灶检测模型的建立方法的流程示意图。需要说明的是，本申请实施例的脑部病灶检测模型的建立方法可应用于本申请实施例的脑部病灶检测模型的建立装置，该建立装置可被配置于计算机设备。如图1所示，该脑部病灶检测模型的建立方法可以包括如下步骤。
在步骤101中，获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本。
在步骤102中，根据多个脑部CT影像样本生成平均脑部CT影像，并对平均脑部CT影像中的各区域进行分割标注。
在步骤103中，从多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于平均脑部CT影像中各区域的分割标注，为至少部分脑部CT影像样本及其对应的影像描述文本标注至少部分脑部CT影像样本中每个区域有无病灶，得到训练集。
其中，在本申请实施例中，术语“至少部分”的含义是其中一部分或者所有，例如，可从多个脑部CT影像样本中获取其中一部分脑部CT影像样本，或者，可将多个脑部CT影像样本中全部样本作为训练样本。作为一种示例，本申请可从多个脑部CT影像样本中获取其中一部分脑部CT影像样本，这样，可基于平均脑部CT影像中各区域的分割标注，为所述其中一部分脑部CT影像样本及其对应的影像描述文本，标注所述其中一部分脑部CT影像样本中每个区域有无病灶，得到训练集。
在步骤104中，基于训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据。
在一些实施例中，可基于训练集之中已有的平均脑部CT影像及其上的分割标注，由平均脑部CT影像三维配准到训练图像得到三维变换，并基于该三维变换将平均脑部CT影像上的分割标注变换到训练图像上，得到用于训练卷积模型的三维训练数据。
在步骤105中，根据三维训练数据对卷积模型进行训练，并根据训练集之中至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型。
在步骤106中，在每一次迭代中，根据卷积模型和NLP模型从剩余未标注数据集选择置信度高的数据更新至训练集，基于更新后的训练集继续对卷积模型和NLP模型进行训练。
在步骤107中，将完成训练的卷积模型作为脑部病灶检测模型。
需要说明的是，本申请实施例的目的是使用小规模的人工标注数据，结合大规模的已有脑部CT影像与对应影像描述，训练得到一个识别脑部CT图像中病灶的卷积模型，该完成训练的卷积模型即可作为所述脑部病灶检测模型。为了实现这一目的，需要使用协同训练的方式同时训练一个NLP模型与一个卷积模型。为了充分利用影像描述中的信息，本申请实施例将脑部按医学方法分成若干区域(如左额叶、右额叶等)。NLP模型的输入是对CT影像的描述(文本序列)，输出每个脑部区域有异常(病灶)的概率。卷积模型的输入是三维CT影像，输出每个脑部区域有异常的概率。两个模型首先使用小规模标注数据进行训练，然后使用协同训练方法，在每一次迭代中，从大规模未标注数据中选择置信度高的数据加入训练集，继续训练。最后得到高准确率的NLP模型与卷积模型。
还需要说明的是，本申请中的小规模标注数据只需标注每个脑部区域有无异常，而无需对异常的具体位置、分割等进行标注。为了生成可供卷积模型使用的训练数据，仅需对一例平均脑部CT影像(由大量脑部CT数据配准平均得到)进行每个区域的分割标注，然后使用图像配准与变换，由平均影像的区域分割生成每一例影像上的区域分割。卷积模型根据影像中的区域分割与有无异常的信息，使用多示例学习(Multi-Instance Learning,简称：MIL)的方法进行训练。
举例而言，本申请实施例中涉及的数据包括脑部CT图像与影像描述的文本数据，例子见图7所示，其中，如图7中的图中只显示了一层CT数据，实际为三维数据。如图2所示，本申请实施例的脑部病灶检测模型的具体训练过程可包括以下步骤：
在步骤201中，获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本。
在步骤202中，根据多个脑部CT影像样本生成平均脑部CT影像，并对平均脑部CT影像中的各区域进行分割标注。
在一些实施例中，将脑部划分为不同的区域，包括左右额叶、左右顶叶、左右枕叶、左右颞叶、左右基底节区、左右半卵圆中心、左右小脑、左右侧脑室旁、脑干共17个区域，具体区域的定义可以进一步扩充或精细化。首先使用一例CT影像IR作为参考，将大量CT影像配准至IR，并做平均，得到平均脑部CT影像，并将该平均脑部CT影像作为标准CT影像IA。然后在标准CT影像IA上为定义的各区域进行分割标注S，如图3所示，为平均CT图像与脑部区域分割标注的示例图。
举例而言，如图8所示，可先对多个脑部CT影像样本进行CT预处理。例如，可使用一例CT影像样本IR作为参考，将大量CT影像样本配准至该参考图像样本IR，对配准结果做平均操作，得到平均脑部CT影像，将该平均脑部CT影像作为标准CT影像IA，对该标准CT影像IA上进行脑区分割标注，以便为后续生成用于训练卷积模型的训练数据提供依据。
在步骤203中，从多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于平均脑部CT影像中各区域的分割标注，为至少部分脑部CT影像样本及其对应的影像描述文本标注至少部分脑部CT影像样本中每个区域有无病灶，得到训练集。
也就是说，可为少量脑部CT影像与对应影像描述，标注每个区域有无异常(病灶)，得到训练集。
在步骤204中，从剩余未标注数据集中选择一部分更新至候选池。
可选地，随机从未标注数据中选择候选池U'。使用候选池U'的目的在于：协同训练的每一次迭代中将从较小的数据集中选择数据加入到训练集，可以迫使模型关注困难的样本，提高模型的效果。
在步骤205中，基于训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据。
在步骤206中，基于训练集之中已有的平均脑部CT影像及其上的分割标注，由平均脑部CT影像三维配准到训练图像得到三维变换。
在步骤207中，基于三维变换将平均脑部CT影像上的分割标注变换到训练图像上，得到用于训练卷积模型(又称为CT模型)的三维训练数据。
例如，如图8所示的CT模型训练数据生成，可根据训练集之中已有的平均脑部CT影像IA及其上的分割标注S，由平均脑部CT影像IA三维配准到训练图像I得到三维变换T，使用三维变换T将分割标注S同样变换到训练图像I，即得到训练图像上的区域分割，将得到的数据作为用于训练卷积模型的三维训练数据。
在步骤208中，基于多示例学习方法，根据三维训练数据对卷积模型进行训练。
也就是说，可结合训练数据的区域分割和各区域有无异常的标注，可以得到训练图像上的若干区域包含异常，但某区域包含异常不代表其全为异常。因此，卷积模型使用多示例学习方法进行训练。在一些实施例中，卷积模型使用3D U-net结构，输出三维图像，同时预测每一个像素的所属区域与有无异常。每个区域的预测值为其中包含的所有像素的预测值的最大值，损失函数为每个区域的预测值与实际值交叉熵之和。
例如，如图9所示，为卷积模型(又称为CT模型)的网络结构示意图。其中，CT模型的输入图像三维大小为160*160*80，包含1通道CT图像与17个部位的分割标注。如图9所示，CT模型可以采用3D U-net结构，输出三维图像，同时预测每一个像素的所属区域与有无异常。每个区域的预测值为其中包含的所有像素的预测值的最大值，损失函数为每个区域的预测值与实际值交叉熵之和。
在步骤209中，根据训练集之中至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型。
在一些实施例中，NLP模型选用TextRNN(是一种利用RNN循环神经网络解决文本分类问题的模型)分类网络完成多分类任务，输入影像描述文本序列，输出各区域有异常的概率值。
在步骤210中，分别利用卷积模型和NLP模型对候选池中的数据进行预测，分别选择每个模型预测置信度最高的数据更新至训练集；
也就是说，可使用卷积模型与NLP模型对候选池U'中未标注数据进行预测，分别选择每个模型预测置信度最高的数据加入训练集，并返回执行步骤204，即从剩余未标注数据集U中随机选择数据补充到候选池U'，继续进行训练，直至满足训练的终止条件，已完成模型的训练。
在步骤211中，将完成训练的卷积模型作为脑部病灶检测模型。
综上所述，本申请实施例的脑部病灶检测模型的建立方法，综合利用了CT影像与文本描述两种模态的信息，只需要少量的启动数据标注，便可以利用大规模未标注数据进行协同训练，得到CT影像的异常检测模型。大大提高了对日常医学工作生成的大量无标注影像与文本数据的利用率，减少了标注的工作量。需要说明的是，本工作中的医学影像不仅局限于脑部CT影像，还可迁移至身体其他部位、其他模态的医学影像，如MRI等。
为了实现上述实施例，本申请还提出了一种脑部病灶检测模型的建立装置。
图4是根据本申请一个实施例的脑部病灶检测模型的建立装置的结构框图。如图4所示，该脑部病灶检测模型的建立装置400可以包括：第一获取模块401、区域分割标注模块402、训练集获取模块403、生成模块404、训练模块405和确定模块406。
具体地，第一获取模块401用于获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本。
区域分割标注模块402用于根据多个脑部CT影像样本生成平均脑部CT影像，并对平均脑部CT影像中的各区域进行分割标注。
训练集获取模块403用于从多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于平均脑部CT影像中各区域的分割标注，为至少部分脑部CT影像样本及其对应的影像描述文本标注至少部分脑部CT影像样本中每个区域有无病灶，得到训练集。
生成模块404用于基于训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据。在一些实施例中，生成模块404基于训练集之中已有的平均脑部CT影像及其上的分割标注，由平均脑部CT影像三维配准到训练图像得到三维变换；基于三维变换将平均脑部CT影像上的分割标注变换到训练图像上，得到用于训练卷积模型的三维训练数据。
训练模块405用于根据三维训练数据对卷积模型进行训练，并根据训练集之中至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型。
训练模块405还用于在每一次迭代中，根据卷积模型和NLP模型从剩余未标注数据集选择置信度高的数据更新至训练集，基于更新后的训练集继续对卷积模型和NLP模型进行训练。
确定模块406用于将完成训练的卷积模型作为脑部病灶检测模型。
在一些实施例中，如图5所示，该脑部病灶检测模型的建立装置500还可包括：选择模块507。选择模块507用于在基于训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据之前，从剩余未标注数据集中选择一部分更新至候选池。其中，在本实施例中，训练模块具体505用于：分别利用卷积模型和NLP模型对候选池中的数据进行预测，分别选择每个模型预测置信度最高的数据更新至训练集。
其中，图5中501-506和图4中401-406具有相同功能和结构。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
为了实现上述实施例，本申请还提出一种计算机设备。
图6是根据本申请一个实施例的计算机设备的结构框图。如图6所示，该计算机设备600可以包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序603，处理器602执行程序603时，实现前述任一实施例所述的脑部病灶检测模型的建立方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的脑部病灶检测模型的建立方法。
根据本申请实施例的技术方案，综合利用了CT影像与文本描述两种模态的信息，只需要少量的启动数据标注，便可以利用大规模未标注数据进行协同训练，得到CT影像的异常检测模型。大大提高了对日常医学工作生成的大量无标注影像与文本数据的利用率，减少了标注的工作量。需要说明的是，本工作中的医学影像不仅局限于脑部CT影像，还可迁移至身体其他部位、其他模态的医学影像，如MRI等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种脑部病灶检测模型的建立方法，其特征在于，包括：
获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本；
根据多个脑部CT影像样本生成平均脑部CT影像，并对所述平均脑部CT影像中的各区域进行分割标注；
从所述多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于所述平均脑部CT影像中各区域的分割标注，为所述至少部分脑部CT影像样本及其对应的影像描述文本标注所述至少部分脑部CT影像样本中每个区域有无病灶，得到训练集；
基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据；
根据所述三维训练数据对所述卷积模型进行训练，并根据所述训练集之中所述至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型；
在每一次迭代中，根据所述卷积模型和所述NLP模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述NLP模型进行训练；
将完成训练的卷积模型作为所述脑部病灶检测模型。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据之前，所述方法还包括：
从剩余未标注数据集中选择一部分更新至候选池；
其中，所述在每一次迭代中，根据所述卷积模型和所述NLP模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述NLP模型进行训练，包括：
分别利用所述卷积模型和所述NLP模型对所述候选池中的数据进行预测，分别选择每个模型预测置信度最高的数据更新至所述训练集；
返回执行所述从剩余未标注数据集中选择一部分更新至候选池的步骤。
3.根据权利要求1所述的方法，其特征在于，所述基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据，包括：
基于所述训练集之中已有的平均脑部CT影像及其上的分割标注，由所述平均脑部CT影像三维配准到训练图像得到三维变换；
基于所述三维变换将所述平均脑部CT影像上的分割标注变换到所述训练图像上，得到所述用于训练卷积模型的三维训练数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述三维训练数据对所述卷积模型进行训练，包括：
基于多示例学习方法，根据所述三维训练数据对所述卷积模型进行训练。
5.根据权利要求1至4中任一项所述的方法，所述卷积模型由三维深度残差网络与级联U-Net网络结构构成。
6.一种脑部病灶检测模型的建立装置，其特征在于，包括：
第一获取模块，用于获取多个脑部CT影像样本以及与每个脑部CT影像样本对应的影像描述文本；
区域分割标注模块，用于根据多个脑部CT影像样本生成平均脑部CT影像，并对所述平均脑部CT影像中的各区域进行分割标注；
训练集获取模块，用于从所述多个脑部CT影像样本中获取至少部分脑部CT影像样本，并基于所述平均脑部CT影像中各区域的分割标注，为所述至少部分脑部CT影像样本及其对应的影像描述文本标注所述至少部分脑部CT影像样本中每个区域有无病灶，得到训练集；
生成模块，用于基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据；
训练模块，用于根据所述三维训练数据对所述卷积模型进行训练，并根据所述训练集之中所述至少部分脑部CT影像样本对应的影像描述文本及其标注训练自然语言处理NLP模型；
所述训练模块，还用于在每一次迭代中，根据所述卷积模型和所述NLP模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述NLP模型进行训练；
确定模块，用于将完成训练的卷积模型作为所述脑部病灶检测模型。
7.根据权利要求6所述的装置，其特征在于，还包括：
选择模块，用于在基于所述训练集之中的脑部CT影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据之前，从剩余未标注数据集中选择一部分更新至候选池；
其中，所述训练模块具体用于：分别利用所述卷积模型和所述NLP模型对所述候选池中的数据进行预测，分别选择每个模型预测置信度最高的数据更新至所述训练集。
8.根据权利要求6所述的装置，其特征在于，所述生成模块具体用于：
基于所述训练集之中已有的平均脑部CT影像及其上的分割标注，由所述平均脑部CT影像三维配准到训练图像得到三维变换；
基于所述三维变换将所述平均脑部CT影像上的分割标注变换到所述训练图像上，得到所述用于训练卷积模型的三维训练数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至5中任一项所述的脑部病灶检测模型的建立方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的脑部病灶检测模型的建立方法。
CN202011614591.3A 2020-12-30 2020-12-30 脑部病灶检测模型的建立方法、装置以及计算机设备 Active CN112634255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011614591.3A CN112634255B (zh) 2020-12-30 2020-12-30 脑部病灶检测模型的建立方法、装置以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011614591.3A CN112634255B (zh) 2020-12-30 2020-12-30 脑部病灶检测模型的建立方法、装置以及计算机设备

Publications (2)

Publication Number Publication Date
CN112634255A CN112634255A (zh) 2021-04-09
CN112634255B true CN112634255B (zh) 2022-12-02

Family

ID=75286926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011614591.3A Active CN112634255B (zh) 2020-12-30 2020-12-30 脑部病灶检测模型的建立方法、装置以及计算机设备

Country Status (1)

Country Link
CN (1) CN112634255B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052831B (zh) * 2021-04-14 2024-04-23 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922599A (zh) * 2018-06-27 2018-11-30 西南交通大学 一种基于mil的医学图像病灶点精确标注方法
CN109035169A (zh) * 2018-07-19 2018-12-18 西安交通大学 一种无监督/半监督ct图像重建深度网络训练方法
CN110008365A (zh) * 2019-04-09 2019-07-12 广东工业大学 一种图像处理方法、装置、设备及可读存储介质
CN110084297A (zh) * 2019-04-23 2019-08-02 东华大学 一种面向小样本的影像语义对齐结构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922599A (zh) * 2018-06-27 2018-11-30 西南交通大学 一种基于mil的医学图像病灶点精确标注方法
CN109035169A (zh) * 2018-07-19 2018-12-18 西安交通大学 一种无监督/半监督ct图像重建深度网络训练方法
CN110008365A (zh) * 2019-04-09 2019-07-12 广东工业大学 一种图像处理方法、装置、设备及可读存储介质
CN110084297A (zh) * 2019-04-23 2019-08-02 东华大学 一种面向小样本的影像语义对齐结构

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Accurate Screening of COVID-19 Using Attention-Based Deep 3D Multiple Instance Learning;Zhongyi Han等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20200831;第39卷(第8期);全文 *
Deep co-training for semi-supervised image segmentation;Jizong Peng等;《Pattern Recognition》;20200215;全文 *
基于深度协同训练的肝脏CT图像自动分割方法;姜威威等;《电子设计工程》;20200731;第28卷(第14期);全文 *

Also Published As

Publication number Publication date
CN112634255A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
US20160210749A1 (en) Method and system for cross-domain synthesis of medical images using contextual deep network
JP2020528623A (ja) 能動学習のシステム及び方法
CN111369542B (zh) 血管标记方法、图像处理系统和存储介质
US20220254022A1 (en) Method and system for automatic multiple lesion annotation of medical images
EP3430525A1 (en) Method and system for processing a task with robustness to missing input information
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN112348908A (zh) 用于医学成像中分段的基于形状的生成对抗网络
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
US20200170710A1 (en) Surgical decision support using a decision theoretic model
CN112766323A (zh) 一种影像识别方法和装置
CN112634255B (zh) 脑部病灶检测模型的建立方法、装置以及计算机设备
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
CN114972729A (zh) 用于医学图像分析的标注高效学习的方法和系统
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113888470A (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN114972291B (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统
CN114010227B (zh) 一种右心室特征信息识别方法及装置
EP3884501A1 (en) Interactive iterative image annotation
US20230103262A1 (en) Image processing method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant