CN112861942A - 医学影像图像处理方法、装置、电子设备及介质 - Google Patents

医学影像图像处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112861942A
CN112861942A CN202110114638.8A CN202110114638A CN112861942A CN 112861942 A CN112861942 A CN 112861942A CN 202110114638 A CN202110114638 A CN 202110114638A CN 112861942 A CN112861942 A CN 112861942A
Authority
CN
China
Prior art keywords
image
detected
dimension
characteristic
mask input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110114638.8A
Other languages
English (en)
Inventor
邢浩强
朱勇
吴安华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yingwofu Technology Co ltd
Original Assignee
Nanjing Yingwofu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yingwofu Technology Co ltd filed Critical Nanjing Yingwofu Technology Co ltd
Priority to CN202110114638.8A priority Critical patent/CN112861942A/zh
Publication of CN112861942A publication Critical patent/CN112861942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例公开了一种医学影像图像处理方法、装置、电子设备及介质，该方法包括将待测原始图像输入特征提取模型中生成多个阶段的特征图序列，选取一个阶段的特征图序列作为待测特征图序列；将待测特征图序列输入分类器中，生成每一类别的预测概率值，确定目标类别值；基于每一维度的待测特征图像和待测原始图像生成对应的掩码输入图像；基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于待测原始图像的权重；根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。本申请提高了早期癌变病变区域预测的准确度，且能为每一预测阶段提供病变解释依据。

Description

医学影像图像处理方法、装置、电子设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种医学影像图像处理方法、装置、电子设备及介质。
背景技术
由于遗传、基因变异、长期饮食习惯、作息习惯等原因，人体可能会产生恶性的癌变，例如胃癌、中肠癌等。这些癌变组织根据病变时期主要可分为早期、进展期和晚期，不同时期对应不同的治疗方法。其中在早期发现癌症的治疗难度最小，患者康复的机会最大。现有技术中通常通过医学影像图像来检测早期癌变，但由于早期癌变的细胞和非病变细胞在形态、颜色上的特征十分不明显，因此早癌的诊断属于精细的图像检测问题，医生很难通过医学影像图观察发现，此外，早期癌症确诊后，通常需要通过物理切除的方式将癌变部位精确切除，因此，如何准确地确定病变区域进行可视化显示，是极其重要的环节。
现有技术中采用类激活图覆盖技术进行病变区域的预测，将被判别为病变的图像，计算全局平均池化后特征对应的权重与全局平均池化之前的特征图的加权和，再将其上采样至原图大小，得到原图中哪些区域对应的最终的全局平均池化特征最终导致模型将该图分类为病变，将这部分区域可视化出来，作为模型将当前图片判定为病变的依据。但至少具有以下缺点：第一、为了获得全局平均池化后特征对应的权重，模型的分类器必须采用神经网络中的全连接层，限制了模型的可扩展性和通用性。第二、该方法仅仅考虑了全局平均池化之前特征图对于分类结果的影响，但是大量病变部分与正常细胞的差异性十分细微，且病变部位占比低，因此病变区域预测准确度低。由此可知，如何提供一种医学影像图像处理技术，提高早期癌变病变区域预测的准确度，成为亟待解决的技术问题。
发明内容
本申请实施例提供一种医学影像图像处理方法、装置、电子设备及介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。
第一方面，本申请实施例提供一种医学影像图像处理方法，包括：
将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，N为正整数；
基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
第二方面，本申请实施例提供一种医学影像图像处理装置，包括：
特征提取模块，用于将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
分类预测模块，用于将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，N为正整数；
图像生成模块，用于基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
权重获取模块，用于基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
目标生成模块，用于根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请第一方面所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机指令用于执行本申请第一方面所述的方法。
通过上述技术方案，本申请基于输入待测原始图像经过特征提取得到的待测特征图构建掩码输入，可以根据特征图的值直接加强输入待测原始图像的目标病变区域的影响，弱化非目标病变区域的影响，使得目标病变区域的可视化更加精细紧凑，尤其是提高目标病变区域和非目标病变区域边缘部分的准确性，同时抑制非目标病变区域像素被误判为目标病变区域像素，提高了早期癌变病变区域预测的准确度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。
图1为本申请一实施例所描述的医学影像图像处理方法流程图；
图2为本申请一实施例所描述的基于待测特征图像生成对应的掩码输入图像流程图；
图3为本申请一实施例所描述的基于掩码输入图像和目标类别值获取待测特征图像对于所述待测原始图像的权重流程图；
图4为本申请一实施例所描述的医学影像图像处理方法阶段框架图；
图5为本申请一实施例所描述的医学影像图像处理装置示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在早癌检测过程中，如何准确地确定病变区域进行可视化显示，是极其重要的环节，本申请针对早期癌症辅助检查可视化问题，提出一种基于掩码输入推理的梯度权重类激活图的可视化技术，提高了早期癌变病变区域预测的准确度。具体的，本申请实施例提供了一种医学影像图像处理方法，如图1所示，包括以下步骤：
步骤S1、将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
步骤S2、将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，N为正整数；
其中，目标类别值指的是目标类别对应的类别编号，例如共有五个类别，编号分别为1,2,3,4,5，目标类别值为5。
步骤S3、基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
步骤S4、基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
步骤S5、根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
可以理解的是，目标可视化结果中特征值越高，代表这部分像素在所对应的输出类别概率中的贡献越大，也代表模型预测这部分像素为目标区域的可能性的相应越高。
作为一种实施例，特征提取模型具体可采用CNN(卷积神经网络)的backbone(骨干网络,例如resnet/efficientnet等)来提取输入图像的特征。分类器可采用基于全连接的多层感知器、支持向量机、逻辑回归等分类模型，不仅仅局限于某一种分类器，具有很好的可扩展性性和通用性。本申请所述实施例不需要依赖于结构复杂的图像分割模型而基于复杂度更小的分类器来构造数据的可视化，避免对大量数据的依赖，分类器模型的优化更容易获得良好的召回率和精确率。
本申请实施例所述方法基于输入待测原始图像经过特征提取得到的待测特征图构建掩码输入，可以根据特征图的值直接加强输入待测原始图像的目标病变区域的影响，弱化非目标病变区域的影响，使得目标病变区域的可视化更加精细紧凑，尤其是提高目标病变区域和非目标病变区域边缘部分的准确性，同时抑制非目标病变区域像素被误判为目标病变区域像素，提高了早期癌变病变区域预测的准确度。
需要说明的是，本申请实施例所述方法中，所述待测原始图像为待检测的原始医学影像图像。待测特征图序列为从所述多个阶段的特征图序列中选取的任意一个阶段的特征图序列，因此本申请可以对任意一阶段的特征图序列进行分析，得到基于该阶段的特征图序列生成的目标可视化结果，从而可以分析任一阶段的特征图序列对于原始医学影像图像的病变区域的贡献，具有可解释性。所述待测的医学影像图像可以为用于检测胃部癌症的医学影像图像，也可以为用于检测中肠癌的医学影像图像等。检测胃部癌症的医学影像图像可以为通过胃镜系统获取的胃部白光图像。可以理解的是，所述待测的医学影像图像并不限于是胃部和中肠癌的医学影像图像，还可以为其他人体部位的医学影像图像；图像样式也不限于是白光图像，还可以为CT图像等，采用不同的传感器获取的图像类型不同，本申请对此不作限定。多维度的特征图像即通过不同维度基于待测的医学影像图像所提取的图像，具体图像特征可包括形状、颜色、纹理等。由于医学影像获取过程通常是一个动态的过程，随着摄像头的移动同一个病变的成像大小、角度、光照条件等随时变化，容易产生漏检，因此通过维度提取涉及可以有效解决这一问题，提高病变区域预测的准确度。
应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
作为一种实施例，所述步骤S2具体根据具体应用需求来基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，例如需要预测所述待测原始图像为待检测的原始医学影像图像中的病变区域，则对应的可以选择最后一个阶段的特征图序列作为待测特征图序列，目标类别值为所有类别预测概率值中的最大值所对应的类别值，或者为类别预测概率值大于预设的概率阈值的类别值，可以理解的是，如果目标类别值有多个，则可分别基于每个目标类别值执行步骤S1-S5，生成每个目标类别对应的目标可视化结果。
作为一种实施例，如图2所示，所述步骤S3可包括：
步骤S31、将每一维度的待测特征图像转换为与所述待测原始图像尺寸相同的特征图像，作为每一维度的待测特征图像对应的图像掩码；
其中，待测原始图像经过输入特征提取模型后得到的特征图像的尺寸通常小于待测原始图像的尺寸，因此可将每一维度的待测特征图像通过反卷积或者上采样的方式提高每一维度的待测特征图像的尺寸直至与待测原始图像的尺寸相同。
步骤S32、将所述每一维度的待测特征图像对应的图像掩码和所述待测原始图像点乘，生成每一维度的掩码输入图像。
作为一种实施例，如图3所示，所述步骤S4可包括：
步骤S41、将每一维度的掩码输入图像输入所述特征提取模型，生成每一维度的掩码输入图像对应的掩码输入特征图序列；
步骤S42、将每一维度掩码输入图像对应的掩码输入特征图序列输入所述分类器中，获取每一维度掩码输入图像对应的目标类别的预测概率值；
步骤S43、根据每一维度掩码输入图像对应的待测特征图像在待测特征图序列的位置序号，从每一维度的掩码输入特征图序列中选择相同位置序号处的掩码输入特征图作为目标掩码输入特征图；
步骤S44、获取每一维度掩码输入图像对应的目标类别的预测概率值相对于对应目标掩码输入特征图的梯度并进行全局池化处理，得到每一维度待测特征图像对于所述待测原始图像的权重。
需要说明的是，计算梯度算法以及全局池化算法均为现有的算法，在此不再展开描述。
作为一种实施例，所述方法包括步骤S10、训练得到所述特征提取模型和分类器，具体包括：
步骤S101、设置所述特征提取模型和分类器的初始参数；
步骤S102、将多个医学影像样本图像和每一样本图像对应的各类别标签真值输入所述特征提取模型中，生成每一样本图像对应的多个阶段的样本特征图序列；
其中，每一样本图像对应的各类别标签真值，即每一类别对应的每一类别的概率的实际值。
步骤S103、将每一样本图像对应的多个阶段的样本特征图序列输入所述分类器中，生成每一样本图像对应的各类别的预测概率值；
步骤S104、基于每一样本图像对应的各类别的预测概率值和各类别标签真值获取损失函数；
步骤S105、基于所述损失函数调整所述特征提取模型和分类器的参数，并返回步骤S102进行下一轮次训练，直至所述损失函数符合预设的损失状态。
可以理解的是，所述损失函数符合预设的损失状态为特征提取模型和分类器训练结束的条件，具体可设置为一个损失函数阈值，当连续X个损失函数的值小于损失函数阈值时，判断所述损失函数符合预设的损失状态。也可以将损失状态设置为损失函数收敛，当所述损失函数收敛时，判断所述损失函数符合预设的损失状态。
作为一种实施例，所述步骤S5具体可包括：将每一维度的待测特征图像以及每一维度的待测特征图像对于所述待测原始图像的权重进行点乘，然后将所有维度对应的点乘结果相加，即可得到目标可视化结果。
为了进一步说明本申请所述方法，如图4所示，待检测胃部原始医学影像图像为待测原始图像为、以CNN表示特征提取模型为例，通过图4进行进一步说明，具体包括以下几个阶段：
1、分类阶段：
首先将原始胃部医学影像图像通过基于CNN的特征提取网络计算得到多个阶段的特征图序列，使用得到的特征图序列和预设的分类器计算得到该输入属于各个类别的概率，假设共有5个类别，当前输出结果为第c类，设对应的概率为yc，从所述多个阶段的特征图序列选择最后一个阶段的特征图序列作为待测特征图序列。
2、特征图掩码生成阶段：
原始胃部医学影像图像输入分类器计算各类别的概率时，得到多个阶段的特征图序列中的特征图的尺寸通常小于原始输入的图像。因此可通过反卷积或者上采样等方式提高待测特征图的尺寸至与原始输入图像相同，作为输入图像的掩码。
3、权重生成阶段：
分别将输入图像的掩码与原始胃部医学影像图像点乘得到若干个掩码输入图像。分别将每个掩码输入CNN和分类器中，经过CNN特征提取后得到若干个特征图，再经过分类器得到每张掩码输入图像对应的预测概率。对于第i个掩码输入图像，选择与原始输入图像预测类别c相对应的概率
Figure BDA0002917623540000081
根据掩码在原特征图序列中的位置序号i选择当前特征图序列中的特征图，计算概率
Figure BDA0002917623540000082
相对于当前特征图序列第i张特征图的梯度，并经过全局平均池化得到原特征图序列第i张特征图对应的权重
Figure BDA0002917623540000083
4、特征图融合阶段：
根据原始输入经过特征提取得到的若干张待测特征图和每张待测特征图对应的权重，计算所有待测特征图的加权和作为可视化结果。结果中特征值越高，代表这部分像素在所对应的输出类别概率中的贡献越大。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。本申请实施例提供一种医学影像图像处理装置，如图5所示，包括：
特征提取模块1，用于将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
分类预测模块2，用于将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值；
图像生成模块3，用于基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
权重获取模块4，用于基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
目标生成模块5，用于根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
作为一种实施例，所述待测原始图像为待检测的原始医学影像图像，或将所述待检测的原始医学影像图像输入所述特征提取模型处理过程中，所生成的任意一层特征图像。
作为一种实施例，所述图像生成模块3包括：
图像掩码获取单元，用于将每一维度的待测特征图像转换为与所述待测原始图像尺寸相同的特征图像，作为每一维度的待测特征图像对应的图像掩码；
掩码输入图像生成单元，用于将所述每一维度的待测特征图像对应的图像掩码和所述待测原始图像点乘，生成每一维度的掩码输入图像。
作为一种实施例，所述权重获取模块4包括：
特征提取单元，用于将每一维度的掩码输入图像输入所述特征提取模型，生成每一维度的掩码输入图像对应的掩码输入特征图序列；
概率获取单元，用于将每一维度掩码输入图像对应的掩码输入特征图序列输入所述分类器中，获取每一维度掩码输入图像对应的目标类别的预测概率值；
目标选择单元，根据每一维度掩码输入图像对应的待测特征图像在待测特征图序列的位置序号，从每一维度的掩码输入特征图序列中选择相同位置序号处的掩码输入特征图作为目标掩码输入特征图；
权重获取单元，用于获取每一维度掩码输入图像对应的目标类别的预测概率值相对于对应目标掩码输入特征图的梯度并进行全局池化处理，得到每一维度待测特征图像对于所述待测原始图像的权重。
作为一种实施例，所述装置还包括模型训练模块，用于训练得到所述特征提取模型和分类器，具体包括：
设置所述特征提取模型和分类器的初始参数；
将多个医学影像样本图像和每一样本图像对应的各类别标签真值输入所述特征提取模型中，生成每一样本图像对应的多个阶段的样本特征图序列；
将每一样本图像对应的多个阶段的样本特征图序列输入所述分类器中，生成每一样本图像对应的各类别的预测概率值；
基于每一样本图像对应的各类别的预测概率值和各类别标签真值获取损失函数；
基于所述损失函数调整所述特征提取模型和分类器的参数，并进行下一轮次训练，直至所述损失函数符合预设的损失状态。
本申请实施例所述装置基于输入待测原始图像经过特征提取得到的待测特征图构建掩码输入，可以根据特征图的值直接加强输入待测原始图像的目标病变区域的影响，弱化非目标病变区域的影响，使得目标病变区域的可视化更加精细紧凑，尤其是提高目标病变区域和非目标病变区域边缘部分的准确性，同时抑制非目标病变区域像素被误判为目标病变区域像素，提高了早期癌变病变区域预测的准确度。
本申请实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请实施例所述的方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机指令用于执行本申请实施例所述的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种医学影像图像处理方法，其特征在于，包括：
将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，N为正整数；
基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
2.根据权利要求1所述的方法，其特征在于，
所述基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像，包括：
将每一维度的待测特征图像转换为与所述待测原始图像尺寸相同的特征图像，作为每一维度的待测特征图像对应的图像掩码；
将所述每一维度的待测特征图像对应的图像掩码和所述待测原始图像点乘，生成每一维度的掩码输入图像。
3.根据权利要求2所述的方法，其特征在于，
所述基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重，包括：
将每一维度的掩码输入图像输入所述特征提取模型，生成每一维度的掩码输入图像对应的掩码输入特征图序列；
将每一维度掩码输入图像对应的掩码输入特征图序列输入所述分类器中，获取每一维度掩码输入图像对应的目标类别的预测概率值；
根据每一维度掩码输入图像对应的待测特征图像在待测特征图序列的位置序号，从每一维度的掩码输入特征图序列中选择相同位置序号处的掩码输入特征图作为目标掩码输入特征图；
获取每一维度掩码输入图像对应的目标类别的预测概率值相对于对应目标掩码输入特征图的梯度并进行全局池化处理，得到每一维度待测特征图像对于所述待测原始图像的权重。
4.根据权利要求1所述的方法，其特征在于，
所述方法包括：训练得到所述特征提取模型和分类器，具体包括：
设置所述特征提取模型和分类器的初始参数；
将多个医学影像样本图像和每一样本图像对应的各类别标签真值输入所述特征提取模型中，生成每一样本图像对应的多个阶段的样本特征图序列；
将每一样本图像对应的多个阶段的样本特征图序列输入所述分类器中，生成每一样本图像对应的各类别的预测概率值；
基于每一样本图像对应的各类别的预测概率值和各类别标签真值获取损失函数；
基于所述损失函数调整所述特征提取模型和分类器的参数，并进行下一轮次训练，直至所述损失函数符合预设的损失状态。
5.一种医学影像图像处理装置，其特征在于，包括：
特征提取模块，用于将待测原始图像输入预先训练的特征提取模型中生成多个阶段的特征图序列，每一阶段的特征图序列包括多个尺寸相同、维度不同的特征图像，从所述多个阶段的特征图序列中选取一个阶段的特征图序列作为待测特征图序列；
分类预测模块，用于将所述多个阶段的待测特征图序列输入预先训练的分类器中，生成所述待测原始图像对应的每一类别的预测概率值，所述分类器对应N个类别，包括非病变类别和(N-1)个病变类别，基于所述待测原始图像对应的N个类别预测概率值确定目标类别值，N为正整数；
图像生成模块，用于基于每一维度的待测特征图像与所述待测原始图像生成每一维度对应的掩码输入图像；
权重获取模块，用于基于每一维度的掩码输入图像和目标类别值获取每一维度待测特征图像对于所述待测原始图像的权重；
目标生成模块，用于根据所有维度的待测特征图像，以及每一待测特征图像对于所述待测原始图像的权重生成目标可视化结果。
6.根据权利要求5所述的装置，其特征在于，
所述图像生成模块包括：
图像掩码获取单元，用于将每一维度的待测特征图像转换为与所述待测原始图像尺寸相同的特征图像，作为每一维度的待测特征图像对应的图像掩码；
掩码输入图像生成单元，用于将所述每一维度的待测特征图像对应的图像掩码和所述待测原始图像点乘，生成每一维度的掩码输入图像。
7.根据权利要求6所述的装置，其特征在于，
所述权重获取模块包括：
特征提取单元，用于将每一维度的掩码输入图像输入所述特征提取模型，生成每一维度的掩码输入图像对应的掩码输入特征图序列；
概率获取单元，用于将每一维度掩码输入图像对应的掩码输入特征图序列输入所述分类器中，获取每一维度掩码输入图像对应的目标类别的预测概率值；
目标选择单元，根据每一维度掩码输入图像对应的待测特征图像在待测特征图序列的位置序号，从每一维度的掩码输入特征图序列中选择相同位置序号处的掩码输入特征图作为目标掩码输入特征图；
权重获取单元，用于获取每一维度掩码输入图像对应的目标类别的预测概率值相对于对应目标掩码输入特征图的梯度并进行全局池化处理，得到每一维度待测特征图像对于所述待测原始图像的权重。
8.根据权利要求5所述的装置，其特征在于，
所述装置还包括模型训练模块，用于训练得到所述特征提取模型和分类器，具体包括：
设置所述特征提取模型和分类器的初始参数；
将多个医学影像样本图像和每一样本图像对应的各类别标签真值输入所述特征提取模型中，生成每一样本图像对应的多个阶段的样本特征图序列；
将每一样本图像对应的多个阶段的样本特征图序列输入所述分类器中，生成每一样本图像对应的各类别的预测概率值；
基于每一样本图像对应的各类别的预测概率值和各类别标签真值获取损失函数；
基于所述损失函数调整所述特征提取模型和分类器的参数，并进行下一轮次训练，直至所述损失函数符合预设的损失状态。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行前述权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行前述权利要求1-4中任一项所述的方法。
CN202110114638.8A 2021-01-26 2021-01-26 医学影像图像处理方法、装置、电子设备及介质 Pending CN112861942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110114638.8A CN112861942A (zh) 2021-01-26 2021-01-26 医学影像图像处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110114638.8A CN112861942A (zh) 2021-01-26 2021-01-26 医学影像图像处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112861942A true CN112861942A (zh) 2021-05-28

Family

ID=75986856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110114638.8A Pending CN112861942A (zh) 2021-01-26 2021-01-26 医学影像图像处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112861942A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457339A (zh) * 2022-11-11 2022-12-09 中加健康工程研究院(合肥)有限公司 一种基于深度集成学习的ad预测方法、系统及装置
CN117219295A (zh) * 2023-11-03 2023-12-12 浙江省肿瘤医院 一种基于ct图像的胃癌新辅助化疗疗效预测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457339A (zh) * 2022-11-11 2022-12-09 中加健康工程研究院(合肥)有限公司 一种基于深度集成学习的ad预测方法、系统及装置
CN117219295A (zh) * 2023-11-03 2023-12-12 浙江省肿瘤医院 一种基于ct图像的胃癌新辅助化疗疗效预测系统

Similar Documents

Publication Publication Date Title
CN110930397B (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN110197493B (zh) 眼底图像血管分割方法
CN109493347B (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
CN109360633B (zh) 医疗影像处理方法及装置、处理设备及存储介质
EP4036931A1 (en) Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
CN112308846B (zh) 血管分割方法、装置及电子设备
CN112861942A (zh) 医学影像图像处理方法、装置、电子设备及介质
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN116579954B (zh) 一种超高清内窥镜图像智能增强方法
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN112837325A (zh) 医学影像图像处理方法、装置、电子设备及介质
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Li et al. Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology
CN112862745B (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN110956623A (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
KR101162605B1 (ko) 씨티 이미지에서의 텍스처 특징 추출방법
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN115619706A (zh) 一种基于深度学习的肺结节检测方法
Kuruba et al. Robust blood vessel detection with image enhancement using relative intensity order transformation and deep learning
Wang et al. Research on Computer Aided Detection and Segmentation of Pulmonary Nodules Based on Deep Learning and Generative Adversarial Networks
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination