CN112991298A - 模型构建方法、医学影像识别方法、装置及电子设备 - Google Patents

模型构建方法、医学影像识别方法、装置及电子设备 Download PDF

Info

Publication number
CN112991298A
CN112991298A CN202110285843.0A CN202110285843A CN112991298A CN 112991298 A CN112991298 A CN 112991298A CN 202110285843 A CN202110285843 A CN 202110285843A CN 112991298 A CN112991298 A CN 112991298A
Authority
CN
China
Prior art keywords
model
tumor
image
level
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110285843.0A
Other languages
English (en)
Inventor
周武
李尚轩
谢延岩
简婉薇
张洪来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University of Traditional Chinese Medicine
Guangzhou University of Chinese Medicine
Original Assignee
Guangzhou University of Traditional Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University of Traditional Chinese Medicine filed Critical Guangzhou University of Traditional Chinese Medicine
Priority to CN202110285843.0A priority Critical patent/CN112991298A/zh
Publication of CN112991298A publication Critical patent/CN112991298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的模型构建方法、医学影像识别方法、装置及电子设备中，该电子设备将待迁移模型中的预设网络层，作为迁移模型；并构建包括该迁移模型的肿瘤等级模型，并通过未增强肿瘤影像，对生成的肿瘤等级模型进行训练。由于在训练期间，保持迁移模型预设网络层的参数不变，因此，保留了迁移模型对增强肿瘤影像的特征提取以及处理能力，继而使得训练获得的肿瘤等级模型不依赖于增强肿瘤影像即可获得肿瘤等级的置信度。

Description

模型构建方法、医学影像识别方法、装置及电子设备
技术领域
本申请涉及机器学习领域，具体而言，涉及一种模型构建方法、医学影像识别方法、装置及电子设备。
背景技术
在临床实践中，会通过在增强影像中肿瘤的动脉血供、肿瘤血管形态学以及功能影像等特征来评估肿瘤的等级，然而，造影剂的使用存在一定的局限性。
发明内容
为了克服现有技术中的至少一个不足，第一方面，本申请实施例提供一种模型构建方法，应用于电子设备，所述电子设备配置有待训练的第一等级模型，所述方法包括：
通过第一样本影像训练所述第一等级模型识别肿瘤等级，获得待迁移模型，其中，所述第一样本影像包括增强肿瘤影像；
将所述待迁移模型中迁移出的预设网络层，作为迁移模型；
生成待训练的第二等级模型，其中，第二等级模型包括所述迁移模型；
通过第二样本影像训练所述第二等级模型识别肿瘤等级，获得肿瘤等级模型，其中，所述第二样本影像为未增强肿瘤影像，并且，在训练期间，保持所述迁移模型预设网络层的参数不变。
第二方面，本申请实施例提供一种医学影像识别方法，应用于电子设备，所述电子设备配置有由所述的模型构建方法所构建的肿瘤等级模型，所述方法包括：
获取待识别肿瘤影像，所述待识别肿瘤影像为未增强肿瘤影像；
通过所述肿瘤等级模型对所述待识别肿瘤影像进行识别，获得所述待识别肿瘤影像中肿瘤等级的置信度。
第三方面，本申请实施例提供一种模型构建装置，应用于电子设备，所述电子设备配置有待训练的第一等级模型，所述模型构建装置包括：
第一训练模块，用于通过第一样本影像训练所述第一等级模型识别肿瘤等级，获得待迁移模型，其中，所述第一样本影像包括增强肿瘤影像；
网络迁移模块，用于将所述待迁移模型中迁移出的预设网络层，作为迁移模型；
模型生成模块，用于生成待训练的第二等级模型，其中，第二等级模型包括所述迁移模型；
第二训练模块，用于通过第二样本影像训练所述第二等级模型识别肿瘤等级，获得肿瘤等级模型，其中，所述第二样本影像为未增强肿瘤影像，并且，在训练期间，保持所述迁移模型预设网络层的参数不变。
第四方面，本申请实施例提供一种医学影像识别装置，应用于电子设备，所述电子设备配置有由所述模型构建装置所构建的肿瘤等级模型，所述医学影像识别装置包括：
影像获取模块，用于获取待识别肿瘤影像，所述待识别肿瘤影像为未增强肿瘤影像；
等级识别模块，用于通过所述肿瘤等级模型对所述待识别肿瘤影像进行识别，获得所述待识别肿瘤影像中肿瘤等级的置信度。
第五方面，本申请实施例提供一种电子设备，所述电子设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现所述的模型构建方法或者所述的医学影像识别方法。
第六方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的模型构建方法或者所述的医学影像识别方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例提供的模型构建方法、医学影像识别方法、装置及电子设备中，该电子设备将待迁移模型中的预设网络层，作为迁移模型；并构建包括该迁移模型的肿瘤等级模型，并通过未增强肿瘤影像，对生成的肿瘤等级模型进行训练。由于在训练期间，保持迁移模型预设网络层的参数不变，因此，保留了迁移模型对增强肿瘤影像的特征提取以及处理能力，继而使得训练获得的肿瘤等级模型不依赖于增强肿瘤影像即可获得肿瘤等级的置信度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的模型构建方法的流程示意图之一；
图2为本申请实施例提供的模型构建方法的流程示意图之二；
图3为本申请实施例提供的第一等级模型的结构示意图；
图4为本申请实施例提供的第二等级模型的结构示意图；
图5为本申请实施例提供的医学影像识别方法的流程示意图；
图6为本申请实施例提供的模型构建装置的结构示意图；
图7为本申请实施例提供的医学影像识别装置的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
图标：201-第一网络层；202-第二网络层；301-未增强肿瘤影像；302-增强肿瘤影像；1101-第一训练模块；1102-网络迁移模块；1103-模型生成模块；1104-第二训练模块；2101-影像获取模块；2102-等级识别模块；120-存储器；130-处理器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
脑癌和肝癌是两种非常常见和致命的癌症，严重威胁着人的生命。脑胶质瘤约占所有恶性脑肿瘤的80％，而肝细胞癌是最常见的原发性肝癌，约占85％-90％。在临床实践中，肿瘤的组织学分级已被广泛认为是患者管理和治疗策略的重要因素之一。与高级癌症相比，低级别癌症的生长速度可能更慢，扩散的概率也更低。
临床上，活检被认为是唯一的方法，以明确获得组织病理学分级的癌症和给出一个预后，以指导治疗决定。然而，由于活检中存在一定的采样误差，用活检标本评价肿瘤的病理分级存在一定争议。此外，肿瘤可能位于难以触及的区域或非常敏感的区域(如脑胶质瘤)，针吸活检可能无法安全进行。因此，利用无创性的医学影像学方法来评估肿瘤的级别已迫在眉睫。
相关技术中，建议通过非侵入性医学成像来评估肿瘤的级别，尤其是通过在增强影像上描述肿瘤的动脉血供和肿瘤血管等形态学和功能影像特征来评估肿瘤的级别。
然而，在临床实践中，造影剂的局限性已经被认识到。注射造影剂后，组织中会残留少量至少某种形式的造影剂(约注射剂量的1％)。它可能导致10％-15％的造影剂诱发肾病(CIN)的发病率，而大约5％的患者在注射造影剂前肾功能完全正常。
研究表明，造影剂与急性肾功能衰竭有关，肾功能衰竭患者和对造影剂过敏的患者不能使用造影剂。因此，这类病人只能接受非增强检查。另外，造影剂的使用也会因其成本高而带来一定的经济负担。从临床角度来看，提高非增强磁共振在肿瘤分级中的应用是很有必要的。
鉴于此，本申请实施例提供一种模型构建方法，应用于电子设备。该电子设备通过该模型构建方法，将待迁移模型中的预设网络层，作为迁移模型；并构建包括该迁移模型的肿瘤等级模型。由于该迁移模型具备待迁移模型从增强肿瘤影像中提取特征的能力，使得构建的肿瘤等级模型不依赖于增强肿瘤影像即可获得肿瘤等级的置信度。
请参照图1，为上述模型构建方法的流程图，以下将对该方法包括各个步骤进行详细阐述。如图1所示，该模型构建方法包括：
步骤S101A，通过第一样本影像训练第一等级模型识别肿瘤等级，获得待迁移模型。
其中，第一样本影像包括增强肿瘤影像。即本申请实施例中，先通过包括有增强肿瘤影像的第一样本影像，训练出能够基于增强肿瘤影像进行肿瘤等级识别的待迁移模型。因此，该待迁移模型的特征提取方式以及特征处理方式适应于增强肿瘤影像。
另外，本申请实施例中的增强肿瘤影像可以是注射造影剂后，特定身体部位所拍摄的核磁共振影像。示例性的，该特定身体部位可以是头部、肝脏部位或者肺部等。
肿瘤等级通常分为4个等级，表征肿瘤的恶性程度指标，并且，等级越高，其恶性程度同样越高。
步骤S102A，将待迁移模型中迁移出的预设网络层，作为迁移模型。
步骤S103A，生成待训练的第二等级模型。
其中，第二等级模型包括迁移模型。由于该待迁移模型的特征提取方式以及特征处理方式适应于增强肿瘤影像，相对应的，迁移出的预设网络层，即迁移模型同样具备处理增强肿瘤影像的能力。
步骤S104A，通过第二样本影像训练第二等级模型识别肿瘤等级，获得肿瘤等级模型。
其中，第二样本影像为未增强肿瘤影像，并且，在训练期间，保持迁移模型预设网络层的参数不变。
通过上述方式，该电子设备将待迁移模型中的预设网络层，作为迁移模型；并构建包括该迁移模型的肿瘤等级模型，并通过未增强肿瘤影像，对生成的肿瘤等级模型进行训练。由于在训练期间，保持迁移模型预设网络层的参数不变，因此，保留了迁移模型对增强肿瘤影像的特征提取以及处理能力，继而使得训练获得的肿瘤等级模型不依赖于增强肿瘤影像即可获得肿瘤等级的置信度。
为了保留迁移模型对增强肿瘤影像的特征提取以及处理能力，同时，又能适应未增强肿瘤影像。该迁移模型包括第一迁移模型和第二迁移模型，第一样本影像还包括未增强肿瘤影像。
其中，待迁移模型中与第一迁移模型相对应部分，用于在训练期间识别第一样本影像中的未增强肿瘤影像；
待迁移模型中与第二迁移模型相对应的部分，用于在预训练期间识别第一样本影像中的增强肿瘤影像。
由此可见，第一迁移模型保留了未增强肿瘤影像的特征提取以及处理能力，第二迁移模型保留了对增强肿瘤影像的特征提取以及处理能力，使得生成的肿瘤等级模型兼顾了对未增强肿瘤影像以及增强肿瘤影像的处理能力。
本申请实施例中，为了提高最终所训练获得的肿瘤等级模型对肿瘤等级的识别精度，第二等级模型还包括特征提取模型，其中，特征提取模型用于识别肿瘤，并且，在训练期间，保持特征提取模型预设网络层的参数不变。
由此可见，本申请实施中的肿瘤等级模型包括有用于识别肿瘤的特征提取模型，使得肿瘤等级模型在进行肿瘤等级识别时，结合了肿瘤的识别结果。
其中，该特征提取模型可以是三维特征提取模型。示例性的，可以通过3DCNN(Convolutional Neural Networks,卷积神经网络)模型提取待识别肿瘤影像中的肿瘤的三维特征，并对三维特征进行识别以确定待识别肿瘤影像中是否存在肿瘤。
另外，为了训练出具有识别精度高、鲁棒性强的肿瘤等级模型，请参照图2，上述步骤S104A包括以下子步骤：
步骤S104A-1，将第二样本影像输入至第二等级模型。
步骤S104A-2，基于预设的损失函数，训练第二等级模型识别肿瘤等级，获得肿瘤等级模型。
其中，损失函数结合了肿瘤等级模型的损失值、迁移模型的损失值以及特征提取模型的损失值。
进一步地，本申请实施例中，为了获取肿瘤更多的特征信息，以提高肿瘤等级识别模型的识别精度。上述待训练的第一等级模型可以是多个，相对应的，用于进行训练的第一样本影像可以有多组，进而训练获得的待迁移模型同样可以是多个。
其中，各组第一样本影像之间，所包括的增强肿瘤影像分别对应注射造影剂以后，不同血液循环时刻的增强肿瘤影像。
示例性的，请参照图3所示的第一等级模型可能的结构示意图。如图3所示，该第一等级模型的输入端包括两部分，分别为第一网络层201以及第二网络层202。其中，第一网络层201用于输入未增强肿瘤影像301，第二网络层202用于输入增强肿瘤影像302，分别经过第一网络层201以及第二网络层202中的3D CNN网络层以及全连接层处理后，将第一网络层201与第二网络层202的输出结果进行拼接后，输入至全连接层进行处理，最后由softmax层输出肿瘤等级的置信度。
其中，如图3所示，在一种可能的实现方式中，3D CNN网络层由3个卷积层、3个池化层构成；每个卷积层中，将3D特征块与3D卷积滤波器进行卷积处理，得到卷积特征块，然后由池化层对卷积特征块进行池化处理，最后输出至全连接层。
值得说明的是，上述未增强肿瘤影像301以及增强肿瘤影像302属于身体的同一部位。可选地，该电子设备将包括动脉相位影像的训练样本作为一组第一样本影像，将包括门静脉相位影像的训练样本作为一组第一样本影像。其中，动脉相位影像与门静脉相位影像分别为注射造影剂后，不同血液循环时刻的增强肿瘤影像。
基于上述第一等级模型的结构以及相应的医学影像处理流程，该电子设备可以获得动脉相位影像对应的待迁移模型(为了方便表述，表示为NN1)，门静脉相位影像对应的待迁移模型(为了方便表述，表示为NN2)。
该电子设备迁移出NN1中的第一网络层以及第二网络层，作为迁移模型(为了方便表述，表示为Part A)，迁移出NN2中的第一网络层以及第二网络层，作为迁移模型(为了方便表述，表示为Part B)；并提供用于识别肿瘤的特征提取模型(为了方便表述，表示为PartC)。
该电子设备基于上述Part A、Part B以及Part C生成第二等级模型。请参照图4，为本申请实施例提供该第二等级模型可能的结构示意图。如图4所示，第二等级模型提供有全连接层，Part A、Part B以及Part C将处理结果进行拼接后，输入至该全连接层进行处理，最后由softmax层输出肿瘤等级的置信度。
本申请实施例中，将Part A中的第一网络层输出的损失值标识为LA，第一网络层输出的损失值表示为LA'，Part B中的第一网络层输出的损失值表示为LB，Part B中的第二网络层输出的损失值表示为LB'，Part C输出的损失值表示为LC；第二等级模型输出的损失值为Linter-phase；则预设的损失函数L可以表示为：
L＝Linter-phase+γ(LA+LA′+LB+LB′+LC)；
式中，γ为协调参数。并且，在通过预设的损失函数L调整第二等级模型的参数以获得肿瘤等级模型的过程中，保持Part A中3D CNN网络层以及第一个全连接层的参数不变，Part B中3D CNN网络层以及第一个全连接层的参数不变；Part C中全部的参数不变，以保留Part A与Part B对增强肿瘤影像以及未增强肿瘤影像的特征提取能力，以及Part C对肿瘤的识别能力。
另外，在训练过程中，还可以采用可视化方法Grad-CAM对模型的机理进行了解释和理解。
基于上述模型构建方法，本申请实施例还提供一种医学影像识别方法，应用于电子设备，电子设备配置有上述模型构建方法所构建的肿瘤等级模型。请参照图5，该方法包括：
步骤S101B，获取待识别肿瘤影像，待识别肿瘤影像为未增强肿瘤影像。
步骤S102B，通过肿瘤等级模型对待识别肿瘤影像进行识别，获得待识别肿瘤影像中肿瘤等级的置信度。
基于相同的发明构思，本申请实施例还提供一种模型构建装置，应用于电子设备，电子设备配置有待训练的第一等级模型。模型构建装置包括至少一个可以软件形式存储于存储器中的功能模块。请参照图6，从功能上划分，模型构建装置可以包括：
第一训练模块1101，用于通过第一样本影像训练第一等级模型识别肿瘤等级，获得待迁移模型，其中，第一样本影像包括增强肿瘤影像。
本申请实施例中，该第一训练模块1101中的计算机可执行指令被处理器执行时，实现图1中的步骤S101A，关于该第一训练模块1101的详细描述，可以参见步骤S101A的详细描述。
网络迁移模块1102，用于将待迁移模型中迁移出的预设网络层，作为迁移模型。
本申请实施例中，该网络迁移模块1102中的计算机可执行指令被处理器执行时，实现图1中的步骤S102A，关于该网络迁移模块1102的详细描述，可以参见步骤S102A的详细描述。
模型生成模块1103，用于生成待训练的第二等级模型，其中，第二等级模型包括迁移模型。
本申请实施例中，该模型生成模块1103中的计算机可执行指令被处理器执行时，实现图1中的步骤S103A，关于该模型生成模块1103的详细描述，可以参见步骤S103A的详细描述。
第二训练模块1104，用于通过第二样本影像训练第二等级模型识别肿瘤等级，获得肿瘤等级模型，其中，第二样本影像为未增强肿瘤影像，并且，在训练期间，保持迁移模型预设网络层的参数不变。
本申请实施例中，该第二训练模块1104中的计算机可执行指令被处理器执行时，实现图1中的步骤S104A，关于该第二训练模块1104的详细描述，可以参见步骤S104A的详细描述。
当然，上述第一训练模块1101、网络迁移模块1102、模型生成模块1103以及第二训练模块1104还可以用于实现该模型构建方法的其他步骤或者步骤，本申请实施例不做具体的限定。
本申请实施例还提供一种医学影像识别装置，应用于电子设备，电子设备配置有由上述模型构建装置所构建的肿瘤等级模型。该医学影像识别装置包括至少一个可以软件形式存储于存储器中的功能模块。请参照图7，从功能上划分，医学影像识别装置可以包括医学影像识别装置包括：
影像获取模块2101，用于获取待识别肿瘤影像，待识别肿瘤影像为未增强肿瘤影像。
本申请实施例中，该影像获取模块2101中的计算机可执行指令被处理器执行时，实现图5中的步骤S101B，关于该影像获取模块2101的详细描述，可以参见步骤S101B的详细描述。
等级识别模块2102，用于通过肿瘤等级模型对待识别肿瘤影像进行识别，获得待识别肿瘤影像中肿瘤等级的置信度。
本申请实施例中，该等级识别模块2102中的计算机可执行指令被处理器执行时，实现图5中的步骤S102B，关于该等级识别模块2102的详细描述，可以参见步骤S102B的详细描述。
本申请实施例还提供一种电子设备，该电子设备包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时，实现上述模型构建方法或医学影像识别方法。
其中，该电子设备可以是，但不限于，服务器、智能手机、个人电脑(PersonalComputer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。
请参照图8，为该电子设备可以能的结构示意图。如图8所示，该电子设备包括存储器120以及处理器130。
该存储器120、处理器130以及其他各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，该处理器130在接收到执行指令后，执行该程序。
该处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现的模型构建方法或者的医学影像识别方法。
综上所述，本申请实施例提供的模型构建方法、医学影像识别方法、装置及电子设备中，该电子设备将待迁移模型中的预设网络层，作为迁移模型；并构建包括该迁移模型的肿瘤等级模型，并通过未增强肿瘤影像，对生成的肿瘤等级模型进行训练。由于在训练期间，保持迁移模型预设网络层的参数不变，因此，保留了迁移模型对增强肿瘤影像的特征提取以及处理能力，继而使得训练获得的肿瘤等级模型不依赖于增强肿瘤影像即可获得肿瘤等级的置信度。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种模型构建方法，其特征在于，应用于电子设备，所述电子设备配置有待训练的第一等级模型，所述方法包括：
通过第一样本影像训练所述第一等级模型识别肿瘤等级，获得待迁移模型，其中，所述第一样本影像包括增强肿瘤影像；
将所述待迁移模型中迁移出的预设网络层，作为迁移模型；
生成待训练的第二等级模型，其中，第二等级模型包括所述迁移模型；
通过第二样本影像训练所述第二等级模型识别肿瘤等级，获得肿瘤等级模型，其中，所述第二样本影像为未增强肿瘤影像，并且，在训练期间，保持所述迁移模型预设网络层的参数不变。
2.根据权利要求1所述的模型构建方法，其特征在于，所述迁移模型包括第一迁移模型和第二迁移模型，所述第一样本影像还包括未增强肿瘤影像；
其中，所述待迁移模型中与所述第一迁移模型相对应部分，用于在训练期间识别所述第一样本影像中的未增强肿瘤影像；
所述待迁移模型中与所述第二迁移模型相对应的部分，用于在预训练期间识别所述第一样本影像中的增强肿瘤影像。
3.根据权利要求1所述的模型构建方法，其特征在于，所述第二等级模型还包括特征提取模型，其中，所述特征提取模型用于识别肿瘤，并且，在训练期间，保持所述特征提取模型预设网络层的参数不变。
4.根据权利要求3所述的模型构建方法，其特征在于，所述通过第二样本影像训练所述第二等级模型识别肿瘤等级，获得肿瘤等级模型，包括：
将所述第二样本影像输入至所述第二等级模型；
基于预设的损失函数，训练所述第二等级模型识别肿瘤等级，获得所述肿瘤等级模型，其中，所述损失函数结合了所述肿瘤等级模型的损失值、所述迁移模型的损失值以及所述特征提取模型的损失值。
5.根据权利要求3-4任意一项所述的模型构建方法，其特征在于，所述特征提取模型为三维特征提取模型。
6.一种医学影像识别方法，其特征在于，应用于电子设备，所述电子设备配置有由权利要求1-5任意一项所述的模型构建方法所构建的肿瘤等级模型，所述方法包括：
获取待识别肿瘤影像，所述待识别肿瘤影像为未增强肿瘤影像；
通过所述肿瘤等级模型对所述待识别肿瘤影像进行识别，获得所述待识别肿瘤影像中肿瘤等级的置信度。
7.一种模型构建装置，其特征在于，应用于电子设备，所述电子设备配置有待训练的第一等级模型，所述模型构建装置包括：
第一训练模块，用于通过第一样本影像训练所述第一等级模型识别肿瘤等级，获得待迁移模型，其中，所述第一样本影像包括增强肿瘤影像；
网络迁移模块，用于将所述待迁移模型中迁移出的预设网络层，作为迁移模型；
模型生成模块，用于生成待训练的第二等级模型，其中，第二等级模型包括所述迁移模型；
第二训练模块，用于通过第二样本影像训练所述第二等级模型识别肿瘤等级，获得肿瘤等级模型，其中，所述第二样本影像为未增强肿瘤影像，并且，在训练期间，保持所述迁移模型预设网络层的参数不变。
8.一种医学影像识别装置，其特征在于，应用于电子设备，所述电子设备配置有由权利要求7所述的模型构建装置所构建的肿瘤等级模型，所述医学影像识别装置包括：
影像获取模块，用于获取待识别肿瘤影像，所述待识别肿瘤影像为未增强肿瘤影像；
等级识别模块，用于通过所述肿瘤等级模型对所述待识别肿瘤影像进行识别，获得所述待识别肿瘤影像中肿瘤等级的置信度。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任意一项所述的模型构建方法或者权利要求6所述的医学影像识别方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任意一项所述的模型构建方法或者权利要求6所述的医学影像识别方法。
CN202110285843.0A 2021-03-17 2021-03-17 模型构建方法、医学影像识别方法、装置及电子设备 Pending CN112991298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285843.0A CN112991298A (zh) 2021-03-17 2021-03-17 模型构建方法、医学影像识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285843.0A CN112991298A (zh) 2021-03-17 2021-03-17 模型构建方法、医学影像识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112991298A true CN112991298A (zh) 2021-06-18

Family

ID=76332753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285843.0A Pending CN112991298A (zh) 2021-03-17 2021-03-17 模型构建方法、医学影像识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112991298A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WU ZHOU ET AL: "Improving the performance of non-enhanced MR for predicting the grade of hepatocellular carcinoma by transfer learning", 《ISMRM 2020》 *
XU D ET AL: "Learning Cross-Modal Deep Representations for Robust Pedestrian Detection", 《 COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Similar Documents

Publication Publication Date Title
US10970365B2 (en) System and method for medical image interpretation
Alksas et al. A novel computer-aided diagnostic system for accurate detection and grading of liver tumors
KR20190105220A (ko) 의료 이미지 식별 및 해석
CN112465834B (zh) 一种血管分割方法及装置
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN111640124B (zh) 一种血管提取方法、装置、设备及存储介质
CN115830017A (zh) 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
KR20200131020A (ko) 의료기계 학습 시스템
WO2022212498A1 (en) Artificial intelligence assisted diagnosis and classification of liver cancer from image data
CN114419111A (zh) 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统
Zhou et al. TED: Two-stage expert-guided interpretable diagnosis framework for microvascular invasion in hepatocellular carcinoma
Zhao et al. Current progress in artificial intelligence-assisted medical image analysis for chronic kidney disease: A literature review
CN113113100B (zh) 医学影像检查报告的制作方法和装置
Arya et al. Explainable AI for enhanced interpretation of liver cirrhosis biomarkers
CN113706541B (zh) 一种图像处理方法及装置
Chakshu et al. Automating fractional flow reserve (FFR) calculation from CT scans: A rapid workflow using unsupervised learning and computational fluid dynamics
Zaman et al. Adaptive Feature Medical Segmentation Network: an adaptable deep learning paradigm for high-performance 3D brain lesion segmentation in medical imaging
CN112991298A (zh) 模型构建方法、医学影像识别方法、装置及电子设备
CN113610841B (zh) 一种血管异常图像识别方法、装置、电子设备和存储介质
CN114782443A (zh) 基于数据增强的动脉瘤风险评估的装置和存储介质
Wang et al. A Framework for Interpretability in Machine Learning for Medical Imaging
CN114119688A (zh) 基于深度学习的冠状动脉造影前后单模医学图像配准方法
Negrão de Figueiredo et al. Digital analysis in breast imaging
Allgöwer et al. Liver Tumor Segmentation Using Classical Algorithms & Deep Learning
Zhao et al. Combining data mining and image processing techniques to establish abnormal image prediction mode to increase radiologists' reports quality—use liver cancer patients as an example

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210618