CN113140290A - 模型训练方法、装置、病灶识别方法及电子设备 - Google Patents

模型训练方法、装置、病灶识别方法及电子设备 Download PDF

Info

Publication number
CN113140290A
CN113140290A CN202011496358.XA CN202011496358A CN113140290A CN 113140290 A CN113140290 A CN 113140290A CN 202011496358 A CN202011496358 A CN 202011496358A CN 113140290 A CN113140290 A CN 113140290A
Authority
CN
China
Prior art keywords
focus
medical image
lesion
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011496358.XA
Other languages
English (en)
Inventor
柴象飞
郭娜
刘鹏飞
张莞舒
左盼莉
李宏军
李莉
李雪芹
王健
刘晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiying Medical Technology Beijing Co ltd
Original Assignee
Huiying Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiying Medical Technology Beijing Co ltd filed Critical Huiying Medical Technology Beijing Co ltd
Priority to CN202011496358.XA priority Critical patent/CN113140290A/zh
Publication of CN113140290A publication Critical patent/CN113140290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种模型训练方法、装置、病灶识别方法及电子设备。通过该模型训练方法，该电子设备在训练病灶识别模型时并基于高分辨率网络在提取特征信息的过程中，不断进行多维度的特征融合。并结合病灶分割结果以及病灶分类结果对训练过程进行监督。可以在对图像进行处理的过程中获取到更多的特征信息，从而使得预训练的病灶识别模型能够提高对医学影像的识别精度。

Description

模型训练方法、装置、病灶识别方法及电子设备
技术领域
本申请涉及数据处理领域，具体而言，涉及一种模型训练方法、装置、病灶识别方法及电子设备。
背景技术
目前，医学影像已成为疾病诊断时的重要参考资料，但目前的诊断方式，主要依赖于医生的个人经验对医学影像逐张进行查看，进准确度均依赖于医生的个人经验，且诊断效率存在一定瓶颈。因此，需要提供一种高精度的医学影像识别模型一提升医生诊断的准确率及效率。
发明内容
为了克服现有技术中的至少一个不足，本申请实施例的目的之一在于提供一种模型训练方法，应用于电子设备，所述电子设备配置有基于高分辨率网络的病灶识别模型，所述病灶识别模型包括不同特征维度的多个子网络，所述多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类，所述方法包括：
获取样本医学影像，所述样本医学影像中标记有病灶区域以及病灶类别；
将所述样本医学影像输入到所述病灶识别模型；
结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型进行病灶识别，获得预训练的病灶识别模型。
可选地，所述结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型进行病灶识别，获得预训练的病灶识别模型的步骤，包括：
通过所述病灶识别模型对所述样本医学影像进行处理，获得对所述样本医学影像中病灶区域的分割结果以及分类结果；
根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值；
根据所述分类结果与所述样本医学影像中标记的病灶类型，获得第二损失值；
将所述第一损失值与所述第二损失值的加权求和值与预设损失阈值进行比较；
若大于该预设损失阈值，则通过所述加权求和值对所述病灶识别模型的参数进行调整，再次从所述通过所述病灶识别模型对所述样本医学影像进行处理，则获得对所述样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行；
若不大于该预设损失阈值，则获得所述预训练的病灶识别模型。
可选地，所述分割结果包括二分类病灶掩膜以及多分类病灶掩膜，其中，所述二分类病灶掩膜中标识了病灶区域以及非病灶区域，所述多分类病灶掩膜中标识了不同类型的病灶区域以及非病灶区域，所述根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值的步骤，包括：
根据所述二分类病灶掩膜中所标识的病灶区域以及所述样本医学影像中标记的病灶区域，获得第一掩膜损失值；
根据所述多分类病灶掩膜中所标识的不同类型的病灶区域以及所述样本医学影像中标记的各类别的病灶区域，获得第二掩膜损失值；
对所述第一掩膜损失值以及所述第二掩膜损失值进行加权求和，获得所述第一损失值。
可选地，所述样本医学影像为CT样本图像，所述将所述样本医学影像输入到所述病灶识别模型之前，所述方法还包括：
获取CT原始图像；
将所述CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像；
对所述调整后的CT原始图像的进行归一化处理，获得所述CT样本图像。
本申请实施例的目的之二在于提供一种病灶识别方法，应用于电子设备，所述电子设备配置有经所述的模型训练方法训练获得的预训练的病灶识别模型，所述方法包括：
获得待识别的医学影像图像；
通过所述预训练的病灶识别模型对所述医学影像图像进行处理，获得对所述医学影像图像中病灶区域的分割结果以及分类结果。
本申请实施例的目的之三在于提供一种模型训练装置，应用于电子设备，所述电子设备配置有基于高分辨率网络的病灶识别模型，所述病灶识别模型包括不同特征维度的多个子网络，所述多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类，所述模型训练装置包括：
样本获取模块，用于获取样本医学影像，所述样本医学影像中标记有病灶区域以及病灶类别；
样本输入模块，用于将所述样本医学影像输入到所述病灶识别模型；
模型训练模块，用于结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型进行病灶识别，获得预训练的病灶识别模型。
可选地，所述模型训练模块具体包括：
通过所述病灶识别模型对所述样本医学影像进行处理，获得对所述样本医学影像中病灶区域的分割结果以及分类结果；
根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值；
根据所述分类结果与所述样本医学影像中标记的病灶类型，获得第二损失值；
将所述第一损失值与所述第二损失值的加权求和值与预设损失阈值进行比较；
若大于该预设损失阈值，则通过所述加权求和值对所述病灶识别模型的参数进行调整，再次从所述通过所述病灶识别模型对所述样本医学影像进行处理，则获得对所述样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行；
若不大于该预设损失阈值，则获得所述预训练的病灶识别模型。
可选地，所述样本医学影像为CT样本图像，所述模型训练装置还包括原始图像模块、CT值调整模块以及归一化模块，所述将所述样本医学影像输入到所述病灶识别模型之前；
所述原始图像模块用于获取CT原始图像；
所述CT值调整模块用于将所述CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像；
所述归一化模块用于对所述调整后的CT原始图像的进行归一化处理，获得所述CT样本图像。
本申请实施例的目的之四在于提供一种电子设备，所述电子设备包括处理器以及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现所述的模型训练方法或者所述的病灶识别方法。
本申请实施例的目的之五在于提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的模型训练方法或者所述的病灶识别方法。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例提供一种模型训练方法、装置、病灶识别方法及电子设备。通过该模型训练方法，该电子设备在训练病灶识别模型时并基于高分辨率网络在提取特征信息的过程中，不断进行多维度的特征融合。并结合病灶分割结果以及病灶分类结果对训练过程进行监督。可以在对图像进行处理的过程中获取到更多的特征信息，从而使得预训练的病灶识别模型能够提高对医学影像的识别精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的病灶识别模型的结构示意图；
图3为本申请实施例提供的模型训练方法的步骤流程示意图之一；
图4为本申请实施例提供的模型训练方法的步骤流程示意图之二；
图5为本申请实施例提供的二分类病灶掩膜示意图；
图6为本申请实施例提供的多分类病灶掩膜示意图；
图7为本申请实施例提供的模型训练方法的步骤流程示意图之三；
图8为本申请实施例提供的模型训练装置的结构示意图。
图标：100-电子设备；110-模型训练装置；120-存储器；130-处理器；200-第一阶段；210-第二阶段；220-第三阶段；230-第四阶段；1101-样本获取模块；1102-样本输入模块；1103-模型训练模块；1104-CT值调整模块；1105-归一化模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
医学影像图像以成为疾病诊断时的重要参考资料，但目前的诊断方式，主要依赖于医生的个人经验对医学影像图像逐张进行的查看，进准确度均依赖于医生的个人经验，且诊断效率存在一定瓶颈。因此，需要提供一种方式提升医生诊断的准确率及效率。
鉴于此，本申请实施例提供一种模型训练方法，应用于电子设备。训练用于对医学影像图像进行分割识别的病灶识别模型。
其中，该电子设备可以是，但不限于智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobileInternet device，MID)等。
关于该电子设备，在一种可能的实现方式中，请参照图1所示的该电子设备100的结构示意图。所述电子设备100包括模型训练装置110、存储器120以及处理器130。
所述存储器120、处理器130各元件相互之间直接或间接地通信连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述模型训练装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述模型训练装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
所述处理器130可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
为了练用于对医学影像图像进行分割识别的病灶识别模型，该电子设备100配置有基于高分辨率网络的病灶识别模型。病灶识别模型包括不同特征维度的多个子网络，多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类。
即与传统的先通过下采样的方式对输入的信息进行高语义信息的提取，后再通过卷积层加上采样的方式，把高语义的信息恢复到高分辨率的形式不同，该高分辨率网络在整个过程中保持特征图的高维度特征，同时逐渐并行加入低维度特征子网络，实现多维度的特征融合以及特征提取。这高分辨率网络的结构避免了由于采用插值等方法进行下采样和上采样导致的一些内部信息的丢失的弊端，使高维度的特征信息可以一直保持在网络的训练过程中。
下面结合图2，对该病灶识别模型的结构进行示例性说明。由于该病灶识别模型基于高分辨率网络，因此，具备高分辨率网络的相关特点。如图2所示，该病灶识别模型基于高分辨率网络，包括高分辨率网络的4个子网络，按照特征维度由高到低，前三个子网络的输出末端与分割模块连接，用于对样本医学影像进行分割，第四个子网络用于对样本医学影像中的病灶进行分类。
如图2所示，该高分辨率网络包括四个阶段，分别为第一阶段200、第二阶段210、第三阶段220以及第四阶段230。各阶段中的每个方块代表一个特征图。方块与方块之间的连线表示卷积操。具体可以是DenseNet卷积或者其他形式的卷积，不对其具体形式的限制。
该高分辨率网络中，高维度特征的卷积层贯穿始终。从第二阶段210开始逐步进行下采样，以便于获取低纬度形式的高层语义信息。并在每个阶段的末尾处进行多维度的特征融合以及特征提取。
请参照图3，图3为应用于图1所示的电子设备100的一种模型训练方法的流程图，以下将对方法包括各个步骤进行详细阐述。
步骤S100，获取样本医学影像，样本医学影像中标记有病灶区域以及病灶类别。
该样本医学影像，可以是但不限于CT图像、核磁共振图像以及红外扫描图像。该模型训练方法作为有监督学习的一种，需要事先将样本图像进行标记，标记出其中的病灶区域以及病灶类型。该电子设备100通过标记出的病灶区域以及病灶类型对模型训练的过程进行监督。
步骤S120，将样本医学影像输入到病灶识别模型。
步骤S130，结合对样本医学影像中病灶区域的分割结果以及分类结果，训练病灶识别模型进行病灶识别，获得预训练的病灶识别模型。
因此，通过上述模型训练方法，该电子设备100在训练病灶识别模型时并基于高分辨率网络在提取特征信息的过程中，不断进行多维度的特征融合。并结合病灶分割结果以及病灶分类结果对训练过程进行监督。可以在对图像进行处理的过程中获取到更多的特征信息，从而使得预训练的病灶识别模型能够提高对医学影像的识别精度。
由于在训练病灶识别模型时，结合了分割结果以及分类结果，关于步骤S130，在一种可能的实现方式中，下面结合图4进行示例性说明。
步骤S130-1，通过病灶识别模型对样本医学影像进行处理，获得对样本医学影像中病灶区域的分割结果以及分类结果。
步骤S130-2，根据分割结果与样本医学影像中标记的病灶区域，获得第一损失值。
步骤S130-3，根据分类结果与样本医学影像中标记的病灶类型，获得第二损失值。
步骤S130-4，将第一损失值与第二损失值的加权求和值与预设损失阈值进行比较。
步骤S130-5，若大于该预设损失阈值，则通过加权求和值对病灶识别模型的参数进行调整。
再次执行步骤S130-1，即再次从通过病灶识别模型对样本医学影像进行处理，获得对样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行。
步骤S130-6，若不大于该预设损失阈值，则获得预训练的病灶识别模型。
通过上述S130的各子步骤，该电子设备100将各子网络的输出的分割结果以及分类结果与样本医学影像中标记的病灶区域以及病灶种类进行比较，将于分割结果相关的第一损失值与分类结果相关的第二损失值进行结合，一起用于调整病灶识别模型的各参数。由于结合了不同维度的分类以及分割结果，使得训练出的病灶识别模型的识别精度更高。
为了结合更多的信息用于训练病灶识别模型，该样本医学影像的分给结果包括二分类病灶掩膜以及多分类病灶掩膜。其中，所述二分类病灶掩膜中标识了病灶区域以及非病灶区域，所述多分类病灶掩膜中标识了不同类型的病灶区域以及非病灶区域。
以肺炎的医学影像为例，肺炎的医学影像中的病灶区域包括磨玻璃影、斑片影、实变影以及纤维索条影，分别对应不同的真菌以及细菌所造成的病灶样式。下面结合图5以及图6对上述二分类病灶掩膜以及多分类病灶掩膜进行示例性说明。
如图5所示，在二分类病灶掩膜中，针对肺部常见的病灶样式，如磨玻璃影、斑片影、实变影以及纤维索条影，将磨玻璃影、斑片影、实变影以及纤维索条影样式的病灶区域，均填充为1，将非病灶区域均填充为0。即在二分类病灶掩膜中，所有类型的病灶区域，均表现出同样的显示效果。
如图6所示，在多分类病灶掩膜中，针对肺部常见的病灶样式，如磨玻璃影、斑片影、实变影以及纤维索条影样式的病灶，分别填充不同的类型的数值，将非病灶区域均填充为0。即在多分类病灶掩膜中，不同类型的病灶区域，表现出不同样式的显示效果。
因此，该模型训练方法中，通过二分类病灶掩膜以及多分类病灶掩膜的损失值，能够进一步提高对医学影像的识别精度。
该模型训练方法中，该样本医学影像为CT样本图像。因此，请参照图7，在步骤S100之前该模型训练方法还包括：
步骤S70，获取CT原始图像。
步骤S80，将CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像。
步骤S90，对调整后的CT原始图像的进行归一化处理，获得CT样本图像。
以肺部CT原始图像为例，CT值的预设范围为(-1200HU～600HU)。对CT原始图像的CT值范围进行调整，使CT值超出上述预设范围的体素调整至该范围内。即CT值小于-1200HU的体素，填充为-1200HU；CT值大于600HU的体素，填充为600HU。而后，采用以下公式对每个CT值进行标准化：
Ni＝(Vi-μ)/σ
式中，Vi表示第i个体素未归一化的CT值，μ和σ分别表示未经归一化的肺部CT原始图像中各个体素CT值的均值和标准差，Ni表示第i个体素经归一化的CT值。
本申请实施例还提供一种病灶识别方法，应用于电子设备100。该电子设备100配置有经上述模型训练方法训练获得的预训练的病灶识别模型。
该电子设备100获得待识别的医学影像图像；通过预训练的病灶识别模型对医学影像图像进行处理，获得对医学影像图像中病灶区域的分割结果以及分类结果。
本申请实施例还提供一种模型训练装置，应用于电子设备100，电子设备100配置有基于高分辨率网络的病灶识别模型，病灶识别模型包括不同特征维度的多个子网络，多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类。模型训练装置包括至少一个可以软件形式存储于存储器中的功能模块。请参照图8，从功能上划分，模型训练装置110可以包括：
样本获取模块1101，用于获取样本医学影像，样本医学影像中标记有病灶区域以及病灶类别。
在本申请实施例中，该样本获取模块1101用于执行图3中的步骤S100，关于该样本获取模块1101的详细描述，可以参考步骤S100的详细描述。
样本输入模块1102，用于将样本医学影像输入到病灶识别模型。
在本申请实施例中，该样本输入模块1102用于执行图3中的步骤S110，关于该样本输入模块1102的详细描述，可以参考步骤S110的详细描述。
模型训练模块1103，用于结合对样本医学影像中病灶区域的分割结果以及分类结果，训练病灶识别模型进行病灶识别，获得预训练的病灶识别模型。
在本申请实施例中，该模型训练模块1103用于执行图3中的步骤S120，关于该模型训练模块1103的详细描述，可以参考步骤S120的详细描述。
可选地，模型训练模块1103具体包括：
通过病灶识别模型对样本医学影像进行处理，获得对样本医学影像中病灶区域的分割结果以及分类结果；
根据分割结果与样本医学影像中标记的病灶区域，获得第一损失值；
根据分类结果与样本医学影像中标记的病灶类型，获得第二损失值；
将第一损失值与第二损失值的加权求和值与预设损失阈值进行比较；
若大于该预设损失阈值，则通过加权求和值对病灶识别模型的参数进行调整，再次从通过病灶识别模型对样本医学影像进行处理，则获得对样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行；
若不大于该预设损失阈值，则获得预训练的病灶识别模型。
可选地，样本医学影像为CT样本图像。请再次参照图8，模型训练装置110还包括原始图像模块、CT值调整模块1104以及归一化模块1105。将样本医学影像输入到病灶识别模型之前；
原始图像模块用于获取CT原始图像；
CT值调整模块1104用于将CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像；
归一化模块1105用于对调整后的CT原始图像的进行归一化处理，获得CT样本图像。
本申请实施例还提供一种电子设备100，电子设备100包括处理器以及存储器，存储器存储有计算机可执行指令，计算机可执行指令被处理器执行时，实现的模型训练方法或者的病灶识别方法。
即本申请实施例中，用于执行模型训练方法以及病灶识别方法的设备，可以是同一电子设备，也可以是不同的电子设备。
本申请实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现的病灶识别方法。
综上所述，本申请实施例提供一种模型训练方法、装置、病灶识别方法及电子设备。通过该模型训练方法，该电子设备在训练病灶识别模型时并基于高分辨率网络在提取特征信息的过程中，不断进行多维度的特征融合。并结合病灶分割结果以及病灶分类结果对训练过程进行监督。可以在对图像进行处理的过程中获取到更多的特征信息，从而使得预训练的病灶识别模型能够提高对医学影像的识别精度。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种模型训练方法，其特征在于，应用于电子设备，所述电子设备配置有基于高分辨率网络的病灶识别模型，所述病灶识别模型包括不同特征维度的多个子网络，所述多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类，所述方法包括：
获取样本医学影像，所述样本医学影像中标记有病灶区域以及病灶类别；
将所述样本医学影像输入到所述病灶识别模型；
结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型行病灶识别，获得预训练的病灶识别模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型进行病灶识别，获得预训练的病灶识别模型的步骤，包括：
通过所述病灶识别模型对所述样本医学影像进行处理，获得对所述样本医学影像中病灶区域的分割结果以及分类结果；
根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值；
根据所述分类结果与所述样本医学影像中标记的病灶类型，获得第二损失值；
将所述第一损失值与所述第二损失值的加权求和值与预设损失阈值进行比较；
若大于该预设损失阈值，则通过所述加权求和值对所述病灶识别模型的参数进行调整，再次从所述通过所述病灶识别模型对所述样本医学影像进行处理，则获得对所述样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行；
若不大于该预设损失阈值，则获得所述预训练的病灶识别模型。
3.根据权利要求2所述的模型训练方法，其特征在于，所述分割结果包括二分类病灶掩膜以及多分类病灶掩膜，其中，所述二分类病灶掩膜中标识了病灶区域以及非病灶区域，所述多分类病灶掩膜中标识了不同类型的病灶区域以及非病灶区域，所述根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值的步骤，包括：
根据所述二分类病灶掩膜中所标识的病灶区域以及所述样本医学影像中标记的病灶区域，获得第一掩膜损失值；
根据所述多分类病灶掩膜中所标识的不同类型的病灶区域以及所述样本医学影像中标记的各类别的病灶区域，获得第二掩膜损失值；
对所述第一掩膜损失值以及所述第二掩膜损失值进行加权求和，获得所述第一损失值。
4.根据权利要求1所述的模型训练方法，其特征在于，所述样本医学影像为CT样本图像，所述将所述样本医学影像输入到所述病灶识别模型之前，所述方法还包括：
获取CT原始图像；
将所述CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像；
对所述调整后的CT原始图像的进行归一化处理，获得所述CT样本图像。
5.一种病灶识别方法，其特征在于，应用于电子设备，所述电子设备配置有经权利要求1-4任意一项所述的模型训练方法训练获得的预训练的病灶识别模型，所述方法包括：
获得待识别的医学影像图像；
通过所述预训练的病灶识别模型对所述医学影像图像进行处理，获得对所述医学影像图像中病灶区域的分割结果以及分类结果。
6.一种模型训练装置，其特征在于，应用于电子设备，所述电子设备配置有基于高分辨率网络的病灶识别模型，所述病灶识别模型包括不同特征维度的多个子网络，所述多个子网络中的一部分用于进行图像分割，剩余的部分用于进行图像分类，所述模型训练装置包括：
样本获取模块，用于获取样本医学影像，所述样本医学影像中标记有病灶区域以及病灶类别；
样本输入模块，用于将所述样本医学影像输入到所述病灶识别模型；
模型训练模块，用于结合对所述样本医学影像中病灶区域的分割结果以及分类结果，训练所述病灶识别模型进行病灶识别，获得预训练的病灶识别模型。
7.根据权利要求6所述的模型训练装置，其特征在于，所述模型训练模块具体包括：
通过所述病灶识别模型对所述样本医学影像进行处理，获得对所述样本医学影像中病灶区域的分割结果以及分类结果；
根据所述分割结果与所述样本医学影像中标记的病灶区域，获得第一损失值；
根据所述分类结果与所述样本医学影像中标记的病灶类型，获得第二损失值；
将所述第一损失值与所述第二损失值的加权求和值与预设损失阈值进行比较；
若大于该预设损失阈值，则通过所述加权求和值对所述病灶识别模型的参数进行调整，再次从所述通过所述病灶识别模型对所述样本医学影像进行处理，则获得对所述样本医学影像中病灶区域的分割结果以及分类结果的步骤开始执行；
若不大于该预设损失阈值，则获得所述预训练的病灶识别模型。
8.根据权利要求6所述的模型训练装置，其特征在于，所述样本医学影像为CT样本图像，所述模型训练装置还包括原始图像模块、CT值调整模块以及归一化模块，所述将所述样本医学影像输入到所述病灶识别模型之前；
所述原始图像模块用于获取CT原始图像；
所述CT值调整模块用于将所述CT原始图像的CT值调整至预设范围，获得调整后的CT原始图像；
所述归一化模块用于对所述调整后的CT原始图像的进行归一化处理，获得所述CT样本图像。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现如权利要求1-4任意一项所述的模型训练方法或者如权利要求5所述的病灶识别方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-4任意一项所述的模型训练方法或者如权利要求5所述的病灶识别方法。
CN202011496358.XA 2020-12-17 2020-12-17 模型训练方法、装置、病灶识别方法及电子设备 Pending CN113140290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496358.XA CN113140290A (zh) 2020-12-17 2020-12-17 模型训练方法、装置、病灶识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496358.XA CN113140290A (zh) 2020-12-17 2020-12-17 模型训练方法、装置、病灶识别方法及电子设备

Publications (1)

Publication Number Publication Date
CN113140290A true CN113140290A (zh) 2021-07-20

Family

ID=76809718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496358.XA Pending CN113140290A (zh) 2020-12-17 2020-12-17 模型训练方法、装置、病灶识别方法及电子设备

Country Status (1)

Country Link
CN (1) CN113140290A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593707A (zh) * 2021-09-29 2021-11-02 武汉楚精灵医疗科技有限公司 胃早癌模型训练方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技（深圳）有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
CN109886141A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于不确定性优化的行人再辨识方法
CN111160367A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技（深圳）有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
CN109886141A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于不确定性优化的行人再辨识方法
CN111160367A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593707A (zh) * 2021-09-29 2021-11-02 武汉楚精灵医疗科技有限公司 胃早癌模型训练方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Khan et al. Construction of saliency map and hybrid set of features for efficient segmentation and classification of skin lesion
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
Biswal et al. Robust retinal blood vessel segmentation using line detectors with multiple masks
CN107358242B (zh) 目标区域颜色识别方法、装置及监控终端
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
CN105144239B (zh) 图像处理装置、图像处理方法
US11501428B2 (en) Method, apparatus and system for detecting fundus image based on machine learning
Reddy et al. Analysis of classification algorithms for plant leaf disease detection
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN110415250B (zh) 一种基于深度学习的重叠染色体分割方法及装置
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN112465840B (zh) 语义分割模型训练方法、语义分割方法及相关装置
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111666905B (zh) 模型训练方法、行人属性识别方法和相关装置
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
Veiga et al. Quality evaluation of digital fundus images through combined measures
Chawathe Rice disease detection by image analysis
Upadhyay et al. Unsupervised multiscale retinal blood vessel segmentation using fundus images
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
Tan et al. Automated extraction of retinal vasculature
CN113344894A (zh) 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN112634246A (zh) 一种口腔图像识别方法及相关设备
CN113140291B (zh) 图像分割方法、装置、模型训练方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant after: Huiying medical technology (Beijing) Co.,Ltd.

Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720

RJ01 Rejection of invention patent application after publication