CN116740485A - 病变检测模型的训练方法和装置、电子设备及存储介质 - Google Patents

病变检测模型的训练方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116740485A
CN116740485A CN202310509465.9A CN202310509465A CN116740485A CN 116740485 A CN116740485 A CN 116740485A CN 202310509465 A CN202310509465 A CN 202310509465A CN 116740485 A CN116740485 A CN 116740485A
Authority
CN
China
Prior art keywords
lesion
feature
medical image
model
lesion detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310509465.9A
Other languages
English (en)
Inventor
刘江
胡衍
沈俊勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202310509465.9A priority Critical patent/CN116740485A/zh
Publication of CN116740485A publication Critical patent/CN116740485A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种病变检测模型的训练方法和装置、电子设备及存储介质，属于图像处理技术领域，通过获取第一医学图像和第二医学图像，第一医学图像无标签，第二医学图像具有标签，通过预设教师模型对第一医学图像进行病变检测，通过预设学生模型对第一医学图像进行病变检测，并通过预设学生模型对第二医学图像进行病变检测，根据病变检测结果进行损失计算得到目标损失数据，根据目标损失数据调整预设学生模型的第一网络参数，根据第一网络参数调整预设教师模型的第二网络参数，以训练预设学生模型，得到病变检测模型，通过病变检测模型对目标医学图像进行病变检测，得到目标病变位置和目标疾病类型，提高了病变检测的准确性。

Description

病变检测模型的训练方法和装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种病变检测模型的训练方法和装置、电子设备及存储介质。
背景技术
相关技术中，采用病变检测模型对图像病变区域进行检测。病变检测模型的训练往往需要大量具有标签的医学图像，而标签需要专业人员耗费大量时间进行标注，对专业人员的要求较高，导致医学图像的获取难度大。由于医学图像的获取难度大，通常采用数量较少的具有标签的医学图像进行病变检测模型的训练，样本量不足会导致模型参数无法达到最优。在利用病变检测模型进行病变检测时会使得病变检测的准确性差。
发明内容
本申请实施例的主要目的在于提出一种病变检测模型的训练方法和装置、电子设备及存储介质，旨在提高病变检测的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种病变检测模型的训练方法，所述训练方法包括：
获取第一医学图像和第二医学图像；所述第一医学图像无标签，所述第二医学图像具有标签，所述标签包括病变位置标签和疾病类型标签；
通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
通过预设学生模型对所述第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过所述预设学生模型对所述第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；所述预设学生模型与所述预设教师模型的网络结构相同；
根据所述第一病变位置、所述第一疾病类型、所述第二病变位置、所述第二疾病类型、所述第三病变位置、所述第三疾病类型、所述病变位置标签和所述疾病类型标签进行损失计算，得到目标损失数据；
根据所述目标损失数据调整所述预设学生模型的第一网络参数，根据所述第一网络参数调整所述预设教师模型的第二网络参数，以训练所述预设学生模型，得到病变检测模型。
在一些实施例，所述通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型，包括:
通过所述预设教师模型对所述第一医学图像进行初步特征提取，得到初始医学图像特征；
根据所述初始医学图像特征生成多个病变候选区域，对每一所述病变候选区域进行区域对齐处理，得到病变区域特征；
对所述病变区域特征和所述初始医学图像特征进行特征融合，得到融合特征；
根据所述病变区域特征进行病变位置回归，得到所述第一病变位置，并根据所述融合特征进行疾病类型分类，得到所述第一疾病类型。
在一些实施例，所述根据所述初始医学图像特征生成多个病变候选区域，包括：
对所述初始医学图像特征进行多尺度特征提取，得到第一医学图像特征；
根据所述第一医学图像特征生成多个所述病变候选区域。
在一些实施例，所述初始医学图像特征包括第一子特征、第二子特征、第三子特征和第四子特征，所述对所述初始医学图像特征进行多尺度特征提取，得到第一医学图像特征，包括：
对所述第一子特征进行卷积处理得到第一卷积特征，对所述第二子特征进行卷积处理得到第二卷积特征，对所述第三子特征进行卷积处理得到第三卷积特征，对所述第四子特征进行卷积处理得到第四卷积特征；
对所述第四卷积特征进行上采样处理，得到第一上采样特征，对所述第一上采样特征和所述第三卷积特征进行特征融合，得到第一中间特征；
对所述第一中间特征进行上采样处理，得到第二上采样特征，对所述第二上采样特征和所述第二卷积特征进行特征融合，得到第二中间特征；
对所述第二中间特征进行上采样处理，得到第三上采样特征，对所述第三上采样特征和所述第一卷积特征进行特征融合，得到第三中间特征；
根据所述第四卷积特征、所述第一中间特征、所述第二中间特征和所述第三中间特征，得到所述第一医学图像特征。
在一些实施例，所述对所述病变区域特征和所述初始医学图像特征进行特征融合，得到融合特征，包括：
对所述初始医学图像特征进行上下文特征提取，得到病变上下文特征；
对所述病变上下文特征和所述病变区域特征进行特征融合，得到所述融合特征。
为实现上述目的，本申请实施例的第二方面提出了一种病变检测方法，所述病变检测方法包括：
获取目标医学图像；
将所述目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；所述病变检测模型根据如第一方面任一实施例所述的病变检测模型的训练方法训练得到。
为实现上述目的，本申请实施例的第三方面提出了一种病变检测模型的训练装置，所述训练装置包括：
第一获取模块，用于获取第一医学图像和第二医学图像；所述第一医学图像无标签，所述第二医学图像具有标签，所述标签包括病变位置标签和疾病类型标签；
第一病变检测模块，用于通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
第二病变检测模块，用于通过预设学生模型对所述第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过所述预设学生模型对所述第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；所述预设学生模型与所述预设教师模型的网络结构相同；
损失计算模块，用于根据所述第一病变位置、所述第一疾病类型、所述第二病变位置、所述第二疾病类型、所述第三病变位置和所述第三疾病类型进行损失计算，得到目标损失数据；
训练模块，用于根据所述目标损失数据调整所述预设学生模型的第一网络参数，根据所述第一网络参数调整所述预设教师模型的第二网络参数，以训练所述预设学生模型，得到病变检测模型。
为实现上述目的，本申请实施例的第四方面提出了一种病变检测装置，所述病变检测装置包括：
第二获取模块，用于获取目标医学图像；
目标病变检测模块，用于将所述目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；所述病变检测模型根据如第三方面所述的病变检测模型的训练装置训练得到。
为实现上述目的，本申请实施例的第五方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的病变检测模型的训练方法或者上述第二方面所述的病变检测方法。
为实现上述目的，本申请实施例的第六方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的病变检测模型的训练方法或者上述第二方面所述的病变检测方法。
本申请提出的病变检测模型的训练方法、病变检测方法、病变检测模型的训练装置、病变检测装置、电子设备及计算机可读存储介质,其利用预设教师模型对无标签的第一医学图像进行病变检测，利用与预设教师模型具有相同网络结构的预设学生模型分别对无标签的第一医学图像、带有标签的第二医学图像进行病变检测，根据病变检测结果计算目标损失数据，并利用目标损失数据调整预设学生模型的第一网络参数，根据第一网络参数调整预设教师模型的第二网络参数，以训练预设学生模型得到病变检测模型，通过教师模型和学生模型相结合的这种联合训练策略，使得使用少量有标签的医学图像和大量无标签的医学图像就可以完成病变检测模型的训练，解决了大规模带有标签的医学图像难以获取的问题。与仅利用少量带有标签的医学图像进行模型训练的方法相比，本申请实施例利用少量有标签的医学图像和大量无标签的医学图像进行模型训练，增强了模型的表现能力，解决了因样本数量不足导致的模型病变检测能力差的问题，提高了病变检测的准确性。
附图说明
图1是本申请实施例提供的病变检测模型的训练方法的流程图；
图2是图1中的步骤S120的流程图；
图3是本申请实施例提供的教师模型的网络结构图；
图4是图2中的步骤S220的流程图；
图5是图4中的步骤S410的流程图；
图6是图4中的步骤S410的特征提取示意图；
图7是图2中的步骤S230的流程图；
图8是图7中的步骤S720的流程图；
图9是本申请实施例提供的病变检测模型的训练示意图；
图10是图1中的步骤S140的流程图；
图11是本申请实施例提供的病变检测方法的流程图；
图12是本申请实施例提供的医学图像；
图13是本申请实施例提供的病变检测模型的训练装置的结构示意图；
图14是本申请实施例提供的病变检测装置的结构示意图；
图15是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
相关技术中，采用病变检测模型对图像病变区域进行检测。病变检测模型的训练往往需要大量具有标签的医学图像，而多数医学图像通常没有标签，需要专业人员耗费大量时间对医学图像进行专业性的标注，导致大规模带有标签的医学图像的获取难度大。由于大规模带有标签的医学图像的获取难度大，通常采用数量较少的具有标签的医学图像进行病变检测模型的训练，样本量不足会导致模型参数无法达到最优。在利用病变检测模型进行病变检测时会使得病变检测的准确性差。
基于此，本申请实施例提供了一种病变检测模型的训练方法、病变检测方法、病变检测模型的训练装置、病变检测装置、电子设备及计算机可读存储介质，旨在提高病变检测的准确性。
本申请实施例提供的病变检测模型的训练方法、病变检测方法、病变检测模型的训练装置、病变检测装置、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的病变检测模型的训练方法。
本申请实施例提供的病变检测模型的训练方法，涉及图像处理技术领域。本申请实施例提供的病变检测模型的训练方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现病变检测模型的训练方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
图1是本申请实施例提供的病变检测模型的训练方法的一个可选的流程图，图1中的训练方法可以包括但不限于包括步骤S110至步骤S150。
步骤S110，获取第一医学图像和第二医学图像；第一医学图像无标签，第二医学图像具有标签，标签包括病变位置标签和疾病类型标签；
步骤S120，通过预设教师模型对第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
步骤S130，通过预设学生模型对第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过预设学生模型对第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；预设学生模型与预设教师模型的网络结构相同；
步骤S140，根据第一病变位置、第一疾病类型、第二病变位置、第二疾病类型、第三病变位置、第三疾病类型、病变位置标签和疾病类型标签进行损失计算，得到目标损失数据；
步骤S150，根据目标损失数据调整预设学生模型的第一网络参数，根据第一网络参数调整预设教师模型的第二网络参数，以训练预设学生模型，得到病变检测模型。
本申请实施例所示意的步骤S110至步骤S150，通过将教师模型和学生模型相结合，能够减少模型训练对大规模带有标签的医学图像的依赖，利用少量有标签的医学图像和大量无标签的医学图像就可以完成病变检测模型的训练，解决了大规模带有标签的医学图像难以获取、大规模无标签的医学图像无法参与训练的问题，降低了数据标注的成本。而且，通过少量有标签的医学图像和大量无标签的医学图像相结合进行模型训练，可以利用有标签的医学图像指导模型的训练过程，并利用大规模无标签的医学图像增强了模型的表现能力，解决了因样本数量不足导致的模型病变检测能力差的问题，提高了病变检测的准确性。
在一些实施例的步骤S110中，采集大量无标签的医学图像，可以对这些医学图像中的5％至20％的图像进行数据标注得到第二医学图像，将其余医学图像作为第一医学图像，并将第一医学图像和第二医学图像添加至医学图像数据集。在每轮模型训练中，按照预设比例从医学图像数据集中随机获取第一医学图像和第二医学图像，构成一个批大小的输入数据。其中第一医学图像没有标签，第二医学图像带有标签，预设比例为第一医学图像与第二医学图像的数量之比，第一医学图像的数量多于第二医学图像。例如，预设比例可以为4:1，即无标签样本和有标签样本的比例是4:1，批大小为5的倍数，可根据用于模型训练的设备的显卡容量自行调整批大小。标签包括病变位置标签和疾病类型标签，病变位置标签用于表示医学图像中的病变区域，疾病类型标签用于表示病变区域的病变类型。
请参阅图2，在一些实施例中，步骤S120可以包括但不限于包括步骤S210至步骤S240：
步骤S210，通过预设教师模型对第一医学图像进行初步特征提取，得到初始医学图像特征；
步骤S220，根据初始医学图像特征生成多个病变候选区域，对每一病变候选区域进行区域对齐处理，得到病变区域特征；
步骤S230，对病变区域特征和初始医学图像特征进行特征融合，得到融合特征；
步骤S240，根据病变区域特征进行病变位置回归，得到第一病变位置，并根据融合特征进行疾病类型分类，得到第一疾病类型。
在一些实施例的步骤S210中，将无标签样本进行数据强增强后输入至预设教师模型中推理预测，通过预设教师模型对无标签的第一医学图像进行病变检测，得到第一病变位置和第一疾病类型。数据强增强是指在数据弱增强基础上对图像增加颜色扰动、对图像的某一块进行擦除等多种操作。数据弱增强是指对图像进行随机翻转、填充和归一化操作等多种操作。
预设教师模型的网络结构如图3所示，预设教师模型包括骨干网络、回归分支和分类分支。回归分支用于预测图像病变区域，包括特征金字塔网络、区域建议网络(RegionProposal Networks，RPN)和回归头。分类分支用于预测病变类型，包括全局上下文嵌入模块、全局上下文交叉注意力模块和分类头。通过骨干网络对第一医学图像进行初步特征提取，得到初始医学图像特征，其中骨干网络为ResNet50，包括四个残差模块。初始医学图像特征包括第一子特征、第二子特征、第三子特征和第四子特征，四个子特征的提取过程如下：对第一医学图像进行卷积处理得到卷积特征，对卷积特征进行批归一化处理得到归一化特征，通过ReLU激活函数对归一化特征进行激活处理得到激活特征，对激活特征进行最大池化处理。通过第一个残差模块对最大池化后的激活特征进行特征提取，得到第一子特征。通过第二个残差模块对第一子特征进行特征提取，得到第二子特征。通过第三个残差模块对第二子特征进行特征提取，得到第三子特征。通过第四个残差模块对第三子特征进行特征提取，得到第四子特征。
在一些实施例的步骤S220中，通过特征金字塔网络对初始医学图像特征进行多尺度特征提取，得到第一医学图像特征。区域建议网络用于提取不同尺度下的候选框，利用第一医学图像特征生成多个候选框，将候选框内的区域作为病变候选区域，对病变候选区域进行区域对齐得到病变区域特征。区域对齐通过感兴趣区域对齐(Region of InterestAlign,ROI Align)操作实现，首先将候选框转换到当前特征图尺度，候选框的坐标值保持为浮点数不进行量化，接着将病变候选区域划分为n×n个块，每个块的坐标不进行量化，块的坐标为浮点数坐标。由于每个块往往对应不到特征图上的值，因此在每个块中固定k个插值点，通过双线性插值的方法计算出这k个点的位置，对每一图像块的k个点的位置值进行最大池化或者平均池化，输出大小为n×n的病变区域特征，病变区域特征包括病变区域的纹理、轮廓等特征。ROI Align操作通过插值方式计算位置，且可以通过设置更多插值点记性更精确的计算，避免了感兴趣区域池化(Region of Interest Pooling,ROI Pooling)操作因两次取整带来的较大误差。
在一些实施例的步骤S230中，通过全局上下文嵌入模块对初始医学图像特征进行上下文特征提取，得到病变上下文特征，病变上下文特征用于识别病变，包括病灶周边组织信息、病灶所处组织的位置信息等特征，通过全局上下文交叉注意力模块对病变上下文特征和病变区域特征进行特征融合，得到融合特征。
在一些实施例的步骤S240中，将病变区域特征输入至回归头进行病变位置回归，得到第一病变位置即病灶定位结果。回归头由两个全连接层和两个ReLU激活函数组成。通过第一个全连接层对病变区域特征进行特征映射，通过第一个ReLU激活函数对特征映射后的病变区域特征进行激活处理，通过第二个全连接层对激活处理后的特征进行特征映射，通过第二个ReLU激活函数对经第二个全连接层映射后的特征进行激活处理，得到第一病变位置。将融合特征输入至分类头进行疾病类型分类，得到第一疾病类型即病灶分类结果，第一疾病类型与第一病变位置一一对应。分类头和回归头的结构相同，与回归头的计算方法相同，此处不再赘述。
将第一病变位置和第一疾病类型组合成一个检测结果，预设教师模型会输出多个检测结果，通过非极大值抑制(Non-Maximum Suppression，NMS)对多个检测结果进行后处理，以去除冗余的检测结果。本申请实施例采用阈值过滤的方法进行非极大值抑制，以过滤掉不可靠的检测框。第一疾病类型除包括疾病类型外，还包括第一病变位置(检测框)的置信度分数，置信度分数的数值处于0至1之间。通过设置置信度阈值从类别层面过滤掉不可靠的检测框，比对置信度分数和置信度阈值，当置信度分数小于置信度阈值，则去除置信度分数对应的检测结果，当置信度分数大于或者等于置信度阈值，则保留置信度分数对应的检测结果。例如置信度阈值为0.5，则过滤置信度分数小于0.5的检测框，保留置信度分数大于或者0.5的检测框。
对阈值过滤后保留下的检测框进行N次抖动，即在检测框基础上进行上下左右的微小平移，得到N个抖动框，根据N个抖动框的位置信息计算保留下来的检测框的回归方差，其中回归方差用于反映检测框的稳定程度，回归方差越小则说明检测框越稳定。通过设置方差阈值从定位层面上对保留下来的检测框进行进一步过滤，比对回归方差和方差阈值，去除回归方差大于方差阈值的检测框，保留回归方差小于或者等于方差阈值的检测框。例如设置方差阈值为0.5，回归方差大于0.5的检测框将被去除，回归方差小于或者等于0.5的检测框将被保留。
方差的计算方法如公式(1)所示。
其中，为第i个保留下来的检测框pi的方差；检测框为矩形检测框，包括中心点横坐标、中心点纵坐标、矩形框长度h(bi)和矩形框宽度w(bi)四个参数，因此k＝1,2,3,4。σk为N个抖动框第k个参数的标准差。
通过上述步骤S210至步骤S240，能够得到预设教师模型输出的检测结果，以根据检测结果指导预设学生模型的训练，通过这种半监督的训练方式降低数据的标注成本，同时提高病变检测的准确性。
请参阅图4，在一些实施例中，步骤S220可以包括但不限于包括步骤S410至步骤S420：
步骤S410，对初始医学图像特征进行多尺度特征提取，得到第一医学图像特征；
步骤S420，根据第一医学图像特征生成多个病变候选区域。
在一些实施例的步骤S410中，特征金字塔网络依附于骨干网络，用于提取多尺度特征，特征金字塔网络由大小为1×1的卷积层和上采样层组成。第一医学图像特征包括不同空间尺度下的特征。
在一些实施例的步骤S420中，区域建议网络包括一个大小为3×3的卷积、ReLU激活层、两个大小为1×1的卷积和建议层。通过3×3卷积对初始医学图像特征进行特征语义转化得到初始卷积特征，以增加网络复杂程度，提高区域建议网络的拟合能力。通过第一个1×1卷积对初始卷积特征进行特征通道转换，将初始卷积特征的特征通道数转换为18，得到第一中间卷积特征。对第一中间卷积特征进行特征重组即reshape操作，对重组后的特征进行softmax分类得到多个初始锚框特征，初始锚框特征包括锚框坐标以及锚框类别，锚框坐标用于表示锚框在图像中的位置，锚框类别用于表示该锚框是前景框还是背景框，前景框内包括感兴趣区域(病变区域)，背景框内不包括感兴趣区域。对初始锚框特征进行reshape操作得到第一中间锚框特征，第一中间锚框特征与第一中间卷积特征的特征通道数相同。通过第二个1×1卷积对初始卷积特征进行特征通道转换，将初始卷积特征的特征通道数转换为36，得到第二中间锚框特征。将第一中间锚框特征和第二中间锚框特征进行特征合并，通过建议层对合并后的锚框特征进行筛选，得到区域建议坐标以及区域建议坐标对应的病变候选区域。
上述步骤S410至步骤S420,通过多尺度特征提取，可以提取更全面的特征信息,使第一医学图像特征既有全局的整体信息,又有局部的细节信息，提高了特征提取的准确性，从而提高了病变候选区域生成的准确性。
请参阅图5，在一些实施例中，初始医学图像特征包括第一子特征、第二子特征、第三子特征和第四子特征，步骤S410可以包括但不限于包括步骤S510至步骤S550：
步骤S510，对第一子特征进行卷积处理得到第一卷积特征，对第二子特征进行卷积处理得到第二卷积特征，对第三子特征进行卷积处理得到第三卷积特征，对第四子特征进行卷积处理得到第四卷积特征；
步骤S520，对第四卷积特征进行上采样处理，得到第一上采样特征，对第一上采样特征和第三卷积特征进行特征融合，得到第一中间特征；
步骤S530，对第一中间特征进行上采样处理，得到第二上采样特征，对第二上采样特征和第二卷积特征进行特征融合，得到第二中间特征；
步骤S540，对第二中间特征进行上采样处理，得到第三上采样特征，对第三上采样特征和第一卷积特征进行特征融合，得到第三中间特征；
步骤S550，根据第四卷积特征、第一中间特征、第二中间特征和第三中间特征，得到第一医学图像特征。
在一些实施例的步骤S510中，如图6所示，骨干网络提取的第一子特征为C1，第二子特征为C2，第三子特征为C3,第四子特征为C4。通过1×1卷积对第一子特征C1进行卷积处理得到第一卷积特征，通过1×1卷积对第二子特征C2进行卷积处理得到第二卷积特征，通过1×1卷积对第三子特征C3进行卷积处理得到第三卷积特征，通过1×1卷积对第四子特征C4进行卷积处理得到第四卷积特征P4。
在一些实施例的步骤S520中，对高层特征即第四卷积特征P4进行2倍上采样得到第一上采样特征，将第一上采样特征和第三卷积特征相加，得到第一中间特征P3。
在一些实施例的步骤S530中，对第一中间特征P3进行2倍上采样得到第二上采样特征，将第二上采样特征和第二卷积特征相加，得到第二中间特征P2。
在一些实施例的步骤S540中，对第二中间特征P2进行2倍上采样得到第三上采样特征，将第三上采样特征和第一卷积特征相加，得到第三中间特征。
在一些实施例的步骤S550中，将第四卷积特征、第一中间特征、第二中间特征和第三中间特征作为第一医学图像特征。
上述步骤S510至步骤S550，利用浅层特征有助于检测小目标、高层特征有助于检测大目标的特性，通过提取不同尺度空间的特征，能够检测不同尺度大小的病变区域，增强模型的病变检测能力。
请参阅图7，在一些实施例中，步骤S230可以包括但不限于包括步骤S710至步骤S720：
步骤S710，对初始医学图像特征进行上下文特征提取，得到病变上下文特征；
步骤S720，对病变上下文特征和病变区域特征进行特征融合，得到融合特征。
在一些实施例的步骤S710中，如图3所示，全局上下文嵌入模块包括3×3卷积、全局上下文注意(Global Context-aware Attention)单元和特征注意(Feature Attention，FA)单元，GCA单元包括全局平均池化层(Global Average Pooling，GAP)、全局最大池化层(Global Max Pooling,GMP)和全连接层(Full Connection，FC)，FA单元包括图像池化层(Image Pooling)、卷积核大小为1×1的卷积。通过3×3卷积对初始医学图像特征进行卷积处理得到卷积特征，通过GAP层对卷积特征进行全局平均池化以保留全局上下文的背景关系，得到平均池化特征，通过GMP层对卷积特征进行全局最大池化以提取全局上下文的特征纹理，得到最大池化特征，将平均池化特征和最大池化特征相加以捕获全局上下文关系，并将相加后的特征输入至FC层进行特征映射，得到全局上下文特征LGCE。通过图像池化层对卷积特征进行image pooling操作以提取更抽象的图像特征，通过1×1卷积对图像特征进行卷积处理，得到病变上下文特征G。
在一些实施例的步骤S720中，为了减少计算量，剔除全局上下文特征LGCE，仅保留对有助于疾病类型分类的病变上下文特征G。为了识别病变区域的疾病类型，通过全局上下文交叉注意力模块对病变上下文特征和病变区域特征进行特征融合，得到融合特征，其中每一病变区域特征对应一个全局上下文交叉注意力模块。
通过上述步骤S710至步骤S720，能够识别病变区域的疾病类型，同时减少了分类分支进行疾病类型分类的计算量。
请参阅图8，在一些实施例中，步骤S720可以包括但不限于包括步骤S810至步骤S850：
步骤S810，对病变上下文特征进行特征重组，得到重组上下文特征，对病变区域特征进行特征重组，得到重组区域特征；
步骤S820，计算重组上下文特征和重组区域特征之间的第一相似度数据；
步骤S830，对第一相似度数据进行激活处理，得到激活特征；
步骤S840，计算激活特征和重组上下文特征之间的第二相似度数据；
步骤S850，对第二相似度数据进行特征重组，得到融合特征。
在一些实施例的步骤S810中，如图3所示，对病变上下文特征G进行reshape操作，得到重组上下文特征，对病变区域特征L1进行reshape操作，得到重组区域特征。
在一些实施例的步骤S820中，将重组上下文特征作为键向量K，将重组区域特征作为查询向量Q，将键向量K和查询向量Q相乘得到第一相似度数据。
在一些实施例的步骤S830中，通过softmax函数对第一相似度数据进行激活处理，得到激活特征。
在一些实施例的步骤S840中，将重组上下文特征作为值向量V，将激活特征和值向量V相乘得到第二相似度数据。
在一些实施例的步骤S850中，对第二相似度数据进行reshape操作，得到病变区域特征L1对应的融合特征F1。若存在N个病变区域特征(L1,...,LN),分别将病变上下文特征G与每一病变区域特征Li进行特征融合，1≤i≤N，得到融合特征Fi，将每个融合特征Fi组合成F输入至分类头进行疾病类型分类。
上述步骤S810至步骤S850，图像中距离较远的像素之间也存在依赖关系，通过全局上下文交叉注意力可以从长距离依赖中捕获上下文信息，以高效、有效地获取对疾病类型判断有帮助的重要信息。
在一些实施例的步骤S130中，如图9所示，将无标签样本第一医学图像进行数据强增强后输入至预设学生模型进行病变检测，得到第二病变位置和第二疾病类型，将有标签样本第二医学图像输入至预设学生模型进行病变检测，得到第三病变位置和第三疾病类型。预设学生模型与预设教师模型的网络结构相同，通过预设学生模型进行病变检测的方法与预设教师模型相同，可参照步骤S210至S240，此处不再赘述。
请参阅图10，在一些实施例中，步骤S140可以包括但不限于包括步骤S1010至步骤S1050：
步骤S1010，根据第一病变位置和第二病变位置进行回归损失计算，得到第一回归损失；
步骤S1020，根据第一病变位置、第一疾病类型、第二病变位置和第二疾病类型进行分类损失计算，得到第一分类损失；
步骤S1030，根据第三病变位置和病变位置标签进行回归损失计算，得到第二回归损失；
步骤S1040，根据第三病变位置、第三疾病类型、病变位置标签和疾病类型标签进行分类损失计算，得到第二分类损失；
步骤S1050，对第一回归损失、第一分类损失、第二回归损失和第二分类损失进行损失求和处理，得到目标损失数据。
在一些实施例的步骤S1010中，将预设教师模型对无标签样本进行病变检测输出的第一病变位置和第一疾病类型作为伪标签，利用伪标签、预设学生模型对无标签样本进行病变检测输出的第二病变位置和第二疾病类型进行损失计算，利用预设学生模型对有标签样本进行病变检测输出的第三病变位置和第三疾病类型、有标签样本的标签进行损失计算，将损失累加得到目标损失数据。将第一病变位置映射到第一医学图像得到伪回归框，将第二病变位置映射到第一医学图像得到预测回归框，计算伪回归框与预测回归框的交集和并集，根据交集和并集的比值得到交并比，若交并比小于预设阈值，则将预测回归框作为背景框，若交并比大于或者等于预设阈值，则将预测回归框作为前景框，通过交并比将预设学生模型输出的预测回归框分成个前景框和/>个背景框。伪回归框的第一病变位置t*为前景框的第二病变位置t为(x1,y1,x2,y2)计算第一回归损失，(x1,y1)为伪回归框和前景框的左上角坐标，(x2,y2)为伪回归框和前景框的右下角坐标。第一回归损失的计算方法如公式(2)至公式(4)所示。
x＝t-t* 公式(4)
其中，为第i个前景框；g为预设教师模型输出的伪回归框；lreg采用smooth-L1损失函数。
在一些实施例的步骤S1020中，在根据第一病变位置和第二病变位置确定伪回归框、前景框和背景框后，根据前景框的第二疾病类型、背景框的第二疾病类型和伪回归框的第一疾病类型进行分类损失计算，得到第一分类损失。第一分类损失的计算方法如公式(5)所示。
其中，lcls采用交叉熵损失函数。
若为二类别疾病类型分类，交叉损失函数如公式(6)所示。
lcls＝-[ylog(pi)+(1-y)log(1-pi)] 公式(6)
其中，y为第一疾病类型，正类为1，负类为0；pi为第i个前景框或背景框的第二疾病类型被预测为正类的概率。
若为多类别疾病类型分类，交叉损失函数如公式(7)所示。
其中，M为疾病类别的数量；c表示疾病类型为c；yc为第一疾病类型，若第一疾病类型为c，则yc为1，否则为0；pic为第i个前景框或背景框的第二疾病类型被预测为类别c的概率。
在一些实施例的步骤S1030至S1040中，对有标签样本进行损失计算得到损失数据Ls，损失数据Ls由第二回归损失和第二分类损失构成，第二回归损失与第一回归损失的计算方法相同，可参照步骤S1010，第二分类损失与第一分类损失的计算方法相同，可参照步骤S1020，此处不再赘述。
在一些实施例的步骤S1050中，将第一回归损失、第一分类损失、第二回归损失和第二分类损失相加，得到目标损失数据。
上述步骤S1010至步骤S1050，能够得到目标损失数据，以通过最小化目标损失数据训练得到参数更优的预设学生模型。
在一些实施例的步骤S150中，以最小化目标损失数据为目标调整预设学生模型的网络参数得到第一网络参数，将第一网络参数以指数加权平均的方式更新到预设教师模型的网络参数得到第二网络参数，利用网络参数为第二网络参数的预设教师模型对第一医学图像进行病变检测，利用网络参数为第一网络参数的预设学生模型分别对第一医学图像和第二医学图像进行病变检测，并重新对第一网络参数、第二网络参数进行更新，以训练预设学生模型。将目标损失数据最小时的预设学生模型作为病变检测模型。预设教师模型网络参数的更新方法如公式(8)所示。
θ′t＝αθ′t-1+(1-α)θt 公式(8)
其中，t为模型训练过程中的第t次迭代；θt为预设学生模型在第t轮的网络参数；θ′t为预设教师模型在第t轮的网络参数；θ′t-1为预设教师模型在第t-1轮的网络参数；α为权重超参数，设置为0.99。
图11是本申请实施例提供的病变检测方法的一个可选的流程图，图11中的病变检测方法可以包括但不限于包括步骤S1110至步骤S1120。
步骤S1110，获取目标医学图像；
步骤S1120，将目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；病变检测模型根据如第一方面任一实施例的病变检测模型的训练方法训练得到。
在一些实施例的步骤S1110中，利用医学影像技术获取目标医学图像，其中目标医学图像无标签。例如通过光学相干断层扫描(Optical Coherence Tomography，OCT)技术得到目标医学图像，如图12所示。
在一些实施例的步骤S1120中，通过病变检测模型对目标医学图像进行病变检测，得到目标病变位置和目标疾病类型。
年龄性黄斑变性(Age-related Macular Degeneration,AMD)是黄斑结构的衰老性改变，包括以脉络膜新生血管为特征的湿性年龄相关性黄斑变性(wet Age-relatedMacular Degeneration，wAMD)。目前的眼底疾病筛查诊断算法大多是进行粗粒度的眼科疾病筛查诊断，专门针对湿性AMD亚型的算法较为欠缺。
本申请实施例的病变检测方法应用于wAMD图像病变区域检测，包括：获取第一wAMD样本和第二wAMD样本，第一wAMD样本没有标签，第二wAMD样本带有标签。将弱增强后的第一wAMD样本输入至教师模型进行推理预测得到初始检测结果。对初始检测结果依次进行阈值过滤、框抖动处理，得到第一检测结果。将强增强后的第一wAMD样本输入至学生模型进行推理预测得到第二检测结果。将第二wAMD样本输入至学生模型进行监督训练得到第三检测结果。将第一检测结果作为伪标签，利用伪标签和第二检测结果进行损失计算得到第一损失数据。利用第二检测结果和第二wAMD样本的标签进行损失计算得到第二损失数据。对第一损失数据和第二损失数据进行求和，得到目标损失数据。利用目标损失数据更新学生模型的网络参数，并将学生模型的网络参数以指数加权平均的方式更新至教师模型。目标损失数据小于或者等于预设损失阈值时，将学生模型作为wAMD识别模型。
获取wAMD图像，将wAMD图像输入至wAMD识别模型，wAMD识别模型包括骨干网络、特征金字塔网络、区域建议网络、回归头、全局上下文嵌入模块、全局上下文交叉注意力模块和分类头。通过骨干网络对wAMD图像进行特征提取，得到初始图像特征。通过特征金字塔网络对初始图像特征进行多尺度特征提取，得到第一图像特征。将第一图像特征输入至区域建议网络生成N个病灶建议框B:{B1,...,BN}，通过ROI Align得到每个病灶建议框的特征(L1,L2,...,LN)，通过回归头对特征(L1,L2,...,LN)进行回归处理，定位出病灶位置。通过全局上下文嵌入模块对初始图像特征进行特征提取，保留病灶上下文特征G。通过全局上下文交叉注意力模块将病灶上下文特征G和每个病灶建议框的特征(L1,L2,...,LN)进行交互融合，得到N个融合特征(F1,F2,...,FN)。将N个融合特征输入至分类头并行进行分类处理，得到病灶所属亚型，病灶所属亚型包括视网膜色素上皮层(Retinal Pigment Epithelium，RPE)下型和视网膜下型。
请参阅图13，本申请实施例还提供一种病变检测模型的训练装置，可以实现上述病变检测模型的训练方法，该训练装置包括：
第一获取模块1310，用于获取第一医学图像和第二医学图像；第一医学图像无标签，第二医学图像具有标签，标签包括病变位置标签和疾病类型标签；
第一病变检测模块1320，用于通过预设教师模型对第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
第二病变检测模块1330，用于通过预设学生模型对第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过预设学生模型对第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；预设学生模型与预设教师模型的网络结构相同；
损失计算模块1340，用于根据第一病变位置、第一疾病类型、第二病变位置、第二疾病类型、第三病变位置和第三疾病类型进行损失计算，得到目标损失数据；
训练模块1350，用于根据目标损失数据调整预设学生模型的第一网络参数，根据第一网络参数调整预设教师模型的第二网络参数，以训练预设学生模型，得到病变检测模型。
该病变检测模型的训练装置的具体实施方式与上述病变检测模型的训练方法的具体实施例基本相同，在此不再赘述。
请参阅图14，本申请实施例还提供一种病变检测装置，可以实现上述病变检测方法，该病变检测装置包括：
第二获取模块1410，用于获取目标医学图像；
目标病变检测模块1420，用于将目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；病变检测模型根据如第三方面实施例所述的病变检测模型的训练装置训练得到。
该病变检测装置的具体实施方式与上述病变检测方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述病变检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图15，图15示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1510，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1520，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1520可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行本申请实施例的病变检测模型的训练方法或者病变检测方法；
输入/输出接口1530，用于实现信息输入及输出；
通信接口1540，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线1550，在设备的各个组件(例如处理器1510、存储器1520、输入/输出接口1530和通信接口1540)之间传输信息；
其中处理器1510、存储器1520、输入/输出接口1530和通信接口1540通过总线1550实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述病变检测模型的训练方法或者病变检测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的病变检测模型的训练方法、病变检测方法、病变检测模型的训练装置、病变检测装置、电子设备及计算机可读存储介质，其通过将教师模型和学生模型相结合，能够减少模型训练对大规模带有标签的医学图像的依赖，利用少量有标签的医学图像和大量无标签的医学图像就可以完成病变检测模型的训练，解决了大规模带有标签的医学图像难以获取、大规模无标签的医学图像无法参与训练的问题。而且，通过少量有标签的医学图像和大量无标签的医学图像相结合进行模型训练，可以利用有标签的医学图像指导模型的训练过程，并利用大规模无标签的医学图像增强了模型的表现能力，解决了因样本数量不足导致的模型病变检测能力差的问题，提高了病变检测的准确性。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.病变检测模型的训练方法，其特征在于，所述训练方法包括：
获取第一医学图像和第二医学图像；所述第一医学图像无标签，所述第二医学图像具有标签，所述标签包括病变位置标签和疾病类型标签；
通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
通过预设学生模型对所述第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过所述预设学生模型对所述第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；所述预设学生模型与所述预设教师模型的网络结构相同；
根据所述第一病变位置、所述第一疾病类型、所述第二病变位置、所述第二疾病类型、所述第三病变位置、所述第三疾病类型、所述病变位置标签和所述疾病类型标签进行损失计算，得到目标损失数据；
根据所述目标损失数据调整所述预设学生模型的第一网络参数，根据所述第一网络参数调整所述预设教师模型的第二网络参数，以训练所述预设学生模型，得到病变检测模型。
2.根据权利要求1所述的病变检测模型的训练方法，其特征在于，所述通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型，包括:
通过所述预设教师模型对所述第一医学图像进行初步特征提取，得到初始医学图像特征；
根据所述初始医学图像特征生成多个病变候选区域，对每一所述病变候选区域进行区域对齐处理，得到病变区域特征；
对所述病变区域特征和所述初始医学图像特征进行特征融合，得到融合特征；
根据所述病变区域特征进行病变位置回归，得到所述第一病变位置，并根据所述融合特征进行疾病类型分类，得到所述第一疾病类型。
3.根据权利要求2所述的病变检测模型的训练方法，其特征在于，所述根据所述初始医学图像特征生成多个病变候选区域，包括：
对所述初始医学图像特征进行多尺度特征提取，得到第一医学图像特征；
根据所述第一医学图像特征生成多个所述病变候选区域。
4.根据权利要求3所述的病变检测模型的训练方法，其特征在于，所述初始医学图像特征包括第一子特征、第二子特征、第三子特征和第四子特征，所述对所述初始医学图像特征进行多尺度特征提取，得到第一医学图像特征，包括：
对所述第一子特征进行卷积处理得到第一卷积特征，对所述第二子特征进行卷积处理得到第二卷积特征，对所述第三子特征进行卷积处理得到第三卷积特征，对所述第四子特征进行卷积处理得到第四卷积特征；
对所述第四卷积特征进行上采样处理，得到第一上采样特征，对所述第一上采样特征和所述第三卷积特征进行特征融合，得到第一中间特征；
对所述第一中间特征进行上采样处理，得到第二上采样特征，对所述第二上采样特征和所述第二卷积特征进行特征融合，得到第二中间特征；
对所述第二中间特征进行上采样处理，得到第三上采样特征，对所述第三上采样特征和所述第一卷积特征进行特征融合，得到第三中间特征；
根据所述第四卷积特征、所述第一中间特征、所述第二中间特征和所述第三中间特征，得到所述第一医学图像特征。
5.根据权利要求2所述的病变检测模型的训练方法，其特征在于，所述对所述病变区域特征和所述初始医学图像特征进行特征融合，得到融合特征，包括：
对所述初始医学图像特征进行上下文特征提取，得到病变上下文特征；
对所述病变上下文特征和所述病变区域特征进行特征融合，得到所述融合特征。
6.病变检测方法，其特征在于，所述病变检测方法包括：
获取目标医学图像；
将所述目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；所述病变检测模型根据如权利要求1至5任一项所述的病变检测模型的训练方法训练得到。
7.病变检测模型的训练装置，其特征在于，所述训练装置包括：
第一获取模块，用于获取第一医学图像和第二医学图像；所述第一医学图像无标签，所述第二医学图像具有标签，所述标签包括病变位置标签和疾病类型标签；
第一病变检测模块，用于通过预设教师模型对所述第一医学图像进行病变检测，得到第一病变位置和第一疾病类型；
第二病变检测模块，用于通过预设学生模型对所述第一医学图像进行病变检测，得到第二病变位置和第二疾病类型，并通过所述预设学生模型对所述第二医学图像进行病变检测，得到第三病变位置和第三疾病类型；所述预设学生模型与所述预设教师模型的网络结构相同；
损失计算模块，用于根据所述第一病变位置、所述第一疾病类型、所述第二病变位置、所述第二疾病类型、所述第三病变位置和所述第三疾病类型进行损失计算，得到目标损失数据；
训练模块，用于根据所述目标损失数据调整所述预设学生模型的第一网络参数，根据所述第一网络参数调整所述预设教师模型的第二网络参数，以训练所述预设学生模型，得到病变检测模型。
8.病变检测装置，其特征在于，所述病变检测装置包括：
第二获取模块，用于获取目标医学图像；
目标病变检测模块，用于将所述目标医学图像输入至病变检测模型进行病变检测，得到目标病变位置和目标疾病类型；所述病变检测模型根据如权利要求7所述的病变检测模型的训练装置训练得到。
9.电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现：
如权利要求1至5任一项所述的病变检测模型的训练方法；
或者，
如权利要求6所述的病变检测方法。
10.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：
如权利要求1至5任一项所述的病变检测模型的训练方法；
或者，
如权利要求6所述的病变检测方法。
CN202310509465.9A 2023-05-06 2023-05-06 病变检测模型的训练方法和装置、电子设备及存储介质 Pending CN116740485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310509465.9A CN116740485A (zh) 2023-05-06 2023-05-06 病变检测模型的训练方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310509465.9A CN116740485A (zh) 2023-05-06 2023-05-06 病变检测模型的训练方法和装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116740485A true CN116740485A (zh) 2023-09-12

Family

ID=87908756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310509465.9A Pending CN116740485A (zh) 2023-05-06 2023-05-06 病变检测模型的训练方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116740485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393100A (zh) * 2023-12-11 2024-01-12 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393100A (zh) * 2023-12-11 2024-01-12 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质
CN117393100B (zh) * 2023-12-11 2024-04-05 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
US20210183022A1 (en) Image inpainting method and apparatus, computer device, and storage medium
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
Xu et al. Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model
CN110363183B (zh) 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110175595B (zh) 人体属性识别方法、识别模型训练方法及装置
Song et al. Saliency detection for strip steel surface defects using multiple constraints and improved texture features
CA2934514C (en) System and method for identifying faces in unconstrained media
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN112464690A (zh) 活体识别方法、装置、电子设备及可读存储介质
CN106845456A (zh) 一种视频监控系统中人体摔倒监测的方法
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN116740485A (zh) 病变检测模型的训练方法和装置、电子设备及存储介质
WO2019232723A1 (en) Systems and methods for cleaning data
CN115424056A (zh) 模型训练方法和装置、图像分类方法、设备和介质
Lahasan et al. Recognizing faces prone to occlusions and common variations using optimal face subgraphs
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
Singh et al. Rough membership function based illumination classifier for illumination invariant face recognition
CN116665261A (zh) 图像处理方法、装置和设备
Luo et al. Real-time pedestrian detection method based on improved YOLOv3
KR102358355B1 (ko) 얼굴 영상의 점진적 디블러링 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination