CN115359005A - 图像预测模型生成方法、装置、计算机设备和存储介质 - Google Patents

图像预测模型生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115359005A
CN115359005A CN202211019866.8A CN202211019866A CN115359005A CN 115359005 A CN115359005 A CN 115359005A CN 202211019866 A CN202211019866 A CN 202211019866A CN 115359005 A CN115359005 A CN 115359005A
Authority
CN
China
Prior art keywords
trained
image
target
sample
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211019866.8A
Other languages
English (en)
Inventor
吴青霞
王梅云
乔治
刘晓鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lianying Intelligent Imaging Technology Research Institute
Original Assignee
Beijing Lianying Intelligent Imaging Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lianying Intelligent Imaging Technology Research Institute filed Critical Beijing Lianying Intelligent Imaging Technology Research Institute
Priority to CN202211019866.8A priority Critical patent/CN115359005A/zh
Publication of CN115359005A publication Critical patent/CN115359005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像预测模型生成方法、装置、计算机设备和存储介质。所述方法包括：获取预训练的多视角图像生成模型；获取第一训练样本，将第一样本对象的非目标侧医学图像输入至预训练的多视角图像生成模型，得到第一样本对象的目标侧预测图像；根据第一样本对象的目标侧医学图像和目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型。采用本方法能够基于多视角图像进行自监督对抗训练，提升了训练效率和训练精度，达到了精准地乳腺病灶分割效果。

Description

图像预测模型生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像预测模型生成方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
目前，对于乳腺癌的诊断，大部分采用钼靶筛查的影像模式进行检测，钼靶图像是一种基于低能X线获取高分辨率的图像，其可以发现被重叠的乳腺组织掩盖的异常病灶或肿瘤，因此，准确的辅助诊断乳腺钼靶影像对于提高乳腺钼靶筛查十分必要。
传统方法中，通常是由放射科医生手工勾画钼靶图像中感兴趣区域，费时费力、人工缺乏一致性；或采用传统的计算机辅助系统进行钼靶图像分割，但该方法因病变位置、病灶形状和外观不具有统一性，会导致分割结果不准确，易产生大量的假阳性，且由于不同病灶所占像素范围差异大，也无法适应性针对不同病灶准确分割，同时钼靶图像中，不同视角的图像信息差异大。
因此，相关技术中存在钼靶图像分割准确性差的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决上述问题的图像预测模型生成方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种图像预测模型生成方法，所述方法包括：
获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
在其中一个实施例中，所述获取预训练的多视角图像生成模型，包括：
获取第三训练样本；所述第三训练样本包括所述预设对象中两侧部分各自对应的医学图像；
根据所述预设对象中任一侧对应的医学图像，得到所述预设对象中另一侧对应的预测图像；所述任一侧对应的医学图像与所述另一侧对应的预测图像为相同视角下的图像；
针对所述预设对象中的任一侧，根据所述任一侧在不同视角下对应的至少两个医学图像，得到所述至少两个医学图像各自对应的图像特征；
利用图像一致性损失值和视角特征转化损失值对待训练的多视角图像生成模型进行训练，得到所述预训练的多视角图像生成模型；所述图像一致性损失值为基于相同视角下同一侧对应的医学图像与预测图像得到的损失值，所述视角特征转化损失值为基于不同视角下同一侧对应的所述至少两个医学图像各自对应的图像特征得到的损失值。
在其中一个实施例中，所述根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型，包括：
根据所述第一样本对象的目标侧预测图像生成负样本数据；所述第一样本对象的目标侧中存在病灶，所述第一样本对象的非目标侧中未存在病灶；
根据所述第一样本对象的目标侧医学图像，生成正样本数据；
确定所述正样本数据对应的正样本特征，以及确定所述负样本数据对应的负样本特征；
利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到所述预训练的特征提取模型；所述特征一致性损失值包括基于多个所述正样本特征之间得到的损失值，以及基于多个所述负样本特征之间得到的损失值，所述特征对比损失值为根据相同视角下属于同一侧的所述正样本特征和所述负样本特征得到的损失值。
在其中一个实施例中，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标解码器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，包括：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标解码器，得到样本预测图像；
基于所述第二样本对象的目标侧标注图像和所述样本预测图像之间的差异，对所述待训练目标解码器进行训练，得到训练完成的目标解码器，并根据所述训练完成的目标解码器得到所述预训练的区域预测模型。
在其中一个实施例中，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标分类器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，包括：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标分类器，得到样本分类结果；
基于所述第二样本对象的目标侧标注图像对应的参照分类结果和所述样本分类结果之间的差异，对所述待训练目标分类器进行训练，得到训练完成的目标分类器，并根据所述训练完成的目标分类器得到所述预训练的区域预测模型。
在其中一个实施例中，在所述得到预训练的区域预测模型的步骤之后，所述方法还包括：
获取待检测图像；所述待检测图像为待检测对象中任一侧在任一视角下的医学图像；
将所述待检测图像输入至所述预训练的区域预测模型，得到分割预测结果；所述分割预测结果包括区域预测图像，所述区域预测图像用于表征不同病灶区域对应的预测概率。
第二方面，本申请还提供了一种图像预测模型生成装置，所述装置包括：
图像生成模型获取模块，用于获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
图像生成模块，用于获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
特征提取模型得到模块，用于根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
区域预测模型训练模块，用于获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像预测模型生成方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像预测模型生成方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的图像预测模型生成方法的步骤。
上述一种图像预测模型生成方法、装置、计算机设备、存储介质和计算机程序产品，通过获取预训练的多视角图像生成模型，预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像，可以利用多视角图像互相生成以扩大数据集，然后获取第一训练样本，将第一样本对象的非目标侧医学图像输入至预训练的多视角图像生成模型，得到第一样本对象的目标侧预测图像，根据第一样本对象的目标侧医学图像和目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型，可以基于多视角图像进行自监督对抗训练，进而获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，待训练的区域预测模型基于预训练的特征提取模型构建得到，通过上述方法扩大数据集，采用自动生成的大量数据进行训练，能够提升训练效率和训练精度，同时基于多视角图像进行自监督对抗训练，能够避免出现假阳性情况，从而基于自监督对抗训练结果构建后续预测模型，为后续模型的训练提供了更多信息，节约了训练时间，提高了训练精度，能够达到精准地乳腺病灶分割效果。
附图说明
图1为一个实施例中一种图像预测模型生成方法的流程示意图；
图2为一个实施例中一种多视角图像生成模型训练的示意图；
图3为一个实施例中一种特征提取模型训练的示意图；
图4为一个实施例中一种区域预测模型训练的示意图；
图5为一个实施例中另一种图像预测模型生成方法的流程示意图；
图6为一个实施例中一种图像预测模型生成装置的结构框图；
图7为一个实施例中一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据；对应的，本申请还提供有相应的用户授权入口，供用户选择授权或者选择拒绝。
在一个实施例中，如图1所示，提供了一种图像预测模型生成方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤101，获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
作为一示例，预设对象可以具有对称关系或类似对称关系的两侧部分，如人体对象中左侧乳腺和右侧乳腺。
作为一示例，医学图像可以为乳腺钼靶图像，基于该乳腺钼靶图像可以发现被重叠的乳腺组织掩盖的异常病灶或肿瘤，预设对象中任一侧对应的医学图像可以为人体对象的左侧乳腺钼靶图像或右侧乳腺钼靶图像，左侧乳腺钼靶图像或右侧乳腺钼靶图像可以分别具有多视角下采集图像，如CC位(左右的头尾位)图像、MLO位(左右的内外斜位置)图像等。
其中，可以基于正常乳腺的钼靶图像训练多视角图像生成模型，得到预训练的多视角图像生成模型，其训练过程可以如图2所示，例如，可以采用同一人体对象的无病灶左侧乳腺CC位图像、无病灶左侧乳腺MLO位图像、无病灶右侧乳腺CC位图像、无病灶右侧乳腺MLO位图像，作为训练样本，即第三训练样本。
在实际应用中，可以获取预训练的多视角图像生成模型，该预训练的多视角图像生成模型可以用于根据人体对象中任一侧乳腺对应的医学图像，如真实的钼靶图像，生成相同视角下另一侧乳腺对应的预测图像，如非真实的钼靶图像，进而可以基于预训练的多视角图像生成模型进一步自监督对抗训练特征提取模型。
步骤102，获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
其中，第一样本对象的目标侧中存在病灶，第一样本对象的非目标侧中未存在病灶，如可以将存在单侧乳腺病灶的人体对象，作为第一样本对象。
作为一示例，第一训练样本可以包括第一样本对象的目标侧医学图像和非目标侧医学图像，如有病灶一侧的真实乳腺钼靶图像和无病灶一侧的真实乳腺钼靶图像。
在具体实现中，可以将第一样本对象的非目标侧医学图像，如无病灶一侧的真实图像，输入至预训练的多视角图像生成模型，得到第一样本对象的目标侧预测图像，如有病灶一侧的非真实图像。
步骤103，根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
在得到第一样本对象的目标侧预测图像后，可以根据该第一样本对象的目标侧医学图像和目标侧预测图像，如有病灶一侧的真实图像和生成的非真实图像，对待训练的特征提取模型进行自监督训练，进而可以得到预训练的特征提取模型。
在一示例中，针对特征提取模型，其训练过程可以如图3所示，可以采用预训练的多视角图像生成模型中训练完成的编码器，如针对左侧乳腺的编码器和右侧乳腺的编码器，分别根据无病灶一侧乳腺的真实CC位和MLO位图像(即多视角下医学图像)，生成有病灶一侧乳腺的非真实CC位和MLO位图像(即预测图像)。
步骤104，获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
其中，第二样本对象的目标侧中存在病灶，如可以将存在乳腺病灶的人体对象，作为第二样本对象。
作为一示例，第二训练样本可以包括第二样本对象的目标侧医学图像和目标侧标注图像，如有病灶一侧的真实乳腺钼靶图像和对该真实乳腺钼靶图像进行病灶区域标注后得到的标注图像。
在实际应用中，可以基于预训练的特征提取模型构建待训练的区域预测模型，通过获取第二训练样本，可以将第二样本对象的目标侧医学图像作为输入，如有病灶的任一侧真实图像，并可以将第二样本对象的目标侧标注图像作为监督信息，如对该有病灶的任一侧真实图像标注病灶区域后得到的标注图像，对待训练的区域预测模型进行训练，进而可以得到预训练的区域预测模型，其训练过程可以如图4所示，从而可以在模型应用阶段，采用预训练的区域预测模型针对乳腺钼靶图像实现乳腺病灶精准分割。
在一示例中，在模型应用阶段，可以将待检测对象包含病灶的一侧在任一视角下的医学图像，如有病灶的任一侧乳腺的CC位图像或MLO位图像，作为待检测图像，进而可以将该待检测图像输入至预训练的区域预测模型，得到分割预测结果，可以基于该分割预测结果中区域预测图像获取不同病灶区域对应的预测概率，例如，分割任务的输出可以包括乳腺癌症的分割概率、乳腺肿块的分割概率、乳腺钙化的分割概率、乳腺血管钙化的分割概率等，还可以包括乳腺乳头的分割概率、乳腺淋巴结的分割概率等。
相较于传统方法，本实施例的技术方案，通过预训练区域预测模型以用于乳腺钼靶图像分割，能够精准的实现乳腺病灶分割，避免产生假阳性情况；利用乳腺钼靶图像的多视角图像互相生成，既可以起到扩大数据集的作用，同时还可以起到利于不同视角下图像信息互补的作用，进而可以根据多视角图像生成的预测图像与真实医学图像进行自监督的对抗训练，得到预训练的特征提取模型，为后续区域预测模型的训练提供了更多信息，节约了训练时间，提高了训练结果精度，且可以使用更少的标注数据来达到与使用大量标注数据同样的训练精度。
上述图像预测模型生成方法中，通过获取预训练的多视角图像生成模型，可以利用多视角图像互相生成以扩大数据集，然后获取第一训练样本，将第一样本对象的非目标侧医学图像输入至预训练的多视角图像生成模型，得到第一样本对象的目标侧预测图像，根据第一样本对象的目标侧医学图像和目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型，可以基于多视角图像进行自监督对抗训练，进而获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，通过上述方法扩大数据集，采用自动生成的大量数据进行训练，能够提升训练效率和训练精度，同时基于多视角图像进行自监督对抗训练，能够避免出现假阳性情况，从而基于自监督对抗训练结果构建后续预测模型，为后续模型的训练提供了更多信息，节约了训练时间，提高了训练精度。
在一个实施例中，所述获取预训练的多视角图像生成模型，可以包括如下步骤：
获取第三训练样本；根据所述预设对象中任一侧对应的医学图像，得到所述预设对象中另一侧对应的预测图像；针对所述预设对象中的任一侧，根据所述任一侧在不同视角下对应的至少两个医学图像，得到所述至少两个医学图像各自对应的图像特征；利用图像一致性损失值和视角特征转化损失值对待训练的多视角图像生成模型进行训练，得到所述预训练的多视角图像生成模型。
其中，第三训练样本可以包括预设对象中两侧部分各自对应的医学图像，如人体对象的左侧乳腺钼靶图像或右侧乳腺钼靶图像。
作为一示例，图像一致性损失值可以为基于相同视角下同一侧对应的医学图像与预测图像得到的损失值；视角特征转化损失值可以为基于不同视角下同一侧对应的至少两个医学图像各自对应的图像特征得到的损失值。
在实际应用中，可以采集正常乳腺的钼靶图像得到第三训练样本，如无病灶的乳腺钼靶图像，然后可以基于阈值法、随机游走法等方法对获取的样本钼靶图像进行乳腺边界区域分割，以确定图像中乳腺边界区域，如图2所示，进而可以采用编码器和解码器的网络结构，根据左侧乳腺CC位图像(即任一侧对应的医学图像)生成右侧乳腺CC位图像(即另一侧对应的预测图像)，即任一侧对应的医学图像与另一侧对应的预测图像为相同视角下的图像，也可以根据左侧乳腺MLO位图像生成右侧乳腺MLO位图像，还可以采用右侧乳腺CC或MLO位图像生成左侧乳腺CC或MLO位图像。
在一示例中，根据任一侧在不同视角下对应的至少两个医学图像，可以得到至少两个医学图像各自对应的图像特征，例如，如图2所示，通过将同一侧乳腺CC位图像和MLO位图像，分别输入编码器1和编码器2，可以得到各自编码器对应输出的编码特征，如可以采用ResNet50为编码器，则可以得到2048维的特征，然后可以采用映射器互相预测不同视角下的特征。
具体地，该映射器可以为多层感知神经网络(MLP，Multilayer Perceptron)结构，其可以采用线性(全连接层)或非线性(全连接层接RELU激活函数)映射，可以将编码器输出的2048维特征转换为128维的特征，进而可以根据CC位图像的128维特征，预测出MLO位图像的128维特征，也可以根据MLO位图像的128维特征，预测出CC位图像的128维特征。
在又一示例中，可以利用图像一致性损失值和视角特征转化损失值，对待训练的多视角图像生成模型的网络参数进行训练，得到预训练的多视角图像生成模型，如图2所示，针对采用编码器和解码器的网络结构预测生成的图像，可以采用一致性损失函数(即利用图像一致性损失值)训练网络参数，如MSE loss，以使得生成的预测图像尽可能接近对应的原始医学图像；针对映射器互相预测出的不同视角下特征，如针对MLO位图像和CC位图像进行互相转化预测，可以采用交叉熵损失函数(即利用视角特征转化损失值)训练网络参数，从而能够使得整个网络结构同时学习到一侧乳腺转为另一侧乳腺的映射关系，以及CC位和MLO位互相转化的映射关系。
在一个可选实施例中，待训练的多视角图像生成模型中编码器可以为基于transformer的编码器，也可以为基于卷积神经网络的编码器，还可以为采用卷积神经网络和transformer所构建的编码器；待训练的多视角图像生成模型中解码器可以为基于transformer的解码器，也可以为基于卷积神经网络的解码器，还可以为采用卷积神经网络和transformer所构建的解码器。
本实施例中，通过获取第三训练样本，然后根据预设对象中任一侧对应的医学图像，得到预设对象中另一侧对应的预测图像，针对预设对象中的任一侧，根据任一侧在不同视角下对应的至少两个医学图像，得到至少两个医学图像各自对应的图像特征，进而利用图像一致性损失值和视角特征转化损失值对待训练的多视角图像生成模型进行训练，得到预训练的多视角图像生成模型，能够利用乳腺钼靶图像的多视角图像互相生成，可以起到扩大数据集的作用，为后续模型训练提供了数据支持。
在一个实施例中，所述根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型，可以包括如下步骤：
根据所述第一样本对象的目标侧预测图像生成负样本数据；根据所述第一样本对象的目标侧医学图像，生成正样本数据；确定所述正样本数据对应的正样本特征，以及确定所述负样本数据对应的负样本特征；利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到所述预训练的特征提取模型。
其中，第一样本对象的目标侧中存在病灶，第一样本对象的非目标侧中未存在病灶。
作为一示例，特征一致性损失值可以包括基于多个正样本特征之间得到的损失值，以及基于多个负样本特征之间得到的损失值，特征对比损失值可以为根据相同视角下属于同一侧的正样本特征和负样本特征得到的损失值。
在具体实现中，可以采集单侧有病灶的乳腺钼靶图像得到第一训练样本，然后可以将获取的样本钼靶图像进行灰度标准化，如可以采用重采样法、阈值限制法、灰度直方图归一化法等方法预处理图像，并可以采用阈值法获得图像乳腺边界区域，如图3所示，可以将无病灶一侧的乳腺CC位图像和MLO位图像(即非目标侧医学图像)，输入至预训练的多视角图像生成模型，如利用预训练的多视角图像生成模型中训练完成的编码器和解码器网络结构，得到预测生成的有病灶一侧乳腺CC位图像和MLO位图像(即目标侧预测图像)。
在一个可选实施例中，可以将生成的目标侧预测图像分割成小块图像，如可以分割为64*64的图像块，也可以随机裁剪为64*64或128*128或256*256的图像块，若服务器性能较好，还可以不分割成小块图像，直接使用生成的目标侧预测图像，通过随机旋转、翻转、缩放等处理，得到负样本数据。
在一示例中，若目标侧医学图像中病灶较大，可以针对该目标侧医学图像，采用随机裁剪方式裁剪为64*64或128*128或256*256的图像块，若服务器性能较好，也可以不分割成小块图像，直接使用目标侧医学图像得到正样本数据；若目标侧医学图像中病灶较小，为了提高针对小病灶的识别精度，还可以利用PACS系统(picture archiving andcommunication system，影像归档和通信系统)获取影像报告，并可以将报告中标识的大致位置作为软标签，以分割小块图像，如可以分割为64*64的图像块，进而可以通过随机旋转、翻转、缩放等处理，得到正样本数据。
在又一示例中，可以将正样本数据和负样本数据作为输入数据，对待训练的特征提取模型进行训练，如图3中待训练的特征提取模型中编码器3和映射器3，进而可以训练编码器3的参数，使得网络达到最优，例如，通过分别得到正样本特征和负样本特征，可以针对正负样本特征之间采用对比损失函数(即利用特征对比损失值)，如InfoNCE loss，从而可以使得相同视角下属于同一侧的正负样本之间的特征差异大；可以针对正样本特征之间采用一致性损失函数，以及可以针对负样本特征之间采用一致性损失函数(即利用特征一致性损失值)，如L2 loss，以使得正样本特征之间相似、负样本特征之间相似。
本实施例中，通过根据第一样本对象的目标侧预测图像生成负样本数据，根据第一样本对象的目标侧医学图像，生成正样本数据，然后确定正样本数据对应的正样本特征，以及确定负样本数据对应的负样本特征，进而利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到预训练的特征提取模型，能够根据多视角图像生成的预测图像与真实医学图像进行自监督的对抗训练，为后续区域预测模型的训练提供了数据支持。
在一个实施例中，待训练的区域检测模型可以包括预训练的特征提取模型中目标编码器，以及与目标编码器的输出位置连接的待训练目标解码器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，可以包括如下步骤：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标解码器，得到样本预测图像；基于所述第二样本对象的目标侧标注图像和所述样本预测图像之间的差异，对所述待训练目标解码器进行训练，得到训练完成的目标解码器，并根据所述训练完成的目标解码器得到所述预训练的区域预测模型。
作为一示例，可以采集有病灶的乳腺钼靶图像，以及通过医生标注病灶的金标准样本(即目标侧标注图像)，得到第二训练样本，其中，目标侧标注图像可以由放射科医生采用人工勾画方式获取，也可以采用自动、半自动、手工等方式勾画乳腺钼靶图像的病灶区域得到。
在实际应用中，可以基于预训练的特征提取模型中目标编码器，如图4中预训练的编码器3，在该目标编码器的输出位置连接待训练的目标解码器，该目标解码器可以为用于分割任务的网络结构，进而可以将有病灶的乳腺钼靶图像作为输入图像(即第二样本对象的目标侧医学图像)，输入至待训练的区域检测模型，可以得到输出的样本预测图像，其可以用于表征预测出的乳腺图像病灶区域、或图像感兴趣区域。
在一示例中，可以将训练完成的目标编码器的网络参数进行固定，以训练待训练的目标解码器，并可以通过微调网络，使得网络获得分割预测结果最接近标注的金标准样本(即目标侧标注图像)，进而可以在模型应用阶段，采用训练完成的区域预测模型执行分割/目标检测任务。
在一个可选实施例中，待训练的区域检测模型中目标解码器，可以采用之前预训练得到的解码器，也可以为新构建的解码器，该解码器的结构包括但不限于transformer、卷积神经网络、循环神经网络、LSTM等。
本实施例中，通过将第二样本对象的目标侧医学图像，输入至待训练的区域检测模型中的目标编码器，并将输出结果输入至待训练目标解码器，得到样本预测图像，进而基于第二样本对象的目标侧标注图像和样本预测图像之间的差异，对待训练目标解码器进行训练，得到训练完成的目标解码器，并根据训练完成的目标解码器得到预训练的区域预测模型，能够精准的实现乳腺病灶分割，避免产生假阳性情况。
在一个实施例中，待训练的区域检测模型可以包括预训练的特征提取模型中目标编码器，以及与目标编码器的输出位置连接的待训练目标分类器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，可以包括如下步骤：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标分类器，得到样本分类结果；基于所述第二样本对象的目标侧标注图像对应的参照分类结果和所述样本分类结果之间的差异，对所述待训练目标分类器进行训练，得到训练完成的目标分类器，并根据所述训练完成的目标分类器得到所述预训练的区域预测模型。
在一示例中，可以基于预训练的特征提取模型中目标编码器，如图4中预训练的编码器3，在该目标编码器的输出位置连接待训练的目标分类器，该目标分类器可以用于对识别出的图像感兴趣区域进行医学任务分类，进而可以将有病灶的乳腺钼靶图像作为输入图像(即第二样本对象的目标侧医学图像)，输入至待训练的区域检测模型，可以得到输出的样本分类结果。
在又一示例中，可以将训练完成的目标编码器的网络参数进行固定，以训练待训练的目标分类器，并可以通过微调网络，使得网络获得分类预测结果最接近目标侧标注图像对应的参照分类结果，进而可以在模型应用阶段，采用训练完成的区域预测模型执行分类任务。
本实施例中，通过将第二样本对象的目标侧医学图像，输入至待训练的区域检测模型中的目标编码器，并将输出结果输入至待训练目标分类器，得到样本分类结果，进而基于第二样本对象的目标侧标注图像对应的参照分类结果和样本分类结果之间的差异，对待训练目标分类器进行训练，得到训练完成的目标分类器，并根据训练完成的目标分类器得到预训练的区域预测模型，提升了乳腺病灶分类精准性。
在一个实施例中，在所述得到预训练的区域预测模型的步骤之后，可以包括如下步骤：
获取待检测图像；所述待检测图像为待检测对象中任一侧在任一视角下的医学图像；将所述待检测图像输入至所述预训练的区域预测模型，得到分割预测结果；所述分割预测结果包括区域预测图像，所述区域预测图像用于表征不同病灶区域对应的预测概率。
其中，待检测图像可以为包含病灶的一侧在任一视角下的医学图像，也可以为不存在病灶的一侧在任一视角下的医学图像。
在实际应用中，可以在模型应用阶段，将待检测对象包含病灶的一侧在任一视角下的医学图像，如有病灶的任一侧乳腺的CC位图像或MLO位图像，作为待检测图像，进而可以将该待检测图像输入至预训练的区域预测模型，得到基于病灶的分割预测结果。
例如，可以基于该分割预测结果中区域预测图像获取不同病灶区域对应的预测概率，如分割任务的输出可以包括乳腺癌症的分割概率、乳腺肿块的分割概率、乳腺钙化的分割概率、乳腺血管钙化的分割概率等，还可以包括乳腺乳头的分割概率、乳腺淋巴结的分割概率等。
在一示例中，也可以将不存在病灶的一侧在任一视角下的医学图像，如不存在病灶的任一侧乳腺的CC位图像或MLO位图像，作为待检测图像，进而可以将该待检测图像输入至预训练的区域预测模型，得到基于正常乳腺的分割预测结果，如病灶区域对应的预测概率可以为0或者一个较小的值，以表征不存在病灶。
本实施例中，通过获取待检测图像，进而将待检测图像输入至预训练的区域预测模型，得到分割预测结果，能够达到精准地乳腺病灶分割效果。
在一个实施例中，如图5所示，提供了另一种图像预测模型生成方法的流程示意图。本实施例中，该方法包括以下步骤：
在步骤501中，获取预训练的多视角图像生成模型；预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像。在步骤502中，将第一样本对象的非目标侧医学图像输入至预训练的多视角图像生成模型，得到第一样本对象的目标侧预测图像。在步骤503中，根据第一样本对象的目标侧预测图像生成负样本数据，并根据第一样本对象的目标侧医学图像，生成正样本数据。在步骤504中，确定正样本数据对应的正样本特征，以及确定负样本数据对应的负样本特征。在步骤505中，利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到预训练的特征提取模型。在步骤506中，获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型。在步骤507中，获取待检测图像；待检测图像为待检测对象中任一侧在任一视角下的医学图像。在步骤508中，将待检测图像输入至预训练的区域预测模型，得到分割预测结果；分割预测结果包括区域预测图像，区域预测图像用于表征不同病灶区域对应的预测概率。需要说明的是，上述步骤的具体限定可以参见上文对一种图像预测模型生成方法的具体限定，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像预测模型生成方法的图像预测模型生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像预测模型生成装置实施例中的具体限定可以参见上文中对于图像预测模型生成方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种图像预测模型生成装置，包括：
图像生成模型获取模块601，用于获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
图像生成模块602，用于获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
特征提取模型得到模块603，用于根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
区域预测模型训练模块604，用于获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
在一个实施例中，所述图像生成模型获取模块601包括：
第三训练样本获取子模块，用于获取第三训练样本；所述第三训练样本包括所述预设对象中两侧部分各自对应的医学图像；
预测图像得到子模块，用于根据所述预设对象中任一侧对应的医学图像，得到所述预设对象中另一侧对应的预测图像；所述任一侧对应的医学图像与所述另一侧对应的预测图像为相同视角下的图像；
图像特征得到子模块，用于针对所述预设对象中的任一侧，根据所述任一侧在不同视角下对应的至少两个医学图像，得到所述至少两个医学图像各自对应的图像特征；
图像生成模型训练子模块，用于利用图像一致性损失值和视角特征转化损失值对待训练的多视角图像生成模型进行训练，得到所述预训练的多视角图像生成模型；所述图像一致性损失值为基于相同视角下同一侧对应的医学图像与预测图像得到的损失值，所述视角特征转化损失值为基于不同视角下同一侧对应的所述至少两个医学图像各自对应的图像特征得到的损失值。
在一个实施例中，所述特征提取模型得到模块603包括：
负样本数据得到子模块，用于根据所述第一样本对象的目标侧预测图像生成负样本数据；所述第一样本对象的目标侧中存在病灶，所述第一样本对象的非目标侧中未存在病灶；
正样本数据得到子模块，用于根据所述第一样本对象的目标侧医学图像，生成正样本数据；
样本特征确定子模块，用于确定所述正样本数据对应的正样本特征，以及确定所述负样本数据对应的负样本特征；
特征提取模型训练子模块，用于利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到所述预训练的特征提取模型；所述特征一致性损失值包括基于多个所述正样本特征之间得到的损失值，以及基于多个所述负样本特征之间得到的损失值，所述特征对比损失值为根据相同视角下属于同一侧的所述正样本特征和所述负样本特征得到的损失值。
在一个实施例中，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标解码器，所述区域预测模型训练模块603包括：
样本预测图像得到子模块，用于将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标解码器，得到样本预测图像；
解码器训练子模块，用于基于所述第二样本对象的目标侧标注图像和所述样本预测图像之间的差异，对所述待训练目标解码器进行训练，得到训练完成的目标解码器，并根据所述训练完成的目标解码器得到所述预训练的区域预测模型。
在一个实施例中，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标分类器，所述区域预测模型训练模块603包括：
样本分类结果得到子模块，用于将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标分类器，得到样本分类结果；
分类器训练子模块，用于基于所述第二样本对象的目标侧标注图像对应的参照分类结果和所述样本分类结果之间的差异，对所述待训练目标分类器进行训练，得到训练完成的目标分类器，并根据所述训练完成的目标分类器得到所述预训练的区域预测模型。
在一个实施例中，所述装置还包括：
待检测图像获取模块，用于获取待检测图像；所述待检测图像为待检测对象中任一侧在任一视角下的医学图像；
分割预测模块，用于将所述待检测图像输入至所述预训练的区域预测模型，得到分割预测结果；所述分割预测结果包括区域预测图像，所述区域预测图像用于表征不同病灶区域对应的预测概率。
上述图像预测模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像预测模型生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像预测模型生成方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的图像预测模型生成方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的图像预测模型生成方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的图像预测模型生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像预测模型生成方法，其特征在于，所述方法包括：
获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
2.根据权利要求1所述的方法，其特征在于，所述获取预训练的多视角图像生成模型，包括：
获取第三训练样本；所述第三训练样本包括所述预设对象中两侧部分各自对应的医学图像；
根据所述预设对象中任一侧对应的医学图像，得到所述预设对象中另一侧对应的预测图像；所述任一侧对应的医学图像与所述另一侧对应的预测图像为相同视角下的图像；
针对所述预设对象中的任一侧，根据所述任一侧在不同视角下对应的至少两个医学图像，得到所述至少两个医学图像各自对应的图像特征；
利用图像一致性损失值和视角特征转化损失值对待训练的多视角图像生成模型进行训练，得到所述预训练的多视角图像生成模型；所述图像一致性损失值为基于相同视角下同一侧对应的医学图像与预测图像得到的损失值，所述视角特征转化损失值为基于不同视角下同一侧对应的所述至少两个医学图像各自对应的图像特征得到的损失值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型，包括：
根据所述第一样本对象的目标侧预测图像生成负样本数据；所述第一样本对象的目标侧中存在病灶，所述第一样本对象的非目标侧中未存在病灶；
根据所述第一样本对象的目标侧医学图像，生成正样本数据；
确定所述正样本数据对应的正样本特征，以及确定所述负样本数据对应的负样本特征；
利用特征一致性损失值和特征对比损失值对待训练的特征提取模型进行训练，得到所述预训练的特征提取模型；所述特征一致性损失值包括基于多个所述正样本特征之间得到的损失值，以及基于多个所述负样本特征之间得到的损失值，所述特征对比损失值为根据相同视角下属于同一侧的所述正样本特征和所述负样本特征得到的损失值。
4.根据权利要求1所述的方法，其特征在于，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标解码器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，包括：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标解码器，得到样本预测图像；
基于所述第二样本对象的目标侧标注图像和所述样本预测图像之间的差异，对所述待训练目标解码器进行训练，得到训练完成的目标解码器，并根据所述训练完成的目标解码器得到所述预训练的区域预测模型。
5.根据权利要求1所述的方法，其特征在于，所述待训练的区域检测模型包括所述预训练的特征提取模型中目标编码器，以及与所述目标编码器的输出位置连接的待训练目标分类器，所述以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型，包括：
将所述第二样本对象的目标侧医学图像，输入至所述待训练的区域检测模型中的所述目标编码器，并将输出结果输入至所述待训练目标分类器，得到样本分类结果；
基于所述第二样本对象的目标侧标注图像对应的参照分类结果和所述样本分类结果之间的差异，对所述待训练目标分类器进行训练，得到训练完成的目标分类器，并根据所述训练完成的目标分类器得到所述预训练的区域预测模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述得到预训练的区域预测模型的步骤之后，所述方法还包括：
获取待检测图像；所述待检测图像为待检测对象中任一侧在任一视角下的医学图像；
将所述待检测图像输入至所述预训练的区域预测模型，得到分割预测结果；所述分割预测结果包括区域预测图像，所述区域预测图像用于表征不同病灶区域对应的预测概率。
7.一种图像预测模型生成装置，其特征在于，所述装置包括：
图像生成模型获取模块，用于获取预训练的多视角图像生成模型；所述预训练的多视角图像生成模型用于根据预设对象中任一侧对应的医学图像生成另一侧对应的预测图像；
图像生成模块，用于获取第一训练样本，将第一样本对象的非目标侧医学图像输入至所述预训练的多视角图像生成模型，得到所述第一样本对象的目标侧预测图像；
特征提取模型得到模块，用于根据所述第一样本对象的目标侧医学图像和所述目标侧预测图像，对待训练的特征提取模型进行自监督训练，得到预训练的特征提取模型；
区域预测模型训练模块，用于获取第二训练样本，以第二样本对象的目标侧医学图像作为输入，所述第二样本对象的目标侧标注图像作为监督信息，对待训练的区域预测模型进行训练，得到预训练的区域预测模型；所述待训练的区域预测模型基于所述预训练的特征提取模型构建得到。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211019866.8A 2022-08-24 2022-08-24 图像预测模型生成方法、装置、计算机设备和存储介质 Pending CN115359005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211019866.8A CN115359005A (zh) 2022-08-24 2022-08-24 图像预测模型生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211019866.8A CN115359005A (zh) 2022-08-24 2022-08-24 图像预测模型生成方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115359005A true CN115359005A (zh) 2022-11-18

Family

ID=84004997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211019866.8A Pending CN115359005A (zh) 2022-08-24 2022-08-24 图像预测模型生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115359005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351289A (zh) * 2023-11-02 2024-01-05 北京联影智能影像技术研究院 图像分类模型的训练方法和图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351289A (zh) * 2023-11-02 2024-01-05 北京联影智能影像技术研究院 图像分类模型的训练方法和图像分类方法

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110930417B (zh) 图像分割模型的训练方法和装置、图像分割方法和装置
US11593943B2 (en) RECIST assessment of tumour progression
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
US20230386048A1 (en) Ultrasound image segmentation method and apparatus, terminal device, and storage medium
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN112581458B (zh) 一种图像处理方法和装置
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
CN113065551A (zh) 利用深度神经网络模型执行图像分割的方法
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN115359005A (zh) 图像预测模型生成方法、装置、计算机设备和存储介质
Shao et al. Application of an improved u2-net model in ultrasound median neural image segmentation
CN113177554A (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN116416221A (zh) 一种超声图像分析方法
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN111210414B (zh) 医学图像分析方法、计算机设备和可读存储介质
CN114004795A (zh) 一种乳腺结节的分割方法及相关装置
SS et al. Literature survey on deep learning methods for liver segmentation from CT images: a comprehensive review
CN114913135B (zh) 基于级联VNet-S网络和三维条件随机场的肝脏分割系统
Zhao et al. Ultrasound Video Segmentation with Adaptive Temporal Memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination