CN115170401A - 图像补全方法、装置、设备及存储介质 - Google Patents

图像补全方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115170401A
CN115170401A CN202210457083.1A CN202210457083A CN115170401A CN 115170401 A CN115170401 A CN 115170401A CN 202210457083 A CN202210457083 A CN 202210457083A CN 115170401 A CN115170401 A CN 115170401A
Authority
CN
China
Prior art keywords
image
feature
modality
sample
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210457083.1A
Other languages
English (en)
Inventor
黄雅雯
郑冶枫
袁一啸
周毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN202210457083.1A priority Critical patent/CN115170401A/zh
Publication of CN115170401A publication Critical patent/CN115170401A/zh
Priority to PCT/CN2023/082321 priority patent/WO2023207416A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像补全方法、装置、设备及存储介质，涉及人工智能领域。方法包括：获取目标对象的目标图像集合，目标图像集合中包含目标对象在不同模态下的图像，且图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；从完整图像中提取目标共享特征，目标共享特征为缺失图像与完整图像所共有的特征；对目标共享特征进行特征还原，得到缺失图像对应的补全图像。采用本申请实施例提供的方案，在实现对缺失模态的图像进行模态补全的同时，保证补全结果的准确性，进而保证图像补全质量。

Description

图像补全方法、装置、设备及存储介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种图像补全方法、装置、设备及存储介质。
背景技术
图像补全是根据图像自身或图像库信息来补全待修复图像的缺失区域，使得修复后的图像看起来非常自然，难以和未受损的图像区分开的过程。
模态可以理解为一个东西的多种不同的表现形态，例如，在磁共振成像(MagneticResonance Imaging，MRI)的过程中，改变信号的影响因素，可以得到T1、T2、FLAIR和T1ce这四种模态的图像，但由于成像方式不同，部分成像图像可能会缺失必要的特征信息，这种图像被称为缺失图像，其对应的模态被称为缺失模态。
其中，模态缺失的情况多种多样，相关技术中的图像补全方法无法保证图像补全的质量，因此，如何提高提高图像补全的质量就成为急需解决的问题。
发明内容
本申请实施例提供了一种图像补全方法、装置、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种图像补全方法，所述方法包括：
获取目标对象的目标图像集合，所述目标图像集合中包含所述目标对象在不同模态下的图像，且所述图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；
从所述完整图像中提取目标模态共享特征，所述目标模态共享特征为所述缺失图像与所述完整图像所共有的特征；
对所述目标共享特征进行特征还原，得到所述缺失图像对应的补全图像。
另一方面，本申请实施例提供了一种图像补全装置，所述装置包括：
获取模块，用于获取目标对象的目标图像集合，所述目标图像集合中包含所述目标对象在不同模态下的图像，且所述图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；
特征提取模块，用于从所述完整图像中提取目标模态共享特征，所述目标模态共享特征为所述缺失图像与所述完整图像所共有的特征；
特征还原模块，用于对所述目标模态共享特征进行特征还原，得到所述缺失图像对应的补全图像。另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上述方面所述的图像补全方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上述方面所述的图像补全方法。
另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行该计算机指令，使得所述计算机设备执行以实现如上述方面所述的图像补全方法。
本申请实施例中，计算机设备获取目标对象的目标图像集合后，从完整图像中提取缺失图像与完整图像间成对的模态共享特征，即目标模态共享特征，进而对目标模态共享特征进行特征还原，得到缺失图像对应的补全图像；采用本申请实施例提供的方案，在实现对缺失模态的图像进行模态补全的同时，保证补全结果的准确性，进而保证图像补全质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的实施环境的示意图；
图2示出了本申请一个示例性实施例提供的图像补全方法的流程图；
图3示出了本申请另一个示例性实施例提供的图像补全方法的流程图；
图4是本申请一个示例性实施例示出的图像补全方法的实施示意图；
图5示出了本申请一个示例性实施例提供的图像补全模型的训练方法的流程图；
图6示出了本申请一个示例性实施例提供的图像补全模型的训练方法的示意图；
图7示出了本申请另一个示例性实施例提供的图像补全模型的训练方法的流程图；
图8示出了本申请另一个示例性实施例提供的图像补全模型的训练方法的示意图；
图9是本申请一个示例性实施例示出的本申请实施例与相关技术的补全效果对比图；
图10示出了本申请一个示例性实施例提供的图像补全装置的结构框图；
图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了方便理解，下面对本申请实施例中涉及的名词进行说明。
生成对抗网络(Generative Adversarial Network，GAN)：是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。生成对抗网络由生成器和判别器构成。生成对抗网络的核心目的是训练生成器。生成器的目的是生成与真实样本图像尽可能相似的图像，判别器的目的是尽可能区分出给定样本是真实样本还是生成图像。二者目的相悖，在不断博弈的过程中相互提高，最终在判别器判别能力足够可靠的前提下仍无法区分给定样本是真实样本还是生成图像，即生成模型生成的图像与样本图像没有区别，判别模型无法区分。
磁共振成像：是一种基于核磁共振(Nuclear Magnetic Resonance，NMR)原理的医学成像技术，利用磁场和射频电波形成人体解剖或生理过程的图像。一个磁共振成像序列是一组射频脉冲和梯度的特定设置，产生特定的图像画面。MRI图像模态有T1、T2、FLAIR和T1ce。T1、T2是用于测量电磁波的物理量，他们可以作为成像的数据。根据T1来成像，就叫“T1加权成像”，临床工作中简称“T1”，T2同理。T1图像整体感官跟“临床图像”的“习惯配色风格”非常接近，白质是白的，灰质是灰的,脑脊液是黑的,所以T1图像可以看出各种断层解剖图。T2信号跟水含量有关,许多病灶的T2信号要强于周围的正常组织,常呈高亮状态，因此从T2中可以清楚的看到病灶所处位置、大小。FLAIR全称是磁共振成像液体衰减反转序列，也称水抑制成像技术，它在T2中能抑制脑脊液的高信号(使脑脊液变暗)，从而让邻近脑脊液的病灶显示清楚(变亮)，T1ce是在做MRI之前往血液打造影剂(颜料)，亮的地方血供丰富,强化显示说明血流丰富,而肿瘤部位正是血流很快的部位,T1ce还能进一步显示肿瘤内情况，鉴别肿瘤与非肿瘤性病变(也就是坏疽部位)。
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)：是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像分割、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例涉及的图像补全方法，即计算机视觉技术在图像处理领域的应用，可提高图像补全模型的训练效果进而提升训练后图像补全模型补全结果的准确性。
如图1所示，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括计算机设备110和服务器120。其中，计算机设备110与服务器120之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
计算机设备110是具有图像补全需求的电子设备，该电子设备可以是智能手机、平板电脑或个人计算机等等，本实施例并此不作限定。
在一些实施例中，计算机设备110中安装有具有图像补全功能的应用程序。当需要对目标对象的缺失模态对应的图像进行补全时，用户将目标对像的缺失模态对应的图像和完整模态对应的图像以图像集合121的形式输入应用程序，从而将图像集合121上传至服务器120，由服务器120对目标对象的缺失模态对应的图像进行图像补全，并反馈图像补全结果。
服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一种可能的实施方式中，计算机设备110将图像集合121上传至服务器120，由服务器120通过图像补全模型122进行图像补全从而得到补全图像123，其中，图像补全模型122是一个编码-解码器网络，服务器120将补全图像123回传至计算机设备110，以便计算机设备110对图像补全结果进行显示。
当然，在其他可能的实施方式中，图像补全模型也可以部署在计算机设备110中，从而由计算机设备110在本地实现图像补全，降低服务器120的处理压力，本实施例对此不作限定。
此外，上述图像补全模型可以由服务器120训练得到，也可以由其他设备训练完成后部署在服务器120侧。为了方便表述，下述各个实施例以图像补全方法应用于计算机设备，且图像补全模型训练由计算机设备执行为例进行说明。
需要说明的是，本申请实施例所示的图像补全方法可以被应用于各种图像补全任务中，本申请实施例中以对医学图像进行图像补全为例进行说明。
请参考图2，其示出了本申请一个示例性实施例提供的图像补全方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤：
步骤201，获取目标对象的目标图像集合，目标图像集合中包含目标对象在不同模态下的图像，且图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数。
在一种可能的实施方式中，该目标对象可以为中枢神经系统、大脑、骨骼、脊髓或血管等，本申请实施例并不对具体的目标对象构成限定。
计算机设备获取到目标对象的目标图像集合后，需要对目标图像集合中的图像进行图像预处理操作，从而使图像的输入格式与模型训练过程的输入格式保持一致。
可选的，预处理操作方法为尺度变换、图像归一化、图像灰度化、图像增强及图像滤波等预处理操作中的至少一种，本申请实施例并不对具体的预处理操作方法构成限定。
由于MRI是最常用也是最重要的颅脑病变检查手段，因此本申请实施例以对象为脑肿瘤为例，在一种可能的实施方式中，在图像为脑肿瘤图像的情况下，图像的模态包括T1模态、T1ce模态、T2模态以及FLAIR模态。
本申请实施例中，计算机设备获取目标对象的目标图像集合，并从目标图像集合中获取到图像，该图像中包含目标对象的n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数，其中，缺失模态对应的缺失图像是需要进行图像补全的图像，完整模态对应的完整图像是图像补全过程中参考的图像。
步骤202，从完整图像中提取目标模态共享特征，目标模态共享特征为缺失图像与完整图像所共有的特征。
特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或这些特点或特性的集合，在一种可能的实施方式中，计算机设备可以利用机器学习模型对图像进行特征提取，计算机设备从完整图像中提取完整图像与缺失图像间成对的模态共享特征，即完整图像与缺失图像所共有的特征，并将此特征作为目标模态共享特征。
对于获取到的n张缺失模态对应的缺失图像中的每一种缺失模态，计算机设备都会将其与m张完整模态对应的完整图像进行模态间的成对的模态共享特征的提取，即对每一种缺失模态，计算机设备都能从m张完整模态对应的完整图像中提取到m个模态共享特征。
步骤203，对目标共享特征进行特征还原，得到缺失图像对应的补全图像。
图像补全是指对受到损坏的图像进行修复重建，在一种可能的实施方式中，计算机设备利用机器学习模型对提取到的特征进行特征还原，从而生成补全图像。
综上所述，本申请实施例中，图像补全模型获取目标对象的目标图像集合后，从完整图像中提取目标模态共享特征，进而对目标模态共享特征进行特征还原，得到缺失图像对应的补全图像；采用本申请实施例提供的方案，在实现对缺失模态的图像进行模态补全的同时，保证补全结果的准确性，进而保证图像补全质量。
本申请实施例中，计算机设备通过机器学习的方式预先训练图像补全模型，该图像补全模型由特征编码器和特征解码器构成，其中，特征编码器用于从完整图像中提取完整图像与缺失图像间共享的特征信息，特征解码器对特征编码器提取到的模态共享特征进行特征还原，进而得到补全图像。请参考图3，其示出了本申请另一个示例性实施例提供的图像补全方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤：
步骤301，获取目标对象的目标图像集合，目标图像集合中包含目标对象在不同模态下的图像，且图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数。
本步骤的实施方式可以参考步骤201，本实施例在此不再赘述。
步骤302，将缺失图像和完整图像输入缺失模态对应的目标特征编码器，其中，不同的模态对应不同的特征编码器。
在一种可能的实施方式中，图像的每一种模态都有对应的编码器，计算机设备将缺失图像和完整图像输入缺失模态对应的目标特征编码器中。
在一种可能的实施方式中，特征编码器是由条件卷积构成的混合专家网络，且所述条件卷积的参数基于所述特征编码器对应的模态确定得到。
混合专家系统(Mixture Of Experts，MOE)是一种神经网络，其中针对输入数据集中的局部区域训练单独的线性模型，这些线性模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合，各个专家模型可采用不同的函数(各种线性或非线性函数)，混合专家系统就是将多个模型整合到一个单独的任务中。
本申请实施例中，图像补全模型使用由条件卷积(CondConv)组成的特征编码器，其条件卷积的参数由特征编码器对应的输入模态确定，使用s个专家混合模型
Figure BDA0003619153350000081
其中，x表示输入图像，i表示输入模态，σ(·)是sigmoid激活函数，#表示常规卷积，{W1，…，Ws}是与s个专家相关的网络参数，
Figure BDA0003619153350000082
是特定模态的混合权重。
在本申请实施例中，特征编码器由一个下采样模块和残差块组成，下采样模块中包含一个7×7的条件卷积块，步长为1，以及两个4×4的条件卷积块，步长为2。
示意性的，如图4所示，计算机设备获取n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，若缺失图像为
Figure BDA0003619153350000083
完整图像为{j|j∈m}，由于图像为MRI多模态脑肿瘤图像，该图像包括T1模态、T1ce模态、T2模态以及FLAIR模态四种模态，特征编码器1至4分别对应其中一种模态，若特征编码器1对应T1模态，缺失图像
Figure BDA0003619153350000084
的缺失模态为T1模态，则图像补全模型将缺失图像
Figure BDA0003619153350000085
和完整图像{j|j∈m}输入到特征编码器1中。以此类推，若特征编码器2对应T2模态，缺失图像
Figure BDA0003619153350000086
的缺失模态为T2模态，则图像补全模型将缺失图像
Figure BDA0003619153350000087
和完整图像
Figure BDA0003619153350000088
输入到特征编码器2中。
步骤303，通过目标特征编码器对缺失图像和完整图像进行特征提取，得到目标模态共享特征。
在一种可能的实施方式中，计算机设备通过目标特征编码器对缺失图像和完整图像进行特征提取，提取到的特征信息是计算机设备从完整图像中提取到的缺失图像与完整图像所共有的特征信息，即目标模态共享特征。
在一些实施例中，计算机设备通过目标特征编码器对缺失图像和第i完整图像进行特征提取，得到第i目标模态共享特征，该第i完整图像属于m张完整图像，且i小于或等于m。
示意性的，如图4所示，若编特征码器1对应T1模态，缺失图像
Figure BDA0003619153350000091
的缺失模态为T1模态，图像补全模型通过特征编码器1对缺失图像
Figure BDA0003619153350000092
及完整图像{xj|j∈m}进行特征提取，提取到目标模态共享特征{sij|j∈m}，由于图4中有1张缺失图像和3张完整图像，若将缺失图像称为x1，3张完整图像称为x2、x3、x4，因此特征编码器1能够提取到3对目标模态共享特征{s12,s13,s14}，这3对目标模态共享特征是特征编码器1分别从完整图像为x2、x3、x4中提取得到的。需要注意的是，由于缺失图像的缺失模态为T1模态，此时只有T1模态对应的编特征码器1工作，另外3种完整模态对应的特征编码器不需要工作。类似的，若缺失图像的缺失模态为T2模态，此时只有T2模态对应的特征编码器2工作，另外3种完整模态对应的特征编码器不需要工作。
步骤304，将目标模态共享特征输入缺失模态对应的目标特征解码器，其中，不同的模态对应不同的特征解码器。
在一种可能的实施方式中，计算机设备将目标模态共享特征输入缺失模态对应的目标特征解码器中。
由于有m张完整模态对应的完整图像，因此目标特征编码器会得到m对目标模态共享特征，而在实际应用中m是不固定的，因此目标模态共享特征数量是不固定的，而特征解码器的输入是固定的尺寸，为了满足特征解码器的输入要求，计算机设备需要对目标模态共享特征进行一些处理。
在一种可能的实施方式中，计算机设备先对m种目标模态共享特征进行特征融合，得到融合共享特征。
本申请实施例中，计算机设备先对目标模态共享特征进行池化操作(Pooling)，再对池化操作结果进行特征拼接，实现特征融合，得到融合共享特征。
池化操作是卷积神经网络中非常常见的一种操作，是模仿人的视觉系统对数据进行降维，池化操作通常也叫做子采样(Subsampling)或降采样(Downsampling)。池化的意义在于特征降维，池化技术大大降低了对于计算资源的损耗，除此以外还有降低模型过拟合的优点。
在一种可能的实施方式中，计算机设备通过至少两种池化方式对第i目标模态共享特征进行池化处理，得到第i目标模态共享特征对应的至少两种池化特征，然后对m种目标模态共享特征各自对应的池化特征进行特征拼接，得到融合共享特征。
可选的，池化方式可以是一般池化(General Pooling)、重叠池化(OverlappingPooling)、空金字塔池化(Spatial Pyramid Pooling)、中心池化(CenterPooling)、最大池化(Max-Pooling)、平均池化(Mean-Mooling)、最小池化(Min-Pooling)随机池化(Stochastic-Pooling)和全局平均池化(Global Average Pooling)等，本申请实施例并不对具体的池化方式构成限定。
可选的，计算机设备将目标模态共享特征进行最大池化、平均池化和最小池化三种池化处理，并将池化处理后得到的三种池化特征进行特征拼接，得到融合共享特征的同时，保留尽可能多的特征信息。
进一步的，计算机设备将融合共享特征输入缺失模态对应的目标特征解码器，由于此时无法确定融合共享特征的通道数与目标特征解码器的通道数是一致的，为了确保二者通道数一致，在一种可能的实施方式中，图像补全模型对融合共享特征进行通道降维或者通道升维处理，其中，通道降维或通道升维后融合共享特征的通道数与目标特征编码器的输出的通道数一致。
可选的，计算机设备可以通过插值、卷积或主成分分析等方法进行通道降维或者通道升维处理，本实施例对此不作限定。
本申请实施例中，计算机设备通过使用1×1卷积对融合共享特征进行通道降维或者通道升维处理，从而保证融合共享特征的通道数与目标特征解码器的通道数一致。最后，计算机设备将通道降维或通道升维后融合共享特征输入缺失模态对应的目标特征解码器。
示意性的，如图4所示，特征编码器生成的目标模态共享特征{sij|j∈m}在进行多池化特征融合处理后，得到融合共享特征，进而将融合共享特征输入对应的特征解码器中。
步骤305，通过目标特征解码器对目标模态共享特征进行特征还原，得到补全图像。
在一种可能的实施方式中，计算机设备通过目标特征解码器对目标模态共享特征进行特征还原，得到补全图像。
在本申请实施例中，特征解码器包括4个残差块，每个残差块包含两个3×3的条件卷积块，有256个滤波器，步长为1，还包括两个最近邻上采样器和一个5×5的条件卷积块，步长为1，用于将融合共享特征上采样到原始图像大小，滤波器的数量为64-128-256-128-64，最后由一个步长为1的7×7的条件卷积块和一个滤波器输出补全后的图像。
可选的，计算机设备通过目标特征解码器对融合共享特征进行特征还原，得到补全图像。
示意性的，如图4所示，特征解码器1对融合共享特征1进行特征还原，得到补全图像x1’。
本实施例中，计算机设备将缺失图像和完整图像输入缺失模态对应的目标特征编码器中，通过目标特征编码器对缺失图像和完整图像进行特征提取，得到目标模态共享特征后，对目标模态共享特征进行特征融合，得到融合共享特征，进而对融合共享特征进行通道降维或通道升维处理，并将处理后的融合共享特征输入到缺失模态对应的目标特征解码器中，最后，计算机设备通过目标特征解码器对目标模态共享特征进行特征还原，得到补全图像，计算机设备通过多池化特征融合的方式提高所提取特征的鲁棒性，减少信息冗余，防止过拟合，进而确保了图像补全结果的准确性。
上述实施例对图像补全模型的应用过程进行了说明，下面采用示例性的实施例对图像补全模型的训练过程进行说明。
请参考图5，其示出了本申请一个示例性实施例提供的图像补全模型的训练方法的流程图。
步骤501，获取样本对象的样本图像集合，样本图像集合中包含样本对象在不同模态下的样本图像，且样本图像中包含至少一张缺失模态对应的样本缺失图像以及至少一张完整模态对应的样本完整图像。
在一种可能的实施方式中，计算机设备获取样本对象的样本图像集合，并从样本图像集合中获取到缺失模态对应的样本缺失图像以及完整模态对应的样本完整图像。
可选的，该样本对象可以为中枢神经系统、大脑、骨骼、脊髓或血管等，本申请实施例并不对具体的样本对象构成限定。
可选的，计算机设备获取到样本对象的目标图像集合后，需要对样本图像集合中的样本图像进行图像预处理操作，预处理操作方法可以为尺度变换、图像归一化、图像灰度化、图像增强及图像滤波等预处理操作中的至少一种，本申请实施例并不对具体的预处理操作方法构成限定。
可选的，计算机设备基于样本图像集合训练各种模态对应的特征编码器和特征解码器。
步骤502，通过目标模态对应的特征编码器对样本图像进行特征提取，得到第一样本模态共享特征。
在一种可能的实施方式中，计算机设备通过目标模态对应的特征编码器对样本图像进行特征提取，得到第一样本模态共享特征，其中，在目标模态为缺失模态的情况下第一样本模态共享特征为样本缺失图像与样本完整图像所共有的特征；在所述目标模态为完整模态的情况下，第一样本模态共享特征为不同样本完整图像所共有的特征。
不同于应用阶段图像补全模型只对缺失图像和完整图像进行特征提取，在训练阶段，计算机设备还将对完整模态的样本完整图像之间进行特征提取。
计算机设备首先通过目标模态对应的特征编码器对样本图像进行特征提取，得到成对模态共享特征，与应用阶段类似的，为了满足特征解码器的输入要求，计算机设备对特征编码器得到的成对模态共享特征进行多池化融合处理，得到融合共享特征，并对融合共享特征进行1×1卷积处理，以保证同一模态对应的特征解码器的输入与特征解码器的输出通道数一致，最后将处理完的融合共享特征作为第一样本模态共享特征。
示意性的，如图6所示，有样本缺失图像x1，样本完整图像x2，x3和x4，特征编码器1为样本缺失图像x1的缺失模态所对应的特征编码器，特征编码器1将得到样本缺失图像x1与样本完整图像x2，x3和x4所共有的成对模态共享特征{s12,s13,s14}，计算机设备对成对共享模态特征进行多池化融合处理得到第一样本模态共享特征1，类似的，特征编码器2将得到样本完整图像x2与样本完整图像x2，x3和x4所共有的成对模态共享特征{s22,s23,s24}，计算机设备对成对共享模态特征进行多池化融合处理得到第一样本模态共享特征2，类似的，特征编码器3将得到样本完整图像x3与样本完整图像x2，x3和x4所共有的第一样本模态共享特征3，特征编码器4将得到样本完整图像x4与样本完整图像x2，x3和x4所共有的第一样本模态共享特征4。
步骤503，通过目标模态对应的特征解码器对第一样本模态共享特征进行特征还原，得到样本生成图像。
计算机设备将第一样本模态共享特征输入到目标模态对应的特征解码器中，通过目标模态对应的特征解码器对第一样本模态共享特征进行特征还原，从而得到样本生成图像。
步骤504，基于样本生成图像和样本图像训练各种模态各自对应的特征解编码器和特征编解码器。
由于特征解码器生成样本图像依赖于特征解码器所获取的第一样本模态共享特征，因此，若特征解码器生成的样本生成图像与样本图像不够相似，，特征解码器与特征编码器将一同被继续训练。
可选的，本步骤可以包括如下子步骤：
1、基于样本生成图像和样本图像确定图像一致性损失。
在一种可能的实施方式中，特征解码器应生成与输入图像相似的图像，为此，图像补全模型采用了图像一致性损失Limg来表征生成图像与输入图像的相似程度，
Figure BDA0003619153350000131
其中，xi为输入图像，Xi指图像模态，ci为第一样本模态共享特征，E为特征编码器，G为特征解码器，m为样本完整图像总数，Gi(ci)指特征解码器对第一样本模态共享特征进行特征还原所得到样本生成图像。
2、基于图像一致性损失训练各种模态各自对应的特征编码器和特征解码器。
在一种可能的实施方式中，若图像一致性损失处于某一数值范围内时，特征解码器生成的样本生成图像与样本图像相似，此时图像补全模型训练完成，相应的，若图像一致性损失超出指一数值范围内时，特征解码器生成的样本生成图像与样本图像不够相似，图像补全模型将继续训练各种模态各自对应的特征编码器和特征解码器。
综上所述，本申请实施例中，计算机设备获取样本对象的样本图像集合后，通过目标模态对应的特征编码器对样本图像进行特征提取，得到第一样本模态共享特征，进而通过目标模态对应的特征解码器对第一样本模态共享特征进行特征还原，得到样本生成图像，并基于样本生成图像和样本图像确定图像一致性损失，基于图像一致性损失训练各种模态各自对应的特征解编码器和特征编解码器，在实现图像补全的同时，通过训练能够进一步的确保图像补全的准确性。
为了进一步提升训练结果的准确性，请参考图7，其示出了本申请另一个示例性实施例提供的图像补全模型的训练方法的流程图。
步骤701，获取样本对象的样本图像集合，样本图像集合中包含样本对象在不同模态下的样本图像，且样本图像中包含至少一张缺失模态对应的样本缺失图像以及至少一张完整模态对应的样本完整图像。
本步骤的实施方式可以参考步骤501，本实施例在此不再赘述。
步骤702，通过目标模态对应的特征编码器对样本图像进行特征提取，得到第一样本模态共享特征。
本步骤的实施方式可以参考步骤502，本实施例在此不再赘述。
步骤703，通过目标模态对应的特征解码器对第一样本模态共享特征进行特征还原，得到样本生成图像。
本步骤的实施方式可以参考步骤503，本实施例在此不再赘述。
步骤704，通过目标模态对应的特征编码器对样本生成图像进行特征提取，得到第二样本模态共享特征。
在一种可能的实施方式中，目标模态对应的特征编码器对样本生成图像进行特征提取，得到第二样本模态共享特征。
步骤705，基于样本生成图像、样本图像、第一样本模态共享特征和第二样本模态共享特征，训练各种模态各自对应的特征编码器和特征解码器。
在一种可能的实施方式中，计算机设备基于样本生成图像、样本图像、第一样本模态共享特征和第二样本模态共享特征，训练各种模态各自对应的特征编码器和特征解码器。
可选的，本步骤可以包括如下子步骤：
1、基于样本生成图像和样本图像确定图像一致性损失。
在一种可能的实施方式中，特征解码器应生成与输入图像相似的图像，为此，图像补全模型采用了图像一致性损失Limg来表征生成图像与输入图像的相似程度，
Figure BDA0003619153350000141
其中，xi为输入图像，Xi指图像模态，ci为第一样本模态共享特征，E为特征编码器，G为特征解码器，m为样本完整图像总数，Gi(ci)指特征解码器对第一样本模态共享特征进行特征还原所得到样本生成图像。
2、基于第一样本模态共享特征和第二样本模态共享特征确定特征一致性损失。
特征一致性损失也可以被称作潜在一致性损失Llatent，用于表征特征解码器生成的图像中通过特征编码器得到的第二样本模态共享特征与第一样本模态共享特征的相似程度，
Figure BDA0003619153350000151
其中，xi为输入图像，Xi指图像模态，ci为第一样本模态共享特征，E为特征编码器，G为特征解码器，m为样本完整图像总数，Gi(ci)指特征解码器对第一样本模态共享特征进行特征还原所得到样本生成图像，Ei(Gi(ci)；i)为目标模态对应的特征编码器对样本生成图像进行特征提取得到的第二样本模态共享特征。
3、将样本生成图像和样本图像输入判别器，得到样本判别结果，判别器用于判别生成图像和真实图像，并基于样本判别结果确定对抗性损失。
为了使生成的图像更加接近真实图像，本申请实施例利用生成对抗思想，训练过程中利用判别器对样本图像和样本生成图像进行判别，最终在判别器判别能力足够可靠的前提下仍无法区分给定图像是样本图像还是样本生成图像，即特征解码器生成的样本生成图像接近样本图像，判别模型无法区分时，计算机设备完成训练。
在本申请实施例中，判别器包括4个跨度为2的4×4的条件卷积块，滤波器数量为64-128-256-512，并且，判别器使用斜率为2的leaky ReLU激活函数。对抗性损失Ladv用于表征生成图像和真实图像的分布差异，其定义为
Figure BDA0003619153350000152
其中，xi为输入图像，Xi指输入图像所属的图像模态，ci为第一样本模态共享特征，m为样本完整图像总数，Gi(ci)指特征解码器对第一样本模态共享特征进行特征还原所得到样本生成图像，Di为模态i的判别器，用于判别模态i的样本图像和样本生成图像。
4、基于第一样本模态共享特征确定对称性损失，对称性损失用于表征成对模态间模态共享特征的相似程度。
理想的成对模态共享特征是对称的，例如，从T2模态提取的T1模态共享特征应该与从T1模态提取T2模态共享特征相似，为了使成对模态共享特征得到很好的解耦，图像补全模型引入对称性损失Lsym，其定义为
Figure BDA0003619153350000153
Figure BDA0003619153350000154
其中，d(·,·)计算两个特征量之间的距离，sij＝Ei(xj；j)表示从模态j提取的模态i的共享特征，且图像补全模型中预先设定α＝0.1。
5、基于图像一致性损失、特征一致性损失、对抗性损失以及对称性损失确定总损失。
最后，图像补全模型的总损失函数为L，其定义为L＝λimgLimg+λlatentLlatent+λadvLadv+λsymLsym，其中，图像补全模型中预先设定λimg＝10，λlatent＝1，λadv＝1，λsym＝1。
6、基于总损失训练各自对应的特征编码器和特征解码器，以及判别器。
在训练过程中，可用模态的数量和分布都是随机的，计算机设备通过minE,GmaxDL对总损失函数L进行优化，在L达到一定目标范围后，判别器无法判断样本生成图像和样本图像时，计算机设备完成训练，在L达到一定目标范围前，即判别器能够判断样本生成图像和样本图像时，计算机设备基于总损失训练各自对应的特征编码器和特征解码器，以及判别器。
示意性的，如图8所示，有样本缺失图像x1，样本完整图像x2，x3和x4，特征编码器1为样本缺失图像x1的缺失模态所对应的特征编码器，特征编码器1将得到样本缺失图像x1与样本完整图像x2，x3和x4所共有的成对模态共享特征，并成对共享模态特征进行多池化融合处理得到第一样本模态共享特征1，计算机设备通过目标模态对应的特征解码器1对第一样本模态共享特征1进行特征还原，得到样本生成图像x1’，进而由通过目标模态对应的特征编码器1对样本生成图像x1’进行特征提取，得到第二样本模态共享特征1，计算机设备基于样本生成图像和样本图像确定图像一致性损失，基于第一样本模态共享特征和第二样本模态共享特征确定特征一致性损失，将样本生成图像和样本图像输入判别器，得到样本判别结果，并基于所述样本判别结果确定对抗性损失，基于第一样本模态共享特征确定对称性损失，最后，计算机设备基于图像一致性损失、特征一致性损失、对抗性损失以及对称性损失确定总损失，基于总损失训练各自对应的特征编码器和特征解码器，以及判别器。
现有两种相关技术提供了不同的图像补全方法，但由于相关技术1中的图像补全方法提取所有模态之间不变的特征信息，并基于这些特征信息补全图像，相关技术2中的图像补全方法只提取两个模态之间不变的特征信息，并基于这些特征信息补全图像，二者所生成的补全图像都会丢失掉部分图像细节，无法对图像实现精确补全，因此，本申请实施例为了提高图像补全的精度，计算机设备提取在两个或三个模态间共享的成对模态共享特征，即目标模态共享特征，并基于目标模态共享特征对缺失图像进行模态补全，从而得到缺失图像对应的补全图像，如图9所示，相较于两种相关技术的补全图像，本方案的补全图像具有更多的图像细节，在实现图像补全的同时，保证图像补全的准确性。
如表一及表二所示，相较于提取所有模态之间不变的特征信息，并基于这些特征信息补全图像的相关技术1，及只提取两个模态之间不变的特征信息，并基于这些特征信息补全图像的相关技术2，本申请实施例提供的图像补全方法在大多数情况下的峰值信噪比和结构相似性都优于两种相关技术，这表明本申请实施例提供的图像的补全方法能够生成更为真实的补全图像，即本申请实施例生成的补全图像具有较高的准确性，图像补全模型拥有更好的性能。
表一
Figure BDA0003619153350000171
表二
Figure BDA0003619153350000172
请参考图10，其示出了本申请一个示例性实施例提供的图像补全装置的结构框图，该装置包括：
获取模块1001，用于获取目标对象的目标图像集合，所述目标图像集合中包含所述目标对象在不同模态下的图像，且所述图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；
特征提取模块1002，用于从所述完整图像中提取目标模态共享特征，所述目标模态共享特征为所述缺失图像与所述完整图像所共有的特征；
特征还原模块1003，用于对所述目标模态共享特征进行特征还原，得到所述缺失图像对应的补全图像。可选的，所述特征提取模块1002，包括：
图像输入单元，用于将所述缺失图像和所述完整图像输入所述缺失模态对应的目标特征编码器，其中，不同的模态对应不同的特征编码器；
特征提取单元，用于通过所述目标特征编码器对所述缺失图像和所述完整图像进行特征提取，得到所述目标模态共享特征；
所述特征还原模块1003，包括：
特征输入单元，用于将所述目标模态共享特征输入所述缺失模态对应的目标特征解码器，其中，不同的模态对应不同的特征解码器；
特征还原单元，用于通过所述目标特征解码器对所述目标模态共享特征进行特征还原，得到所述补全图像。
可选的，所述特征提取单元，用于通过所述目标特征编码器对所述缺失图像和第i完整图像进行特征提取，得到第i目标模态共享特征，所述第i完整图像属于m张所述完整图像，且i小于或等于m；
所述特征输入单元，用于：
对m种所述目标模态共享特征进行特征融合，得到融合共享特征；
将所述融合共享特征输入所述缺失模态对应的所述目标特征解码器；
所述特征还原单元，用于通过所述目标特征解码器对所述融合共享特征进行特征还原，得到所述补全图像。
可选的，所述特征输入单元，还用于：
通过至少两种池化方式对所述第i目标模态共享特征进行池化处理，得到所述第i目标模态共享特征对应的至少两种池化特征；
对m种所述目标模态共享特征各自对应的所述池化特征进行特征拼接，得到所述融合共享特征。
可选的，所述特征输入单元，还用于：
对所述融合共享特征进行通道降维或者通道升维处理，其中，通道降维或通道升维后所述融合共享特征的通道数与所述目标特征编码器的输出的通道数一致；
将通道降维或通道升维后所述融合共享特征输入所述缺失模态对应的所述目标特征解码器。
可选的，所述特征编码器是由条件卷积构成的混合专家网络，且所述条件卷积的参数基于所述特征编码器对应的模态确定得到。
可选的，所述装置还包括：
训练模块，用于获取样本对象的样本图像集合，所述样本图像集合中包含所述样本对象在不同模态下的样本图像，且所述样本图像中包含至少一张缺失模态对应的样本缺失图像以及至少一张完整模态对应的样本完整图像；
基于所述样本图像集合训练各种模态对应的特征编码器和特征解码器。
可选的，所述训练模块，还用于：
通过目标模态对应的特征编码器对所述样本图像进行特征提取，得到第一样本模态共享特征，其中，在所述目标模态为所述缺失模态的情况下，所述第一样本模态共享特征为所述样本缺失图像与所述样本完整图像所共有的特征；在所述目标模态为所述完整模态的情况下，所述第一样本模态共享特征为不同样本完整图像所共有的特征；
通过所述目标模态对应的特征解码器对所述第一样本模态共享特征进行特征还原，得到样本生成图像；
基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征解码器。
可选的，所述训练模块，还用于：
基于所述样本生成图像和所述样本图像确定图像一致性损失；
基于所述图像一致性损失训练各种模态各自对应的特征编码器和特征解码器。
可选的，所述训练模块，还用于：
通过所述目标模态对应的特征编码器对所述样本生成图像进行特征提取，得到第二样本模态共享特征；
所述基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征解码器，包括：
基于所述样本生成图像、所述样本图像、所述第一样本模态共享特征和所述第二样本模态共享特征，训练各种模态各自对应的特征编码器和特征解码器。
可选的，所述训练模块，还用于：
基于所述样本生成图像和所述样本图像确定图像一致性损失；
基于所述第一样本模态共享特征和所述第二样本模态共享特征确定特征一致性损失；
将所述样本生成图像和所述样本图像输入判别器，得到样本判别结果，所述判别器用于判别生成图像和真实图像；基于所述样本判别结果确定对抗性损失；
基于所述第一样本模态共享特征确定对称性损失，所述对称性损失用于表征成对模态间模态共享特征的相似程度；
基于所述图像一致性损失、所述特征一致性损失、所述对抗性损失以及所述对称性损失确定总损失；
基于所述总损失训练各自对应的特征编码器和特征解码器，以及所述判别器。
可选的，在所述图像为脑肿瘤图像的情况下，所述图像的模态包括T1模态、T1ce模态、T2模态以及FLAIR模态。
请参考图11，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器1102和只读存储器1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还可以包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
在一些实施例中，所述基本输入/输出系统1106可以包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一段程序，至少一段程序由处理器加载并执行以实现如上述实施例所述的图像补全方法。
本申请实施例提供了一种计算机程序产品，该计算机程序产品计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例所述的图像补全方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像补全方法，其特征在于，所述方法包括：
获取目标对象的目标图像集合，所述目标图像集合中包含所述目标对象在不同模态下的图像，且所述图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；
从所述完整图像中提取目标模态共享特征，所述目标模态共享特征为所述缺失图像与所述完整图像所共有的特征；
对所述目标模态共享特征进行特征还原，得到所述缺失图像对应的补全图像。
2.根据权利要求1所述的方法，其特征在于，所述从所述完整图像中提取目标模态共享特征，包括：
将所述缺失图像和所述完整图像输入所述缺失模态对应的目标特征编码器，其中，不同的模态对应不同的特征编码器；
通过所述目标特征编码器对所述缺失图像和所述完整图像进行特征提取，得到所述目标模态共享特征；
所述对所述目标模态共享特征进行特征还原，得到所述缺失图像对应的补全图像，包括：
将所述目标模态共享特征输入所述缺失模态对应的目标特征解码器，其中，不同的模态对应不同的特征解码器；
通过所述目标特征解码器对所述目标模态共享特征进行特征还原，得到所述补全图像。
3.根据权利要求2所述的方法，其特征在于，所述通过所述目标特征编码器对所述缺失图像和所述完整图像进行特征提取，得到所述目标模态共享特征，包括：
通过所述目标特征编码器对所述缺失图像和第i完整图像进行特征提取，得到第i目标模态共享特征，所述第i完整图像属于m张所述完整图像，且i小于或等于m；
所述将所述模态共享特征输入所述缺失模态对应的目标特征解码器，包括：
对m种所述目标模态共享特征进行特征融合，得到融合共享特征；
将所述融合共享特征输入所述缺失模态对应的所述目标特征解码器；
所述通过所述目标特征解码器对所述目标模态共享特征进行特征还原，得到所述补全图像，包括：
通过所述目标特征解码器对所述融合共享特征进行特征还原，得到所述补全图像。
4.根据权利要求3所述的方法，其特征在于，所述对m种所述目标模态共享特征进行特征融合，得到融合共享特征，包括：
通过至少两种池化方式对所述第i目标模态共享特征进行池化处理，得到所述第i目标模态共享特征对应的至少两种池化特征；
对m种所述目标模态共享特征各自对应的所述池化特征进行特征拼接，得到所述融合共享特征。
5.根据权利要求3所述的方法，其特征在于，所述将所述融合共享特征输入所述缺失模态对应的所述目标特征解码器，包括：
对所述融合共享特征进行通道降维或者通道升维处理，其中，通道降维或通道升维后所述融合共享特征的通道数与所述目标特征编码器的输出的通道数一致；
将通道降维或通道升维后所述融合共享特征输入所述缺失模态对应的所述目标特征解码器。
6.根据权利要求2所述的方法，其特征在于，所述特征编码器是由条件卷积构成的混合专家网络，且所述条件卷积的参数基于所述特征编码器对应的模态确定得到。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取样本对象的样本图像集合，所述样本图像集合中包含所述样本对象在不同模态下的样本图像，且所述样本图像中包含至少一张缺失模态对应的样本缺失图像以及至少一张完整模态对应的样本完整图像；
基于所述样本图像集合训练各种模态对应的特征编码器和特征解码器。
8.根据权利要求7所述的方法，其特征在于，所述基于所述样本图像集合训练各种模态对应的特征编码器和特征解码器，包括：
通过目标模态对应的特征编码器对所述样本图像进行特征提取，得到第一样本模态共享特征，其中，在所述目标模态为所述缺失模态的情况下，所述第一样本模态共享特征为所述样本缺失图像与所述样本完整图像所共有的特征；在所述目标模态为所述完整模态的情况下，所述第一样本模态共享特征为不同样本完整图像所共有的特征；
通过所述目标模态对应的特征解码器对所述第一样本模态共享特征进行特征还原，得到样本生成图像；
基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征解码器。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征解码器，包括：
基于所述样本生成图像和所述样本图像确定图像一致性损失；
基于所述图像一致性损失训练各种模态各自对应的特征编码器和特征解码器。
10.根据权利要求8所述的方法，其特征在于，所述基于所述样本图像集合训练各种模态对应的特征编码器和特征解码器，还包括：
通过所述目标模态对应的特征编码器对所述样本生成图像进行特征提取，得到第二样本模态共享特征；
所述基于所述样本生成图像和所述样本图像训练各种模态各自对应的特征编码器和特征解码器，包括：
基于所述样本生成图像、所述样本图像、所述第一样本模态共享特征和所述第二样本模态共享特征，训练各种模态各自对应的特征编码器和特征解码器。
11.根据权利要求10所述的方法，其特征在于，所述基于所述样本生成图像、所述样本图像、所述第一样本模态共享特征和所述第二样本模态共享特征，训练各种模态各自对应的特征编码器和特征解码器，包括：
基于所述样本生成图像和所述样本图像确定图像一致性损失；
基于所述第一样本模态共享特征和所述第二样本模态共享特征确定特征一致性损失；
将所述样本生成图像和所述样本图像输入判别器，得到样本判别结果，所述判别器用于判别生成图像和真实图像；基于所述样本判别结果确定对抗性损失；
基于所述第一样本模态共享特征确定对称性损失，所述对称性损失用于表征成对模态间模态共享特征的相似程度；
基于所述图像一致性损失、所述特征一致性损失、所述对抗性损失以及所述对称性损失确定总损失；
基于所述总损失训练各自对应的特征编码器和特征解码器，以及所述判别器。
12.根据权利要求1至11任一所述的方法，其特征在于，在所述图像为脑肿瘤图像的情况下，所述图像的模态包括T1模态、T1ce模态、T2模态以及FLAIR模态。
13.一种图像补全装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象的目标图像集合，所述目标图像集合中包含所述目标对象在不同模态下的图像，且所述图像中包含n张缺失模态对应的缺失图像以及m张完整模态对应的完整图像，n和m为正整数；
特征提取模块，用于从所述完整图像中提取目标模态共享特征，所述目标模态共享特征为所述缺失图像与所述完整图像所共有的特征；
特征还原模块，用于对所述目标模态共享特征进行特征还原，得到所述缺失图像对应的补全图像。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至12任一所述的图像补全方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至12任一所述的图像补全方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行该计算机指令，使得所述计算机设备执行以实现如权利要求1至12任一所述的图像补全方法。
CN202210457083.1A 2022-04-27 2022-04-27 图像补全方法、装置、设备及存储介质 Pending CN115170401A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210457083.1A CN115170401A (zh) 2022-04-27 2022-04-27 图像补全方法、装置、设备及存储介质
PCT/CN2023/082321 WO2023207416A1 (zh) 2022-04-27 2023-03-17 图像补全方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210457083.1A CN115170401A (zh) 2022-04-27 2022-04-27 图像补全方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115170401A true CN115170401A (zh) 2022-10-11

Family

ID=83483401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210457083.1A Pending CN115170401A (zh) 2022-04-27 2022-04-27 图像补全方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115170401A (zh)
WO (1) WO2023207416A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207416A1 (zh) * 2022-04-27 2023-11-02 腾讯科技（深圳）有限公司 图像补全方法、装置、设备及存储介质
WO2024087858A1 (zh) * 2022-10-24 2024-05-02 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置、电子设备、计算机程序产品及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241659A1 (en) * 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
CN113706558A (zh) * 2021-09-06 2021-11-26 联想(北京)有限公司 图像分割方法、装置及计算机设备
CN113920212B (zh) * 2021-09-27 2022-07-05 深圳技术大学 磁共振重建模型训练方法、计算机装置及存储介质
CN115170401A (zh) * 2022-04-27 2022-10-11 腾讯医疗健康(深圳)有限公司 图像补全方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207416A1 (zh) * 2022-04-27 2023-11-02 腾讯科技（深圳）有限公司 图像补全方法、装置、设备及存储介质
WO2024087858A1 (zh) * 2022-10-24 2024-05-02 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置、电子设备、计算机程序产品及计算机存储介质

Also Published As

Publication number Publication date
WO2023207416A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
EP3961484B1 (en) Medical image segmentation method and device, electronic device and storage medium
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Dangi et al. A distance map regularized CNN for cardiac cine MR image segmentation
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
US10853409B2 (en) Systems and methods for image search
CN111932529B (zh) 一种图像分类分割方法、装置及系统
WO2023207416A1 (zh) 图像补全方法、装置、设备及存储介质
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
EP4181059A1 (en) Medical image processing method, apparatus, device, storage medium, and product
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN115115772A (zh) 基于三维影像的关键结构重建方法、装置和计算机设备
Depeursinge et al. Fundamentals of texture processing for biomedical image analysis: a general definition and problem formulation
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113592769A (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Han et al. Learning generative models of tissue organization with supervised GANs
CN108765399B (zh) 病变部位识别装置、计算机装置及可读存储介质
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
CN111598904B (zh) 图像分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40075770

Country of ref document: HK