CN115115575A - 一种图像检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像检测方法、装置、计算机设备及存储介质，可以应用于人工智能领域，如智能医学，其中，方法包括：获取包括N个序列的待检测图像集合，对待检测图像集合进行检测，并确定出待检测图像集合中的缺失图像区域，再利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，进而调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。通过该方法，可对多序列图像进行智能检测分割，能够辅助进行病灶或异常区域的识别。

Description

一种图像检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种图像检测方法、装置、计算机设备及存储介质。

背景技术

核磁共振图像(magnetic resonance imaging,MRI)是通过磁共振成像技术得到的，磁共振成像技术采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。它能够从人体分子内部反映出人体器官失常和早期病变。核磁共振图像一般包含多个序列，例如核磁共振图像可以包括：液体衰减反转恢复序列FLAIR序列、T1序列、T1c序列、T2序列等，这些不同的序列下所包括的多个序列图像可以呈现不同的组织图像，突出不同的病灶区域。

在实际的运用过程中，对MRI的病灶或者异常区域识别一般是医生通过其工作台和MRI进行人工识别，存在一定的误检或者漏检的情况。

发明内容

本申请实施例提供了一种图像检测方法、装置、计算机设备及存储介质，可对多序列图像进行智能检测分割，能够辅助进行病灶或异常区域的识别。

一方面，本申请实施例公开了一种图像检测方法，该方法包括：

获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列包括序列图像，N为大于或等于1的整数；

若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

根据所述目标检测图像集合进行图像中的异常区域检测处理。

另一方面，本申请实施例公开了一种图像检测装置，该装置包括：

获取单元，用于获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列包括序列图像，N为大于或等于1的整数；

确定单元，用于若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

处理单元，用于利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

所述处理单元，还用于根据所述目标检测图像集合进行图像中的异常区域检测处理。

相应的，本申请实施例还公开了一种计算机设备，包括输入接口和输出接口，所述计算机设备还包括：处理器，适于实现一条或多条计算机程序；以及，计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行上述的图像检测方法。

相应地，本申请实施例还公开了一种计算机可读存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行上述的图像检测方法。

相应地，本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的图像检测方法。

本申请实施例中，公开的图像检测方法主可以包括：计算机设备先获取包括N个序列的待检测图像集合，对于可能存在序列图像缺少的情况，可以对待检测图像集合进行检测，并在确定出待检测图像集合中的缺失图像区域，再利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，将缺失序列的图像进行补齐之后，计算机设备再调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。如此可以更好的得到待检测图像集合的特征信息，从而可以有助于提升缺失序列情况下的多序列图像异常或者病灶区域的分割效果，能够较好地辅助医生用户对MRI等图像的病灶或异常区域观察，在一定程度上降低了对MRI等图像的异常或病灶区域漏判或者误判的可能性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种图像检测系统的架构示意图；

图2是本申请实施例公开的一种图像检测的应用场景示意图；

图3a是本申请实施例公开的其中一种图像集合关系的示意图；

图3b是本申请实施例公开的一种序列示意图；

图4是本申请实施例公开的一种图像检测方法的流程示意图；

图5是本申请实施例公开的一种图像分割结果示意图；

图6是本申请实施例公开的另一种图像分割结果的示意图；

图7是本申请实施例公开的一种图像检测方法的界面示意图；

图8是本申请实施例公开的一种针对图像检测方法的训练框架图；

图9是本申请实施例公开的针对图像检测模型的预训练的流程示意图；

图10a是本申请实施例公开的一种合成的全序列合成图像数据；

图10b是本申请实施例公开的一种实现效果图；

图11是本申请实施例公开的针对图像检测模型的微调的流程示意图；

图12是本申请实施例公开的一种图像检测装置的结构示意图；

图13是本申请实施例公开的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的图片处理方法，用于对一些待检测图像进行异常区域分割识别，考虑到待检测图像存在缺少的可能，因此，设计了参考图像集合和图像检测模型，一方面通过参考图像集合对存在缺失的图像进行补齐操作，另一方面通过图像检测模型还能够恢复序列并进行检测分割，确定其中的病灶部分。如此可以较好地对诸如MRI等多序列图像进行异常或病灶的分割检测，通过AI(Artificial Intelligence，人工智能)技术协助医生等用户对图像的观察和病灶识别，减低对MRI等图像的异常或病灶区域的漏判或者误判的可能性。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

AI所涉及的网络模型等可以通过机器学习来训练优化，机器学习(MachineLearning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

同时，为了更清楚地对本申请进行阐述，先对本申请涉及的一些专业术语进行简单的描述，具体可以包括：

(1)核磁共振图像(magnetic resonance imaging，MRI)：磁共振成像是一种较新的医学成像技术，它采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。它能够从人体分子内部反映出人体器官失常和早期病变，在很多地方优于X线CT。核磁共振图像一般包含多个序列，例如FLAIR、T1、T1c、T2等，这些不同的序列可以突出不同的病灶区域。(2)缺失序列(missingmodality)：在临床应用中，由于图像损坏、伪影、获取协议、对造影剂过敏或成本等原因，MRI通常会出现一种或多种序列缺失的情况。(3)掩膜自编码器(Masked Autoencoder，MAE)：掩膜自编码器作为一个图像自监督框架，在自监督领域取得了很大的成功，其代理任务是引导模型根据一个图像中可见的部分小块还原出图像原本的像素值。(4)模型反衍(Model Inversion，MI)：模型反衍长期被用于深度学习的可解释性领域，该技术的目标是合成最具代表性的某些网络预测的图像，例如用于分类的显著性图。(5)自蒸馏(SelfDistillation，SD)：自蒸馏是采用有监督学习进行知识蒸馏。相较于原始的知识蒸馏方法，其teacher模型和student模型是一个模型，也就是一个模型来指导自己进行学习，完成知识蒸馏。(6)多模态掩膜自编码器(multimodal masked autoencoder，M³AE)：是本申请所提出的图像检测模型的简称，是一种对多序列影像数据进行掩模处理并进行还原的自编码器，以此来同时学习不同序列之间的关联以及影像中的结构关系。(7)GFLOPS(GigaFloating-point Operations Per Second)：即每秒10亿次的浮点运算次数，浮点(floating-point)指的是带有小数的数值，浮点运算即是小数的四则运算，常用来测量电脑运算速度或被用来估算电脑性能，尤其是在使用到大量浮点运算的科学计算领域中，主要用于本申请模型的训练过程。

请参见图1，图1为本申请实施例公开的一种图像检测系统的架构示意图，如图1所示，该图像检测系统的架构图100可以包括终端设备101以及服务器102，其中，服务器102可以设置在云端103中。终端设备101主要用于接收本申请实施例中的待检测图像集合以及待检测图像集合对应的分割结果，服务器102主要用于部署本申请实施例中的图像检测模型，以使得图像检测模型可以对待检测图像集合进行检测分割，得到最后的分割结果，同时，服务器102还可以负责对图像检测模型进行训练。

在一种可能的实现方式中，终端设备101获取待检测图像集合，该待检测图像集合包括N个序列，每个序列包括一个或者多个序列图像，N为大于或等于1的整数；终端设备101再将待检测图像集合发送给服务器102，服务器102对待检测图像集合进行检测，若检测到待检测图像集合处于图像缺失状态，则确定待检测图像集合中的缺失图像区域；进一步，服务器102利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，其中，参考图像集合包括N个参考序列，每个参考序列包括一个或者多个参考序列图像；服务器102再调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。

以图3a为例，图3a是本申请实施例公开的其中一种图像集合关系的示意图，待检测图像集合处于图像缺失状态可以是缺少了一个或者多个序列，在图3a中，处于缺失状态的待检测图像缺失了左上角的序列，即虚线框的位置。补齐操作则是通过一个训练好的参考图像集合将这些缺失的部分补齐，具体是将处于缺失状态的图像集合中的缺失序列由参考图像集合中相应位置处的序列填充即可，例如在图3a中待检测图像集合的左上角的序列，由参考图像集合中左上角的参考图像序列1填充，得到最后的目标检测图像集合。

其中，图像检测模型和参考图像集合是服务器102通过训练优化得到的，图像检测模型是根据全序列训练图像集合、和将全序列训练图像集合进行区域掩盖处理后得到的缺失训练图像集合训练得到的；参考图像集合是对缺失训练图像集合和初始参考图像集合进行优化得到的，初始参考图像集合包括N个参考序列，每个初始参考序列包括一个或者多个初始参考序列图像，每个初始参考序列图像上的像素点的值为待优化值，对每个初始参考序列图像上的像素点的待优化值进行值优化，以得到参考图像集合。

在一种可能的应用场景中，针对MRI数据或脑肿瘤数据，以服务器102为云端103为例，阐述了一种图像检测场景，如图2，当用户上传需要分割的待检测图像集合(即输入)时，待检测图像集合可以是多序列影像数据，其中任意的零到多个序列可能缺失，基于本申请，利用训练好的图像检测模型可以直接得出分割好的脑肿瘤区域等异常或者病灶区域的分割结果(即输出)，分割结果具体是以不同颜色用以区分的，区域200、区域201和区域203的颜色是不同的，其中的区域200(通常是紫色)是与病变无关的背景色，区域201(通常是蓝色)代表水肿，区域202(通常是黄色)代表增强肿瘤，在一些情况下，还会出现代表坏死和非增强肿瘤核心的区域(通常是绿色)，图2中并未示出。又或者，在一种可能的实现方式中，在最终确定图像检测模型之前，也会得到一个预训练图像检测模型，基于此，分割结果除了标记信息，还可以包括对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合，该全序列恢复图像集合是由预训练图像检测模型得到的。

在一个实施例中，图3b是本申请实施例公开的一种序列示意图，示例性的给出了4个序列下，可能出现14种序列缺失的组合图像集合(即14种序列缺失图像集合)以及一种全序列，一共15种序列，利用本申请实施例训练出来的图像检测模型，可以对这15种图像集合中的任意一种进行处理，均可以得到分割结果，以此体现出了本申请实施例的图像检测模型关于序列缺少图像和全序列图像的检测分割的通用性。

本申请实施例中所涉及的终端设备101，包括但不限于用户设备、具有无线通信功能的手持式设备、车载设备、可穿戴设备或计算设备。示例性地，终端设备可以是手机(mobile phone)、平板电脑或带无线收发功能的电脑。终端设备还可以是虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、远程医疗中的无线终端设备、智能电网中的无线终端设备、智慧城市(smart city)中的无线终端设备、智慧家庭(smart home)中的无线终端设备等等。本申请实施例中，用于实现终端设备还可以是能够支持终端设备实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备中。本申请实施例提供的技术方案中，以用于实现终端设备的功能的装置是终端设备为例，对本申请实施例提供的技术方案进行描述。

本申请实施例中所提及的对服务器102，具体可以是服务器，这里的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集合群或者分布式系统，还可以是提供云计算服务的云服务器，如图1实例性指出的云端103，本申请实施例在此不作限制。本申请实施例提供的技术方案中，以服务器为例，对本申请实施例提供的技术方案进行描述。

在一个实施例中，还可以存在一个计算机设备，该计算机设备能够同时实现上述提及的终端设备101和服务器102的相关功能，即既能与医生等用户进行交互，获取到所需的待检测图像集合并呈现分割结果，也能够对待检测图像集合实施本申请实施例所提及的图像检测方法。

请参见图4，图4是本申请实施例公开的一种图像检测方法的流程示意图，主要阐述的图像检测模型的使用，所述方法可以应用于上述提及的服务器，也可以应用于一个计算机设备中，主要可以包括以下步骤。

S401：获取待检测图像集合，获取的待检测图像集合可以包括N个序列，在本申请中，每个序列包括序列图像，N为大于1的整数。例如，核磁共振图像就可以包含4个序列。又例如，I是一个待检测图像集合，

其中，W是序列中每一张序列图像的宽，H是序列中每一张序列图像的高，D是序列中切片数量，即序列图像的数量，N是待检测图像集合的序列数量。待检测图像集合可以是从数据库中获取的，以用于对模型的预测；又或者，待检测图像集合可以是医生对病人进行检查时所获取的，主要用于根据该待检测图像集合确定病人情况。

S402：若检测到待检测图像集合处于图像缺失状态，则确定待检测图像集合中的缺失图像区域。当获取到待检测图像集合后，针对待检测图像集合中的任意图像集合进行检测，确定是否存在序列缺失的情况，若是存在，则确定待检测图像集合中的缺失图像区域。此处的缺失情况，指的是少一种或者几种序列，又或者是某个序列存在覆盖的情况，比如序列显示不完全。在一些可能的情况中，待检测图像集合可能不存在缺失情况，这种情况下，可以将待检测图像集合直接视为待检测全序列图像集合，可以直接通过图像检测模型对待检测全序列图像集合进行检测分割，输出分割结果，而不需要利用参考图像集合对待检测图像集合的全序列进行补齐操作，或者说，利用参考图像集合对待检测图像集合的全序列进行补齐操作后，输出的仍然是该待检测图像集合对应的一个可以输入到图像检测模型的全序列图像集合。

S403：利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合。其中，参考图像集合包括N个参考序列，每个参考序列包括一个或者多个序列图像。

在一种可能的实现方式中，在步骤S402中确定了待检测图像集合中的缺失图像区域后，则利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合。利用参考图像集合对缺失图像区域进行补齐，是一种既可以节约时间和空间，又能以极低的代价得到补齐缺失序列的合成数据的方法，该方法可以消除对额外模块的需求，提高效率。

在一个实施例中，参考图像集合是经过训练优化得到的，参考图像集合可以是对缺失训练图像集合和初始参考图像集合进行优化后得到的，初始参考图像集合可以包括N个初始参考序列，每个初始参考序列包括一个或者多个初始参考序列图像，每个初始参考序列图像上的像素点的值为待优化值，对每个初始参考序列图像上的像素点的待优化值进行值优化，以得到参考图像集合，参考图像集合的获得具体可以参见图9和图11所对应实施例描述的训练过程。

S404：根据所述目标检测图像集合进行图像中的异常区域检测处理。对于补齐后的目标检测图像集合，后续可以通过一些模型进行图像异常区域的检测分割，确定出异常区域以便于显示给用户。本申请所述的异常区域检测处理，可以认为是对一些医疗图像的病灶区域的检测处理，也可以是对一些图像中存在的和其他区域的图像内容或者正常区域的图像内容不一致的图像区域检测处理，也可能是对其他一些特殊情况的图像区域进行的检测处理，具体的异常区域检测用途可以根据训练时所使用的相应训练数据中的训练图像集合和监督图像集合来决定。

在一种可能的实现方式中，所述S404可以包括：调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。在得到目标检测图像集合后，调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果，具体可以是将目标检测图像集合输入到图像检测模型中，图像检测模型负对目标检测图像集合进行检测分割，得到分割结果，分割结果具体可以是对待检测图像集合进行异常区域标记后得到的标记信息。同时，在一些可能的实现方式中，分割结果还可以包括对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合，例如上述提及的通过在模型预训练阶段得到的预训练图像检测模型，来对处于图像缺失状态的待检测图像集合进行补齐处理之后的目标检测图像集合，进行恢复处理，得到全序列恢复图像集合。

在一个实施例中，图像检测模型是经过训练优化得到的，具体的，图像检测模型是根据全序列训练图像集合、缺失训练图像集合以及组合训练图像集合得到的，组合训练图像集合是对缺失训练图像集合和初始参考图像集合进行组合后得到的，缺失训练图像集合是对全序列训练图像集合通过遮罩技术进行区域掩盖处理后得到的，图像检测模型的获得具体可以参见图9和图11所对应实施例描述的训练过程。

例如，针对MRI数据或脑肿瘤数据，可以利用图像检测模型得到四个单独序列图像和一个全序列图像的分割结果，参见图5，是本申请实施例公开的一种图像分割结果示意图，具体是使用四个单独序列图像和一个全序列图像对BraTS2018(多序列脑部肿瘤分割比赛的数据集合)的数据进行的癌区分割结果，另外根据提供的金标准(Groundtruth)可以精确的对分割结果进行解读。FLAIR序列是核磁共振(MR)的一种常用的序列，全称是液体衰减反转恢复序列，也称为水抑制成像技术，通俗地说，它是压水像。在该序列上，脑脊液呈现低信号(暗一些)，实质性病灶和含有结合水的病灶显示为明显的高信号(亮一些)；T1、T2是用于测量电磁波的物理量，它们可以作为成像的数据，不同的序列可以突出病灶不同的子区域，以此来协助医生用户最终确定病变情况。

值得指出的是，本申请的应用场景并不仅仅局限于MRI数据或脑肿瘤数据，亦可是其他类型的多序列医学影像数据组合(比如PET(Positron Emission ComputedTomography，正电子发射型计算机断层显像)、CT(Computed Tomography，电子计算机断层扫描)、MRI等的各种组合)和其他身体部位(如肺部肿瘤)，如图6所示，(a)是基于PET的多序列影像的肺部肿瘤分割，(b)是基于CT的多序列影像的肺部肿瘤分割。也就是说，待检测图像集合可能是MRI序列、PET序列、或CT序列等等，还可能是MRI序列、PET序列以及CT序列中的两组或多种的组合，通过将多个模态(例如MRI、PET、CT)的序列组合到一起来进行综合AI识别，协助诸如医生等用户更为全面检测病变情况。需要说明的是，在MRI序列、PET序列以及CT序列中的两组或多种的组合的情况下，参考图像集合和图像检测模型是基于相应的组合图像来构成训练数据，例如，MRI和PET组合，那么在后续提及的预训练阶段和微调阶段，均是采用的MRI和PET组合得到的训练数据来进行优化训练，得到参考图像集合和图像检测模型。

在一种可能的实现方式中，本申请的图像检测方法可以在可视化界面中进行显示，具体的，在用户界面上的第一显示区域显示待检测图像集合，同时，在用户界面的第二显示区域显示待检测图像集合对应的分割结果；同样的，在本申请中，分割结果可以包括：对待检测图像集合进行异常区域标记后得到的标记信息；或者对待检测图像集合进行异常区域标记后得到的标记信息，和对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合。

如图7所示，是本申请实施例公开的一种图像检测方法的界面示意图，其中，701是第一显示区域，702是第二显示区域，用户可以通过点击第一显示区域701中的导入按钮导入待检测图像集合，例如703所示，然后点击第一显示区域701中开始按钮，便可以在第二显示区域702中看到相应的分割结果，如图7所示，704为恢复得到该待检测图像集合对应的全序列图像集合，705为分割标记信息。该分割标记信息还可以直接与全序列图像集合704叠加一起显示。

本申请实施例，计算机设备先获取包括N个序列的待检测图像集合，具体的，每个序列中包括一个或者多个序列图像，N为大于1的整数；然后再对待检测图像集合进行检测，若检测到待检测图像集合处于图像缺失状态，则可以确定出待检测图像集合中的缺失图像区域，再利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，其中，参考图像集合包括N个参考序列，每个参考序列包括一个或者多个序列图像，基于此，将缺失序列的图像进行补齐；进一步的，计算机设备再调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。

本申请实施例，计算机设备先根据参考图像集合对有缺失序列情况的图像进行补齐，可以更好的得到待检测图像集合的特征信息，从而可以有助于提升缺失序列情况下的多序列图像分割效果，进一步，利用已经训练好的图像检测模型对目标检测图像集合进行检测，由于该图像检测模型已经经过了不断的优化，可以更快的对目标检测图像集合进行检测，得到分割结果，从而提升整体的图像检测效率。

请参见图8，是本申请实施例公开的一种针对图像检测方法的训练框架图，大致分成两部分，一部分为预训练(图8示出的直线的上半部分)，一部分为微调(图8示出的直线的下半部分)。

在预训练阶段，以一对全序列训练图像集合和初始参考图像集合为例，主要可以包括：对全序列训练图像进行区域掩盖处理得到缺失训练图像集合，此处的区域掩盖处理具体可以是掩盖多个序列中的任意一个或多个序列，也可以是掩盖多个序列中的任意一个或多个序列后再掩盖部分三维小块，进而将缺失训练图像集合和初始参考图像集合进行组合得到组合训练图像集合，将组合训练图像集合输入到初始模型进行训练得到预测图像集合，根据预测图像集合与作为监督图像的全序列训练图像集合之间的差异，对初始模型和初始参考图像集合进行优化，以便于得到预训练参考图像集合和预训练图像检测模型，具体的差异指的是计算预测图像集合和初始参考图像集合之间的损失值，并根据损失值对初始模型和初始参考图像集合进行调整，经过反复的训练，当损失值达到收敛条件，就可以得到一种多序列掩膜自编码器(M³AE)，即预训练图像检测模型，其目的是用来学习缺失序列情况下多序列图像的特征表示。同时，在预训练过程中，通过不断的反向传播对模型进行优化(模型反衍)时，也优化出了一个预训练参考图像集合(即初始参考图像被不断优化后得到的)，可以用于补齐在训练和推理过程中可能缺失的序列图像。

需要说明的是，初始参考图像集合可以是最初生成的一个N个序列的图像集合，也可以是在基于上一全序列训练图像集合和缺少训练图像集合进行训练后得到的一个需要进一步优化的N个序列的参考图像集合。也即，除了最终得到的可用的参考图像集合之外，需要被训练优化的都可以称之为初始参考图像集合。

在微调阶段，以一对全序列训练图像集合和该全序列训练图像集合对应的分割监督信息为例，主要可以包括：先将全序列训练图像集合输入到预训练阶段得到的M³AE(即预训练图像检测模型)中进行分割预测，得到第一分割预测信息，并将其存储到存储空间中，然后将全序列训练图像集合和预训练参考图像集合进行随机组合，得到组合微调图像集合，并将该组合微调图像集合输入预训练图像检测模型进行分割预测，得到第二分割预测信息，而后根据第一分割预测信息与第二分割预测信息之间的差异、第二分割预测信息与为全序列训练图像集合配置的分割监督信息之间的差异，对预训练参考图像集合和预训练图像检测模型进行优化，以得到参考图像集合和图像检测模型。

在一个实施例中，第一分割预测信息与第二分割预测信息之间的差异、第二分割预测信息与为全序列训练图像集合配置的分割监督信息之间的差异均是以损失值体现的，即先计算第一分割预测信息与第二分割预测信息之间损失值，计算二分割预测信息与为全序列训练图像集合配置的分割监督信息之间损失值，然后再计算二者损失值之和，并根据该值对预训练图像检测模型以及预训练参考图像集合进行微调，经过反复的调整，当损失值达到收敛条件，就可以实现图像检测模型能够在缺失序列情况下达到更高精度的异常或者病灶区域的分割效果，从而得到最终的图像检测模型和参考图像集合。经过以上两个阶段训练的得到的图像检测模型和参考图像集合属于通用型，在测试(使用)时可用于处理任何缺失序列情况下的MRI图像数据。

本申请在训练过程中所采用的网络模型的主干网络可以为VT-UNet-T，该网络是一个纯Transformer(一种自注意力变换网络)的架构，对应的参数量和计算量低于常用的3DUnet(一种影像分析模型)或者Vnet(一种影像分析模型)。同时，本申请使用Adam(Adaptive momentum，一种优化算法)算法作为网络训练时的优化器，设定第一阶段和第二阶段的训练轮数分别为600和400轮。训练初始学习率为3e-4，并且在训练的过程中采用余弦退火学习率调度机制，其对应的收敛性较好。本申请在两张2080Ti英伟达显卡上训练模型，批处理大小为2。为了标准化所有数据，在训练时可以将像素值剪切到强度值的百分之一到百分之九十九，然后进行最小或者最大缩放，最后随机裁剪到128×128×128像素的固定大小以进行训练。随机三维小块的边长可以设置为的16个像素。对应的初始参考图像集合中的图像由高斯噪声初始化，λ可以被设置为0.1。

值得指出的是：1.在进行缺失序列补齐时，还可以直接使用预训练模型生成缺失序列的合成数据；2.本申请中的网络模型除了使用VT-UNet-作为骨干网络以外，还可以使用其他常用分割网络作为骨干网络；3.可以将本申请拓展到其他具有相似应用场景的多序列图像或者其他组织结构的分割任务，并不仅仅局限于MIR数据或脑肿瘤数据。

根据图8所阐述的训练框架图，其中，预训练阶段的流程图可以参见图9，是本申请实施例公开的一种针对图像检测模型的预训练的流程示意图，图9可以包括S901-S905，具体步骤如下：

S901：获取用于训练得到图像检测模型的训练数据，训练数据可以包括：作为监督图像的全序列训练图像集合、初始参考图像集合。这些数据可以是从数据库中获取的，也可以是从相关机构获取的，比如MIR数据或脑肿瘤数据是可以直接从医院获取的。

S902：将全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合。可以通过遮罩处理等方式掩盖全序列训练图像集合中的一个或多个序列，得到缺失训练图像集合，例如，全序列训练图像集合有四个序列，对其进行区域掩盖处理，可以是掩盖其中的一个序列、两个序列或者三个序列得到缺失训练图像集合；又或者，掩盖全序列训练图像集合中的一个或多个序列，并对剩余的序列中的序列图像进行区域掩盖处理，得到缺失训练图像集合。

例如，全序列训练图像集合有四个序列，对其进行区域掩盖处理，可以是掩盖其中的一个序列，然后对剩余的三个序列的部分三维小块进行覆盖，从而得到缺失训练图像集合。其中，缺失训练数据集合可以包括M个缺失序列，M为大于或等于1，且小于N的整数。

S903：根据缺失训练图像集合和初始参考图像集合得到组合训练图像集合。可以根据缺失训练图像集合和初始参考图像集合得到组合训练图像集合，具体可以将初始参考图像集合中相应序列位置的图像集合覆盖在缺失训练图像集合中缺少的缺失序列上，从而得到组合训练图像集合。在覆盖的过程中，不要覆盖缺失训练图像集合中未缺失的部分，这样一来才能在后续的训练中有效的恢复缺失序列的情况。

例如，对于MRI而言，如果缺失训练图像集合缺失了T1序列的序列，则可以通过参考图像中对应于T1的参考序列集合覆盖在该缺失训练图像集合T1序列的位置处，得到补齐后的组合训练图像集合。

S904：调用初始模型对组合训练图像集合进行检测，得到预测图像集合。在得到组合训练图像集合后，将组合训练图像集合输入到初始模型中进行处理，得到预测图像集合。其中，初始模型是基于掩模自编码器构建的，对应的主干网络可以使用VT-UNet，当然还可以使用其他常用分割网络作为骨干网络，本申请不对其进行限定。

S905：根据预测图像集合与全序列训练图像集合之间的差异，对初始模型和所述初始参考图像集合进行优化，以便于得到预训练参考图像集合和预训练图像检测模型。

在一种可能的实现方式中，根据预测图像集合与全序列训练图像集合之间的差异，对初始模型和所述初始参考图像集合进行优化，可以根据预测图像集合与全序列训练图像集合之间的损失值对初始模型和所述初始参考图像集合进行优化。

在一个实施例中，可以是计算预测图像集合与全序列训练图像集合之间的损失值，若是大量的预测图像集合与全序列训练图像集合之间的损失值小于或者等于第一阈值时，则确定出预训练参考图像集合和预训练图像检测模型，又或者是在初始模型处于某组模型参数情况下，针对大量的缺失训练图像集合或者全序列训练图像集合而言，对应的损失值最小，确定此时对应的初始模型为预训练图像检测模型，并得到对应的预训练参考图像集合。

在另一种可能的实现方式中，根据预测图像集合与全序列训练图像集合之间的差异，对初始模型进行优化的优化目标表达式如公式(1)：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。通过该优化公式，可以确定在是损失值最小时对应的模型，并将其确定为预训练图像检测模型，该目标优化公式可以使得初始模型在没有任何标注的情况下学习到数据中序列间的关系以及解剖的完整性。根据预测图像集合与全序列训练图像集合之间的差异，对初始参考图像集合进行优化的优化目标表达式如公式(2)：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，

表示预训练参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。通过该优化公式，用

中对应的内容来补全预训练过程中x被掩盖掉的内容，而不是用0直接进行掩盖，可以更好的重建具有缺失内容(序列或者部分块)的多序列，补全的内容必须捕捉能代表性特定序列的信息，这也将有助于提升缺失部分序列情况下的多序列分割的效果。通俗的理解即是通过反向传播对初始参考图像集合进行优化的，可以称之为模型反衍，通过这种方式，模型不用引入新的模块，并且初始参考图像集合的优化代价极低。请参见图10a，是一种通过该优化方式优化后得到的全序列恢复图像集合。

在本申请中，公式(1)和公式(2)可以使用一个很小的正则权重，即γ＝0.005，同时，采用均方误差损失函数

可以使得模型更好地重建原图像，而正则项

可以让得到的x^sub的可信度更高。

值得注意的是，针对步骤S902中区域掩盖处理，本申请做了相应的实验并证明采用本申请的掩盖方法在各类方法中可以取得更好的效果，请参见图10b，是本申请的方法在不同掩模概率下的实验效果，在MAE方法中，模型只能通过参考图像周围的内容还原被掩盖的区域，而在本申请训练过程中，模型还可以通过参考其他序列的图像来还原被掩盖的区域。因此，本申请选择了较大的掩模概率，来使得本申请的自监督任务更加的困难，从而使模型能够学到更好的特征。如图10b所示，使用0.8125或0.875得到的最终模型表现均比0.75(在MAE相关论文中的掩膜概率)效果更好，其中，使用Dice指标(一种集合相似度度量指标，如DSC(Dice Similarity Coefficient，Dice相似系数))来衡量实验效果，Dice越高越好，其中，WT(whole tumor)为肿瘤整体，包括所有肿瘤区域；TC(tumor core)为肿瘤核心，由增强肿瘤、坏死区域和非增强肿瘤核心组成；ET(enhancing tumor)为增强肿瘤。

本申请主要阐述的是模型训练过程中的预训练过程，目的是得到预训练图像检测模型和预训练参考图像集合，本申请通过一种多序列掩膜自编码器来学习缺失序列情况下多序列MRI中丰富的特征表示，该模型是一个单一编码器-解码器结构，减低了对模型的训练难度。同时，预训练阶段是根据训练数据和基于模型反衍的序列补齐规则，对初始模型和初始参考图像集合进行训练，得到预训练参考图像集合和预训练图像检测模型的，预训练参考图像集合和预训练图像检测模型可以用于补齐在训练和推理过程中可能缺失的序列，从而提升了本申请对图像进行检测的效率。

根据图8所阐述的训练框架图，其中，微调阶段的流程图可以参见图11，图11可以包括S1101-S1104，具体步骤如下：

S1101：将预训练参考图像集合与全序列训练图像集合进行组合，得到组合微调图像集合。在一种可能的实现方式中，根据规则表示信息将预训练参考图像集合与全序列训练图像集合进行组合，得到组合微调图像集合；又或者随机的将预训练参考图像集合与全序列训练图像集合进行组合从而得到组合微调图像集合。其中，组合微调图像集合包括的N个微调序列中的x个微调序列来自于预训练参考图像集合，y个微调序列来自于全序列训练图像集合，其中，x和y为正整数，且x+y＝N。

例如，图8所示，显示有规则表示信息，根据该规则表示信息可以将全序列训练图像集合和预训练参考图像集合进行组合得到组合微调图像集合，可见，规则表示信息中深色的部分，表示将全序列训练图像集合对应的位置进行覆盖，浅色的部门表示不覆盖全序列训练图像集合对应的位置，根据该规则进行组合，从而得到组合微调图像集合。

S1102：通过预训练图像检测模型对全序列训练图像集合进行分割预测，得到第一分割预测信息。在一种可能的实现方式中，为了更好的得到分割结果，先将全序列训练图像集合输入到预训练图像检测模型中进行分割预测，得到第一分割预测信息，并将其存储在一个存储空间中，还可以将该存储空间存储到CPU内存中，也更适用于由于缺乏GPU内存而不能实现联合训练的硬件。同时，在对模型进行微调时，还可以对第一分割预测信息进行实时地更新。

S1103：通过预训练图像检测模型对组合微调图像集合进行分割预测，得到第二分割预测信息。在一种可能的实现方式中，将组合微调图像集合输入到预训练图像检测模型进行分割预测，得到第二分割预测信息。

S1104：根据第一分割预测信息与第二分割预测信息之间的差异、第二分割预测信息与为全序列训练图像集合配置的分割监督信息之间的差异，对预训练参考图像集合和预训练图像检测模型进行优化，以得到参考图像集合和图像检测模型。

在一种可能的实现方式中，根据第一分割预测信息与第二分割预测信息之间的差异、第二分割预测信息与为全序列训练图像集合配置的分割监督信息之间的差异，对预训练参考图像集合和预训练图像检测模型进行优化，可以是计算第一分割预测信息与第二分割预测信息之间的损失值以及计算第二分割预测信息与分割监督信息之间的损失值，从而根据这两个损失值对预训练参考图像集合和预训练图像检测模型进行参数值优化，得到参考图像集合和图像检测模型的。

具体的，对预训练参考图像集合和预训练图像检测模型进行优化的优化目标表达式为公式(3)：

其中，

表示第一分割预测信息(全序列时对应的分割结果)，

表示第二分割预测信息(缺失序列时对应的分割结果)，s^gt表示全序列训练图像集合配置的分割监督信息，f是模型对应的主干网络，f_s是主干网络后的分割头，λ是权重，λ可以设置成0.1，

为Dice损失与交叉损失之和，

为一致性损失函数，

如公式(4)：

是计算的全序列下分割结果和缺失序列下分割结果的KL距离(Kullback-Leibler Divergence，它衡量的是相同事件空间里的两个概率分布的差异情况)，具体的，

W是图像集合中每一张图像的宽，H是图像集合中每一张图像的高，D是图像集合中每一张图像的切片数量，C是图像集合分割的总类别。

步骤S1102-S1104是一种计算高效的自蒸馏方法，该方法能够在同一个网络中将任务相关的知识从全序列的数据迁移到缺失序列的数据，可以将模型微调为可以同时处理各种缺失序列的多序列分割模型，同时也降低训练和部署时的计算开销。

本申请主要阐述的是模型训练过程中的微调过程，目的是得到最终的图像检测模型和参考图像集合，可以针对任何情况的序列图像进行处理，从而得到对应的分割结果。本申请的微调任务是一种计算高效的自蒸馏方法，在分割任务的微调过程中将全序列数据的信息蒸馏到缺失序列，以实现在缺失序列情况下更高精度的分割效果。

经过图9以及图11两个阶段的训练后，生成的图像检测模型和参考图像集合均具有较强的通用性，在使用(即预测过程)时可以用于处理任何缺失序列情况下的MRI数据。基于此，本申请做了具体的实验，具体是在PyTorch神经网络框架上完成的实验，并得到对应的实验效果。具体的，本申请的图像检测方法对应的技术在脑部肿瘤分割比赛BraTS 2018和BraTS 2019上都分别进行了实验用于验证其有效性。BraTS系列的数据集合由多对包括四个序列的MRI组成，分别是T1，T1c，T2和FLAIR。这些数据经过了比赛方的整理组织，进行了包括剥去颅骨，重新采样到统一分辨率(1mm³)，并在同一模板上进行共配准等预处理。

在这项比赛中，四种肿瘤内结构(水肿，增强肿瘤，坏死和非增强肿瘤核心)被分为三个肿瘤区域并作为比赛的分割目标：1.肿瘤整体(whole tumor，WT)，包括所有肿瘤区域；2.肿瘤核心(tumor core，TC)，由增强肿瘤、坏死区域和非增强肿瘤核心组成；3.增强肿瘤(enhancing tumor，ET)。BraTS 2018和BraTS 2019数据集合分别包括285例和335例数据和对应的肿瘤区域标注。在实验中，可以随机将两份数据集合分别以80:20的比例分成训练集合和测试集合。在本申请中，可以采用Dice系数和95％豪斯多夫距离(HD95)作为评测指标，另外，还可以使用线上评测系统验证本申请技术在全序列情况下在数据库中存储的验证集合中的表现情况。上述的BraTS 2018和BraTS 2019是目前数据库中已存在的两个数据集合，可以直接拿来使用。

表1给出了本申请图像检测方法和三个缺失序列情况下脑部MRI肿瘤分割通用型方法在BraTS 2018数据集上的对比情况，这三个方法分别是：HVED，LCRL和FGMF。其中FGMF是目前指标最高的通用型方法。由于这些方法都是在20％数据上展现的分割结果，所以可以直接从数据库摘抄这些方法所对应的结果。在表1中可以发现，本申请所提出的图像检测方法在测试集上的整体表现是最好的，在三个肿瘤区都取得了最好的中位数，并且本申请提出的图像检测方法在大部分的情况下都取得了最好的结果(本申请的图像检测方法在三个肿瘤区域中分别在14、11、10个情况中都取得了最好的结果，总共有15种缺失情况)。值得一提的是，本申请提出的图像检测方法所采用的技术采用了基础的单一编码器-解码器框架，而与之对比的上述三种方法无一例外都采用了多编码器或者多解码器的框架，其计算量大于本申请所提出的图像检测方法。

表1

其中，已有的和缺失的序列分别用·和°表示，p值通过Wilcoxon分别测试相应方法和本申请的图像检测方法的显著性给出，上述三种方法的具体解释：HVED(Hetero-ModalVariational Encoder-Decoder for Joint Modality Completion and Segmentation，用于联合序列完成和分割的异序列变分编解码器)，LCRL(Latent correlationrepresentation learning for brain tumor segmentation with missing MRImodalities，缺失MRI模式下的潜在相关表征学习在脑肿瘤分割中的应用)和FGMF(Feature-enhanced generation and multimodality fusion based deep neuralnetwork for brain tumor segmentation with missing MR modalities，基于特征增强生成和多序列融合的深度神经网络，用于缺少MR序列的脑肿瘤分割)。

表2给出了本申请的图像检测方法在BraTS 2019数据集上和唯一在这个数据集上做了对比实验的LCRL的对比情况。结果表明本申请的图像检测方法在所有肿瘤区域的所有缺失情况下都优于LCRL，说明了本申请的图像检测方法具有比较好的泛化性。

表2

其中，已有的和缺失的序列分别用·和°表示，p值通过Wilcoxon分别测试相应方法和本申请的图像检测方法的显著性给出。

另外，虽然本申请的图像分割方法提出的是一个“通用”型模型，但为了体现本申请的图像检测方法的效果，也跟目前最好的专用模型ACN(Adversarial Co-trainingNetwork，对抗性联合分割网络)进行了对比，该方法使用的训练测试比例跟本申请的图像检测方法并不相同，可以直接摘抄了其论文中展示的结果作为参考。

具体结果在表3中可以看到，本申请的图像检测方法在仅需训练一个模型的情况下跟针对每一种缺失情况都单独训练模型的ACN(该方法在本申请的实验中需要训练15个模型)整体表现几乎一致。

表3

其中，已有的和缺失的序列分别用·和ο表示，p值通过Wilcoxon分别测试相应方法和本申请的图像检测方法的显著性给出。

进一步的，为了客观地展现本申请的图像检测方法在全序列情况下的表现情况，如表4所示，在表4中比较了本申请的图像检测方法和几个目前的方法在两个数据集的线上测试结果，包括LCRL、VT-UNet-T(本申请的图像检测方法使用的骨干网络)、TransBTS(另一个针对脑部MRI肿瘤分割的Transformer模型)。另外，相应比赛的优选方案的结果(从已有数据库中获取的)也被包含在表4中作为参照；值得指出的是，这些优选方案通常都经过了大量的工程化，比如精细地调参。结果显示，对比其他非比赛方案，本申请的图像检测方法在9种情况下都取得了最好的结果(两个数据集×两个指标×三个肿瘤区域，共12种情况)。并且本申请的图像检测方法的结果在部分情况下几乎超过了相应比赛的优选方案，而这些优选方案通常都经过了大量的调参。这些结果表明，本申请的图像检测方法学习的多序列表示不仅对缺失序列具有鲁棒性，而且对全序列也具有有效性。

表4

其中，本申请的图像检测方法在BraTS 2018(左)和BraTS 2019(右)数据中全序列条件下与现有最优方法的比较结果，challenge表示相应比赛的优选方案，NA表示无法获取。

更进一步的，为了验证本申请的图像检测方法提出的技术中各个模块的有效性，可以通过逐一去掉整体方案中的某个模块的方法来完成消融实验。结果显示如表5所示，可以总结出以下几个结论：

1.在第1、2行(a,b)中，去掉了训练过程中的预训阶段，并在后者中加入在ImageNet数据集上的预训练参数，这两行的结果都明显的下降，表明预训练出来的预训练图像检测模型在本申请的图像检测方法提出的框架中有着不可或缺的作用。

2.在第三行(c)中，将本申请中通过模型反衍学习到的全序列图像替换为全0的图像使得结果得到了下降，而第四行(d)中将全序列图像替换为相应序列中所有数据的平均值使得结果明显恶化，说明本申请的图像检测方法提出的基于模型反衍的缺失序列补齐方案捕捉到了更有用的序列特征信息，可以有效地作为脑瘤分割中缺失序列的补充。

3.最后，对比第五行(e)，本申请所提出的框架的评估指标在所有肿瘤区域都更好，验证了全序列到缺失序列自蒸馏的有效性。另外，本申请所提出的自蒸馏框架相比于联合训练的方式节约了大约52GFLOPS(浮点运算)的计算量。

表5

基于上述的方法实施例，本申请实施例还提供了一种图像检测装置的结构示意图。参见图12，为本发明实施例提供的一种图像检测装置的结构示意图。所述装置可以应用于上述提及的服务器，也可以应用于一个计算机设备中，图12所示的图像检测装置1200可运行如下单元：

获取单元1201，用于获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列包括序列图像，N为大于1的整数；

确定单元1202，用于若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

处理单元1203，用于利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

所述处理单元1203，还用于根据所述目标检测图像集合进行图像中的异常区域检测处理。

在一种可能的实现方式中，所述处理单元1203根据所述目标检测图像集合进行图像中的异常区域检测处理，具体可用于：

调用图像检测模型对所述目标检测图像集合进行图像检测分割，得到所述待检测图像集合对应的分割结果。

在一种可能的实现方式中，所述参考图像集合和所述图像检测模型是训练优化得到的；其中，所述图像检测模型是根据全序列训练图像集合、和将所述全序列训练图像集合进行区域掩盖处理后得到的缺失训练图像集合训练得到的；所述参考图像集合是对所述缺失训练图像集合和初始参考图像集合进行优化得到的，所述初始参考图像集合包括N个初始参考序列，每个初始参考序列包括初始参考序列图像，各初始参考序列图像上的像素点的值为待优化值，通过对所述各初始参考序列图像上的像素点的待优化值进行值优化，以得到所述参考图像集合。

在一种可能的实现方式中，所述图像检测装置还包括：

显示单元1204，用于在用户界面上的第一显示区域显示待检测图像集合；在所述用户界面的第二显示区域显示所述待检测图像集合对应的分割结果；其中，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息；或者，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息，和对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合。

在一种可能的实现方式中，所述对所述待检测图像集合进行异常区域标记后得到的标记信息，是通过所述图像检测模型得到的，所述对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合，是通过所述参考图像集合得到的。

在一种可能的实现方式中，所述获取单元1201，还用于获取用于对所述图像检测模型进行训练的训练数据，所述训练数据包括：作为监督图像的全序列训练图像集合、初始参考图像集合；

所述处理单元1203，还用于：

将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合，所述缺失训练图像集合中包括M个缺失序列，M为大于或等于1，且小于N的整数；

根据所述缺失训练图像集合和所述初始参考图像集合得到组合训练图像集合；

调用初始模型对所述组合训练图像集合进行检测，得到预测图像集合；

根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型和所述初始参考图像集合进行优化，以便于得到预训练参考图像集合和预训练图像检测模型。

在一种可能的实现方式中，所述处理单元1203将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合，具体包括：

掩盖所述全序列训练图像集合中的一个或多个序列，得到缺失训练图像集合；

或者，掩盖所述全序列训练图像集合中的一个或多个序列，并对剩余的序列中的序列图像进行区域掩盖处理，得到缺失训练图像集合。

在一种可能的实现方式中，所述处理单元1203根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

在一种可能的实现方式中，所述处理单元1203根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始参考图像集合进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，

表示预训练参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

在一种可能的实现方式中，所述处理单元1203还用于：

将所述预训练参考图像集合与所述全序列训练图像集合进行组合，得到组合微调图像集合，所述组合微调图像集合包括的N个微调序列中的x个微调序列来自于所述预训练参考图像集合，y个微调序列来自于所述全序列训练图像集合，其中，x和y为正整数，且x+y＝N；

通过所述预训练图像检测模型对所述全序列训练图像集合进行分割预测，得到第一分割预测信息；

通过所述预训练图像检测模型对所述组合微调图像集合进行分割预测，得到第二分割预测信息；

根据所述第一分割预测信息与所述第二分割预测信息之间的差异、所述第二分割预测信息与为所述全序列训练图像集合配置的分割监督信息之间的差异，对所述预训练参考图像集合和所述预训练图像检测模型进行优化，以得到参考图像集合和图像检测模型。

在一种可能的实现方式中，所述处理单元1203对所述预训练参考图像集合和所述预训练图像检测模型进行优化的优化目标表达式为：

其中，

表示第一分割预测信息，

表示第二分割预测信息，s^gt表示全序列训练图像集合配置的分割监督信息，λ是权重，

为Dice损失与交叉损失之和，

为一致性损失函数。

在一种可能的实现方式中，通过对初始模型和初始参考图像集合进行训练优化得到对应的图像检测模型和参考图像集合；

对所述初始模型和所述初始参考图像集合进行训练优化包括预训练和微调；所述初始模型是基于掩模自编码器构建的；

在预训练时，是根据训练数据和基于模型反衍的序列补齐规则，对所述初始模型和所述初始参考图像集合进行训练，得到预训练参考图像集合和预训练图像检测模型的；

在微调时，是根据所述全序列训练图像集合到缺失序列数据集合的自蒸馏方法对所述预训练参考图像集合和所述预训练图像检测模型进行训练，得到参考图像集合和图像检测模型的。

本申请实施例中，本申请实施例，获取单元1201获取包括N个序列的待检测图像集合，然后再对待检测图像集合进行检测，若检测到待检测图像集合处于图像缺失状态，则确定单元1202确定出待检测图像集合中的缺失图像区域，处理单元1203再利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，基于此，将缺失序列的图像进行补齐；进一步的，再调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。通过该方法，先根据参考图像集合对有缺失序列情况的图像进行补齐，可以更好的得到待检测图像集合的特征信息，从而可以有助于提升缺失序列情况下的多序列图像分割效果，进一步，利用已经训练好的图像检测模型对目标检测图像集合进行检测，由于该图像检测模型已经经过了不断的优化，可以更快的对目标检测图像集合进行检测，得到分割结果，从而提升了图像检测效率。

基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备。参见图13，为本申请实施例提供的一种计算机设备的结构示意图。图13所示的计算机设备1300至少包括处理器1301、输入接口1302、输出接口1303、计算机存储介质1304以及存储器1305。其中，处理器1301、输入接口1302、输出接口1303、计算机存储介质1304以及存储器1305可通过总线或其他方式连接。

计算机存储介质1304可以存储在是计算机设备1300的存储器1305中，所述计算机存储介质1304用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1301用于执行所述计算机存储介质1304存储的程序指令。处理器1301(或称CPU(CentralProcessing Unit，中央处理器))是计算机设备1300的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行一条或多条计算机程序从而实现相应方法流程或相应功能。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器1301加载并执行一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。所述计算机存储介质可由处理器2701加载并执行计算机存储介质中存放的一条或多条计算机程序，以实现上述有关图4、图9以及图11所示的图像检测方法的相应步骤。具体实现中，计算机存储介质中的一条或多条指令由处理器1301加载并执行如下步骤：

获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列包括序列图像，N为大于1的整数；

若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

根据所述目标检测图像集合进行图像中的异常区域检测处理。

在一种可能的实现方式中，所述处理器1301根据所述目标检测图像集合进行图像中的异常区域检测处理，可具体用于：

调用图像检测模型对所述目标检测图像集合进行图像检测分割，得到所述待检测图像集合对应的分割结果

在一种可能的实现方式中，所述参考图像集合和所述图像检测模型是训练优化得到的；其中，所述图像检测模型是根据全序列训练图像集合、和将所述全序列训练图像集合进行区域掩盖处理后得到的缺失训练图像集合训练得到的；所述参考图像集合是对所述缺失训练图像集合和初始参考图像集合进行优化得到的，所述初始参考图像集合包括N个初始参考序列，每个初始参考序列包括初始参考序列图像，各初始参考序列图像上的像素点的值为待优化值，通过对所述各初始参考序列图像上的像素点的待优化值进行值优化，以得到所述参考图像集合。

在一种可能的实现方式中，所述处理器1301，还用于：

在用户界面上的第一显示区域显示待检测图像集合；在所述用户界面的第二显示区域显示所述待检测图像集合对应的分割结果；其中，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息；或者，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息，和对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合。

在一种可能的实现方式中，所述对所述待检测图像集合进行异常区域标记后得到的标记信息，是通过所述图像检测模型得到的；所述对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合，是通过所述参考图像集合得到的。

在一种可能的实现方式中，所述处理器1301，还用于：

获取用于对所述图像检测模型进行训练的训练数据，所述训练数据包括：作为监督图像的全序列训练图像集合、初始参考图像集合；

将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合；所述缺失训练图像集合中包括M个缺失序列，M为大于或等于1，且小于N的整数；

根据所述缺失训练图像集合和所述初始参考图像集合得到组合训练图像集合；

调用初始模型对所述组合训练图像集合进行检测，得到预测图像集合；

根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型和所述初始参考图像集合进行优化，以便于得到预训练参考图像集合和预训练图像检测模型。

在一种可能的实现方式中，所述处理器1301将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合，可具体用于：

掩盖所述全序列训练图像集合中的一个或多个序列，得到缺失训练图像集合；

或者，掩盖所述全序列训练图像集合中的一个或多个序列，并对剩余的序列中的序列图像进行区域掩盖处理，得到缺失训练图像集合。

在一种可能的实现方式中，所述处理器1301根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

在一种可能的实现方式中，所述处理器1301根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始参考图像集合进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，

表示预训练参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

在一种可能的实现方式中，所述处理器1301，还用于：

将所述预训练参考图像集合与所述全序列训练图像集合进行组合，得到组合微调图像集合，所述组合微调图像集合包括的N个微调序列中的x个微调序列来自于所述预训练参考图像集合，y个微调序列来自于所述全序列训练图像集合，其中，x和y为正整数，且x+y＝N；

通过所述预训练图像检测模型对所述全序列训练图像集合进行分割预测，得到第一分割预测信息；

通过所述预训练图像检测模型对所述组合微调图像集合进行分割预测，得到第二分割预测信息；

根据所述第一分割预测信息与所述第二分割预测信息之间的差异、所述第二分割预测信息与为所述全序列训练图像集合配置的分割监督信息之间的差异，对所述预训练参考图像集合和所述预训练图像检测模型进行优化，以得到参考图像集合和图像检测模型。

在一种可能的实现方式中，所述处理器1301对所述预训练参考图像集合和所述预训练图像检测模型进行优化的优化目标表达式为：

其中，

表示第一分割预测信息，

表示第二分割预测信息，s^gt表示全序列训练图像集合配置的分割监督信息，λ是权重，

为Dice损失与交叉损失之和，

为一致性损失函数。

在一种可能的实现方式中，通过对初始模型和初始参考图像集合进行训练优化得到对应的图像检测模型和参考图像集合；

对所述初始模型和所述初始参考图像集合进行训练优化包括预训练和微调；所述初始模型是基于掩模自编码器构建的；

在预训练时，是根据训练数据和基于模型反衍的序列补齐规则，对所述初始模型和所述初始参考图像集合进行训练，得到预训练参考图像集合和预训练图像检测模型的；

在微调时，是根据所述全序列训练图像集合到缺失序列数据集合的自蒸馏方法对所述预训练参考图像集合和所述预训练图像检测模型进行训练，得到参考图像集合和图像检测模型的。

本申请实施例，处理器1301获取包括N个序列的待检测图像集合，若检测到待检测图像集合处于图像缺失状态，则可以确定出待检测图像集合中的缺失图像区域，再利用参考图像集合对待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，基于此，将缺失序列的图像进行补齐；进一步的，再调用图像检测模型对目标检测图像集合进行图像检测分割，得到待检测图像集合对应的分割结果。通过该方法，可以先根据参考图像集合对有缺失序列情况的图像进行补齐，可以更好的得到待检测图像集合的特征信息，从而可以有助于提升缺失序列情况下的多序列图像分割效果，进一步，利用已经训练好的图像检测模型对目标检测图像集合进行检测，由于该图像检测模型已经经过了不断的优化，可以更快的对目标检测图像集合进行检测，得到分割结果，从而提升了图像检测效率。

本申请实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，可执行上述所有实施例中所执行的步骤。

本申请实施例还提供一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令被计算机设备的处理器执行时，执行上述所有实施例中的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (15)

1.一种图像检测方法，其特征在于，所述方法包括：

获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列中包括序列图像，N为大于或等于1的整数；

若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

根据所述目标检测图像集合进行图像中的异常区域检测处理。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标检测图像集合进行图像中的异常区域检测处理，包括：

调用图像检测模型对所述目标检测图像集合进行图像检测分割，得到所述待检测图像集合对应的分割结果。

3.如权利要求1或2所述的方法，其特征在于，所述参考图像集合和所述图像检测模型是训练优化得到的；

其中，所述图像检测模型是根据全序列训练图像集合、和将所述全序列训练图像集合进行区域掩盖处理后得到的缺失训练图像集合训练得到的；

所述参考图像集合是对所述缺失训练图像集合和初始参考图像集合进行优化得到的；

所述初始参考图像集合包括N个初始参考序列，每个初始参考序列包括初始参考序列图像，各初始参考序列图像上的像素点的值为待优化值，通过对所述各初始参考序列图像上的像素点的待优化值进行值优化，以得到所述参考图像集合。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

在用户界面上的第一显示区域显示待检测图像集合；

在所述用户界面的第二显示区域显示所述待检测图像集合对应的分割结果；

其中，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息；

或者，所述分割结果包括：对所述待检测图像集合进行异常区域标记后得到的标记信息，和对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合。

5.如权利要求4所述的方法，其特征在于，

对所述待检测图像集合进行异常区域标记后得到的标记信息，是通过所述图像检测模型得到的；

所述对处于图像缺失状态的待检测图像集合进行补齐处理之后恢复得到的全序列恢复图像集合，是通过所述参考图像集合得到的。

6.如权利要求2所述的方法，其特征在于，所述方法还包括：

获取用于训练得到所述图像检测模型的训练数据，所述训练数据包括：作为监督图像的全序列训练图像集合、初始参考图像集合；

将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合；所述缺失训练图像集合中包括M个缺失序列，M为大于或等于1，且小于N的整数；

根据所述缺失训练图像集合和所述初始参考图像集合，得到组合训练图像集合；

调用初始模型对所述组合训练图像集合进行检测，得到预测图像集合；

根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型和所述初始参考图像集合进行优化，以便于得到预训练参考图像集合和预训练图像检测模型。

7.如权利要求6所述的方法，其特征在于，所述将所述全序列训练图像集合进行区域掩盖处理，得到缺失训练图像集合，包括：

掩盖所述全序列训练图像集合中的一个或多个训练图像序列，得到缺失训练图像集合；

或者，掩盖所述全序列训练图像集合中的一个或多个训练图像序列，并对剩余的训练图像序列中的序列图像进行区域掩盖处理，得到缺失训练图像集合。

8.如权利要求6所述的方法，其特征在于，所述根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始模型进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

9.如权利要求6所述的方法，其特征在于，所述根据所述预测图像集合与所述全序列训练图像集合之间的差异，对所述初始参考图像集合进行优化的优化目标表达式为：

其中，x表示全序列训练图像集合，x′表示缺失训练图像集合，x^sub表示初始参考图像集合，

表示预训练参考图像集合，S(x′,x^sub)表示组合训练图像集合，F是重构函数，

是L₂的正则项，γ是权重，

是均方误差损失函数。

10.如权利要求6所述的方法，其特征在于，所述方法还包括：

将所述预训练参考图像集合与所述全序列训练图像集合进行组合，得到组合微调图像集合，所述组合微调图像集合包括的N个微调序列中的x个微调序列来自于所述预训练参考图像集合，y个微调序列来自于所述全序列训练图像集合，其中，x和y为正整数，且x+y＝N；

通过所述预训练图像检测模型对所述全序列训练图像集合进行分割预测，得到第一分割预测信息；

通过所述预训练图像检测模型对所述组合微调图像集合进行分割预测，得到第二分割预测信息；

根据所述第一分割预测信息与所述第二分割预测信息之间的差异、所述第二分割预测信息与为所述全序列训练图像集合配置的分割监督信息之间的差异，对所述预训练参考图像集合和所述预训练图像检测模型进行优化，以得到参考图像集合和图像检测模型。

11.如权利要求10所述的方法，其特征在于，所述对所述预训练参考图像集合和所述预训练图像检测模型进行优化的优化目标表达式为：

其中，

表示第一分割预测信息，

表示第二分割预测信息，s^gt表示全序列训练图像集合配置的分割监督信息，λ是权重，

为Dice损失与交叉损失之和，

为一致性损失函数。

12.如权利要求1-3任一项所述的方法，其特征在于，通过对初始模型和初始参考图像集合进行训练优化得到对应的图像检测模型和参考图像集合；

对所述初始模型和所述初始参考图像集合进行训练优化包括预训练和微调；所述初始模型是基于掩模自编码器构建的；

在预训练时，是根据训练数据和基于模型反衍的序列补齐规则，对所述初始模型和所述初始参考图像集合进行训练，得到预训练参考图像集合和预训练图像检测模型的；

在微调时，是根据所述全序列训练图像集合到缺失序列数据集合的自蒸馏方法对所述预训练参考图像集合和所述预训练图像检测模型进行训练，得到参考图像集合和图像检测模型的。

13.一种图像检测装置，其特征在于，所述装置包括：

获取单元，用于获取待检测图像集合，所述待检测图像集合包括N个序列，每个序列包括序列图像，N为大于1的整数；

确定单元，用于若检测到所述待检测图像集合处于图像缺失状态，则确定所述待检测图像集合中的缺失图像区域；

处理单元，用于利用参考图像集合对所述待检测图像集合中的缺失图像区域进行补齐操作，得到目标检测图像集合，所述参考图像集合包括N个参考序列，每个参考序列包括参考序列图像；

所述处理单元，还用于根据所述目标检测图像集合进行图像中的异常区域检测处理。

14.一种计算机设备，包括输入接口和输出接口，所述计算机设备还包括：

处理器，适于实现一条或多条计算机程序；以及，计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-12任一项所述的图像检测方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-12任一项所述的图像检测方法。

Images