CN118334036A - 基于深度学习的多模态医学影像质检系统 - Google Patents

Abstract

本申请公开了一种基于深度学习的多模态医学影像质检系统，其通过将传统的多模态影像分析质检问题转化为多模态特征对齐的问题。通常来说，如果同一成像区域的不同模态数据在映射到高维语义空间之后，两者之间的语义对齐度和语义相似性是很高的，因为本质上两者表示同一实体。利用这一特性，在本申请的技术构思中，期待结合基于深度学习技术的智能化算法来分别学习目标区域的多模态影像数据的图像语义特征，并通过语义共空间映射以将目标区域的多模态影像语义特征皆映射至高维的共空间之中以将两者直接进行比较和对比，从而实现智能化的医学影像质检。

Description

基于深度学习的多模态医学影像质检系统

技术领域

本申请涉及智能质检领域，且更为具体地，涉及一种基于深度学习的多模态医学影像质检系统。

背景技术

多模态医学影像质检是指对来自不同成像技术（如CT、MRI、PET等）的医学影像数据进行质量评估的过程。这些不同成像技术提供了关于人体不同方面的信息，例如，CT提供详细的结构信息，而MRI则提供更丰富的软组织对比。高质量的影像数据可以显著提高医生的诊断准确性，减少误诊和漏诊。因此，多模态医学影像质检系统是必要的。通过多模态医学影像质检，可以确保影像数据的质量，从而为临床诊断和治疗提供可靠的信息。

然而，现有的多模态医学影像质检方式可能无法实现完全自动化的影像质检，仍然需要人工干预和调整，自动化程度低下。深度学习是一种基于人工神经网络的机器学习方法，它通过模拟人脑处理信息的方式，使用多层（深层）的网络结构来学习数据的复杂模式和特征。深度学习的应用及发展，为解决上述问题提供了一种新的思路。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于深度学习的多模态医学影像质检系统，其通过将传统的多模态影像分析质检问题转化为多模态特征对齐的问题。通常来说，如果同一成像区域的不同模态数据在映射到高维语义空间之后，两者之间的语义对齐度和语义相似性是很高的，因为本质上两者表示同一实体。利用这一特性，在本申请的技术构思中，期待结合基于深度学习技术的智能化算法来分别学习目标区域的多模态影像数据的图像语义特征，并通过语义共空间映射以将目标区域的多模态影像语义特征皆映射至高维的共空间之中以将两者直接进行比较和对比，从而实现智能化的医学影像质检。

根据本申请的一个方面，提供了一种基于深度学习的多模态医学影像质检系统，其包括：

多模态影像数据获取模块，用于获取目标区域的多模态影像数据，其中，所述目标区域的多模态影像数据包括目标区域CT图像和目标区域MRI图像；

多尺度特征捕获模块，用于对所述目标区域CT图像和目标区域MRI图像进行多尺度特征过滤与多通道特征结合以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图；

共空间映射模块，用于将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图输入基于全连接层的语义共空间映射器以得到语义映射CT多尺度融合特征向量和语义映射MRI多尺度融合特征向量；

质检结果生成模块，用于基于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的语义差异特征，确定所述目标区域的多模态影像数据的质检结果是否合格。

与现有技术相比，本申请提供的一种基于深度学习的多模态医学影像质检系统，其通过将传统的多模态影像分析质检问题转化为多模态特征对齐的问题。通常来说，如果同一成像区域的不同模态数据在映射到高维语义空间之后，两者之间的语义对齐度和语义相似性是很高的，因为本质上两者表示同一实体。利用这一特性，在本申请的技术构思中，期待结合基于深度学习技术的智能化算法来分别学习目标区域的多模态影像数据的图像语义特征，并通过语义共空间映射以将目标区域的多模态影像语义特征皆映射至高维的共空间之中以将两者直接进行比较和对比，从而实现智能化的医学影像质检。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于深度学习的多模态医学影像质检系统的框图；

图2为根据本申请实施例的基于深度学习的多模态医学影像质检系统的系统架构图；

图3为根据本申请实施例的基于深度学习的多模态医学影像质检系统中多尺度特征捕获模块的框图；

图4为根据本申请实施例的基于深度学习的多模态医学影像质检系统中质检结果生成模块的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

现有的多模态医学影像质检方式可能无法实现完全自动化的影像质检，仍然需要人工干预和调整，自动化程度低下。深度学习是一种基于人工神经网络的机器学习方法，它通过模拟人脑处理信息的方式，使用多层（深层）的网络结构来学习数据的复杂模式和特征。深度学习的应用及发展，为解决上述问题提供了一种新的思路。

在本申请的技术方案中，提出了一种基于深度学习的多模态医学影像质检系统。图1为根据本申请实施例的基于深度学习的多模态医学影像质检系统的框图。图2为根据本申请实施例的基于深度学习的多模态医学影像质检系统的系统架构图。如图1和图2所示，根据本申请的实施例的基于深度学习的多模态医学影像质检系统300，包括：多模态影像数据获取模块310，用于获取目标区域的多模态影像数据，其中，所述目标区域的多模态影像数据包括目标区域CT图像和目标区域MRI图像；多尺度特征捕获模块320，用于对所述目标区域CT图像和目标区域MRI图像进行多尺度特征过滤与多通道特征结合以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图；共空间映射模块330，用于将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图输入基于全连接层的语义共空间映射器以得到语义映射CT多尺度融合特征向量和语义映射MRI多尺度融合特征向量；质检结果生成模块340，用于基于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的语义差异特征，确定所述目标区域的多模态影像数据的质检结果是否合格。

特别地，所述多模态影像数据获取模块310，用于获取目标区域的多模态影像数据，其中，所述目标区域的多模态影像数据包括目标区域CT图像和目标区域MRI图像。这里，所述目标区域CT图像通常在显示骨骼、钙化以及其他高密度组织方面表现优异，而所述目标区域MRI图像则在软组织对比上具有优势，能提供软组织的细节信息。具体地，MRI（Magnetic Resonance Imaging，磁共振成像）是一种医学影像技术，利用磁场和无害的无线电波来生成详细的人体组织和器官的图像。MRI图像可以提供关于人体内部结构和病变的高分辨率信息，对医学诊断和研究起着至关重要的作用。CT（Computed Tomography，计算机断层扫描）是一种医学影像技术，通过使用X射线和计算机处理来生成人体组织的详细横断面图像。CT图像可以提供关于人体内部结构的高分辨率信息，对于诊断各种疾病和损伤非常有用。

特别地，所述多尺度特征捕获模块320，用于对所述目标区域CT图像和目标区域MRI图像进行多尺度特征过滤与多通道特征结合以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图。特别地，在本申请的一个具体示例中，如图3所示，所述多尺度特征捕获模块320，包括：影像多尺度特征提取与过滤单元321，用于将所述目标区域CT图像和所述目标区域MRI图像分别输入基于空洞金字塔网络的影像数据多尺度特征过滤器以得到目标区域CT图像浅层特征图，目标区域CT图像语义特征图和目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图；多通道特征结合与交融单元322，用于将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图。

具体地，所述影像多尺度特征提取与过滤单元321，用于将所述目标区域CT图像和所述目标区域MRI图像分别输入基于空洞金字塔网络的影像数据多尺度特征过滤器以得到目标区域CT图像浅层特征图，目标区域CT图像语义特征图和目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图。考虑到在所述目标区域CT图像和所述目标区域MRI图像中，浅层特征包含了影像数据中最基础的视觉信息，如边缘、纹理和简单的形状等。这些浅层特征对于理解目标区域的状态和病理特征具有重要意义。然而，在传统的卷积神经网络模型的特征提取和传递过程中，随着网络层次的加深可能会导致浅层特征信息的丢失，因此，在本申请的技术方案中，期待将所述目标区域CT图像和所述目标区域MRI图像分别输入基于空洞金字塔网络的影像数据多尺度特征过滤器以得到目标区域CT图像浅层特征图，目标区域CT图像语义特征图和目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图。这里，所述空洞金字塔网络可以在不同层次上捕捉影像的图像特征，以保留浅层特征表示的同时提取高级的语义特征表示。

值得注意的是，空洞金字塔网络（Atrous Spatial Pyramid Pooling，ASPP）是一种用于图像分割和语义分割任务的深度神经网络结构。ASPP网络通过引入空洞卷积（Dilated Convolution）和金字塔池化（Pyramid Pooling）机制来扩展感受野，从而提高模型在不同尺度下的特征提取能力。其中，空洞卷积是一种卷积操作，通过在卷积核中引入间隔（或称为膨胀率）来扩大感受野，而不增加参数数量或计算量，通过调整空洞率，可以在不降低分辨率的情况下增加卷积核对输入图像的观察范围，从而捕获更广泛的上下文信息。金字塔池化是一种池化操作，通过在不同尺度下对特征图进行池化操作，可以获得多尺度的特征表示，通过在不同大小的池化核下对特征图进行池化，可以捕获不同尺度下的信息，有助于提高模型对多尺度物体的识别能力。

具体地，所述多通道特征结合与交融单元322，用于将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图。应可以理解，在计算机视觉领域，特征表示的差异性对于模型性能具有显著影响。传统的特征融合技术，例如像素级的简单加权求和或通道间的直接拼接，可能会忽略掉所述目标区域CT图像和所述目标区域MRI图像在语义特征层面和浅层细节特征层面之间的潜在差异性，进而影响医学影像的质检结果。在本申请的技术方案中，进一步地将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图。其中，所述语义导向的多通道特征结合模块旨在利用注意力机制来实现多通道特征信息的融合与交互，并利用语义特征来引导自身与浅层细节特征之间的融合过程。更具体地，在本申请的实施例中，巧妙地使用多样化的池化操作，如全局均值池化、最大值池化和随机值池化以动态调整语义特征与浅层细节特征之间的融合权重，从而允许模型动态地调整对不同区域的关注程度，并在特征融合过程中赋予更多的语义权重，促进不同层级特征的有效结合。这种融合不仅增强了特征表示的判别能力，而且提高了模型对于影像数据中细微结构的识别和学习能力。

具体地，在本申请的一个具体示例中，将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图，包括：对所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图进行关联融合以得到目标区域CT图像语义-浅层关联特征图；对所述目标区域CT图像语义-浅层关联特征图进行数据分布平衡处理以得到平衡后目标区域CT图像语义-浅层关联特征图；对所述平衡后目标区域CT图像语义-浅层关联特征图进行基于最大值的全局池化处理、基于随机值的全局池化处理和基于平均值的全局池化处理以得到目标区域CT图像语义-浅层关联特征全局最大值池化特征向量、目标区域CT图像语义-浅层关联特征全局均值池化特征向量和目标区域CT图像语义-浅层关联特征全局随机值池化特征向量；计算所述目标区域CT图像语义-浅层关联特征全局最大值池化特征向量、所述目标区域CT图像语义-浅层关联特征全局均值池化特征向量和所述目标区域CT图像语义-浅层关联特征全局随机值池化特征向量之间的按位置加权和以得到目标区域CT图像语义-浅层关联特征多尺度池化表示向量；以所述目标区域CT图像语义-浅层关联特征多尺度池化表示向量中各个位置的特征值作为权重，对所述目标区域CT图像浅层特征图的沿通道维度的各个特征矩阵进行加权以得到所述语义指导目标区域CT多尺度融合特征图。其中，对所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图进行关联融合以得到目标区域CT图像语义-浅层关联特征图，包括：将所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图进行级联以得到目标区域CT图像语义-浅层串联特征图；对所述目标区域CT图像语义-浅层串联特征图进行卷积编码以得到所述目标区域CT图像语义-浅层关联特征图。更具体地，对所述目标区域CT图像语义-浅层关联特征图进行数据分布平衡处理以得到平衡后目标区域CT图像语义-浅层关联特征图，包括：对所述目标区域CT图像语义-浅层关联特征图进行批量归一化处理以得到所述平衡后目标区域CT图像语义-浅层关联特征图。

综上，在上述实施例中，将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图，包括：使用所述语义导向的多通道特征结合模块以如下公式将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图进行多通道特征结合以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图；其中，所述公式为：

其中，和分别是所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图，是平衡后目标区域CT图像语义-浅层关联特征图，和分别是基于平均值的全局池化处理、基于最大值的全局池化处理和基于随机值的全局池化处理，表示级联，表示卷积编码，表示批量归一化处理，和分别是第一权重系数、第二权重系数和第三权重系数，是目标区域CT图像语义-浅层关联特征多尺度池化表示向量。

值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述目标区域CT图像和目标区域MRI图像进行多尺度特征过滤与多通道特征结合以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图，例如：输入所述目标区域CT图像和所述目标区域MRI图像；通过使用不同大小的卷积核或池化操作对所述CT图像和所述MRI图像分别应用多尺度特征过滤操作，以捕获不同尺度下的特征信息；将经过多尺度特征过滤后的所述CT图像和所述MRI图像特征进行通道级别的结合；利用语义信息（标签或区域边界）对融合后的特征图进行语义指导，以确保生成的特征图与目标区域的语义信息一致；将经过多尺度特征过滤、多通道特征结合和语义指导后的所述CT特征图和所述MRI特征图进行融合，得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图。

特别地，所述共空间映射模块330，用于将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图输入基于全连接层的语义共空间映射器以得到语义映射CT多尺度融合特征向量和语义映射MRI多尺度融合特征向量。特别地，在本申请的一个具体示例中，使用全连接层对所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图进行处理以将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图映射至共空间中以得到所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量。也就是，通过所述基于全连接层的语义共空间映射器可以将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图映射至一个共同的特征空间中，使得不同模态的特征可以在相同的基础上进行比较和分析。在本申请的实施例中，使用全连接层来实现语义共空间的映射转换，其主要原因在于，全连接层可以对输入的特征进行高维空间的线性变换，这使得它能够将输入的特征映射到一个新的高维空间中，从而实现不同模态数据的语义对齐。

特别地，所述质检结果生成模块340，用于基于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的语义差异特征，确定所述目标区域的多模态影像数据的质检结果是否合格。特别地，在本申请的一个具体示例中，如图4所示，所述质检结果生成模块340，包括：汉明距离度量单元341，用于计算所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离作为所述语义差异特征；质检结果确定单元342，用于基于所述汉明距离与预定阈值之间的比较，确定所述目标区域的多模态影像数据的质检结果是否合格。

具体地，所述汉明距离度量单元341，用于计算所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离作为所述语义差异特征。在本申请的一个具体示例中，计算所述语义映射CT多尺度融合特征向量与所述语义映射MRI多尺度融合特征向量的按位置异或以得到CT-MRI语义距离量化值的序列；取所述CT-MRI语义距离量化值的序列的总和以得到所述汉明距离。

在一个优选实施例中，计算所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离，包括以下步骤：

将所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量级联为语义映射CT-语义映射MRI联合表示向量；

计算所述语义映射CT-语义映射MRI联合表示向量的自均值矩阵和自方差矩阵，其中，所述自均值矩阵的第位置的值是所述语义映射CT-语义映射MRI联合表示向量的第位置特征值与第位置特征值的均值，且所述自方差矩阵的第位置的值是所述语义映射CT-语义映射MRI联合表示向量的第位置特征值与第位置特征值的方差；

将作为行特征向量的所述语义映射CT-语义映射MRI联合表示向量的转置向量与所述自均值矩阵进行矩阵相乘以获得语义映射CT-语义映射MRI联合均值映射向量并将自方差矩阵与所述语义映射CT-语义映射MRI联合表示向量进行矩阵相乘以获得语义映射CT-语义映射MRI联合方差映射向量；

计算所述语义映射CT-语义映射MRI联合均值映射向量与所述语义映射CT-语义映射MRI联合方差映射向量的转置向量的点加之和以获得语义映射CT-语义映射MRI联合均值-方差向量；

计算所述自均值矩阵和所述自方差矩阵的矩阵乘积，并将所述语义映射CT-语义映射MRI联合表示向量的转置向量与所述矩阵乘积进行矩阵相乘以获得语义映射CT-语义映射MRI联合参考表示向量；

计算所述语义映射CT-语义映射MRI联合均值-方差向量与所述语义映射CT-语义映射MRI联合参考表示向量的转置向量的点加之和以得到优化的语义映射CT-语义映射MRI联合表示向量；

基于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量的级联模式将所述优化的语义映射CT-语义映射MRI联合表示向量拆分为优化的语义映射CT多尺度融合特征向量和优化的语义映射MRI多尺度融合特征向量；以及

计算所述优化的语义映射CT多尺度融合特征向量与所述优化的语义映射MRI多尺度融合特征向量之间的汉明距离。

这里，考虑到所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量会因所述目标区域CT图像和目标区域MRI图像之间的源数据模态差异而使得两者之间存在较为显著的特征分布差异。这会使得在计算所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离时，所述语义映射CT多尺度融合特征向量相对于所述语义映射MRI多尺度融合特征向量存在局部映射溢出，从而影响所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离的计算准确性。

基于此，通过将用于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量的特征值粒度局部分布的组聚合统计评估的自均值矩阵和自方差矩阵来作为所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量的检索式和响应式分布增强，并构建所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量的基于组聚合的特征分布开放域下的无参考分布检索式响应框架，来通过响应叠加避免所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量的局部映射溢出导致的分布响应冗余，以改进所述语义映射CT多尺度融合特征向量相对于所述语义映射MRI多尺度融合特征向量的空间映射效果，提升所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离的计算准确性。

具体地，所述质检结果确定单元342，用于基于所述汉明距离与预定阈值之间的比较，确定所述目标区域的多模态影像数据的质检结果是否合格。也就是，通过计算汉明距离来量化CT影像语义特征和MRI影像语义特征在高维的语义共空间中是否对齐，即将“它们是否表示了同一实体或现象”进行数值化的定量表示，再通过设定预定阈值来定义何种程度的差异是可以接受的，何种差异表明影像数据存在问题。在实际的应用场景中，所述预定阈值可以基于专家知识、历史数据或特定应用的需求来确定。

如上所述，根据本申请实施例的基于深度学习的多模态医学影像质检系统300可以实现在各种无线终端中，例如具有基于深度学习的多模态医学影像质检算法的服务器等。在一种可能的实现方式中，根据本申请实施例的基于深度学习的多模态医学影像质检系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于深度学习的多模态医学影像质检系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于深度学习的多模态医学影像质检系统300同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该基于深度学习的多模态医学影像质检系统300与该无线终端也可以是分立的设备，并且该基于深度学习的多模态医学影像质检系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种基于深度学习的多模态医学影像质检系统，其特征在于，包括：

多模态影像数据获取模块，用于获取目标区域的多模态影像数据，其中，所述目标区域的多模态影像数据包括目标区域CT图像和目标区域MRI图像；

多尺度特征捕获模块，用于对所述目标区域CT图像和目标区域MRI图像进行多尺度特征过滤与多通道特征结合以得到语义指导目标区域CT多尺度融合特征图和语义指导目标区域MRI多尺度融合特征图；

共空间映射模块，用于将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图输入基于全连接层的语义共空间映射器以得到语义映射CT多尺度融合特征向量和语义映射MRI多尺度融合特征向量；

质检结果生成模块，用于基于所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的语义差异特征，确定所述目标区域的多模态影像数据的质检结果是否合格。

2.根据权利要求1所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述多尺度特征捕获模块，包括：

影像多尺度特征提取与过滤单元，用于将所述目标区域CT图像和所述目标区域MRI图像分别输入基于空洞金字塔网络的影像数据多尺度特征过滤器以得到目标区域CT图像浅层特征图，目标区域CT图像语义特征图和目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图；

多通道特征结合与交融单元，用于将所述目标区域CT图像浅层特征图，目标区域CT图像语义特征图和所述目标区域MRI图像浅层特征图，目标区域MRI图像语义特征图分别输入语义导向的多通道特征结合模块以得到所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图。

3.根据权利要求2所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述多通道特征结合与交融单元，包括：

关联融合子单元，用于对所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图进行关联融合以得到目标区域CT图像语义-浅层关联特征图；

数据分布平衡子单元，用于对所述目标区域CT图像语义-浅层关联特征图进行数据分布平衡处理以得到平衡后目标区域CT图像语义-浅层关联特征图；

池化子单元，用于对所述平衡后目标区域CT图像语义-浅层关联特征图进行基于最大值的全局池化处理、基于随机值的全局池化处理和基于平均值的全局池化处理以得到目标区域CT图像语义-浅层关联特征全局最大值池化特征向量、目标区域CT图像语义-浅层关联特征全局均值池化特征向量和目标区域CT图像语义-浅层关联特征全局随机值池化特征向量；

按位置加和子单元，用于计算所述目标区域CT图像语义-浅层关联特征全局最大值池化特征向量、所述目标区域CT图像语义-浅层关联特征全局均值池化特征向量和所述目标区域CT图像语义-浅层关联特征全局随机值池化特征向量之间的按位置加权和以得到目标区域CT图像语义-浅层关联特征多尺度池化表示向量；

加权子单元，用于以所述目标区域CT图像语义-浅层关联特征多尺度池化表示向量中各个位置的特征值作为权重，对所述目标区域CT图像浅层特征图的沿通道维度的各个特征矩阵进行加权以得到所述语义指导目标区域CT多尺度融合特征图。

4.根据权利要求3所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述关联融合子单元，包括：

级联二级子单元，用于将所述目标区域CT图像语义特征图和所述目标区域CT图像浅层特征图进行级联以得到目标区域CT图像语义-浅层串联特征图；

卷积编码二级子单元，用于对所述目标区域CT图像语义-浅层串联特征图进行卷积编码以得到所述目标区域CT图像语义-浅层关联特征图。

5.根据权利要求4所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述数据分布平衡子单元，用于：

对所述目标区域CT图像语义-浅层关联特征图进行批量归一化处理以得到所述平衡后目标区域CT图像语义-浅层关联特征图。

6.根据权利要求5所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述共空间映射模块，用于：

使用全连接层对所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图进行处理以将所述语义指导目标区域CT多尺度融合特征图和所述语义指导目标区域MRI多尺度融合特征图映射至共空间中以得到所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量。

7.根据权利要求6所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述质检结果生成模块，包括：

汉明距离度量单元，用于计算所述语义映射CT多尺度融合特征向量和所述语义映射MRI多尺度融合特征向量之间的汉明距离作为所述语义差异特征；

质检结果确定单元，用于基于所述汉明距离与预定阈值之间的比较，确定所述目标区域的多模态影像数据的质检结果是否合格。

8.根据权利要求7所述的基于深度学习的多模态医学影像质检系统，其特征在于，所述汉明距离度量单元，包括：

CT-MRI语义距离量化值计算子单元，用于计算所述语义映射CT多尺度融合特征向量与所述语义映射MRI多尺度融合特征向量的按位置异或以得到CT-MRI语义距离量化值的序列；

汉明距离计算子单元，用于取所述CT-MRI语义距离量化值的序列的总和以得到所述汉明距离。