CN109345575A - 一种基于深度学习的图像配准方法及装置 - Google Patents

Abstract

本发明提供的基于深度学习的图像配准方法及装置，通过利用胶囊网络构建图像配准模型，由向量特征表示和路由选择机制代替传统深度学习卷积网络中的标量表示和池化机制，逐级连接不同层次的胶囊以进行特征间组合；通过构建基于胶囊向量的图像融合网络，以输出与参考图像同样维度大小的融合图像作为配准输出；通过构建基于图像间相似性度量的损失函数，以反馈训练网络参数，优化无监督学习的配准网络，实现具有高精度、高鲁棒性的图像配准操作。

Description

一种基于深度学习的图像配准方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种基于深度学习的图像配准方法及装置。

背景技术

医学图像配准是指将不同时间、不同成像设备或不同条件下获取的两幅或多幅医学图像进行匹配、叠加的过程。当前，以深度学习为代表的信息技术和高端医学影像技术不断取得重大突破，使用深度学习技术进行配准成为医学图像配准领域新的热点。

现有的一种基于卷积神经网络的医学图像配准方法(中国专利申请CN201711017916.8)。该方法通过在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络，从而获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值，之后将所述图像子模块输入张量卷积神经网络，张量卷积神经网络根据图像子模块计算待配准图像之间关于参数t的参数关系，并根据参数关系对待配准图像进行配准。中国专利申请CN201610404412.0公开了一种基于深度学习的点云配准方法，其将点云图像转换成深度图像表示，并且使用堆叠卷积自动编码器网络提取深度图像的特征；将提取到的深度图像特征作为输入，输入到卷积神经网络中进行训练，之后利用训练好的堆叠卷积自动编码器网络和配准网络计算两片测试点云之间的配准参数。其优点在于算法的适应性强，对噪声点和异常点不敏感，算法实现较为简单。在利用深度学习技术进行医学图像配准的应用中，传统有监督学习方法通过人工标注数据样本，从而实现配准模型的训练。该方式对于大型数据集的应用，其样本标注过程难以实现，并且配准结果易受人工标注质量的影响。另外，图像配准过程中，寻求同一语义内容所对应的角度变换及位置变换是配准需要面对的核心问题。现有基于深度学习的图像配准模型大部分使用卷积操作进行特征提取。然而，在处理同一实例化特征时，通过使用下采样操作保证空间不变性，忽略了图像的空间层次和方向信息，使得对图像的旋转和角度信息不敏感，大部分现有配准模型中使用的卷积操作容易丢失方向特征信息，从而影响配准模型的精度。

目前常用的方式中存在以下几点问题：一、现有的深度学习技术处理医学图像配准问题的方法获取图像特征的方式通常采用卷积操作以及池化操作，在处理图像特征的不变性问题时由于配准图像与基准图像的特征存在位置以及角度变换差异，传统卷积神经网络不能够有效的检测其具体方向信息，这种空间变换信息的缺失最终会影响到配准模型的性能。在卷积神经网络中，利用池化操作能够带来空间不变性的效果，当内容发生很小的变化时，例如小尺度的平移旋转等，虽然卷积神经网络仍然能够识别对应内容。但实际上池化操作使其丢失了空间信息，该情况对分类任务影响不大，但是对配准任务影响很大。在使用卷积神经网络进行配准时只有使用数据增强等方式，卷积网络才能做到对旋转等位置变化信息更好的识别，但其本质上存在易丢失图像的空间层次信息和方向信息的问题，使得对配准图像同一语义内容的空间变换信息识别不敏感，从而影响配准精度。二、以上使用深度学习技术进行医学图像配准采用有监督学习方式，有监督的图像配准需要人工对训练样本进行配准图像区域标注，在训练过程中通过预测信息与标签信息进行对比以反馈网络损失，人工进行样本标注的过程耗时耗力，对于大样本量的数据集标注过程周期过长，难以实现。并且人工样本标注高度依赖专业医师的专业知识，大批量的人工样本标注易出现标注误差，配准结果极易受到标注质量的影响。三、传统卷积神经网络采用的池化操作易丢失空间位置信息丢失，达到高精度的结果往往需要训练集有大量并且丰富的训练样本，以供神经网络充分学习各种多样化的目标的形状姿态特征，因此传统深度学习配准模型往往需要大量的训练样本。而对于医学图像处理任务，图像样本由于病人隐私，诊断仪器不同等原因，难以获得规格较为统一的大批量的训练样本，因此传统深度学习配准任务由于网络结构需求大型训练集但事实难以充分获得训练样本，从而影响配准精度。

发明内容

本发明实施例提供了一种基于深度学习的图像配准方法及装置，具有高精度、高鲁棒性的优点。

第一方面，本发明提供一种基于深度学习的图像配准方法，所述方法包括：

将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；

构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；

通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

作为一种可选的方案，所述将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征，包括：

将基准图像和待配准图像两张图像，以双通道形式输入；

通过若干卷积层对待配准图像以及基准图像进行低维信息提取。

作为一种可选的方案，所述构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量，包括：

通过构建胶囊层，将所述低维信息作为输入，输入到所述胶囊层，

将待配准图像与基准图像的局部特征的向量集合作为每一个胶囊层的输入输出，通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，从高级胶囊层提取到具有空间位置信息的高维特征向量。

作为一种可选的方案，所述通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出，包括:

构建融合图像网络，并优化目标函数,通过高级胶囊层提取到的高维全局特征向量，对配准后的基准图像和待配准图像进行预测与重构,计算配准融合图像与基准图像的梯度互信息作为损失函数，将特征提取网络和配准融合网络参数统一训练，迭代更新转换矩阵参数和胶囊层间的耦合系数，配准图像与基准图像相似度达到最优时迭代结束，获得最终融合图像作为配准后图像输出。

作为一种可选的方案，所述通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，包括：

上层配准图像特征提取获得的向量u_i输入到本层中，在本层中，前层的输出u_i与可优化的转换矩阵W_ij相乘得出的预测向量其中：

预测向量之间通过线性组合获得向量加权和S_j，其线性组合的系数大小由c_ij决定，表示为：

在获得S_j之后，通过压缩函数将S_j向量长度限定，获得输出向量v_j，其计算公式为：

该非线性函数前一部分是输入向量S_j的缩放尺度，后一部分是输入向量的单位向量S_j，对于通过线性组合方式计算S_j的过程中，系数c_ij为常量。c_ij的计算公式为：

其中b_ij为常量，b_ij的数值通过上次迭代b_ij的值和与v_j的乘积计算得出，对于b_ij的更新方式为：

常量c_ij由b_ij计算决定，在迭代运算中，b_ij与两个输出向量的位置与类型相关。

作为一种可选的方案，所述损失函数表示为：

Loss＝NI(A，B)＝G(A，B)·I(A，B)；

其中：

其中I(A，B)表示了配准图像与基准图像的互信息，G(A，B)反映了配准前后高频信息和梯度方向的变化。

作为一种可选的方案，所述待配准图像的图像格式为MRI切片图像、DTI切片图像或X射线影像。

作为一种可选的方案，所述卷积层的激活函数采用ReLU函数。

第二方面，本发明提供一种基于深度学习的图像配准装置，所述装置包括：

局部特征提取单元，用于将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；

高维特征向量提取单元，用于构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；

处理单元，用于通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于深度学习的图像配准方法及装置，通过利用胶囊网络构建图像配准模型，由向量特征表示和路由选择机制代替传统深度学习卷积网络中的标量表示和池化机制，逐级连接不同层次的胶囊以进行特征间组合；通过构建基于胶囊向量的图像融合网络，以输出与参考图像同样维度大小的融合图像作为配准输出；通过构建基于图像间相似性度量的损失函数，以反馈训练网络参数，优化无监督学习的配准网络，实现具有高精度、高鲁棒性的图像配准操作。

附图说明

图1是本发明实施例中提供的基于深度学习的图像配准方法的流程图；

图2是本发明实施例中提供的基于深度学习的图像配准方法的原理示意流程图；

图3是本发明实施例中提供的基于深度学习的图像配准方法中路由选择机制的流程图；

图4是本发明实施例中提供的基于深度学习的图像配准方法的实例化的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图1所示，本发明提供一种基于深度学习的图像配准方法，所述方法包括：

S101、将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征。

具体地，将基准图像和待配准图像两张图像，以双通道形式输入，通过若干卷积层对待配准图像以及基准图像进行低维信息提取。

S102、构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量。

具体地，通过构建胶囊层，将所述低维信息作为输入，输入到所述胶囊层，将待配准图像与基准图像的局部特征的向量集合作为每一个胶囊层的输入输出，通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，从高级胶囊层提取到具有空间位置信息的高维特征向量。

S103、通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

具体地，构建融合图像网络，并优化目标函数，通过高级胶囊层提取到的高维全局特征向量，对配准后的基准图像和待配准图像进行预测与重构，计算配准融合图像与基准图像的梯度互信息作为损失函数，将特征提取网络和配准融合网络参数统一训练，迭代更新转换矩阵参数和胶囊层间的耦合系数，配准图像与基准图像相似度达到最优时迭代结束，获得最终融合图像作为配准后图像输出。

本发明将无监督学习方法引入到配准技术中，不需要传统配准算法繁杂的人工样本标注过程，免去人工对训练样本进行标注的步骤，缩减了图像配准任务的工作周期，减小了医学图像配准的人工工作量，提高整体配准过程的效率。将胶囊网络结构引入到图像配准技术中，提高了神经网络对配准图像空间变化信息的识别敏感度。能够识别配准特征图像的层次信息以及同一语义内容在配准过程中的角度，位置等形变信息。从而提高配准精度。

作为一种可选的方案，所述通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，包括：

上层配准图像特征提取获得的向量u_i输入到本层中，在本层中，前层的输出u_i与可优化的转换矩阵W_ij相乘得出的预测向量其中：

在本发明中，u_i为向量，矩阵相乘是一个仿射变换，这一点区别于传统的深度学习配准网络，通过向量运算保留了医学图像配准问题中关键的方向和层次信息。预测向量之间通过线性组合获得向量加权和S_j，其线性组合的系数大小由c_ij决定，表示为：

对多个维度向量进行加权求和，权重矩阵c通过动态路由算法求得。在获得S_j之后，通过压缩函数将S_j向量长度限定，获得输出向量v_j，其计算公式为：

在当前输入单元中，每个胶囊单元所代表实体的向量长度表示的是该实体所出现的概率大小，由于表示的是一个概率值，因此利用一个非线性“挤压”函数来保证将短的向量压缩为长度接近0，将长的向量压缩为长度接近1的值。该非线性函数前一部分是输入向量S_j的缩放尺度，后一部分是输入向量的单位向量S_j，对于通过线性组合方式计算S_j的过程中，系数c_ij为常量。c_ij的计算公式为：

通过迭代路由过程，每个活动的胶囊将选择在上层中的胶囊作为它前序单元。对于配准高级特征提取来说，该迭代过程将解决特征组合传递问题。其中b_ij为常量，b_ij的数值通过上次迭代b_ij的值和与v_j的点积运算得出，对于b_ij的更新方式为：

b_ij依赖于两个胶囊特征向量的位置与类型，其更新会赋予与均值接近的各个点更高权重。常量c_ij由b_ij计算决定，在迭代运算中，b_ij与两个输出向量的位置与类型相关。

作为一种可选的方案，所述损失函数表示为：

Loss＝NI(A，B)＝G(A，B)·I(A，B)；

其中：

其中I(A，B)表示了配准图像与基准图像的互信息，G(A，B)反映了配准前后高频信息和梯度方向的变化。本发明设计了基于图像间相似性度量的损失函数，以反馈训练网络参数，优化无监督学习的配准网络。

作为一种可选的方案，所述待配准图像的图像格式为MRI(磁共振成像，MagneticResonance Imaging)切片图像、DTI(弥散张量成像，diffusion tensor imaging)切片图像或X射线影像，当然还可以根据需要进行其他格式图片的配准，对此不做限定。

作为一种可选的方案，所述卷积层的激活函数可以采用ReLU函数，对此不做限定。

结合图2所示，本发明实施例中还提供一种基于深度学习的图像配准方法，具体包括以下部分：

S1、局部特征提取

步骤a1：将基准图像和待配准图像两张图像，(图像格式可为MRI，DTI切片图像，X射线影像等)，以双通道形式输入局部特征提取网络模块。

步骤a2：将输入通过若干卷积层对配准图像以及基准图像低级特征进行提取。其中卷积层激活函数采用ReLU函数。

S2、高维全局特征信息提取

步骤b1：通过构建胶囊层，将步骤a提取获得的低级特征作为输入，输入到胶囊层，获得保留空间位置信息的高维特征向量。

步骤b2：胶囊单元与胶囊单元间传递包含了路由选择算法，通过路由选择机制可构建出当前最能够表征所有输入特征的高级特征。并且将其输出输入到下一层，结合图3所示，本配准算法胶囊层间运算机制。

在步骤b2中描述的层间计算方式具体为：

设上层配准图像特征提取获得的向量u_i输入到本层中，在本层中，前层的输出u_i与可优化的转换矩阵W_ij相乘得出的预测向量其中：

在本发明中，u_i为向量，矩阵相乘是一个仿射变换，这一点区别于传统的深度学习配准网络，通过向量运算保留了医学图像配准问题中关键的方向和层次信息。预测向量之间通过线性组合获得向量加权和S_j，其线性组合的系数大小由c_ij决定，表示为：

对多个维度向量进行加权求和，权重矩阵c通过动态路由算法求得。在获得S_j之后，通过压缩函数将S_j向量长度限定，获得输出向量v_j，其计算公式为：

其中v_j代表该胶囊层第j个胶囊单元提取出的配准高维特征信息，s_j为上一胶囊层所有胶囊提取的特征向量到胶囊单元j的向量加权和。在当前输入单元中，每个胶囊单元所代表实体的向量长度表示的是该实体所出现的概率大小，由于表示的是一个概率值，因此利用一个非线性“挤压”函数来保证将短的向量压缩为长度接近0，将长的向量压缩为长度接近1的值。该非线性函数前一部分是输入向量S_j的缩放尺度，后一部分是输入向量的单位向量，对于上述通过线性组合方式计算S_j的过程中，系数c_ij为常量，c_ij的计算公式为：

通过迭代路由过程，每个活动的胶囊将选择在上层中的胶囊作为它前序单元。对于配准高级特征提取来说，该迭代过程将解决特征组合传递问题。其中b_ij为常量，b_ij的数值通过上次迭代b_ij的值和与v_j的乘积计算得出，对于b_ij的更新方式为：

b_ij依赖于两个胶囊特征向量的位置与类型，其更新会赋予与均值接近的各个点更高权重。常量c_ij由b_ij计算决定，在迭代运算中，b_ij依赖于两个输出向量的位置与类型，但不依赖于当前的输入图像。

步骤b3：当在若干层传递之后得到高维输出向量v。

S3、构建图像融合网络与损失计算

步骤c：构建融合图像网络，并优化目标函数。通过高级胶囊层提取到的高维全局特征向量，对配准后的图像进行预测与重构。计算配准融合图像与基准图像的梯度互信息作为目标函数，将特征提取网络和配准融合网络参数统一训练，以使配准图像与基准图像相似度达到最优。本方案以梯度互信息度量配准图像与基准图像的相似性并作为损失函数。

损失函数表示为：

Loss＝NI(A，B)＝G(A，B)·I(A，B)，

其中：

其中I(A，B)表示了配准图像与基准图像的互信息，G(A，B)反映了配准前后高频信息和梯度方向的变化。迭代更新转换矩阵参数和胶囊层间的耦合系数，以优化目标函数。最优化的目标函数表示融合图像与基准图像的相似度达到最优，此时的融合图像作为配准后的图像输出。

步骤d：迭代结束，获得最终融合图像作为配准后图像。

本发明提供的基于深度学习的图像配准方法，将深度学习技术应用于图像配准的方法，针对卷积神经网络在医学图像配准中的不足以及CNN在下采样过程中丢失方向和空间层次信息的问题，将胶囊网络思想加入到配准网络。胶囊层将局部特征整合为特征实体的属性，并逐层整合为更高级的特征实体，更关注于基准图像与待配准图像的空间层次和方向特征。使得配准过程更具有解剖意义，从而提高配准精度。另外，针对有监督学习方法获取大量标注数据困难、配准结果受标注质量影响大的问题，通过使用无监督学习方式，省去样本标注过程，极大的减小人工参与的过程，提高医学图像配准的自动化集成度。

为了方便对本发明提供的基于深度学习的图像配准方法进行理解，结合一种应用场景进行说明，代入示例参数举例，但具体实现不局限于本例的具体参数及网络层数。

1.输入层：输入为2×96×96的张量(分别对应为一张96×96分辨率的基准图像与一张96×96分辨率的待配准图像)。

2.卷积层1：采用7×7×256的卷积核，步幅为5，使用了ReLU激活函数，在2×100×100的张量上获得256个大小为18×18的特征图，经过这一层卷积后,张量规模变为18×18×256。

3.卷积层2：第二个卷积层开始作为胶囊层的输入而构建相应的张量结构。使用32×8个7×7的卷积核，步幅为2，输出张量为6×6×8×32，即输出了6×6×32个维度为8的特征向量。

4.胶囊1层：在卷积层2输出的向量基础上进行传播与路由更新。卷积层2共输出6×6×32＝1152个特征向量，通过设定权值个数W_i＝1152×100，每个为8×64的向量，获得100个高级特征向量。

5.胶囊2层：在胶囊1层输出的向量基础上进行传播与路由更新，通过设定权值个数W_i＝100×1，每个为64×256的向量，获得1个长度为256的高级特征向量。

6.全连接层1：长度为256的向量输入到全连接层，全连接层共1024个神经元，激活函数ReLU。

7.全连接层2：共2048个神经元，激活函数ReLU。

8.全连接层3：共9216个神经元，激活函数ReLU。获得9216(96×96)个数值作为融合图像输出。

9.损失函数计算：将全连接层3输出数值与基准图像对应像素值计算损失函数，进行反向传播，优化损失函数，得到最终融合图像作为配准图像输出。

结合图4所示，在配准应用中胶囊网络层间的数学运算实际上具有相对应的实例化意义，对于胶囊层间运算的线性组合机制与路由机制的实例化，本实例化说明以骨关节的医学图像配准作为举例。例如，在局部特征提取网络使用卷积操作对骨关节图像进行局部特征向量提取后，获得待配准图像与基准图像的局部特征向量图，通过权值矩阵W获得加权后的特征，各特征表达的实例化信息不同，例如，u₁可能表征骨关节图像配准中骨关节宽度的实例化特征，u₂可能表征骨骼外轮廓信息，通过线性组合将u₁，u₂两个特征进行组合，获得高维全局特征向量。通过路由算法迭代更新耦合系数，在加权特征中选择出更能够表达配准图像有效信息的特征，基于胶囊网络的图像配准方法通过高效的图像特征提取方式以及高效保留图像空间位置变化信息，相对于传统图像配准任务，降低了神经网络处理配准任务时对于训练样本量的需求，相比下通过少量样本即可达到相应的较高精度。

需要说明的是，本发明提供的基于深度学习的图像配准方法，不仅可以用在医学图像配准场合，还可以应用在地理图像信息配准或遥感图像信息配准等场合，即符合一般配准标准的任务，其不同之处只需要在训练阶段替换为相应的训练样本利用本系统进行学习。

相应地，本发明提供一种基于深度学习的图像配准装置，用于实现上述基于深度学习的图像配准方法，所述装置包括：

局部特征提取单元，用于将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；

高维特征向量提取单元，用于构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；

处理单元，用于通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

本发明提供的基于深度学习的图像配准装置，使用胶囊特征提取方法应用于图像配准算法，将路由选择机制与线性组合机制引入到配准中，能够提取含有图像空间位置变换信息的特征向量，替代使用卷积操作进行图像配准特征提取的过程，从而提高配准图像特征提取的效率。使用胶囊特征提取方法，引用胶囊层对低级特征进行高维整合，改进了配准模型提取图像特征的效率，减少了配准任务对训练样本的需求量。提出了新的融合基准图像与待配准图像高维特征的方法，从而提高在配准图像中原图像有效特征信息的保留性。引入了梯度互信息度量来直接计算构建图像的信息损失度，替代有监督学习使用图像标签计算损失函数的方法，从而免去了人工标注的必要性，提高图像配准工作效率，缩短工作周期，本发明提供的图像配准算法将训练收敛的网络移植到硬件平台，可做实现单机识别，而且方便后续的系统升级和更新。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上对本发明所提供的一种基于深度学习的图像配准方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于深度学习的图像配准方法，其特征在于，所述方法包括：

将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；

构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；

通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

2.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征，包括：

将基准图像和待配准图像两张图像，以双通道形式输入；

通过若干卷积层对待配准图像以及基准图像进行低维信息提取。

3.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量，包括：

通过构建胶囊层，将所述低维信息作为输入，输入到所述胶囊层，

将待配准图像与基准图像的局部特征的向量集合作为每一个胶囊层的输入输出，通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，从高级胶囊层提取到具有空间位置信息的高维特征向量。

4.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出，包括：

构建融合图像网络，并优化目标函数，通过高级胶囊层提取到的高维全局特征向量，对配准后的基准图像和待配准图像进行预测与重构，计算配准融合图像与基准图像的梯度互信息作为损失函数，将特征提取网络和配准融合网络参数统一训练，迭代更新转换矩阵参数和胶囊层间的耦合系数，配准图像与基准图像相似度达到最优时迭代结束，获得最终融合图像作为配准后图像输出。

5.根据权利要求3所述的基于深度学习的图像配准方法，其特征在于，所述通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，包括：

上层配准图像特征提取获得的向量u_i输入到本层中，在本层中，前层的输出u_i与可优化的转换矩阵W_ij相乘得出的预测向量其中：

预测向量之间通过线性组合获得向量加权和S_j，其线性组合的系数大小由c_ij决定，表示为：

在获得S_j之后，通过压缩函数将S_j向量长度限定，获得输出向量v_j，其计算公式为：

该非线性函数前一部分是输入向量S_j的缩放尺度，后一部分是输入向量的单位向量S_j，对于通过线性组合方式计算S_j的过程中，系数c_ij为常量。c_ij的计算公式为：

其中b_ij为常量，b_ij的数值通过上次迭代b_ij的值和与v_j的乘积计算得出，对于b_ij的更新方式为：

常量c_ij由b_ij计算决定，在迭代运算中，b_ij与两个输出向量的位置与类型相关。

6.根据权利要求4所述的基于深度学习的图像配准方法，其特征在于，所述损失函数表示为：

Loss＝NI(A，B)＝G(A，B)·I(A，B)；

其中：

其中I(A，B)表示了配准图像与基准图像的互信息，G(A，B)反映了配准前后高频信息和梯度方向的变化。

7.根据权利要求1所述的基于深度学习的图像配准装置，其特征在于，

所述待配准图像的图像格式为MRI切片图像、DTI切片图像或X射线影像。

8.根据权利要求2所述的基于深度学习的图像配准装置其特征在于，

所述卷积层的激活函数采用ReLU函数。

9.一种基于深度学习的图像配准装置，其特征在于，所述装置包括：

局部特征提取单元，用于将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；

高维特征向量提取单元，用于构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；

处理单元，用于通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。