CN112614205B

CN112614205B - 图像重建方法及装置

Info

Publication number: CN112614205B
Application number: CN202011595714.3A
Authority: CN
Inventors: 于朋鑫; 夏晨; 张荣国; 李新阳; 王少康; 陈宽
Original assignee: Infervision Medical Technology Co Ltd
Current assignee: Infervision Medical Technology Co Ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2021-09-28
Anticipated expiration: 2040-12-28
Also published as: CN112614205A

Abstract

本发明提供了一种图像重建的方法，其特征在于，包括：获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图。本发明实施例中的方法可以提升图像重建效果，使生成的重建图像更加真实。

Description

图像重建方法及装置

技术领域

本发明涉及医疗设备技术领域，具体涉及一种图像重建方法及装置。

背景技术

电子计算机断层扫描(computed tomography，CT)图像可以分为薄层CT和厚层CT。与厚层CT相比，薄层CT具有更高的空间分辨率，因此，薄层CT在临床实践中的应用非常广泛，医生基于薄层CT，可以实现更精确的诊断。但是，薄层CT相比于厚层CT具有若干倍的数据量增加，这对于数据的传输，存储都造成了更大的挑战，而且，薄层CT需要更长的扫描时间，这意味着患者需要接受更长时间的放射扫描。而直接使用厚层CT的效果并不理想。

因此，在实际中，通常对厚层CT进行图像重建，生成虚拟薄层CT，随后再基于生成的薄层CT进行医学诊断。这里的图像重建可以视为在深度维度上对厚层CT进行图像的超分辨率。但是，当将超分辨率结合到基于厚层CT进行薄层CT重建的计算量和复杂度往往比较高，而且生成的薄层CT的效果也不理想。

发明内容

有鉴于此，本发明实施例致力于提供一种图像重建方法及装置，以解决现有技术中基于厚层CT进行图像重建生成的虚拟薄层CT的效果不理想的问题。

第一方面，本发明提供了一种图像重建的方法，该方法包括：

获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图。

在本发明实施例中，根据所述第一特征图及所述第二特征图确定迁移特征矩阵，并基于所述迁移特征矩阵对所述第二特征图进行特征增强，可以将所述第一图像中的全局信息迁移至所述输出特征图中，从而可以使得所述输出特征图中保留了所述第一图像中的纹理信息，使图像重建生成的重建图像更加真实。

同时，在本发明实施例中的图像重建过程中，使用基于注意力机制的特征迁移方法来获取所述第一图像中的全局信息，可以减少所述第一图像被下采样的次数，从而能够避免特征迁移过程中所述第一图像的纹理信息的丢失。

在一个实施例中，所述根据所述第一特征图生成第二特征图，包括：

使用多个卷积块对所述第一特征图进行卷积，得到多个第二候选特征图；将所述多个第二候选特征图在深度方向进行拼接，得到所述第二特征图。

在一个实施例中，所述根据所述第一图像及所述第二图像确定迁移特征矩阵，包括：

从所述第一特征图中选取K层第一候选特征图，所述K层第一候选特征图与所述第二特征图具有最小空间距离，K为正整数；计算所述第二图像与所述K层第一候选特征图的相关性，得到K个相关性矩阵，所述K个相关性矩阵与所述K层第一候选特征图对应；根据所述K层第一候选特征图及所述K个相关性矩阵确定所述迁移特征矩阵。

其中，所述空间距离可以为欧式距离。

在一个实施例中，所述根据所述K层第一候选特征图及所述K个相关性矩阵确定所述迁移特征矩阵，包括：

对于所述第二特征图中的每个特征点的位置，确定所述K个相关性矩阵中的目标相关性矩阵，所述目标相关性矩阵在所述每个特征点位置在相关性取值最大；根据所述目标相关性矩阵在所述每个特征点位置对应的所述K层第一候选特征图中的特征值，确定初始迁移特征矩阵；根据所述目标相关性矩阵在所述每个特征点位置在相关性取值，确定相关性最大矩阵；根据所述迁移特征矩阵及所述相关性最大矩阵确定所述迁移特征矩阵。

在一个实施例中，所述根据所述迁移特征矩阵及所述相关性最大矩阵确定所述迁移特征矩阵，包括：

确定所述相关性最大矩阵中每个位置与所述第二特征图中与所述每个位置对应的位置之间的目标距离；根据归一化后的所述目标距离确定归一化空间距离矩阵；将所述相关性最大值矩阵与所述归一化空间距离矩阵相乘，得到所述相关性权重矩阵；根据所述迁移特征矩阵及所述相关性权重矩阵确定所述迁移特征矩阵。

其中，所述目标距离可以为欧式距离。

第二方面，提供了一种图像重建的装置，包括：

获取模块，用于获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；生成模块，用于根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；确定模块，用于根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；特征增强模块，用于基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图。

在本发明实施例中，根据所述第一特征图及所述第二特征图确定迁移特征矩阵，并基于所述迁移特征矩阵对所述第二特征图进行特征增强，可以将所述第一图像中的全局信息迁移至所述输出特征图中，从而可以使得所述输出特征图中保留了所述第一图像中的纹理信息，使所述输出特征图更加真实。

在一个实施例中，所述生成模块具体用于：

在一个实施例中，所述确定模块具体用于：

第三方面，提供了一种图像重建的装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。

第四方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。

第五方面，提供一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。

附图说明

图1适用于本发明实施例的一个应用场景图。

图2为本发明一个实施例中的图像重建的方法的示意性框图。

图3为本发明另一个实施例中的图像重建的方法的示意性框图。

图4为本发明实施例中的子像素卷积模块的示意性框图。

图5为本发明实施例中的特征迁移模块的示意性框图。

图6为本发明一个实施例提供的图像重建的装置的示意性框图。

图7为本发明另一个实施例提供的图像重建的装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中的方法可以应用于各种对电子计算机断层扫描(computedtomography，CT)图像进行图像重建的场景，本发明实施例中对此并不限定。例如，本发明实施例中的方法可以应用于基于厚层CT进行薄层CT图像重建的场景。

下面结合图1中的应用场景100，以基于厚层CT进行薄层CT图像重建为例，对本发明实施例的具体应用进行介绍。需要说明的是，下述关于图1的描述仅为示例而非限定，本发明实施例中的方法并不限于上述场景，也可以应用于其他对CT图像进行图像重建的场景。

本发明实施例中的方案也可以用于对其他医学图像进行图像重建，例如，对磁共振成像(magnetic resonance imaging，MRI)图像进行图像重建，本发明实施例中对具体的医学图像的类型并不限定。

图1为适用于本发明实施例的一个应用场景图。

图1中的应用场景100可以包括图像获取装置110及图像重建装置120。

需要说明的是，图1所示的应用场景仅为示例而非限定，图1所示的应用场景中可以包括更多或更少的装置或设备，本发明实施例中对此并不限定。

其中，所述图像获取装置110可以为电子计算机断层(computed tomography，CT)扫描仪、磁共振成像(magnetic resonance imaging，MRI)或其他用于拍摄医学图像的装置或设备，所述图像重建装置120可以为计算机设备、服务器(例如，云端服务器)或其他能够对图像进行图像重建等处理的装置或设备。

可以看出，本发明实施例对医学图像并不限定，本发明实施例中的所述医学图像可以包括CT图像、MRI图像或其他应用于医学领域的图像。

例如，所述图像获取装置110可以为CT扫描仪，CT扫描仪可以用于对人体组织进行X线扫描，得到人体组织的CT图像序列。

在一实施例中，通过CT扫描仪对骨骼进行扫描，可以得到包括骨骼的横断位CT图像序列。该骨骼例如可以为动物或者人体的脊柱、胫骨、股骨、肋骨和髌骨或者其他骨组织，本发明实施例中对此不作限定。

需要说明的是，本发明实施例中提到的CT图像(或CT图像序列)可以为厚层CT图像或薄层CT图像。例如，厚层CT图像的层厚可以为5-10毫米(mm)，薄层CT图像的层厚可以为1mm左右。关于厚层CT图像或薄层CT图像的具体定义和具体描述可以参考现有技术，本发明实施例中对此不再赘述。

例如，所述图像重建装置120可以为计算机设备，所述计算机设备可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本发明实施例中对此不做限定。

本领域技术人员可以知晓，上述计算机设备的数量可以为一个或大于一个，多个计算机设备的类型可以相同或者不同。本发明实施例中对终端的数量和设备类型不加以限定。

计算机设备中可以部署有神经网络模型，用于对待处理图像进行图像重建等处理。计算机设备可以对其从CT扫描仪获取到的厚层CT图像(或厚层CT图像序列)进行图像重建，生成薄层CT图像。

例如，计算机设备可以通过其中部署的神经网络模型对该厚层CT图像进行图像重建，生成薄层CT图像。

计算机设备可以为服务器或云端服务器，直接对待处理图像进行图像重建等处理。

或者，计算机设备也可以与服务器(图1中未示出)之间通过通信网络相连。计算机设备可以将其从CT扫描仪获取到的厚层CT图像(或厚层CT图像序列)等发送给服务器，利用服务器中的神经网络模型生成薄层CT图像，并且将该生成的薄层CT图像存储为样本图像，以对服务器中的神经网络模型进行训练，得到用于图像重建的神经网络模型。

计算机设备还可以从服务器中获取厚层CT图像(或厚层CT图像序列)，进而通过神经网络模型对厚层CT图像(或厚层CT图像序列)进行图像重建，以生成薄层CT图像，本发明实施例中对此不做限定。

图2是本发明一个实施例的图像重建的方法200的示意性框图。

所述方法200可以由图1中的图像重建装置120执行，或者所述方法200也可以由服务器或云端服务器(图1中未示出)执行，本发明实施例中对此并不限定。

应理解，图2示出了方法200的步骤或操作，但这些步骤或操作仅是示例，本发明实施例还可以执行其他操作或者图2中方法200的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。

如图2所示，所述方法200可以包括步骤210、步骤220、步骤230及步骤240，具体如下：

S210，获取第一图像的第一特征图。

其中，所述第一图像可以为电子计算机断层(computed tomography，CT)图像。

所述第一图像可以包括多层图像。例如，所述第一图像可以是由厚层CT图像中连续的D层图像组成的，D为正整数。

相应地，所述第一特征图可以是由D层特征图组成的三维图像或三维数据，这D层特征图可以分别对应所述第一图像中的D层图像。

或者，所述第一图像也可以为MRI图像或其他应用于医学领域的图像等。

S220，根据所述第一特征图生成第二特征图。

其中，所述第二特征图的深度可以大于所述第一特征图的深度。

可选地，根据所述第二特征图可以确定出其对应的第二图像，因此，也可以说，(所述第二特征图对应的)所述第二图像的层数大于所述第一图像的层数。

可选地，所述根据所述第一特征图生成第二特征图，可以包括：

其中，所述候选特征图的尺寸可以与所述第一特征图的尺寸相同。

S230，根据所述第一特征图及所述第二特征图确定迁移特征矩阵。

其中，所述迁移特征矩阵可以用于表示所述第一图像的全局信息。

可选地，所述根据所述第一图像及所述第二图像确定迁移特征矩阵，可以包括：

从所述第一特征图中选取K层第一候选特征图，所述K层第一候选特征图与所述第二特征图具有最小空间距离；

计算所述第二图像与所述K层第一候选特征图的相关性，得到K个相关性矩阵，所述K个相关性矩阵与所述K层第一候选特征图对应；

根据所述K层第一候选特征图及所述K个相关性矩阵确定所述迁移特征矩阵。

其中，K可以小于或等于D的正整数。这里的空间距离可以指欧式距离，关于空间距离的具体计算方法可以参照现有技术，本发明实施例中不再赘述。

可选地，所述空间距离可以为欧式距离。

可选地，所述根据所述K层第一候选特征图及所述K个相关性矩阵确定所述迁移特征矩阵，可以包括：

对于所述第二特征图中的每个特征点的位置，确定所述K个相关性矩阵中的目标相关性矩阵，所述目标相关性矩阵在所述每个特征点位置在相关性取值最大；

根据所述目标相关性矩阵在所述每个特征点位置对应的所述K层第一候选特征图中的特征值，确定初始迁移特征矩阵；

根据所述目标相关性矩阵在所述每个特征点位置在相关性取值，确定相关性最大矩阵；

根据所述迁移特征矩阵及所述相关性最大矩阵确定所述迁移特征矩阵。

其中，上述相关性矩阵可以通过正则化内积计算得到，但本发明实施例中也不限定使用正则化内积计算相关性矩阵，也可以使用其他方法计算相关性矩阵。

关于相关性的具体计算方法可以参照现有技术，本发明实施例中不再赘述。

可选地，所述根据所述迁移特征矩阵及所述相关性最大矩阵确定所述迁移特征矩阵，可以包括：

确定所述相关性最大矩阵中每个位置与所述第二特征图中与所述每个位置对应的位置之间的目标距离；

根据归一化后的所述目标距离确定归一化空间距离矩阵；

将所述相关性最大值矩阵与所述归一化空间距离矩阵相乘，得到所述相关性权重矩阵；

根据所述迁移特征矩阵及所述相关性权重矩阵确定所述迁移特征矩阵。

其中，所述目标距离可以为欧式距离。

上述关于归一化的具体计算方法可以参照现有技术，本发明实施例中不再赘述。

S240，基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图。

例如，可以将所述迁移特征矩阵对所述第二特征图逐像素相加，以实现对所述第二特征图进行特征增强，相加后得到的就是所述输出特征图。

此时，就可以认为已经将所述迁移特征矩阵包含的(或者说携带的)所述第一图像的全局信息融合至所述输出特征图中。

进一步地，可以根据所述输出特征图确定输出的重建图像，即对所述第一图像进行图像重建后生成的重建图像。

同时，所述重建图像的深度大于所述第一图像的深度，所述第一图像可以是由厚层CT图像中连续的D层图像组成的，所述重建图像也可以称为是薄层CT图像(或者称为虚拟薄层CT图像)。

5mm层厚CT和1mm层厚CT是临床实践中具有代表性的厚层CT数据(或也可以称为厚层CT图像)与薄层CT数据(或也可以称为薄层CT图像)，下面结合图3，以基于5mm层厚的厚层CT数据重建1mm层厚的薄层CT数据为例，对本发明一个实施例中的图像重建的方法的处理过程进行描述。

图3是本发明一个实施例的图像重建的方法300的示意性框图。

所述方法300可以由图1中的图像重建装置120执行，或者所述方法300也可以由服务器或云端服务器(图1中未示出)执行，本发明实施例中对此并不限定。

应理解，图3示出了方法300的步骤或操作，但这些步骤或操作仅是示例，本发明实施例还可以执行其他操作或者图3中方法300的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。

S310，获取厚层CT数据中的D层三维数据。

如图3所示，可以从厚层CT数据中选择连续的D层组成三维数据输入网络中。

其中，该三维数据的尺寸为1*D*H*W，D、H、W均为正整数。如图3所示，为了便于描述，可以将该三维数据记为I_forRec。

上述厚层CT数据可以通过图1中的图像获取装置110获取到的CT图像。

S320，对I_forRec进行下采样处理。

如图3所示，I_forRec可以通过一个下采样模块得到I_d2，(I_d2中的)d2可以表示I_d2是对I_forRec进行2倍下采样后得到的。

如图3所示，I_d2的尺寸可以为D*H/2*W/2。

S322，对I_d2进行下采样处理。

如图3所示，I_d2可以通过一个下采样模块得到I_d4，(I_d4中的)d4可以表示I_d4是对I_forRec进行4倍下采样后得到的。

如图3所示，I_d4的尺寸可以为D*H/4*W/4。

S330，通过子像素注意力模块对I_d2进行处理。

S332，通过特征迁移模块对子像素注意力模块输出的结果进行处理，得到O_d2A。

S340，通过子像素注意力模块对I_d4进行处理。

S342，通过特征迁移模块对子像素注意力模块输出的结果进行处理，得到O_d4。

S350，对O_d4进行上采样处理，得到O_d2B。

S360，对O_d2A和O_d2B进行合并。

如图3所示，可以在特征通道维度对O_d2A和O_d2B进行合并，再对合并后的结果进行上采样处理，得到O_d1。

S370，对O_d1进行后处理得到最终的输出O_Rec。

其中，输出模块可以参考现有技术中的编解码结构中的对应模块。

例如，在输出模块中，可以使用三维1*1*1卷积得到最终的输出O_Rec。

如图3所示，通过输出模块进行处理O_d1，得到最终输出的重建图像O_Rec。

这个O_Rec也可以称为是薄层CT图像(或者称为虚拟薄层CT图像)。

其中，O_Rec的尺寸可以为5x(D-1)+1，其重建出的薄层与原始厚层的关系如图中实线与虚线所示。如图3所示，O_Rec可以认为是在每两个厚层之间，重建出四个薄层。

在上述实施例的方法中，I_d4只进行了两次下采样，最大缩小倍率为4倍，并且，在待重建的深度维度上没有进行任何的下采样，较少的下采样次数确保了重要的纹理信息不会发生无法挽回的丢失，同时，I_d2只进行了一次下采样，其特征也合并到了最终的输出中，进一步避免了重建图像中的纹理信息的丢失。

图3示出的网络结构中总共包含五个模块：下采样模块，子像素卷积模块，特征迁移模块，上采样模块和输出模块。

其中，下采样模块，上采样模块和输出模块均可参考目前已有的编解码结构中的对应模块。

在下采样模块中，可以使用三维卷积，但是三维卷积的卷积核在D维度上大小为1，即只对每一层内的信息进行计算。并且，下采样倍率为2，只针对H和W维度执行，不对D维度执行。

在上采样模块中，为了减少模型的计算量，可以使用三线性插值对H和W维度执行2倍上采样，不对D维度执行。

在输出模块中，可以使用三维1*1*1卷积得到最终预测结果，是一个[-1,1]之间的小数值。

在上述三个模块中，可以不加入目前深度学习模型中惯用的批归一化层，因为有研究表明批归一化可以会对图像超分辨率任务有负面影响。

在上述三个模块以外，子像素卷积模块和特征迁移模块是本发明的核心，下面分别结合图4和图5，对子像素卷积模块和特征迁移模块进行介绍。

图4是本发明实施例中的子像素卷积模块的示意性框图。

如图4所示，可以将子像素卷积模块的输入记为Layers_I。

首先，可以将Layers_I输入四个独立的三维卷积块中，分别得到Layers_II，Layers_III，Layers_IV，Layers_V。

例如，这四个三维卷积核的尺寸可以均为(3,3,3)，这四个三维卷积核的卷积步长可以均为(1,1,1)，这四个三维卷积核中的padding可以均设为(1,1,1)。

其中，Layers_II，Layers_III，Layers_IV，Layers_V都是与Layers_I尺寸相同的三维数据，Layers_II，Layers_III，Layers_IV，Layers_V的尺寸均为D*H*W，D、H、W均为正整数。

接下来，可以将Layers_I，Layers_II，Layers_III，Layers_IV，Layers_V在深度维度上分层，然后逐层拼接，得到一个深度维度上尺寸为5D的输出图像。

考虑到三维卷积的感受野和期望输出的目标(例如，目标可以为重建出厚层之间的薄层)，因此，可以丢弃输出图像的深度5D中的最后四层，得到一个5x(D-1)+1的输出图像。此时，如图4所示，该输出图像的尺寸变为(5x(D-1)+1)*H*W。

此时，子像素卷积模块的输出图像已经可以用于薄层重建任务，但是，为了提升重建质量，可以使用图5所示的特征迁移模块来优化子像素卷积模块的输出图像。因此，将子像素卷积模块的输入和最终输出(即得到的尺寸变为(5x(D-1)+1)*H*W的输出图像)再输入到特征迁移模块中。

下面结合图5对特征迁移模块进行详细介绍。

图5是本发明实施例中的特征迁移模块的示意性框图。

图5中以(上述图4中子像素卷积模块得到的)所述输出图像中的Layer_IV(2)作为输入，得到的增强后的图像Layer_IV(2)_plus。

需要说明的是，这只是一个说明性示例，在实际计算中可以将(上述图4中子像素卷积模块得到的)所述输出图像中的所有图像均作为输入，来得到各图像对应的增强后的图像。

同时，在图5中可以仅对所述输出图像进行增强，而不对原始图像Layer_I进行增强，因此，原始图像Layer_I中的图像可以不进行这一增强过程。

下面对所述特征迁移模块的处理流程进行说明。

如图5所示，所述特征迁移模块将原始图像的特征图Layer_I和待重建的输出图像特征图Layer_IV(2)作为输入。

首先，从Layer_I中选择与Layer_IV(2)具有最小空间距离的K层，用于特征迁移，K为正整数。在图5所示的实施例中，可以将K设置为4。

这里的空间距离可以指欧式距离，关于空间距离的具体计算方法可以参照现有技术，本发明实施例中不再赘述。

根据CT影像的排列规则，可以很容易的确定被选择的迁移特征层为Layer_I(1)，Layer_I(2)，Layer_I(3)，Layer_I(4)。

接下来，可以使用正则化内积，计算Layer_IV(2)与Layer_I(1)，Layer_I(2)，Layer_I(3)，Layer_I(4)的相关性，如图5所示，可以得到对应的相关性矩阵R_1、R_2、R_3及R_4。

接着，可以对Layer_IV(2)上每一平面位置(h,w)，比较R_1、R_2、R_3及R_4在同一平面位置上的最大值，并根据具有最大相关性的位置所属矩阵确定用于特征迁移的迁移特征层，其中，h与w均为正整数。

例如，可以取迁移特征层上对应位置的特征，放到初始迁移特征矩阵的对应位置上。最终，如图5所示，可以得到一个尺寸与Layer_IV(2)相同的初始迁移特征矩阵。

初始迁移特征矩阵中的每个位置，都有一个对应的相关性值，如图5所示，可以将这个相关性值对应的矩阵定义为相关性最大值矩阵。

再次，可以根据相关性最大值所属的位置和层，可以确定其与目标平面位置在物理空间上的距离。对得到的每个距离值进行归一化，如图5所示，可以得到归一化空间距离矩阵。

此时，可以将相关性最大值矩阵与归一化空间距离矩阵相乘，即得到图5中的相关性权重矩阵。

因为相关性最大值矩阵和归一化空间距离矩阵中的值都在[0,1]之间，因此，相关性权重矩阵中的值也在[0，1]之间。

接下来，可以将相关性权重矩阵与初始迁移特征矩阵进行逐像素乘法，相当于对初始迁移特征矩阵中每个位置上的特征做了一个加权，得到图5中的迁移特征矩阵。

此时，可以使用迁移特征矩阵对Layer_IV(2)进行增强。

例如，可以对两个矩阵进行逐像素加法，即可以得到图5中的增强后的图像Layer_IV(2)_plus。

需要说明的是，可以对(上述图4中子像素卷积模块得到的)所述输出图像中的所有图像的特征图进行上述处理，即可实现全部重建图像特征的增强。待对所述输出图像中的所有图像进行增强之后，就可以得到所述特征迁移模块的输出。

最终，可以将特征迁移模块的输出输入上采样模块或与其他路径的特征迁移模块的输出进行融合，逐步得到最终的重建图像，即薄层CT图像(或者称为虚拟薄层CT图像)。

图6是本发明一个实施例提供的图像重建的装置600的示意性框图。应理解，图6示出的图像重建的装置600仅是示例，本发明实施例的装置600还可包括其他模块或单元。

应理解，装置600能够执行图2及图3的方法中的各个步骤，为了避免重复，此处不再详述。

可选地，所述装置600可以是基于深度学习方法预先训练后得到的。

在本发明一种可能的实现方式中，所述装置包括：

获取模块610，用于获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；

生成模块620，用于根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；

确定模块630，用于根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；

特征增强模块640，用于基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图。

可选地，所述生成模块620具体用于：

可选地，所述确定模块630具体用于：

应理解，这里的图像重建的装置600以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(applicationspecific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

作为一个示例，本发明实施例提供的图像重建的装置600可以是处理器或芯片，以用于执行本发明实施例所述的方法。

图7是本发明一个实施例的图像重建的装置400的示意性框图。图7所示的装置400包括存储器401、处理器402、通信接口403以及总线404。其中，存储器401、处理器402、通信接口403通过总线404实现彼此之间的通信连接。

存储器401可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器401可以存储程序，当存储器401中存储的程序被处理器402执行时，处理器402用于执行本发明实施例的图像重建的方法的各个步骤，例如，可以执行图2及图3所示实施例的各个步骤。

处理器402可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本发明方法实施例的图像重建的方法。

处理器402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本发明实施例的图像重建的方法的各个步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成本发明实施例中图像重建的装置包括的单元所需执行的功能，或者，执行本发明方法实施例的图像重建的方法，例如，可以执行图2及图3所示实施例的各个步骤/功能。

通信接口403可以使用但不限于收发器一类的收发装置，来实现装置400与其他设备或通信网络之间的通信。

总线404可以包括在装置400各个部件(例如，存储器401、处理器402、通信接口403)之间传送信息的通路。

应理解，本发明实施例所示的装置400可以是处理器或芯片，以用于执行本发明实施例所述的方法。

应理解，本发明实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种图像重建的方法，其特征在于，包括：

获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；

根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；

根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；

基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图；

根据所述输出特征图确定重建图像；

其中，所述根据所述第一特征图及所述第二特征图确定迁移特征矩阵，包括：

从所述第一特征图中选取K层第一候选特征图，所述K层第一候选特征图与所述第二特征图具有最小空间距离，K为正整数；

使用正则化内积，计算所述第二特征图与所述K层第一候选特征图的相关性，得到K个相关性矩阵，所述K个相关性矩阵与所述K层第一候选特征图对应；

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图生成第二特征图，包括：

使用多个卷积块对所述第一特征图进行卷积，得到多个第二候选特征图；

将所述多个第二候选特征图在深度方向进行拼接，得到所述第二特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述K层第一候选特征图及所述K个相关性矩阵确定所述迁移特征矩阵，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述迁移特征矩阵及所述相关性最大矩阵确定所述迁移特征矩阵，包括：

根据归一化后的所述目标距离确定归一化空间距离矩阵；

将所述相关性最大值矩阵与所述归一化空间距离矩阵相乘，得到相关性权重矩阵；

5.一种图像重建的装置，其特征在于，包括：

获取模块，用于获取第一图像的第一特征图，所述第一图像为电子计算机断层扫描CT图像；

生成模块，用于根据所述第一特征图生成第二特征图，所述第二特征图的深度大于所述第一特征图的深度；

确定模块，用于根据所述第一特征图及所述第二特征图确定迁移特征矩阵，所述迁移特征矩阵用于表示所述第一图像的全局信息；

特征增强模块，用于基于所述迁移特征矩阵对所述第二特征图进行特征增强，得到输出特征图；

其中，所述确定模块具体用于：

6.根据权利要求5所述的装置，其特征在于，所述生成模块具体用于：

7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：

8.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于：

根据归一化后的所述目标距离确定归一化空间距离矩阵；

9.一种图像重建的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至4中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令由处理器运行时，实现权利要求1至4中任一项所述的方法。