CN110211165A - 一种基于异步深度强化学习的图像多模态配准方法 - Google Patents

Abstract

本发明公开了一种基于异步深度强化学习的图像多模态配准方法，所述配准方法包括以下内容：将不同模态(如CT、MRII)的两张图片堆叠输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息；根据概率分布信息在环境中移动动态图像并返回一个奖励值；判断当前网络状态值信息是否达到阈值；对当前图像配准进行采样并输出最终结果。通过基于强化学习(A3C算法)，提出一种自定义的奖励函数，加入循环卷积结构以充分利用时空信息，并采用蒙特卡洛进行图像配准，提高了配准的性能，相比于现有配准方法配准结果更接近标准的配准图像，面对差异大的图像配准更加稳定。

Description

一种基于异步深度强化学习的图像多模态配准方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于异步深度强化学习的图像多模态配准方法。

背景技术

多模医学图像处理是当前图像处理中的研究热点，对于临床诊断和治疗都有着重要的意义。不同模态的图像提供了患者的不同信息，解剖图像(如CT、MRII)提供了人体解剖形态结构的信息，功能图像(如SPECT、PET)提供了人体内放射性浓度分布的功能信息，这些不同信息需要通过合成得到信息更为全面的融合图像。而要得到有用的融合图像，不同模态的图像需经配准处理。

医学图像配准是通过寻找某种空间变换，使两幅图像的对应点达到空间位置和解剖结构上的完全一致。要求配准的结构能使两幅图像上所有的解剖点，或至少是所有临床诊断意义区域的点都达到匹配。医学图像的融合是指将至少两幅来自不同成像设备或不同时刻获取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来，获得信息量更丰富的新图像的技术。图像配准是图像融合的第一步，也是实现图像融合的先决条件。只有实现了待融合图像的配准，才能实现相应组织之间的融合，如果对应组织的配准有较大偏差，那么融合图像也是不准确的。

目前现有的图像配准方法基本上可分为基于图像外部特征的配准和基于像素灰度的配准。

第一种基于图像外部特征的配准方法是依靠放置在患者身体上的可以显像的人工标记物来确定配准参数。缺点是必须在图像成像阶段使用标记物，因而无法实现图像回溯性配准研究。

第二种基于像素灰度的图像配准方法是将每幅图像的灰度值视作一个一维离散随机变量，将图像灰度分布视作随机变量的样本值，直接对图像的灰度操作，不需要预处理和图像分割来提取图像特征。配准过程仅依赖于原始图像信息，不需要人工干预，无需特征点提取或进行曲线或曲面的分割，可靠性较强；对图像灰度不均匀、几何失真及数据缺失等不敏感，算法本身不依赖于成像设备；可用于多模医学图像融合，最大缺点是计算量大且耗时长。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于异步深度强化学习的图像多模态配准方法，解决了现有图像配准方法存在的缺陷。

本发明的目的是通过以下技术方案来实现的：一种基于异步深度强化学习的图像多模态配准方法，所述配准方法包括以下内容：

将不同模态的图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息；

根据概率分布信息在环境中移动动态图像并返回一个奖励值；

判断当前网络状态值信息是否达到阈值；

对当前图像配准进行采样并输出最终结果。

在所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息之前还需要对输入图片进行准备和处理的步骤。

所述对输入图片进行准备和处理的步骤如下：

准备好需要配准的固定图像和动态图像；

将两张图片放缩或修剪到同样大小尺寸，并进行堆叠。

所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息的内容如下：

通过神经网络中的卷积层和循环卷积层捕获配准图像在整个配准过程中的时间和空间信息；

通过两个全连接输出一个softmax层作为policy function表示策略动作的概率分布；

另一个输出为value function表示当前的状态值。

所述根据概率分布信息在环境中移动动态图像并返回一个奖励值的内容如下：

当接收到一个状态值时，从策略动作空间中选一个策略动作；

根据该策略动作的概率分布选择概率最大的策略动作作为下一次的动作，并在环境中实施该动作；

环境根据做出的动作返回一个奖励值。

所述对当前图像配准进行采用并输出最终结果包括以下内容：

如果当前网络状态值达到设定的阈值，则对当前图像配准进行蒙特卡洛采样；

取采样后的结果为最终完成配准后的图像。

所述配准方法还包括：

在当前网络状态值没有达到阈值时将移动后的动态图像输入到神经网络中；

根据输入的动态图像输出当前的状态值信息和策略动作的概率分布信息；

根据概率分布信息在环境中移动动态图像并返回一个奖励值；

循环上述步骤。

停止循环上述步骤的条件为返回的奖励值为期望最大值。

在当前网络状态值达到阈值时，此时返回的奖励值为阈值，即为期望最大值。

所述对当前图像配准进行蒙特卡洛采用包括以下内容：

从到达阈值时的当前状态开始，同时对多条可能的配准路径进行随机探索，探索深度为D_mc，并记录下每条路径上所有的状态值；

当所有路径探索完成，以每条路径的状态总值与所有路径的状态总值之比作为该路径的权重；

对所有探索路径的变换矩阵进行加权求和，得到最终采样完成的配准变换矩阵；

使用最终变换矩阵对待配准图像进行变换，即可得到最终配准完成的图像。

本发明的有益效果是：一种基于异步深度强化学习的图像多模态配准方法，通过基于强化学习(A3C算法)，提出一种自定义的奖励函数，加入循环卷积结构以充分利用时空信息，并采用蒙特卡洛进行图像配准，提高了配准的性能，相比于现有配准方法配准结果更接近标准的配准图像，面对差异大的图像配准更加稳定。

附图说明

图1为本方法的流程图；

图2为本方法的图像配准效果对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于异步深度强化学习的图像多模态配准方法，所述配准方法包括以下内容：

S1、将不同模态的图片输入神经网络进行处理并输出当前的状态值信息(state-value)和策略动作的概率分布信息(policy)；

S2、根据概率分布信息在环境中移动动态图像并返回一个奖励值；

S3、判断当前网络状态值信息是否达到阈值；

S4、对当前图像配准进行采样并输出最终结果。

进一步地，神经网络包括CNN和ConvGRU神经网络，CNN网络部分从未接收状态中提取特征，ConvGRU网络部分从相邻帧中编码时空信息；当涉及解决空间依赖时，在输入到状态和状态到状态的转换中，通过ConvGRU网络对时空序列进行建模。

进一步地，ConvGRU网络是一种特殊的门控循环单元，它在每一帧都会计算一个当前隐藏状态(hidden state)向量，该隐藏状态向量将保留当前单元的信息并传递到下一个序列单元中，因此可以保留上下文的长期信息。它将CNN网络提取出的多帧的特征图(feature map)作为一个时间序列输入，在存储序列在时间上的重要信息的同时，对每一帧的特征再进行卷积提取特征的空间信息。本发明设置ConvGRU的输入序列长度为30，隐藏状态向量的维度为512，卷积核的大小为3×3。

进一步地，神经网络的具体参数如下：

batch_size:32；learning_rate:1e-5；总迭代epoch：24000；

1、卷积层：共10层，均有padding，激活函数使用elu，使用MSRA初始化；

第一层：卷积核数量：64；卷积核大小：7x7，步长：3，接layer normalization；

第二层：卷积核数量：64；卷积核大小：3x3，步长：1；

第三层：卷积核数量：128；卷积核大小：3x3，步长：2，接layer normalization；

第四层：卷积核数量：128；卷积核大小：3x3，步长：1；

第五层：卷积核数量：256；卷积核大小：3x3，步长：2，接layer normalization；

第六层：卷积核数量：256；卷积核大小：3x3，步长：1；

第七层：卷积核数量：256；卷积核大小：3x3，步长：1；

第八层：卷积核数量：512；卷积核大小：3x3，步长：2，接layer normalization；

第九层：卷积核数量：512；卷积核大小：3x3，步长：1；

第十层：卷积核数量：512；卷积核大小：3x3，步长：1，接layer normalization；

2、ConvGRU层：

循环序列长度：32，输出通道数(卷积核数量)：512，卷积核大小：3x3，步长：1，有padding，使用了layer normalization；

3、全局平均池化：7x7，步长：1；

4、全连接输出层：512->8->softmax(policy)，512->1(value)。

进一步地，在所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息之前还需要对输入图片进行准备和处理的步骤S0。

所述对输入图片进行准备和处理的步骤S0如下：

S01、准备好需要配准的固定图像(fixed image)和动态图像(moving image)；

S02、将两张图片放缩或修剪到同样大小尺寸，并进行堆叠。

其中，动态图像如医学中的MRI和CT图。

进一步地，所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息的内容如下：

S11、通过神经网络中的卷积层和循环卷积层捕获配准图像在整个配准过程中的时间和空间信息；以加速系统学习，增加配准的稳定性和鲁棒性；

S12、通过两个全连接输出一个softmax层作为policy function表示策略动作的概率分布；

S13、另一个输出为value function表示当前的状态值。

进一步地，所述根据概率分布信息在环境中移动动态图像并返回一个奖励值的内容如下：

S21、当接收到一个状态值时，从策略动作空间中选一个策略动作；

S22、根据该策略动作的概率分布选择概率最大的策略动作作为下一次的动作，并在环境中实施该动作；即移动moving image。

S23、环境根据做出的动作返回一个奖励值(reward)。

进一步地，策略动作空间由8个候选变换组成，其中包括x和y方向上±1像素的平移，±1旋转和±0.05的大小缩放。

进一步地，返回的奖励值由ground truth中选择的一组固定点和移动后的动态图像(moving image)的对应点计算得到，其计算公式为：

其中p_i和分别表示来自ground truth(标准的配准图像)和移动后的当前moving image的一组固定点，#{P_G}表示固定点的总数。环境返回的奖励值反映了当前动作的好坏，网络会根据其对配准策略进行更新和学习，以使累积奖励值的期望最大化。并将该步移动后的图像(MRI和CT)再次送入神经网络，如此循环。

进一步地，所述对当前图像配准进行采用并输出最终结果包括以下内容：

S41、如果当前网络状态值达到设定的阈值，则对当前图像配准进行蒙特卡洛采样；

S42、取采样后的结果为最终完成配准后的图像。

进一步地，所述配准方法还包括：

在当前网络状态值没有达到阈值时将移动后的动态图像输入到神经网络中；

根据输入的动态图像输出当前的状态值信息和策略动作的概率分布信息；

根据概率分布信息在环境中移动动态图像并返回一个奖励值；

循环上述步骤。

停止循环上述步骤的条件为返回的奖励值为期望最大值。

在当前网络状态值达到阈值时，此时返回的奖励值为阈值，即为期望最大值。

进一步地，如果当前网络状态值vt达到阈值trs，则循环过程可以停止，此时阈值trs等于最终的奖励值。然而在实践中，预测的转换参数通常是在特定的值附近抖动，因此很难终止。针对这一非平稳性问题，我们采用蒙特卡洛方法来模拟多个搜索路径，从而估计变换矩阵的期望值。给定状态st为根节点，其状态值vt在阈值trs附近，同时搜索多条具有固定搜索深度的轨迹。对于每个轨迹，后续的所有动作都按照策略(policy)随机选择，相应的状态值由value netowrk来生成。

所述对当前图像配准进行蒙特卡洛采用包括以下内容：

S411、从到达阈值时的当前状态开始，同时对多条可能的配准路径进行随机探索，探索深度为D_mc，并记录下每条路径上所有的状态值；

S412、当所有路径探索完成，以每条路径的状态总值与所有路径的状态总值之比作为该路径的权重；

S413、对所有探索路径的变换矩阵进行加权求和，得到最终采样完成的配准变换矩阵；

S414、使用最终变换矩阵对待配准图像进行变换，即可得到最终配准完成的图像。

如图2所示，a表示固态图像(fixed image)，b表示动态图像(moving image)，c表示ground truth(标准的配准图像)；d和e分别表示使用现有的配准方法Elastix和Pure SL配准后的图像，f表示使用Shanhui Sun等人提出的配准方法进行配准后的图像，g表示本发明所有方法的配准图像；根据现有配准方法得到的配准图像、本发明方法得到的配准图像与标准的配准图像进行对比，可以看出现有配准方法d、e和f与标准配准图像差别比较明显，而本发明方法得到的配准图像更加接近标准的配准图像，面对差异大的图像配准更加稳定。

通过上述实验过程中使用深度强化学习，提出一种自定义的奖励函数，加入循环卷积结构以充分利用时空信息，并采用蒙特卡洛进行图像配准，提高配准了任务的性能，并且优于现有多种先进的图像配准方法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述配准方法包括以下内容：

将不同模态的图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息；

根据概率分布信息在环境中移动动态图像并返回一个奖励值；

判断当前网络状态值信息是否达到阈值；

对当前图像配准进行采样并输出最终结果。

2.根据权利要求1所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：在所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息之前还需要对输入图片进行准备和处理的步骤。

3.根据权利要求2所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述对输入图片进行准备和处理的步骤如下：

准备好需要配准的固定图像和动态图像；

将两张图片放缩或修剪到同样大小尺寸，并进行堆叠。

4.根据权利要求1-3中任意一项所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述将图片输入神经网络进行处理并输出当前的状态值信息和策略动作的概率分布信息的内容如下：

通过神经网络中的卷积层和循环卷积层捕获配准图像在整个配准过程中的时间和空间信息；

通过两个全连接输出一个softmax层作为policy function表示策略动作的概率分布；

另一个输出为value function表示当前的状态值。

5.根据权利要求4所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述根据概率分布信息在环境中移动动态图像并返回一个奖励值的内容如下：

当接收到一个状态值时，从策略动作空间中选一个策略动作；

根据该策略动作的概率分布选择概率最大的策略动作作为下一次的动作，并在环境中实施该动作；

环境根据做出的动作返回一个奖励值。

6.根据权利要求5所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述对当前图像配准进行采用并输出最终结果包括以下内容：

如果当前网络状态值达到设定的阈值，则对当前图像配准进行蒙特卡洛采样；

取采样后的结果为最终完成配准后的图像。

7.根据权利要求6所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述配准方法还包括：

在当前网络状态值没有达到阈值时将移动后的动态图像输入到神经网络中；

根据输入的动态图像输出当前的状态值信息和策略动作的概率分布信息；

根据概率分布信息在环境中移动动态图像并返回一个奖励值；

循环上述步骤。

8.根据权利要求7所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：停止循环上述步骤的条件为返回的奖励值为期望最大值。

9.根据权利要求8所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：在当前网络状态值达到阈值时，此时返回的奖励值为阈值，即为期望最大值。

10.根据权利要求8所述的一种基于异步深度强化学习的图像多模态配准方法，其特征在于：所述对当前图像配准进行蒙特卡洛采用包括以下内容：

从到达阈值时的当前状态开始，同时对多条可能的配准路径进行随机探索，探索深度为D_mc，并记录下每条路径上所有的状态值；

当所有路径探索完成，以每条路径的状态总值与所有路径的状态总值之比作为该路径的权重；

对所有探索路径的变换矩阵进行加权求和，得到最终采样完成的配准变换矩阵；

使用最终变换矩阵对待配准图像进行变换，即可得到最终配准完成的图像。