CN113066111A - 一种基于ct影像的心脏二尖瓣顶点的自动定位方法 - Google Patents

Abstract

一种基于CT影像的心脏二尖瓣顶点的自动定位方法属于医学图像解析领域。本发明首先基于深度神经网络对CT图像进行图像预处理，以实现CT图像关键特征提取与表达；然后，利用深度强化学习模型针对基于智能体智能体的CT影像标志点进行定位，对心脏二尖瓣顶点位置进行自动检测。本发明提出了一种最优路径的搜索策略，可以非常方便地在CT图像中实现计算机自动定位心脏二尖瓣顶点的位置供医生进行疾病诊断，同时随着人工指定定位位置的变化，也具备一定的扩展性，在医学图像解析上下文中有利地创建了机器图像理解。

Description

一种基于CT影像的心脏二尖瓣顶点的自动定位方法

技术领域

本发明以心脏CT扫描图像为研究对象，利用深度强化学习技术建立定位模型，属于医学影像处理领域。

背景技术

传统的基于机器学习的医学图像标志点检测仅限于学习外观模型，并彻底扫描参数空间以找到最优点，产生次优和无约束的解决方案。与外观模型或传统目标检测的搜索策略相关的任何其他元参数的特征计算和估计都是基于局部标准或预定义的启发式来执行的，这导致了适用于高度专业化任务的特定搜索策略的严格应用，而穷尽性搜索方案在准确性要求和计算效率方面受到限制。

本发明用于解决传统检测算法在医学图像分析中的局限性，方法是同时通过智能只能智能体将待检测对象的外观建模和参数搜索策略作为统一的行为任务进行自动化。传统的心脏CT信息采集涉及多步方法，其中关键步骤是定位心脏二尖瓣位置。往常在定位心脏二尖瓣的顶点位置时需要几个双斜定位器来定位，并以此得到心脏的长轴和短轴视图，但是这种方法对操作人员技术水平要求很高，并且非常耗时。本发明通过深度学习模型实现有效的层次特征提取，采用深度强化学习模型优化人工智能体的行为策略。此外，本发明的另一个目标是提供一种具有鲁棒性的解决方案，以促进评估由各种不同的医疗成像设备获得的图像，同时实现小于一到两个像素的平均检测误差。针对传统的CT对心脏二尖瓣顶点的定位存在精度低和成本高等问题，本专利提出的方法可直接用于心脏CT图像检测，通过深度强化学习进行图像处理与计算机自主决策，将目标点定位问题转化为一个目标导向的人工智能体智能体的连续决策过程。在医学图像中导航到设定的目标点。在每个时间序列中，智能体可以自主决定它要移动的方向以找到定位的目标位置，同时使用深度强化学习方法来逼近这一序列决策过程的最优解。

目前从CT图像中提取的测量精度已经达到较高水平，并使CT图像成为左心室(LV)分析的标准。尽管心脏CT成像技术已经迅速发展，在获取心脏CT采集的短轴视图方面，人工评估左室体积和质量方面仍然具有较高的地位。例如要在一次憋气中实现整个心脏的3D覆盖，从而能够准确绘制心室壁厚度，需要计算机和操作者同时进行判断。因此，精确的心脏图像进行定量分析对于计算机算法精度和人工操作者的要求较高。将深度强化学习方法应用于该问题的一个主要优点是，智能体能够同时学习搜索策略和定位目标作为统一的行为任务。

发明内容

本发明利用深度强化学习技术，提出一种心脏二尖瓣CT图像定位方法，可将其概括为一个计算机自主定位模型。

首先，利用基于SENet的深度神经网络对CT图像进行图像预处理，以实现CT图像关键特征提取与表达；然后，利用深度强化学习模型针对基于智能体智能体的CT影像标志点定位框架，对心脏二尖瓣顶点位置进行自动定位。该方案据此提出了一种最优路径的搜索策略。

为实现上述目的，本发明提供如下技术方案：一种基于CT影像的心脏二尖瓣顶点的定位方法，包括以下模块：

(1)CT影像特征提取模块。本模块用于将采集到CT多模态心脏影像数据，配准到同一空间，制作训练集、数据集，获得一批分辨率为1.25×1.25×2(mm)的短轴心脏CT图像；短轴心脏CT图像提供了左右心室(左心室和右心室)的横切面。在这些类型的图像中，特定的标志可以定义心脏的重要特征，如左心室中心(也称为左心室基础中央通路点)、前心室插入点、后心室插入点和右心室极端点。准确地识别其中的一个或多个目标点代表了建模上下文中的一个步骤。例如，可以利用右心室的插入点和极值点初始化三维分割模型，对右心室的形状施加约束。

本模块采用基于SENet网络的CNN模型提取CT图像特征,以得到CT图像的观察信息，本模块由三部分组成，是一种较为简单的卷积神经网络结构。该结构显式地建模了特征通道之间的依赖关系，通过学习的方式获取各个通道的重要程度，抑制无用特征，提升有效特征。

首先是对输入图像进行全局平均池化操作，W为图像宽度，H为图像高度，(i,j)为图像像素点，计算公式为

得到z_c为具有C个特征通道数的特征图；再经过卷积变化和重建参数的操作获得观察状态，公式为

此步输出每个特征通道的权重，W为全连接层数量，值为256；然后将输出值进行参数重构，公式为

此时输出结果为图像原始维度，然后将其传入卷积神经网络处理。

(2)自动定位决策模块。本模块采用基于深度强化学习的深度确定性策略梯度的决策网络，让设计的人工智能体智能体观察3D CT图像中的信息作为环境信息，将环境信息作为一个观察输入到决策模型中，通过决策模型从动作集中选择一个确定的动作作为该步的动作选择。

该模块工作典型过程为：在t时刻，智能体通过从环境中获得观察信息s_t，设定γ＝0.9表示奖励折扣因子，然后通过计算在该时刻奖励的最大收益期望，依据公式a_t＝E[γ·r_t|s_t]计算动作值a_t，此时计算期望值Q(s,a)，并将新的环境图像采样用公式(1)～(3)计算新动作执行后的状态观测信息s_t+1。为评价此交互过程，利用强化学习方法引入了Q(s,a)函数计算最优策略,：

式中s＝[s₁,s₂,...,s_t]，a＝[a₁,a₂,...,a_t]，。

针对高维连续空间的动作筛选问题，基于策略梯度的深度强化学习方法是较为有效的建模工具。本发明的自动定位决策模块采用的是基于DDPG算法模型学习检测的确定性策略，该模块可实现在连续动作空间中输出一个确定的动作值。首先设定两个网络模型，分别指定为智能体行动网络和智能体评论网络，首先在随机行为策略下依据行动网络的期望最大化生成动作a_t：

a_t＝argmax[E(s_t|θ^μ)]+Ψ_t (5)

其中a_t取值范围为[0,π]，Ψ_t为随机噪声，取值为[0.001,0.500]之间的随机数，θ^μ为行动网络的权值参数，参数值为0.003。为了充分利用采样数据和减少数据间的关联性，本模块采用了经验回放池机制。从经验回放池(s_t,a_t,r_t,s_t+1)中随机采样一批包含N个样本(s_i,a_i,r_i,s_i+1)用来当做训练样本。

执行完动作后，智能体处于下一个状态，并将动作反馈给算法，环境给予智能体反馈，并更新观察状态。进行至下一状态后获取新的观察。观察状态空间设置为一个在图像中随机起始的标记点为中心的人工三维区域。框架经验回放池用于捕获智能体在探索目标点位置的过程中所采取的最后4个动作步骤。选用连续4个步骤用于稳定搜索轨迹，并防止智能体陷入重复循环；将动作空间设置为三维空间中的所有方向角组成的连续动作空间，移动距离为0.5个体素的长度(30像素值)。

奖励函数定义为

R＝D(P_i-1,P_t)-D(P_i,P_t) (6)

其中D表示两点之间的欧氏距离。进一步表示P_i为第i步当前预测的定位目标位置，P_t为目标定位标志点的位置。两个欧式距离差即上一步和当前一步之间的差，表示智能体是更接近还是更远离期望的目标位置。在R＝0的情况下，定义该智能体已经围绕定位目标附近出现小幅度振荡。

经过多步算法迭代过程，计算智能体到目标位置的欧式距离(误差)，当距离小于0.01(mm)时，确定定位位置，算法停止更新。通过此过程让智能体智能体学习出一条合适的定位路线，实现准确定位。

(3)经验回放模块。本模块基于经验回放池构建，用于更有效地训练人工智能体，将最优动作值函数逼近器的参数进行定期更新。本发明中使用的经验重放机制，在这种机制中，智能体存储有限数量的之前访问过的状态(例如最后定位的位置信息)，然后对该记忆信息进行采样，以更新底层神经网络的参数。对于策略的学习在一系列的事件中可以量化智能体在给定训练图像上的局部表现。在一个观察状态开始之前，从完整的训练集中会赋予智能体一个随机的图像，在任何随机的开始状态，例如，图像中的起始位置。在这一集的过程中，智能体应用策略梯度更新在这个局部环境(给定的训练CT图像)中导航。当达到目标状态(即找到地标位置或执行预定义的最大动作数)时，该轮检测结束。目标状态可能是来自图像解析的度量的综合模板，而操作集可能包括可用参数的更改，以产生最佳的度量集。这在图像空间中定义了一个路径轨迹长度P_i(mm)，其中包括作为访问状态序列的应用搜索策略。这些轨迹存储在重播内存中，代表智能体在不同图像上积累的整个体验。在某些实施例中，最后的轨迹P存储为P＝[P₁,P₂，…,P_i]。在训练过程中，每隔固定的时间间隔(每隔4-6个时间片段进行状态转换)，使用经验回放模块中抽取的随机小批状态进行策略参数更新。这种方法达到了确保训练收敛的目的。更新深度神经网络在局部相关状态不能泛化。使用以前的经验的一致采样集，平均网络输入的分布，并减少振荡，确保更快和稳健的学习经验。

本发明的主要创造性体现在：

(1)本发明针对传统的CT对心脏二尖瓣顶点的定位存在精度低和成本高等问题，提出了可直接用于心脏CT图像检测标志点的检测方案，通过深度强化学习进行图像处理与计算机自主决策，将目标点定位问题转化为一个目标导向的人工智能体智能体的连续决策过程，具有稳定性好，实时性好及控制精度高等特点；

(2)本发明设计了基于SENet的神经网络提取CT图像特征和基于深度确定性策略梯度算法的决策网络，较好地在分层的CT影像中完成通过状态空间完成对训练图像的每个部分的评估，以及规划出探索训练图像的轨迹，具有结构简单等特点。

附图说明

图1：本发明整体流程框架

图2：本发明整体模型架构

图3：本发明CT特征提取模块详细架构

图4：本发明决策网络模块详细架构

图5：本发明检测执行过程示意图

图6：本发明在实际心脏CT图像中的定位效果示意图

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。

1.收集训练数据，并将图像输入进CT特征提取模块进行预处理。采集CT多模态心脏影像数据，并配准到同一空间，以此制作训练集、数据集，对部分成像效果差的CT图像进行裁剪等预处理操作；初始数据集可能包含大约1000张短轴视图CT图像，这些图像来自于从不同医院采集获得的数百个不同的信息，并形成数百张训练图像，同时对训练图像进行预处理，将图像重采样到均匀的各向同性分辨率(例如2(mm))，并对数据进行归一化处理。采用交叉验证集，可用于量化训练期间的表现。为了让智能体学习一系列集中的最优动作策略，给智能体随机的训练图像和相应的随机开始状态。然后，智能体在选定的图像中确定性策略，在每一轮训练结束时生成一条轨迹，并将其添加到自己的经验回放池中。在探索过程中，对神经网络的参数进行周期性更新，根据当前的经验，可以更准确地逼近最优目标Q(s,a)函数。这个过程以迭代的方式重复，直到对验证集的检测精度达到最小。

2.提取CT图像中的心脏特征，包含二尖瓣相对位置等信息，将收集好的训练数据输入模型开始训练。设定100张交叉验证图像和100张测试图像。将输入定义为一个三维立方体素，在图像中随机起始的标记点为中心的棱长为60像素点，作为待观察的三维区域，将图像输入至CT影像特征提取模块。

3.本步骤基于深度强化学习方法，通过学习对目标标志点的动作来对CT图像中标志点进行自动定位。输入为步骤2中得到的观察状态，通过决策网络计算出相应的动作值。设置环境为采集的经过预处理和配准的CT图像，设定状态空间为一个包含确定长度、宽度和深度的3D空间，表示为由参数空间定义的大量体素，焦点定义为体素集合的中心坐标。状态空间的分辨率由尺度空间指定。当分辨率更改＝高时，体素是从更小的体积(更大的密度)的图像数据中采样的。相反，在较低的分辨率下，体素是来自较大体积(较小密度)的图像数据的样本。

4.将预处理好的图像输入决策网络模块，在连续动作空间上输出一个确定的动作值，参数动作定义为状态空间位置一个体素在空间任意方向上的移动。学习到的人工代理应用于测试图像，以自动解析测试图像的图像内容，以获得一个地标位置。应用学习到的人工智能体包括评估当前状态空间的最优动作值函数近似器。在每个当前状态空间中，被学习的智能体同时获得所有可能动作的最优动作值函数逼近器，并应用最优动作值函数逼近器的奖励策略。例如，应用最优行为-价值函数近似器的奖励策略，包括通过改变参数空间的行为和改变尺度空间的行为来平衡未来累积奖励值的最大化，从而决定智能体的下一步行为。经过多次行动后，智能体的移动形成了一条以智能体区域为中心的区域3D轨迹，该轨迹由多个棱长为60像素值大小的三维体素中心点构成。

5.计算智能体到目标定位位置的欧式距离(误差)。经过多步算法迭代过程，当智能体中心点和目标定位点的欧式距离小于0.01mm时停止更新，即达到成功定位的目的。通过此过程让智能体学习出一条合适的路线，实现准确定位。

具体的工作流程可以描述为：

(1)给定M个训练图像，首先人工标记30％的图像作为训练样本；

(2)初始化系统，包括初始化训练网络，确定工作时间要求，以及初始化经验回放模块；

(3)初始化探索因子τ；

(4)记录智能体初始化的位置；

(5)将CT图像进行顺序编码，令图像标号从1编码到M:

(6)定义最大迭代轮次N；

(7)定义一次探索中最大检测步数T：

(8)选择智能体起始点，将心脏二尖瓣图像输入至CT影像特征提取模块，首先将3D图像压缩为2D图像，设定W为图像宽度为60像素，H为图像高度为60像素。将图像宽高根据公式

计算二维特征通道的权值，根据公式

得到s为特征通道的权重；

其中F_scale为点积计算，可以将图像恢复为原始的维度；最后再通过卷积层和全连接层获取到处理后的图像，将其设定为观察状态s_t；

(9)通过公式a_t＝argmax[E(s_t|θ^μ)]+Ψ_t的随机策略计算动作值a_t；

(10)在经验池中随机采样一批含S个样本(s_k,a_k,r_k,s_k+1)；

(11)按照既定策略进行轨迹移动；

(12)依据公式R＝D(P_i-1,P_t)-D(P_i,P_t)计算环境奖励；

(13)判断是否达到结束条件，如果未结束，重复进行步骤(8)～步骤(14)；

(14)判断结束，输出检测结果、误差或者报告未检测成功。

本发明所使用的人工智能体系统在某些任务案例中可进一步自适应，也可以进一步优化用户输入、针对工作环境或其他环境提出新的需求。上述技术对机器自主学习的优化方法可以进一步用来针对不同CT器官行为,重复图像质量设置,自优化工作流基于当地环境，依据在不同医学影像中的确定位置，可以提供所标注的医学图像和所生成的注释的检测实现。

Claims (1)

1.一种基于CT影像的心脏二尖瓣顶点的自动定位方法，其特征在于，包括以下步骤：

(1)设计CT影像特征提取

①对输入图像进行全局平均池化操作

对输入图像进行全局平均池化操作，公式为

②卷积建模操作

根据公式(1)得到具有C个特征通道数的特征图；再经过卷积建模过程获得观察状态，公式为

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z)) (2)

③参数重构操作

将公式(2)的输出值进行参数重构，公式为

其中F_scale(u_c,s_c)为u_c和s_c之间的通道积，然后将其传入卷积神经网络处理；

(2)自动定位决策

采用基于深度强化学习的深度确定性策略梯度的决策网络，让设计的人工智能体智能体观察3D CT图像中的信息作为环境信息，将环境信息作为一个观察输入到决策模型中，通过决策模型从动作集中选择一个确定的动作；

①策略选择操作

在t时刻，智能体通过从3D图像中获得观测信息s_t，然后以策略μ执行某个动作a_t＝μ(s_t)，再以此给予智能体奖励r_t，并获得新动作；执行后的状态观测信息s_t+1；为评价此交互过程，利用强化学习方法引入了Q函数计算最优策略：

式中s＝[s₁,s₂,...,s_t]，a＝[a₁,a₂,...,a_t]，γ∈(0,1)表示奖励折扣因子，Q函数则描述在状态s下采取动作a所获得的价值期望；

在随机行为策略下生成行动者网络的动作：

a_t＝μ(s_t|θ^μ)+Ψ_t (5)

其中Ψ_t为随机噪声，θ^μ为行动者网络的权值参数；为了充分利用采样数据和减少数据间的关联性，采用了经验回放池机制；

②经验回放操作

从经验回放池(s_t,a_t,r_t,s_t+1)中随机采样一批包含N个样本(s_i,a_i,r_i,s_i+1)后，通过最小化损失函数来更新评论家网络：

y_i＝r_i+γQ'(s_i+1,μ'(s_i+1|θ^μ')|θ^Q') (6)

其中，Q'和μ'分别为评论家和行动者的目标网络；行动者网络则由策略梯度来更新：

③目标网络更新操作

根据公式(6)、公式(7)计算的策略梯度更新算法模型，如公式(8)

θ^Q'＝τθ^Q+(1-τ)θ^Q'

θ^μ'＝τθ^μ+(1-τ)θ^μ' (8)

式中τ∈(0,1)，代表网络更新因子；

④策略执行操作

智能体执行动作，并将动作反馈给算法，环境给予智能体反馈，并更新观察状态；进行至下一状态后获取新的观察；观察状态集设置为一个在图像中随机起始的标记点为中心的三维区域；框架经验回放池用于捕获智能体在探索目标点位置的过程中所采取的最后4个动作步骤；选用连续4个步骤用于稳定搜索轨迹，并防止人工智能智能体陷入重复循环；将动作集设置为三维空间中的所有方向角组成的连续动作空间，移动距离为0.5个体素的长度；

奖励函数定义为

R＝D(P_i-1,P_t)-D(P_i,P_t) (9)

其中D表示两点之间的欧氏距离；进一步表示P_i为第i步当前预测的定位目标位置，P_t为目标定位标志点的位置；根据公式(9)计算检测的误差值，两个欧式距离差表示上一步和当前一步之间的差，表示智能体是更接近还是更远离期望的目标位置；在R＝0的情况下，该智能体已经围绕定位目标附近出现小幅度振荡，当距离小于0.01mm时，确定定位位置，算法停止更新。

Images