CN104739510A - 一种新的构建序列影像与呼吸信号对应关系的方法 - Google Patents

Abstract

本发明公开了一种构建序列影像与呼吸信号对应关系的方法，在运动追踪法框架下，利用双目立体视觉系统，采集红外标记物的位移作为人体呼吸信号。采用新一代CT扫描机，获取受试者深呼吸模式下完整的肺部4D CT图像。结合体外标记物的距离移动信息，构造距离测度函数，提出距离对应关联法，通过标记物相同时间段内在4DCT中和呼吸信号中的位移量的比较，确定4D CT和呼吸信号的对应关系。该发明简化了呼吸信号获取的操作步骤，提高了数据测量精度，降低了实验时间以及受试者接收的辐射剂量。

Description

一种新的构建序列影像与呼吸信号对应关系的方法

技术领域

本发明属于运动建模领域，具体涉及一种在影像导航手术中的构建序列影像与呼吸信号对应关系的方法，提高序列影像与呼吸信号对应的准确度。

背景技术

影像导航手术中，呼吸运动是引起病灶定位不准确的重要因素之一。此外，当规划肺癌患者的放疗方案时，若缺乏对呼吸运动的认识，肿瘤会接收不到足够的剂量，周围的健康组织会接收不必要的剂量，或两者兼有。因此需要构建肺部组织的运动模型，模拟和预测呼吸运动对病灶的影响。

为了构建肺部呼吸运动模型，需要同时获取4D肺部CT图像与呼吸信号，并确立两者之间的对应关系。

如申请号为201410209850.2、名称为“肺部CT的三维配准方法”的专利中提出了一种三维配准方法，能够将同一位置的结节在不同CT数据中的成像位置进行自动对应，该方法首先进行刚性配准，通过互信息将CT数据中的肺部区域进行整体对齐，然后在刚性配准的基础上利用提取的匹配特征点对结合局部单点互信息(SMI)最大化的方式进行非刚性配准，得到最终的精确配准结果，然后利用配准结果提供的空间变换信息，进行相同结节成像位置的对应，从而方便结节的特征变化进行对比。

获取呼吸信号时，一些方法通常采用运动追踪法获得，即在人体腹部贴上标记物，用摄像机在CT扫描过程中同步跟踪标记物，将得到的视频提取为单帧图像，再提取标记物质心，以质心坐标任意维度与时间的关系曲线作为呼吸曲线。如申请号为201410009192.2、名称为“下颌三维运动捕捉及可视化系统及方法”；申请号为201420011840.3、名称为“下颌三维运动捕捉及可视化系统与下颌运动追踪装置”的专利中均提出了三维运动捕捉及可视化系统，其标记物表面覆盖有荧光材料，且用红外摄像头带有红外发射装置，标记物可通过荧光材料反射出红外发射装置发出的红外线，以反映运动轨迹。

获取4D肺部CT图像时，根据受试者呼吸模式的不同分为屏气模式和自由呼吸模式。屏气模式中，受试者在一个呼吸周期内多个时相点位置，采用屏气方式，同步获取CT图像与呼吸信号，由此可直接确定CT图像与呼 吸信号的对应关系。自由呼吸模式中，受试者在自由呼吸状态下，进行CT图像和呼吸曲线的同步获取。该模式适用于任何受试者，在临床中具有广泛的应用前景。然而由于CT技术的限制，现有方法获取完整肺部的4D CT图像时，通常采用图像堆积扫描方式。扫描过程中，每个床位需要获取25或30甚至更多的图像。为了覆盖整个肺部区域，每个受试者需要扫描3到4个连续的床位，整个过程大概需要70秒。

获得4D肺部CT图像和体外呼吸信号后，需要构建两者间的一一对应关系，即确定4D肺部CT图像中每一个3D肺部CT图像与体外信号在同一时刻获取，此处通常采用基于相位的关联法。利用高斯平滑滤波器对采集的呼吸曲线做平滑处理，滤除曲线上非对应于吸气末或呼气末的波峰和波谷；求取曲线上所有点的梯度，将梯度为零的点与该点附近最接近于受试者吸气末或呼气末状态的3D肺部CT对应；再将其他CT图像分布在完整的呼吸周期中。

然而，上述的体外呼吸信号获取的操作方法均存在不足：

1.获取体外呼吸信号的步骤繁琐，且在提取标记物质心过程中容易引入误差；

2.获取CT图像时，在屏气模式下，不易控制获取数据时的呼吸状态，不适合呼吸功能障碍患者；而且屏气状态与自由呼吸状态下肺部组织运动存在差异性，导致对应误差；

3.自由呼吸模式中，扫描时间长，可能引起受试者的不适，增加受试者接收的辐射剂量；

4.构建序列图像与体外信号对应关系时，所用方法不能确保受试者吸气末或呼气末肺部组织的实时解剖结构与选取作为肺部组织吸气末或呼气末状态的3D肺部CT相一致，导致对应误差；

5.同时，尽管通过该方法构建的肺部呼吸运动模型，可以估计呼吸周期中任意位置对应的当前的肺部状态，但是无法做到监测体外信号而实时的做出估计。

发明内容

为克服工业技术的限制，避免由于测量仪器以及构建序列图像与体外呼吸信号对应关系的方法的选取不足，本发明要研发的“一种新的构建序列影 像与呼吸信号对应关系的方法”，利用立体视觉技术，简化体外呼吸信号获取的操作步骤，提高获取数据的精度；降低实验时间以及受试者接收的辐射剂量，避免采集4D肺部CT时受试者长时间屏气，克服受试者在屏气状态与自由呼吸状态下肺部活动存在差异性的问题；提高序列影像与呼吸信号对应的准确度。

为了解决上述技术问题，实现上述目的，本发明通过以下技术方案实现：

本发明获取呼吸信号的方法是立体视觉技术，即采用两个或两个以上的相机搭建的立体视觉测量系统，对放置在病人胸腹部的靶标进行实时空间(三维)定位，获取随时间变化的体表运动幅度曲线。

本发明的技术方案的硬件主体包括五个部分，即红外标记物、立体视觉测量单元、数据分析单元、通信单元、控制单元；关键技术在于结合标记物在4D CT中与呼吸信号中的移位信息，构建距离测度函数，同时确定所有CT图像对应的标记物的空间坐标。该技术方案的工作流程是：使用CT扫描仪采集4D肺部CT图像，该CT扫描仪能够完成自主呼吸状态的肺部动态扫描。使用实验室自行研制的双目立体视觉系统采集体外呼吸信号，该系统可直接记录标记物的相对空间坐标，且精度高。

数据采集时，受试者静卧在CT床上，将红外标记物黏贴于受试者胸部剑突位置的体表。首先开启双目立体视觉系统，采集红外标记物位移数据。接着，CT操作者通过麦克指导受试者作呼吸运动，接着启动CT扫描仪进行肺部动态扫描，实验场景如图1所示。

通过上述方式获得了受试者自由深呼吸下的体外呼吸信号和完整肺部4D CT图像，结合标记物相同时间段内在4D肺部CT图像中和呼吸信号中的距离移动信息，构造距离测度函数，提出基于距离的对应关联法。通过计算距离测度函数可确定序列3D肺部CT图像与标记物空间坐标的一一对应关系，实验效果如图4所示。

现有技术构建4D CT与体外呼吸信号对应关系的方法通常是采用高斯平滑滤波器对采集的呼吸曲线做平滑处理，滤除曲线上非对应于吸气末或呼气末的波峰和波谷；求取曲线上所有点的梯度，将梯度为零的点与该点附近最接近于受试者吸气末或呼气末状态的3D肺部CT对应，再将其他CT图像分布在完整的呼吸周期中。与现有技术相比，本发明的有益效果是提高了序 列影像与呼吸信号对应的准确度，使得通过监测体外呼吸信号实时预测体内组织运动成为可能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。本发明多处仅仅对做出改进的部分进行描述，而其他未说明部分可以借助本领域的现有技术实现，亦即未说明部分通过现有技术实现，在此不进行详细说明。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的试验场景图。

图1中，1和2为工业相机，3和4为红外滤光片，5和6为支架，7和8为数据连接线，9和10为相机电源线，11和12为采集卡，13为计算机，14为显示屏，16为红外LED，17为受试者，18为CT床，19为扫描架。

图2为本发明的硬件主体工作流程图。

图3为本发明的距离测度函数的序列的3D CT。

图4为本发明的实验效果图。

具体实施方式

下面结合附图和实施例对本发明的技术实施过程做进一步说明。

实施例：

本发明获取呼吸信号的方法是立体视觉技术，即采用两个或两个以上的相机搭建的立体视觉测量系统，对放置在病人胸腹部的靶标进行实时空间(三维)定位，获取随时间变化的体表运动幅度曲线。

参见图1，本发明使用Toshiba Aquilion ONE 320-slice CT扫描仪，采用“Lung mass perfusion”扫描模式采集4D肺部CT图像，该CT扫描仪能够完成自主呼吸状态的肺部动态扫描。获取完整肺部10个连续的3D CT图像仅需18.5秒。同时，使用实验室自行研制的双目立体视觉系统采集体外呼吸 信号。该系统由红外标记物、两部可以检测红外线的相机和一部控制计算机组成，红外标记物为一个120°投射角、直径5㎜的红外发光二极管。该系统可以实时记录标记物的相对空间坐标，且采样率为30HZ，该系统硬件主体包括五个部分，即红外标记物、立体视觉测量单元、数据分析单元、通信单元、控制单元。关键技术在于结合标记物在4D CT中与呼吸信号中的移位信息，构建距离测度函数，同时确定所有CT图像对应的标记物的空间坐标。该技术方案的工作流程是：使用CT扫描仪采集4D肺部CT图像，该CT扫描仪能够完成自主呼吸状态的肺部动态扫描。使用实验室自行研制的双目立体视觉系统采集体外呼吸信号，该系统可直接记录标记物的相对空间坐标，且精度高。

接下来进一步的对本发明的技术环节进行详细说明。

1.红外标记物 

红外标记物为一个120°投射角、直径5㎜的红外发光二极管，其支撑结构的底部具有容易放置或吸附在病人体表的结构，在病人进行呼吸运动时，红外标记物会随着体表进行运动。

2.立体视觉测量单元

立体视觉测量单元由两个或两个以上的数字相机、计算机或单片机处理器、机械结构等组成。首先，经过光学设计，确定相机的间距、夹角、分辨率、镜头焦距等参数，搭建立体定位系统；其次，对各相机进行同步标定，获取各相机的内、外参数；再次，同步触发各相机，获取红外标记物的在各相机图像上的坐标序列；最后，利用相机的内、外参数和红外标记物的坐标序列重建红外标记物的空间坐标。该单元的工作指标包括定位精度、频率等，其主要技术流程如图2所示。

构造的距离测度函数的技术环节包括如下几点。

(1)标记物特征点高精度提取

双目视觉系统每秒记录红外标记物30个空间坐标，CT扫描间隔为1.5秒，通过两者的采样频率，可得出，每获取相邻两个3D肺部CT图像，双目视觉系统记录标记物46个空间坐标(含有45个采样间隔)。通过标记物相同时间段内在4D肺部CT图像中和呼吸信号中的位移量的比较，确定采集的3D肺部CT图像和记录的标记物的空间坐标的对应关系。

(2)构造的距离测度函数F的计算公式 

构造的距离测度函数F的计算公式为：

$F=\underset{1\≤j\≤n-9\×45}{\min }\underset{i=1}{\overset{m-1}{\mathrm{\Σ}}}|\sqrt{\underset{r=1}{\overset{3}{\mathrm{\Σ}}}{(D_{(j+i\×45)r}-D_{[j+(i-1)\×45]r})}^2}-\sqrt{\underset{r=1}{\overset{3}{\mathrm{\Σ}}}{\left[q_r(C_{(i+1)r}-C_{\mathrm{ir}})\right]}^2}|$

式中，r＝1，2，3代表x，y，z三个方向，q_r为CT图像的空间分辨率。m-1为获取m个序列3D肺部CT图像I的时间间隔个数。C_i是标记物在第i个时间点的3D肺部CT图像I_i中的坐标，D_j为双目视觉系统记录的红外标记物第j个时间点的相对空间坐标。具体推倒过程如下：

图3表示4D CT，即序列的3D CT，记为I＝{I_i|i＝1，2，...，m}，i为3D CT序列号。每一个3D CT的体积(即x，y和z三个方向体素的个数)为512×512×320，分辨率(即每一个体素的大小)为0.677×0.677×0.5㎜³

LED会被扫入每一个3D CT中，手动选取LED在每一个3D CT中的中心点，可以用体素坐标表示。用C＝{C_i|i＝1，2，...，m}表示LED中心点在序列3D CT中的序列坐标，C_i＝(C_ix，C_iy，C_iz)，此处m为10。那么，在相邻两个3D CT(以I₁和I₂为例)之间的时间间隔内LED中心点变化的欧几里得距离为：

$\mathrm{Dis}1\_2=\sqrt{{[0.677\×(C_{2x}-C_{1x})]}^2+{[0.677\×(C_{2y}-C_{1y})]}^2+{[0.5\×(C_{2z}-C_{1z})]}^2}$

同理，可以计算出Dis2_3,…,Dis9_10。

记双目立体视觉系统记录的LED的相对空间坐标序列为D＝{D_j|j＝1，2，...，n}，D_j＝(D_jx，D_jy，D_jz)。

双目立体视觉系统每秒记录30个LED的相对空间坐标，相邻两3D CT之间的时间间隔为1.5s，可以推出，每获取相邻两3D CT，双目立体视觉系统记录LED的46个相对空间坐标(45个采样间隔)。那么相隔45个采样间隔的两个相对空间坐标D_j与D_j+45间的欧几里得距离为：

$\mathrm{dis}45=\sqrt{{(D_{(j+45)x}-D_{\mathrm{jx}})}^2+{(D_{(j+45)y}-D_{\mathrm{jy}})}^2+{(D_{(j+45)z}-D_{\mathrm{jz}})}^2}$

记D_j+45与D_j+90间的欧几里得距离为dis2，同理，依次可计算出dis3,…,dis9。

最终的距离测度函数F为：

$F=\underset{1\≤j\≤n-9\×45}{\min }\left(\right|\mathrm{Dis}1\_2-\mathrm{dis}1|+|\mathrm{Dis}2\_3-\mathrm{dis}2|+...+|\mathrm{Dis}9\_10-\mathrm{dis}9\left|\right).$

通过计算距离测度函数F可得j使得CT图像I₁与标记物空间坐标D_j相匹配，即I₁与D_j是在同一时刻获取的，进而可确定序列3D肺部CT图像I与标记物十个空间坐标的一一对应关系，实验效果如图2所示。

3.数据分析单元 

数据分析单元对立体视觉测量单元输出的空间坐标序列进行处理，并以曲线的形式显示呼吸信息。可以在呼吸曲线上设定阈值，阈值一般设定在呼吸运动处最小阶段时的深吸气或呼气时刻，此时给影像采集设备发出门控信号，获取具有较小运动伪影的医学影像信息。

4.通信单元

通信单元负责与影像设备进行交互，其主要任务是输出门控信号来触发影像设备进行采集。

5.控制单元

控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种新的构建序列影像与呼吸信号对应关系的方法，其特征在于：该方法的主体至少包括五个部分：红外标记物、立体视觉测量单元、数据分析单元、通信单元、控制单元；该方法结合标记物在4D CT中与呼吸信号中的移位信息，构建距离测度函数，同时确定所有CT图像对应的标记物的空间坐标，其步骤为：

(1)、使用CT扫描仪采集4D肺部CT图像；该CT扫描仪能够完成自主呼吸状态的肺部动态扫描；

(2)、使用立体视觉系统采集体外呼吸信号，直接记录标记物的相对空间坐标。

2.根据权利要求1所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：所述红外标记物为一个120°投射角、直径5㎜的红外发光二极管，其支撑结构的底部具有容易放置或吸附在病人体表的结构，在病人进行呼吸运动时，红外标记物会随着体表进行运动；所述立体视觉测量单元由两个或两个以上的数字相机、计算机或单片机处理器、机械结构组成。

3.根据权利要求2所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：所述步骤(1)还包括：

数据采集时，受试者静卧在CT床上，将红外标记物黏贴于受试者胸部剑突位置的体表；

首先开启双目立体视觉系统，采集红外标记物位移数据；

接着，CT操作者通过麦克指导受试者作呼吸运动，接着启动CT扫描仪进行肺部动态扫描。

4.根据权利要求2所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：所述步骤(2)还包括：

结合标记物相同时间段内在4D肺部CT图像中和呼吸信号中的距离移动信息，构造距离测度函数；通过计算距离测度函数可确定序列3D肺部CT图像与标记物空间坐标的一一对应关系。

5.根据权利要求4所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：所述控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。

6.根据权利要求2-5中的任一项所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：对于立体视觉测量单元的操作还包括如下过程：

首先，经过光学设计，确定相机的间距、夹角、分辨率、镜头焦距参数，搭建立体定位系统；

其次，对各相机进行同步标定，获取各相机的内、外参数；

再次，同步触发各相机，获取红外标记物的在各相机图像上的坐标序列；最后，利用相机的内、外参数和红外标记物的坐标序列重建红外标记物的空间坐标。

7.根据权利要求6所述的新的构建序列影像与呼吸信号对应关系的方法，其特征在于：所述的构造的距离测度函数F的计算公式为： 式中，r＝1，2，3代表x，y，z三个方向，q_r为CT图像的空间分辨率；m-1为 获取m个序列3D肺部CT图像I的时间间隔个数；C_i是标记物在第i个时间点的3D肺部CT图像I_i中的坐标，D_j为双目视觉系统记录的红外标记物第j个时间点的相对空间坐标。