CN104739418B - 一种基于立体视觉的呼吸门控系统及控制方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的呼吸门控系统及控制方法，该呼吸门控系统包括靶标、立体视觉测量单元、数据分析单元、通信单元、控制单元，利用立体视觉测量单元实时跟踪定位靶标，获取三维坐标序列，数据分析单元对坐标序列处理，获得呼吸运动曲线，并在设定的阈值处产生呼吸门控信号，通信单元负责与医学影像设备交互，完成呼吸门控信号对医学影像设备的触发采集，控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。本发明结构简单，精度高，可靠性高，且易于操作。

Description

一种基于立体视觉的呼吸门控系统及控制方法

技术领域

本发明属于数字化自动控制领域，具体涉及一种利用立体视觉技术对病人的呼吸信号进行采集和分析，并在设定的阈值处输出呼吸门控信号的系统及控制方法。

背景技术

在应用医学影像设备（如CT、MRI等）时，由于患者的呼吸运动，通常会在胸腹部成像时产生呼吸伪影，从而对所成图像的清晰度产生明显的影响，由此导致成像质量下降，从而影响了对病灶的诊断。在目前的医疗影像设备中，为了解决胸腹部成像伪影问题，通常采用呼吸门控技术进行规避和补偿。

呼吸门控技术的原理是通过呼吸监控设备（RPM，Respiratory Percent Minute）对呼吸信号进行采集，生成呼吸节律曲线，并人为设置阈值，在达到阈值时，会输出门控信号，控制医学影像设备的采集开始和结束，从而达到呼吸门控的目标。目前，呼吸监控设备RPM没有标准化，它所输出的呼吸信号除了振幅信号外，还有可能是相位信号，或能反映肺的运动周期的其他参数信号。为了实现呼吸门控，一般医学影像设备需要和内部集成或指定提供的RPM设备在耦合的状态下进行工作。

呼吸门控系统按获取呼吸信号的方式不同，大致可以分为如下三类。

1.基于呼吸流量的呼吸门控技术。

该类呼吸门控技术的基本原理是：通过呼吸流量计或肺活量计等将被检测到的呼吸流量转化为数字信号，设置阈值，由此产生门控信号。

如申请号是200720005748.6、名称为“数字化主动型呼吸门控系统”的专利中提出了一种基于呼吸流量的呼吸门控技术，以及实现该技术的系统。该系统通过与呼吸整合装置相连接的呼吸流量计把被检者呼吸流量转化为数字信号并传输到计算机上，并根据检测到的潮气量，通过操作者控制装置由患者口含的具有单向阀门作用的呼吸器主动控制被检者的呼吸。

又如医科大公司（Elekta）的主动呼吸控制系统（Active Breathing Control,ABC），该系统利用带有活瓣的呼吸导管控制患者呼吸。我们设定的治疗时肺的体积为最大吸气量的75%，屏气的开始和持续的时间由患者手中的支配活瓣开关的按钮控制。患者在治疗时可以通过显示屏幕看到自己的呼吸信息，当患者看到自己的呼吸深度到达设定的范围时，按下手中的控制按钮，这时，活瓣将通气导管关闭，患者开始屏气，并让加速器开始出束治疗。只有当患者的屏气体积和设定范围高度一致时，系统才实施治疗。

2.基于传感器（如压力传感器、热敏传感器等）的呼吸门控技术。

该类呼吸门控技术的原理是：通过压力、热敏等传感器直接或间接测量由于呼吸运动产生的信号变化，设置阈值，由此产生门控信号。

如申请号是91205027.6、名称为“医用X线拍胸腹片曝光控制器”的专利中提出了一种热敏电阻式呼吸门控系统。该系统由热敏电阻、放大器、采样保持电路、比较器、单稳定接口组成，利用热敏电阻作为探头，放到患者鼻口处，让患者做几次深呼或深吸，与探头相连的相关电路保存这几次深呼或深吸的最大值，操作时，操作者按允许曝光开关，将取样电路保存的最大呼吸信号与实时的呼吸信号比较，一旦实时呼吸信号达到或超过保持的最大信号，则立刻曝光，拍出最佳的X光片。

又如申请号为200810055806.5、名称为“一种气压式呼吸门控系统”的专利中提出了一种气压式呼吸门控系统。该呼吸门控系统由呼吸腹带、压力传感器、信号处理单元、PC机等组成，将呼吸腹带固定在病人的腹部并充气，病人的呼吸运动会导致呼吸腹带内的气压变化，连接的压力传感器能够将这种气压变化转换为数字信号，实现对呼吸信号的采集。

3.基于体表特征或标记物的呼吸门控技术。

该类呼吸门控技术的原理是：通过相机实时采集体表特征或标记物的图像，利用图像处理的方法获取它们的坐标变化，推算出呼吸信号，设置阈值，由此产生门控信号。

如申请号为200810105863.4、名称为“基于腹部体表轮廓线参数数字化呼吸门控信号的方法”的专利中提出了一种体表特征的呼吸门控系统。该系统的由一台数字相机、计算机组成，利用相机实时采集腹部体表轮廓线，利用图像处理的方法获取呼吸信号。

如美国Varian公司生产的RPM（Real-time Position Management）系统是一种基于体表标记物的呼吸门控系统（链接地址：http://www.varian.com/ascns/oncology/radiation_oncology/clinac/rpm_respiratory_gating.html），该系统由一台红外跟踪相机和计算机组成，利用相机跟踪放置在病人胸腹部的靶标来测量病人的呼吸运动曲线和运动幅度，并将这些信息以曲线的方式进行显示。门控阈值设置在呼吸运动周期的理想位置（比如波谷），这些阈值决定了影像设备采集的开和关。

然而，上述的多重呼吸门控系统均存在不足：

1.基于呼吸流量的呼吸门控技术的缺点在于需要病人佩戴口罩等来测量气流量，其耐受性较差；

2.基于压力传感器的呼吸门控技术的缺点在于使用时需要将气囊束缚在体表，给病人带来不适，操作也较复杂，针对老人和儿童操作更为困难；

3.基于热敏传感器的呼吸门控技术由于要放在病人的口鼻处，容易造成患者间的交叉感染；

4.基于体表特征的呼吸门控技术需要病人将胸腹部全部露出，给病人会带来隐私方面的顾虑，对于体表特征不明显的肥胖者和儿童，门控效果不佳；同时，如基于体表标记物的美国Varian公司的RPM系统，由于采用单相机进行图像采集，这对靶标的要求较高，必须由具有标准间距的多个特征点组成，此外，输出的呼吸信号只能是二维坐标方向，而实际靶标运动是三维坐标方向，因而对呼吸运动的分析不够充分。

发明内容

为克服现有技术中的不足，本发明要研发的“一种基于立体视觉的呼吸门控系统及控制方法”，利用立体视觉技术，实现具有一种操作方便、可靠、高精度的呼吸门控系统。

为了解决上述技术问题，实现上述目的，本发明通过以下技术方案实现：

本发明获取呼吸信号的方法是立体视觉技术，即采用两个或两个以上的相机搭建的立体视觉测量系统，对放置在病人胸腹部的靶标进行实时空间（三维）定位，获取随时间变化的体表运动幅度曲线。

本发明的技术方案包括五个部分，即靶标、立体视觉测量单元、数据分析单元、通信单元、控制单元。该技术方案的工作流程是：将靶标放置在病人的胸部或腹部，利用立体视觉测量单元实时跟踪定位靶标，获取三维坐标序列，数据分析单元对坐标序列处理，获得呼吸运动曲线，并在设定的阈值处产生呼吸门控信号，通信系统负责与医学影像设备交互，完成呼吸门控信号对医学影像设备的触发采集。

现有技术获取呼吸信号的方法分别是：呼吸流量监测技术，即采用呼吸流量计监测病人的呼吸流量，获取随时间变化的呼吸流量强度曲线；传感器技术，即采用传感器将病人因呼吸运动而带来气压、热量等变化转换为电信号，获取随时间变化的电信号强度曲线；单目视觉技术，即采用单个相机采集体表或已放置标记物的体表的图像，对体表的运动进行二维监测，获取随时间变化的体表运动幅度曲线。与现有技术相比，本发明具有以下有益效果：

1. 本发明结构简单：在硬件方面，本发明只需要两台普通分辨率的数字相机、一台计算机或单片机处理器、机械支持结构等组成；

2. 本发明精度高、可靠性高：本发明采用了立体视觉技术，能够给出靶标的空间坐标，呼吸运行信号的采集更加贴近实际状态，经数据分析后给出的呼吸门控信号更加准确；

3．本发明易于操作：在操作方面，将靶标放置在胸腹部的任何位置，立体视觉测量单元在保证靶标落入测量范围的情况下，位置可任意放置，保证了操作灵活性和简便性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。本发明多处仅仅对做出改进的部分进行描述，而其他未说明部分可以借助本领域的现有技术实现，亦即未说明部分通过现有技术实现，在此不进行详细说明。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的系统结构示意图。

图2为本发明的立体视觉定位模块工作流程图。

具体实施方式

下面结合附图和实施例对本发明的技术实施过程做进一步说明。

实施例1：

本发明获取呼吸信号的方法是立体视觉技术，即采用两个或两个以上的相机搭建的立体视觉测量系统，对放置在病人胸腹部的靶标进行实时空间（三维）定位，获取随时间变化的体表运动幅度曲线。

参见图1，本发明的基于立体视觉的呼吸门控系统包括五个部分，即靶标、立体视觉测量单元、数据分析单元、通信单元、控制单元。上述呼吸门控系统的工作流程是：将靶标放置在病人的胸部或腹部，利用立体视觉测量单元实时跟踪定位靶标，获取三维坐标序列，数据分析单元对三维坐标序列进行处理，获得呼吸运动曲线，并在设定的阈值处产生呼吸门控信号，通信单元负责与医学影像设备交互，完成呼吸门控信号对医学影像设备的触发采集。控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。

接下来进一步的对本发明的技术环节进行详细说明。

1.靶标

靶标是由若干具有明显特征点的物体（如红外发光LED、方格）构成，其支撑结构的底部具有容易放置或吸附在病人体表的结构，在病人进行呼吸运动时，靶标会随着体表进行运动。

2.立体视觉测量单元

立体视觉测量单元由两个或两个以上的数字相机、计算机或单片机处理器、机械结构等组成。首先，经过光学设计，确定相机的间距、夹角、分辨率、镜头焦距等参数，搭建立体定位系统；其次，对各相机进行同步标定，获取各相机的内、外参数；再次，同步触发各相机，获取靶标的在各相机图像上的坐标序列；最后，利用相机的内、外参数和靶标的坐标序列重建靶标的空间坐标。该单元的工作指标包括定位精度、频率等，其主要技术流程如图2所示。

立体视觉测量单元的技术环节包括如下几点。

（1）标定板特征点高精度提取技术

在进行数字相机标定时，需要用到高精度标定板。标定板有规则的图案阵列（比如棋盘格、圆斑阵列）组成，具有明显的特征点（比如角点、中心点）。特征点之间具有标准间距，选定某特征点作为世界坐标原点后，每一特征点的坐标也就确定下来了。由相机采集的标定板图像称为标定图像，需要将每一特征点进行准确提取。将获得的世界坐标序列和图像坐标序列输入到标定算法，就可以完成标定。可见，标定板特征点的提取精度直接影响到相机的标定精度。因此，在特征点提取时，要求精度要达到亚像素级。

（2）相机高精度标定算法

数字相机标定的目的是获取相机的内、外参数，其中内参数包括镜头焦距、主点坐标、倾斜因子、镜头畸变等，外部参数包括旋转矩阵和平移矩阵。内部参数由数字相机的内部结构决定，而外部参数由相机相对于世界坐标的方位决定。数字相机经过标定之后，由内、外参数可以计算得到相机矩阵，它建立起了图像坐标和世界坐标的关系。两组或两组以上相机经同步标定获得的相机矩阵，可用于实现对靶标的空间定位。因此，数字相机的标定精度在很大程度上决定了系统的定位精度。

相机标定算法是利用标定板特征点阵列的世界坐标和图像坐标进行相机标定，准确估计出相机的内、外参数。相机标定算法由多种，高精度标定算法具有更贴近实际的相机模型和更好的最优化方法，对相机参数的估计更加准确。

（3）靶标特征点快速提取技术

靶标一般具有方便提取的特征点，如角点、中心点，在进行靶标空间定位时，需要对其进行准确提取。为了能实现实时跟踪定位，相机的图像采集频率要达到几十帧，这要求对特征点的提取要快速。

（4）图像快速配准技术

每一个特征点在图像序列中的每一幅图像中均有一组坐标，建立图像序列中每一特征点坐标关系的过程叫做配准。配准的目的是保证每组坐标序列应同一特征点，否则重建出的空间坐标会有较大误差。根据极线约束理论，当特征点的坐标在图像序列中的一幅图像中确定后，可以其他图像所对应的极线上进行搜索，快速获取的对应同一特征点的坐标。

（5）空间坐标重建技术

在获得一组图像序列中的特征点坐标后，利用相机矩阵可以重建出空间坐标。以双目立体视觉为例进行说明。

设双目立体视觉中，两相机经标定后，得到的投影矩阵分别是M₁、M₂：

。

提取立体图像对中靶标的特征点坐标，其中u是横向坐标，v是纵向坐标，i表示第i个相机。将特征点坐标带入重建方程：

。

其中是世界坐标。三个未知数，四个方程，是一个超定方程组。通过矩阵理论中的采用最小二乘法，可以求出X，Y，Z。

3.数据分析单元

数据分析单元对立体视觉测量单元输出的空间坐标序列进行处理，并以曲线的形式显示呼吸信息。可以在呼吸曲线上设定阈值，阈值一般设定在呼吸运动处最小阶段时的深吸气或呼气时刻，此时给影像采集设备发出门控信号，获取具有较小运动伪影的医学影像信息。

4.通信单元

通信单元负责与影像设备进行交互，其主要任务是输出门控信号来触发影像设备进行采集。

5.控制单元

控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种使用基于立体视觉的呼吸门控系统的方法，其特征在于：基于立体视觉的呼吸门控系统至少包括五个部分：靶标、立体视觉测量单元、数据分析单元、通信单元、控制单元；所述靶标表面具有若干明显特征点，其支撑结构的底部具有容易放置或吸附在病人体表的结构，在病人进行呼吸运动时，靶标会随着体表进行运动；所述立体视觉测量单元由数字相机、计算机、机械结构组成，其中数字相机为两个，计算机可以被单片机处理器替代；所述数据分析单元对立体视觉测量单元输出的空间坐标序列进行处理，并以曲线的形式显示呼吸信息，在呼吸曲线上设定阈值，阈值设定在呼吸运动处最小阶段时的深吸气或呼气时刻，此时给影像采集设备发出门控信号，获取具有较小运动伪影的医学影像信息；

所述的使用基于立体视觉的呼吸门控系统的方法，包括如下步骤：

a将靶标放置在病人的胸部或腹部，利用立体视觉测量单元实时跟踪定位靶标，获取三维坐标序列；对于立体视觉测量单元的操作包括如下过程：首先，经过光学设计，确定相机的间距、夹角、分辨率、镜头焦距参数，搭建立体定位系统；其次，对各相机进行同步高精度标定，标定板特征点高精度提取，标定板由规则的图案阵列组成，具有明显的特征点，特征点之间具有标准间距，获取各相机的内、外参数；再次，同步触发各相机，获取靶标的在各相机图像上的坐标序列，靶标特征点快速提取，图像快速配准；最后，利用相机的内、外参数和靶标的坐标序列重建靶标的空间坐标；

b数据分析单元对坐标序列处理，获得呼吸运动曲线；

c设定阈值，并在设定的阈值处产生呼吸门控信号；

d通信系统负责与医学影像设备交互，完成呼吸门控信号对医学影像设备的触发采集；

对于步骤a中的空间坐标重建，具体采用如下方法：在获得一组图像序列中的特征点坐标后，利用相机矩阵可以重建出空间坐标；设双目立体视觉中，两相机经标定后，得到的投影矩阵分别是M₁、M₂：

$M_1=\left(\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right)$

$M_2=\left(\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^3& m_{32}^3& m_{33}^3& m_{34}^3\end{array}\right)$

提取立体图像对中靶标的特征点坐标(u_i，v_i)(i＝1，2)，其中u是横向坐标，v是纵向坐标，i表示第i个相机；将特征点坐标带入重建方程：

$(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1$

$(v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1$

$(u_2{m}_{31}^2-m_{11}^2)X+(u_2{m}_{32}^2-m_{12}^2)Y+(u_2{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_2{m}_{34}^2$

$(v_2{m}_{31}^2-m_{21}^1)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2;$

其中(X，Y，Z)是世界坐标；三个未知数，四个方程，是一个超定方程组；通过矩阵理论中的采用最小二乘法，求出X，Y，Z。

2.根据权利要求1所述的使用基于立体视觉的呼吸门控系统的方法，其特征在于：所述通信单元负责与影像设备进行交互，其任务至少包括输出门控信号来触发影像设备进行采集。

3.根据权利要求2所述的使用基于立体视觉的呼吸门控系统的方法，其特征在于：所述控制单元负责对立体测量单元、数据分析单元和通信单元进行控制，协调完成整个系统功能。