CN109727277A - 多目立体视觉的体表摆位跟踪方法 - Google Patents

Abstract

本发明提供一种多目立体视觉的体表摆位跟踪方法，包括以下步骤：步骤S1，首先对每组视觉组件中的摄像头进行标定；步骤S2，对CT数据进行模拟几何重建：重建时保留CT数据中体表的点云数据和靶点信息，并模拟CT点云数据在左侧摄像头坐标系下的空间位置；步骤S3，通过治疗床两侧的视觉组件采集体表点云数据；步骤S4，每组的结构光投影仪投射光栅条纹到人体表面，光栅条纹的相位会发生调制；由计算机进行解相；得到体表的三维信息；步骤S5，对体表两侧采集的点云数据进行融合；步骤S6，对采集并融合后的体表点云数据与CT重建的体表点云数据进行三维精确配准。本发明对人体无辐射伤害且设备成本低。

Description

多目立体视觉的体表摆位跟踪方法

技术领域

本发明涉及图像引导放射治疗(简称：IGRT)领域，尤其是一种多目立体视觉的体表摆位跟踪方法。

背景技术

放射治疗前人体摆位的跟踪及治疗过程中实时人体摆位监控，，目前采用X射线拍摄定位方法；

采用X射线拍摄定位的方式具有和本发明类似的功能；这种方法主要利用X射线球管通过高压电离的方式产生X射线，穿透人体投影到成像平板，通过图像处理技术将CT扫描数据与X射线成像精确配准，获取当前病人的摆位信息；

X射线拍摄定位在放射治疗前能快速得到高精度人体的摆位信息，但是通过此种方式，病人需要承受额外的X射线辐射损伤，在整个治疗过程中不能实时监测，不能保证人体摆位的一致性，且该方式设备成本较高。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种多目立体视觉的体表摆位跟踪方法，利用特殊几何空间结构的多目实时采集人体部位的三维体表点云数据，再与由CT数据重建的人体模型进行三维配准，获取病人实时的摆位信息。本发明采用的技术方案是：

本发明提出的多目立体视觉的体表摆位跟踪方法，包括以下步骤：

步骤S1，安装视觉组件完成后，首先对每组视觉组件中的摄像头进行标定，通过对摄像头进行标定，获取每个摄像头图像坐标系、摄像头坐标系及世界坐标系之间的转化关系，以及摄像头的内参矩阵和外参矩阵；外参矩阵中包括世界坐标系与摄像头坐标系之间转换的旋转矩阵和平移矩阵；

步骤S2，对CT数据进行模拟几何重建：重建时保留CT数据中体表的点云数据和靶点信息，并模拟CT点云数据在左侧摄像头坐标系下的空间位置；

步骤S3，通过治疗床两侧的视觉组件采集体表点云数据：通过设置在治疗床上方、处于同一水平高度上、关于治疗床左右对称的两组视觉组件分别获取两侧的体表图像；每组视觉组件包括一个摄像头和一个结构光投影仪，两个摄像头的光轴斜向下交于一点，并处于同一竖直平面内，构成一个被动三角测量结构；每组中摄像头与结构光投影仪的光轴也成一定角度斜交处于同一倾斜平面内，构成一个主动三角测量结构；摄像头与结构光投影仪光轴的交点与两摄像头光轴交点重合；

步骤S4，每组的结构光投影仪投射光栅条纹到人体表面，因人体表面的深浅不同，光栅条纹的相位会发生调制；考虑到同时投射光栅条纹到人体表面，会产生重叠现象，影响后期图像处理，所以在本步骤中采用序列投光的方式，保证同一时间下只有一侧会投射光栅条纹；

摄像头采集此时的光栅条纹图像，由计算机进行解相；利用体表条纹的弯曲程度，解调得到该条纹的相位，再根据三角测量原理，将相位转化成体表的高度信息，进一步可以得到体表的三维信息；

计算机解相的具体步骤为：

步骤S4.1，采用四步相移法对相位进行解相；

步骤S4.2，光栅条纹图像上的相位解相后，再获取图像上某一点对应的投影仪上该点的绝对相位；

步骤S4.3，利用主动三角测量原理，获取点的世界坐标系三维坐标；

步骤S5，对体表两侧采集的点云数据进行融合；因两摄像头构成三角测量结构，在两个视角拍摄到的图像中会存在重叠的区域，先找出两个摄像头拍摄的图像对中相同特征点的坐标(图像对中的坐标，是图像坐标系中的坐标)，依据标定得出的各自的旋转矩阵和平移矩阵，将这些特征点对转换为以摄像头为坐标系的三维坐标，这些三维特征点就是体表两侧已知的一些点云数据对；再根据两个摄像头的位置关系，将右侧的摄像头坐标系转换到左侧的摄像头坐标系中，两侧点云数据会统一到一个三维坐标系下；左侧的摄像头坐标系作为世界坐标系；再根据上述求得的已知的一些点云数据对，求出两侧点云之间的旋转和平移关系，可将两侧采集的点云数据进行融合；

找出图像对中相同特征点的坐标的步骤如下：

步骤S5.1，获取体表两侧的图像信息，提取各图像中的ORB特征点；

步骤S5.2，对ORB特征点进行筛选和匹配，得到体表两侧图像中的特征点对；

步骤S5.3，再根据步骤S1标定的各摄像头图像坐标到世界坐标的转换关系，获取这些特征点对的三维坐标。

步骤S6，对采集并融合后的体表点云数据与CT重建的体表点云数据进行三维精确配准，得到病人的摆位信息。

此步骤中，具体采用迭代最近点算法进行两个点云的三维精确配准，包括：

步骤S6.1，分别计算采集的点云数据和CT重建的点云数据的质心；

步骤S6.2，将各组点云中的所有的点减去对应的质心；

步骤S6.3，预先设定初始旋转矩阵和平移矩阵，一组点云经过矩阵转换得到新的点云，计算新的点云到另一组点云的距离，将这两组点云之间的距离作为目标函数，通过不断迭代寻求最优的旋转矩阵和平移矩阵使得两组点云之间的距离最小。

本发明的优点在于：

1)本发明采用光学定位原理对人体无辐射伤害且设备成本低。

2)本发明采用的特殊几何结构，使得体表点云的采集和融合更高效。采用面结构光被动三角测量的方式采集点云数据，克服环境光对采集造成的影响；一次性投射光栅条纹，比常规激光扫描更高效；再利用两摄像头的几何位置和二维图像的特征点检测匹配算法，使得融合更快速。

3)本发明利用体表与模型进行三维配准比体表标记点的配准结果更准确。

附图说明

图1为本发明的方法流程图。

图2为本发明的体表点云数据采集装置示意图。

图3a为本发明的采集装置主视图。

图3b为本发明的采集装置俯视图。

图4为本发明的面结构光主动三角测量结构图。

图5为本发明的被动三角测量结构图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

为了使本领域普通技术人员更好的理解本发明，首先对其中的一些概念进行解释性说明：

(1)主动三角测量：由光源投射可控制的光点、光条或光面结构，光在物体表面形成特征点、线或面，并由成像系统捕捉图像，根据标定出的空间方向、位置参数，利用三角测量原理计算出物体表面点的三维坐标，一般面结构光三角测量效率和精度最高。

(2)被动三角测量：利用现场光使用两个或两个以上相机构成一定夹角对物体进行拍摄，根据被测点不同像面上的相互匹配关系，来解算出物点的三维坐标。

(3)FAST特征点检测：其原理是通过判断一个像素点p周围的16个像素点是否有连续的数个点的灰度值与p的差超出阈值，如果满足就将p点作为关键点。

(4)BRIEF描述子：是一种二进制描述子，通常为128位的二进制串。它的计算方法是从关键点p周围随机挑选128个点对，对于每个点对中的两个点，如果前一个点的灰度值大于后一个点，则取1，反之取0。

(5)最近点迭代法(简称：ICP算法)：就是通过对测量获取的表面数据与模型表面数据进行迭代匹配运算，以获得数据与模型之间的刚体变换，也就是旋转矩阵R和平移向量T。

在本发明的一个示例性实施例中，提出一种多目立体视觉的体表摆位跟踪方法。图1为本发明实施例的流程图。如图1所示，本方法包括体表点云数据采集装置设计、系统初始化、点云数据采集与融合、点云数据与CT重建数据三维配准四个部分组成，分为五个线程执行，第一个线程为主线程，用作硬件调试和系统的初始化，实现摄像头的标定和CT数据模拟几何重建等工作；第二个和第三个线程为治疗床左右两侧的体表点云数据采集线程，这两个线程并行执行，提高数据采集效率；第四个线程用于两侧点云数据的融合及精配准工作；第五个线程为点云数据与CT重建数据进行三维配准线程。以下对这几个部分进行具体的说明。

如图2所示，体表点云数据采集装置包括高清摄像头1、2，光栅条纹投影机3、4；高清摄像头1和光栅条纹投影机3、高清摄像头2和光栅条纹投影机4分别构成一组视觉组件，两组视觉组件关于治疗床5左右对称放置；光栅条纹投影机3作为结构光投影机；图3a中，两个摄像头的光轴斜向下交于一点，并处于同一竖直平面内，构成一个被动三角测量结构；图3b中，每组中摄像头与光栅条纹投影机的光轴也成一定角度斜交处于同一倾斜平面内，构成一个主动三角测量结构；摄像头与光栅条纹投影机光轴的交点与两摄像头光轴交点重合；一组视觉组件用于采集一侧的体表点云数据；

(一)安装视觉组件完成后，首先需要对对每组视觉组件中的摄像头进行标定，求出摄像头的内参矩阵和外参矩阵；本发明中采用较为成熟的张正友的棋盘标定方法，该方法通过打印一张8x6的黑白宫格棋盘，格子的边长为固定的20毫米，拍摄不同角度下的若干张棋盘图像，检测出图像中的角点信息，标定原理如下：

具体地，根据小孔成像原理，建立起摄像头坐标系、图像坐标系与世界坐标系三坐标系之间的关系，假设图像坐标系中某点坐标(u,v),对应的世界坐标为(Xw,Yw,Zw),转换公式如下所示：

式(1)中的K0、P0为摄像头的参数矩阵，并且定义内参矩阵如式(2)：

式(2)中的f为摄像头的焦距，dx和dy表示在图像坐标系各轴上的实际单位长度；(u0,v0)表示图像坐标系图像的中心坐标值；

定义外参矩阵如式(3)：

R和T分别表示为世界坐标系与摄像头坐标系之间转换的旋转矩阵和平移矩阵；

(二)对CT数据进行模拟几何重建：分为两个主要部分，一是对CT原始数据进行预处理，只重建体表的点云数据和靶点信息；二是将两摄像头光轴相交的点作为定位中心点，以治疗床左侧摄像头为坐标系原点，让CT计划中的靶点坐标与定位中心点重合，模拟CT点云数据在该左侧摄像头坐标系下的空间位置；

(三)搭建体表点云数据采集装置，利用双线程并行处理，能满足治疗床两侧采集体表点云数据的技术要求；每个摄像头配备可调高清镜头，用于保证现场采集高清晰度的图像，方便后期处理。采集帧数设为25Hz，采集图像大小为1280x720；

(四)每组视觉组件利用相移法采集体表点云数据，其工作原理如图4所示；光栅条纹投影机投射正弦莫尔光栅条纹到人体表面，因人体表面的深浅不同，光栅条纹发生变形，条纹相位因此发生改变，通过摄像头来捕捉条纹发生变化的图像，利用解相技术得出相位信息，进而再利用三角测量原理根据相位和物体空间坐标的转化关系求出物体的三维坐标；本发明中根据三角测量原理，将相位转化成体表的高度信息，进一步可以得到体表的三维信息；为防止两侧同时投射的光栅条纹互相干扰解相，因此本发明采用序列投光的方法异步采集两侧的光栅条纹图像；

假设上述投射在光栅条纹图像中某一点(x,y)的初始相位α(x,y)，在n时刻此点的光强度为：

In(x,y)＝p(x,y)+q(x,y)cos[α(x,y)+Δα_n] (4)

式(4)中，p(x,y)为图像的平均灰度，q(x,y)为振幅，α(x,y)为需要求解的相位值，Δα_n为不同时刻之间的相位差；述的p(x,y)，q(x,y)，α(x,y)为未知量，因此可以通过任意已知位移的三幅以上的光栅条纹图像即可精确的求出各点的相位值；

在本发明中采用四步相移法对相位进行解相，因为该方法消除了p(x,y),q(x,y)的影响，消除了偶次谐波的影响，四步相移法是在2π的相位周期上做相位平移，每一步平移为0.5π，等间距平移三次，第一步到第四步的各步光强度函数表示为：

I₁(x,y)＝p(x,y)+q(x,y)α(x,y) (5)

I₂(x,y)＝p(x,y)+q(x,y)cos[α(x,y)+0.5π] (6)

I₃(x,y)＝p(x,y)+q(x,y)cos[α(x,y)+π] (7)

I₄(x,y)＝p(x,y)+q(x,y)cos[α(x,y)+1.5π] (8)

联立式(5)～(8)可解除相位值为：

对采集的光栅条纹图像解相后，可根据式(9)求出摄像头中该点的绝对相位值，由以下公式求得在投影仪上该点的绝对相位，公式如下：

u^p为该点在投影仪上的绝对相位值，α为该点在摄像头中的绝对相位值，N为光栅图像的条纹周期数，W为投影仪在水平方向上的像素值；

进一步，利用上述摄像头的标定，计算图像坐标到世界坐标的转化关系，求得绝对相位线对应的平面。摄像头中某点对应的直线与其投影仪绝对相位对应的平面的交点即为该点的三维坐标，求解方程组如下所知：

(u0,v0)和(u1,v1)是摄像头和投影仪上的像素坐标，K0P0和K1P1分别为摄像头和投影仪上的转换矩阵，(Xw,Yw,Zw)为空间三维点的世界坐标系三维坐标。

(五)对体表两侧采集的点云数据进行融合；因两摄像头构成三角测量结构，在两个视角拍摄到的图像中会存在重叠的区域，先找出两个摄像头拍摄的图像对中相同特征点的坐标(图像对中的坐标，是图像坐标系中的坐标)，依据标定得出的各自的旋转矩阵和平移矩阵，将这些特征点对转换为以摄像头为坐标系的三维坐标，这些三维特征点就是体表两侧已知的一些点云数据对；再根据两个摄像头的位置关系，将右侧的摄像头坐标系转换到左侧的摄像头坐标系中，两侧点云数据会统一到一个三维坐标系下；左侧的摄像头坐标系作为世界坐标系；再根据上述求得的已知的一些点云数据对，求出两侧点云之间的旋转和平移关系，可将两侧采集的点云数据进行融合；

找出图像对中相同特征点的坐标的步骤如下：

步骤S5.1，此处采用ORB(Oriented FAST and Rotated BRIEF)特征点提取算法。ORB显著的特点就是执行速度快，可应用于实时性特征检测，同时还具有尺度和旋转不变性，对噪声及透视变换也具有不变性。ORB特征检测主要分为以下两个步骤：

(1)方向FAST特征点检测，获取两幅图像中的FAST特征点，因为其本身不具有方向特性，所以可采用以下公式来计算特征点的方向参数：

通过灰度质心法为特征点提供方向。特征点作为领域中心，其灰度矩m_pq为：

式中，I(a,b)表示特征点(a,b)处的灰度值，p,q代表灰度矩的阶数；

C为特征点到该点区域质心的方向向量；

θ为特征点(a,b)区域的主方向；

(2)BRIEF描述子，对图像中的特征点赋值一个128位的二进制串，结合方向特性使其具有旋转不变性和尺度不变性。

至此，体表图像对上的ORB特征点已经检测完毕，每个特征点有三个信息，位置，所处尺度、方向；

步骤S5.2，因为体表两侧的两幅图像上存在重叠的区域，可以通过计算特征点的欧式距离来作为两幅图像中ORB特征点的相似性判定度量；取左侧图像中的某个ORB特征点，并找出其与右侧图像中欧式距离最近的前两个ORB特征点，在这前两个ORB特征点中，如果最近的距离除以次近的距离小于某个比例阈值，则接受这一对匹配点(左侧图像中某个ORB特征点与其右侧图像中欧式距离最近的ORB特征点)。降低这个比例阈值，ORB特征点匹配的数目会减少，但更加稳定。

得到两幅图像中匹配上的特征点的图像坐标p(u_i,v_i)和p'(u_i,v_i)，根据上述对两个摄像头标定得出的内外参矩阵，分别求出p(u_i,v_i)和p'(u_i,v_i)在以各自摄像头为坐标系的空间三维坐标m(x_i,y_i,z_i)和m'(x_i,y_i,z_i)。

步骤S5.3，利用两摄像头的三角关系，如图5所示，将治疗床右侧的摄像头坐标系转换到左侧的坐标系中，左侧的坐标系为左侧摄像头坐标系，并作为世界坐标系，通过以下空间转换矩阵实现：

(x_c,y_c,z_c)和(x_r,y_r,z_r)分别代表左右摄像头坐标系，R和T表示旋转和平移矩阵，矩阵参数可根据摄像头的几何关系得到；

进一步，将右摄像头坐标系的点云数据统一到左摄像头坐标系下，上述的m'(x_i,y_i,z_i)经转换得到的新的坐标为m”(x_i,y_i,z_i)。再计算在同一坐标系下，三维配准点m(x_i,y_i,z_i)和m”(x_i,y_i,z_i)平移旋转关系，就可以实现点云数据的融合。

(六)本发明中，利用迭代最近点算法对采集并融合后的体表点云数据与CT重建的体表点云数据进行三维精确配准，得到病人的摆位信息；在系统初始化时，已经对CT数据进行了预处理，模拟现场在摄像头坐标系下的空间点云坐标，采集到的点云数据已经在定位中心点的附近，可通过最近点迭代方法，计算出旋转矩阵和平移向量，将两组点云可重叠在一起，得出体表摆位；

步骤S6.1，分别计算采集的点云数据和CT重建的点云数据的质心；

步骤S6.2，将各组点云中的所有的点减去对应的质心；

步骤S6.3，预先设定初始旋转矩阵和平移矩阵，一组点云经过矩阵转换得到新的点云，计算新的点云到另一组点云的距离，将这两组点云之间的距离作为目标函数，通过不断迭代寻求最优的旋转矩阵和平移矩阵使得两组点云之间的距离最小。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种多目立体视觉的体表摆位跟踪方法，其特征在于，包括以下步骤：

步骤S1，安装视觉组件完成后，首先对每组视觉组件中的摄像头进行标定，通过对摄像头进行标定，获取每个摄像头图像坐标系、摄像头坐标系及世界坐标系之间的转化关系，以及摄像头的内参矩阵和外参矩阵；

步骤S2，对CT数据进行模拟几何重建：重建时保留CT数据中体表的点云数据和靶点信息，并模拟CT点云数据在左侧摄像头坐标系下的空间位置；

步骤S3，通过治疗床两侧的视觉组件采集体表点云数据：通过设置在治疗床上方、处于同一水平高度上、关于治疗床左右对称的两组视觉组件分别获取两侧的体表图像；每组视觉组件包括一个摄像头和一个结构光投影仪，两个摄像头的光轴斜向下交于一点，并处于同一竖直平面内，构成一个被动三角测量结构；每组中摄像头与结构光投影仪的光轴也成一定角度斜交处于同一倾斜平面内，构成一个主动三角测量结构；摄像头与结构光投影仪光轴的交点与两摄像头光轴交点重合；

步骤S4，每组的结构光投影仪投射光栅条纹到人体表面，因人体表面的深浅不同，光栅条纹的相位会发生调制；在本步骤中采用序列投光的方式，保证同一时间下只有一侧会投射光栅条纹；

摄像头采集此时的光栅条纹图像，由计算机进行解相；利用体表条纹的弯曲程度，解调得到该条纹的相位，再根据三角测量原理，将相位转化成体表的高度信息，进一步可以得到体表的三维信息；

步骤S5，对体表两侧采集的点云数据进行融合；先找出两个摄像头拍摄的图像对中相同特征点的坐标，依据标定得出的各自的旋转矩阵和平移矩阵，将这些特征点对转换为以摄像头为坐标系的三维坐标，这些三维特征点就是体表两侧已知的一些点云数据对；再根据两个摄像头的位置关系，将右侧的摄像头坐标系转换到左侧的摄像头坐标系中，两侧点云数据会统一到一个三维坐标系下；左侧的摄像头坐标系作为世界坐标系；再根据上述求得的已知的一些点云数据对，求出两侧点云之间的旋转和平移关系，可将两侧采集的点云数据进行融合；

步骤S6，对采集并融合后的体表点云数据与CT重建的体表点云数据进行三维精确配准，得到病人的摆位信息。

2.如权利要求1所述的多目立体视觉的体表摆位跟踪方法，其特征在于，

步骤S4中，计算机解相的具体步骤包括：

步骤S4.1，采用四步相移法对相位进行解相；

步骤S4.2，光栅条纹图像上的相位解相后，再获取图像上某一点对应的投影仪上该点的绝对相位；

步骤S4.3，利用主动三角测量原理，获取点的世界坐标系三维坐标。

3.如权利要求1所述的多目立体视觉的体表摆位跟踪方法，其特征在于，

步骤S5中，找出图像对中相同特征点的坐标的步骤如下：

步骤S5.1，获取体表两侧的图像信息，提取各图像中的ORB特征点；

步骤S5.2，对ORB特征点进行筛选和匹配，得到体表两侧图像中的特征点对；

步骤S5.3，再根据步骤S1标定的各摄像头图像坐标到世界坐标的转换关系，获取这些特征点对的三维坐标。

4.如权利要求3所述的多目立体视觉的体表摆位跟踪方法，其特征在于，

步骤S5.2中，ORB特征点筛选和匹配，具体包括：取左侧图像中的某个ORB特征点，并找出其与右侧图像中欧式距离最近的前两个ORB特征点，在这前两个ORB特征点中，如果最近的距离除以次近的距离小于某个比例阈值，则接受这一对匹配点。

5.如权利要求1所述的多目立体视觉的体表摆位跟踪方法，其特征在于，

步骤S6中，具体采用迭代最近点算法进行两个点云的三维精确配准，包括：

步骤S6.1，分别计算采集的点云数据和CT重建的点云数据的质心；

步骤S6.2，将各组点云中的所有的点减去对应的质心；

步骤S6.3，预先设定初始旋转矩阵和平移矩阵，一组点云经过矩阵转换得到新的点云，计算新的点云到另一组点云的距离，将这两组点云之间的距离作为目标函数，通过不断迭代寻求最优的旋转矩阵和平移矩阵使得两组点云之间的距离最小。