CN101980229B - 基于单摄像机和镜面反射的空间跟踪定位方法 - Google Patents

Abstract

本发明涉及计算机视觉测量跟踪定位技术领域，尤其涉及一种基于单摄像机和镜面反射的空间跟踪定位方法。本发明利用空间定位装置中的单摄像机并借助平面镜的镜面反射作用获取空间杆状器械上两个光点的图像信息，通过光点检测算法获取光点所对应关键点的图像坐标，利用几何关系和几何演算方法将2D图像坐标转换成3D空间坐标，从而实现杆状器械移动过程中的空间跟踪定位功能。本发明可以对光点所对应的图像采集点进行快速精确定位，操作简便且减少了高昂的采集检测与定位设备，操作便捷、性价比高，完全能满足医学外科手术教学与培训领域中虚拟手术仿真与训练系统的杆状器械空间定位精度要求。

Description

基于单摄像机和镜面反射的空间跟踪定位方法

技术领域

本发明涉及计算机视觉测量跟踪定位技术领域，尤其涉及一种基于单摄像机和镜面反射的空间跟踪定位方法。

背景技术

计算机虚拟手术仿真是计算机科学与医学交叉的一个重要研究领域，它对加强对实习医生的模拟手术培训，减少临床外科手术风险、降低培训成本及保护人体健康都具有重大的现实意义和应用价值。为了逼真地模拟出杆状器械(如手术器械)和内窥镜虚拟场景间的交互，对杆状器械进行精确跟踪定位是构建真实感虚拟内窥镜手术仿真系统的关键。

目前，在虚拟现实中已通过机械、电磁、超声波、光学等方面技术来实现位置测量及跟踪。尽管这些跟踪器在医学领域广泛应用，但是其体积庞大、操作复杂且价格昂贵，仅局限于科研机构难以推广普及应用。

发明内容

针对上述存在的技术问题，本发明的目的是提供一种基于单摄像机和镜面反射的空间跟踪定位方法，实现杆状器械关键点的空间跟踪定位。

为达到上述目的，本发明采用如下的技术方案：

包括一个带USB接口的摄像机和一个平面镜的空间定位装置，以及附有两个发光二极管的杆状器械，其中杆状器械可以在空间定位装置的活动空间中自由移动，该方法具体包括以下步骤：

①控制USB摄像头以30帧/秒的帧率对杆状器械和平面镜反射所形成的光点图像进行采集，动态截取帧并生成RGB彩色图像；

②采用RGB取均值得到灰度图像，并将灰度图像与预先得到并处理好的背景灰度图相减，以便过滤掉图像背景；

③采用中值滤波方法对过滤掉背景的灰度图像进行处理，以抵制噪声和提高光点图像的质量；

④采用光点检测算法获取4个图像光点的关键点图像坐标；

⑤利用几何关系和几何演算方法将关键点的2D图像坐标转换成3D空间坐标；

⑥根据两个光点所对应关键点的3D空间坐标，由空间解析几何方法还可计算出方向余弦，从而得到三个方向角；

⑦系统输出杠状器械的6自由度定位数据结果，即关键点的3D坐标和杠状器械的方向角，返回步骤①继续跟踪定位，否则结束。

所述步骤①中，所采集的彩色图像中总共形成了4个定位光点，其中，左边两个定位光点是杠状器械上的两个真实的光点，右边两个定位光点是经平面镜反射后形成的真实光点的虚像。

所述步骤④中，经图像采集和处理后的4个图像光点的各光点图像是由多个像素构成的团状光点，为检测出光点所对应的关键点，具体包括以下子步骤：

采用Otsu自适应阈值分割算法分割出光点，采用投影法将整幅图像分成4个子块；

分别对分割出的4个子块光点进行重心统计计算，以得到4个图像光点所对应关键点的2D图像坐标。

所述步骤⑤中，具体包括以下子步骤：

设ABCD为杆状器械的活动空间，A′B′C′D′为ABCD在平面镜中的虚像，光点P′是光点P的虚像，d₁为CD或C′D′的长度，d₂为BC或B′C′的长度，边CD到摄像机的长度为Z_n，边B′C′到摄像机的长度为X_n，光点P和P′到摄像机的距离分别为Z_i和X_i；

设CD和B′C′在CCD图像传感器中的距离分别为e和E，若把CD和B′C′分别平行移到P和P′的位置，则其相应在CCD图像传感器中的距离为e_i和E_i，有下列等式：

$\left\{\begin{array}{c}{\mathrm{fd}}_1=e{Z}_n=e_i{Z}_i\\ {\mathrm{fd}}_2=E{X}_n=E_i{X}_i\end{array}\right.$

由于CCD图像传感器的区域大小与我们所看到的图像是等比例放大关系，故有：

$\left\{\begin{array}{c}{e}^{\′}{Z}_n={e_i}^{\′}{Z}_i\\ E^{\′}{X}_n={E_i}^{\′}{X}_i\end{array}\right..$

本发明具有以下优点和积极效果：

1)可以对光点所对应的图像采集点进行快速精确定位，操作简便且减少了高昂的采集检测与定位设备；

2)操作便捷、性价比高，完全能满足医学外科手术教学与培训领域中虚拟手术仿真与训练系统的杆状器械空间定位精度要求，拓展后，还可应用于其他领域。

附图说明

图1是本发明中空间跟踪定位装置三维示意图。

图2是本发明中的杆状器械的示意图。

图3是本发明中摄像机坐标系。

图4是本发明中定位系统的俯视图。

图5是摄像机所拍摄场景的示意图。

图6是本发明中空间跟踪定位方法流程图。

具体实施方式

本发明提供的基于单摄像机和镜面反射的空间跟踪定位方法，基于下述的空间定位装置的环境中实现，下面先描述本发明的装置的基本结构，如图1所示。

空间定位装置，包括一个摄像机和一个平面镜，所述摄像机为带USB接口的摄像机。

杆状器械，该杆状器械附有两个发光二极管形成两个光点(光点的重心简称关键点)。当杆状器械在空间定位装置的活动空间中移动时，带USB接口的摄像机和平面镜的空间定位装置、PC机及跟踪定位软件构成的跟踪定位系统便能实时地捕获并计算出杆状器械在活动空间移动过程中光点所对应的两个关键点。

空间定位方法，利用空间定位装置中的单摄像机并借助平面镜的镜面反射作用获取空间杆状器械上两个光点的图像信息，通过光点检测算法获取光点所对应关键点的图像坐标，利用几何关系和几何演算方法将2D图像坐标转换成3D空间坐标，从而实现杆状器械移动过程中的空间跟踪定位功能。

空间定位装置需通过微机的USB接口接入微机，空间定位装置、杆状器械、微机及空间定位方法软件有机组合在一起便构成了基于单摄像机和镜面反射的空间跟踪定位系统。

为了便于理解本发明，下面对本发明涉及的原理进行详细描述：

1、平面镜的作用

单路摄像机沿着世界坐标系Z轴的负方向对物体进行拍摄(即摄像机坐标系)，只能得到物体X和Y方向的坐标信息，并不能得到物体的Z方向的坐标信息，但是要把X和Y方向的坐标信息转换成实际空间X和Y坐标必须使用Z方向的坐标信息。也就是说仅靠单路摄像机无法完成空间定位的工作。如果我们用第二路摄像机从X轴的负方向对物体也进行拍摄，就能够得到Z方向的坐标信息。但是，使用两路摄像机进行空间定位的缺点是增加了成本，而且不能保证同步处理，从而造成误差。为此，本系统采用与第一路摄像机视线成45°的平面镜取代第二路摄像机，该平面镜的作用是延伸第一路摄像机的拍摄范围，使其能窥测到Z方向的坐标信息从而完成第二路摄像机的功能。由于只有一路摄像机和一个平面镜，不仅节约了成本而且不存在必须同步处理的问题。

2、摄像机成像基本原理及算法

图3为摄像机坐标系示意图，摄像机坐标系又称为视觉坐标系，CCD传感器所在位置为视平面。若P与Q的连线平行于视平面，则有d/f＝D/Z，其中D为空间中PQ的距离，d为PQ在CCD图像传感器中的距离pq。

将d/f＝D/Z写成dZ＝fD，由于f和D为不变量，故在理想情况下，一条线段只要平行于视平面，则其在视平面上的投影长度和它离摄像头的距离的乘积为常量。

3、定位系统的几何分析及坐标转换

图4是定位系统的俯视图，其中ABCD为杆状器械的活动空间，A′B′C′D′为ABCD在平面镜中的虚像，光点P′是光点P的虚像，d₁为CD或C′D′的长度，d₂为BC或B′C′的长度，边CD到摄像机的长度为Z_n，边B′C′到摄像机的长度为X_n，光点P和P′到摄像机的距离分别为Z_i和X_i。

设CD和B′C′在CCD图像传感器中的距离分别为e和E。若把CD和B′C′分别平行移到P和P′的位置，则其相应在CCD图像传感器中的距离为e_i和E_i，有下列等式：

$\left\{\begin{array}{c}{\mathrm{fd}}_1=e{Z}_n=e_i{Z}_i\\ {\mathrm{fd}}_2=E{X}_n=E_i{X}_i\end{array}\right.$

由于CCD图像传感器的区域大小与我们所看到的图像是等比例放大关系，故有：

$\left\{\begin{array}{c}{e}^{\′}{Z}_n={e_i}^{\′}{Z}_i---\left(1\right)\\ E^{\′}{X}_n={E_i}^{\′}{X}_i---\left(2\right)\end{array}\right.$

其中，带撇号的变量为相应的变量在图像中的像素个数。

图5为摄像机所拍摄场景的示意图，其边和顶点的标号与图5中的标号一致。从图5可以看出，如果要完成光点所对应关键点的2D图像坐标到3D空间坐标的转换必须预先知道光点落在哪个平面上，如图中的P点，必须先要求出其所在的平面——左边的虚线框。

由上面的假设可以知，设关键点P所在的虚线框平面离摄像机的距离即为Z_i，Z_i等于Z_n减去图4中P点到CD的距离，而P点到CD的距离又等于图4中P′到C′D′的距离。设图像的中心点为(x_m，y_m)，P和P′的图像坐标分别为(x₁，y₁)和(x₂，y₂)，则P′到C′D′的距离为

即有：

$Z_i=Z_n-\frac{x_2-x_m}{{E_i}^{\′}}{d}_2---\left(3\right)$

同理，P′点所在的虚线框平面离摄像机的距离即为X_i，而X_i等于X_n减去图4中P′点到B′C′的距离，与前面类似，P′点到B′C′的距离又等于图4中P点到BC的距离，亦即为

$\frac{{e_i}^{\′}-(x_m-x_1)}{{e_i}^{\′}}{d}_1,$ 故有：

$X_i=X_n-\frac{{e_i}^{\′}-(x_m-x_1)}{{e_i}^{\′}}{d}_1---\left(4\right)$

结合公式(1)-(4)，便能解算出e_i′和E_i′，结果表达式如下：

$\left\{\begin{array}{c}{e_i}^{\′}=\frac{\left|\begin{array}{cc}{e}^{\′}{Z}_n& (x_2-x_m)d_2\\ (x_1-x_m)d_1& E^{\′}{X}_n\end{array}\right|}{\left|\begin{array}{cc}{Z}_n& (x_2-x_m)d_2\\ X_n-d_1& E^{\′}{X}_n\end{array}\right|}\\ {E_i}^{\′}=\frac{\left|\begin{array}{cc}{e}^{\′}{Z}_n& (x_2-x_m)d_2\\ (x_1-x_m)d_1& E^{\′}{X}_n\end{array}\right|}{\left|\begin{array}{cc}{e}^{\′}{Z}_n& Z_n\\ (x_1-x_m)d_1& X_n-d_1\end{array}\right|}\end{array}\right.----\left(5\right)$

如果我们以图5中的C点为坐标原点，CD方向为X轴，CF方向为Y轴，CB方向为Z轴，则光点所对应的关键点P在此坐标系下的空间坐标(x，y，z)为(假设CF的距离为d₃)：

$\left\{\begin{array}{c}x=\frac{{e_i}^{\′}-(x_m-x_1)}{{e_i}^{\′}}{d}_1\\ y=\frac{d_3}{2}+\frac{(y_m-y_1)}{{e_i}^{\′}}{d}_1\\ z=\frac{x_2-x_m}{{E_i}^{\′}}{d}_2\end{array}\right.---\left(6\right)$

下面对本发明提出的基于单摄像机和镜面反射的空间跟踪定位方法进行详细描述，如图6所示：

步骤1：图像采集及帧的截取。图像采集软件模块控制USB摄像头以30帧/秒的帧率对杆状器械和平面镜反射所形成的光点图像进行采集，动态截取帧并生成RGB彩色图像。由于平面镜的作用，所采集的彩色平面图像中总共形成了4个定位光点；其中，左边两个定位光点是杠状器械上的两个真实的光点，右边两个定位光点是经平面镜反射后形成的真实光点的“虚像”。

步骤2：将RGB彩色图像转换成灰度图像，并过滤掉背景。采用RGB取均值得到灰度图像，并将灰度图像与预先得到并处理好的背景灰度图相减，以便过滤掉图像背景。

步骤3：采用中值滤波方法对过滤掉背景的灰度图像进行处理，以抵制噪声和提高光点图像的质量。

步骤4：采用光点检测算法获取4个图像光点的关键点图像坐标。由于经采集和上述处理后的四个光点的各光点图像是由多个像素构成的团状光点，为检测出光点所对应的关键点，我们首先采用Otsu自适应阈值分割算法分割出光点，采用投影法将整幅图像分成4个子块；然后分别对分割出的4个子块光点进行重心统计计算，以得到4个图像光点所对应关键点的2D图像坐标。

步骤5：利用几何关系和几何演算方法将关键点的2D图像坐标转换成3D空间坐标。按照定位系统的几何分析及2D到3D的坐标转换方法将某个真实光点及其虚像所对应的两个关键点的图像坐标转换成一个3D空间坐标。由于有两个真实光点所对应关键点，因此按此转换方法可以得出两个真实光点所对应关键点的3D空间坐标。

本发明独创的2D到3D的坐标转换方法的技术细节已在前面的“定位系统的几何分析及坐标转换”一节中进行了详细阐述，此处不再赘述。

步骤6：根据两个光点所对应关键点的3D空间坐标，由空间解析几何方法还可计算出方向余弦，从而得到三个方向角。

步骤7：系统输出杠状器械的6自由度定位数据结果(即关键点的3D坐标和杠状器械的方向角)。继续跟踪定位返回步骤1，否则结束。

根据杆状器械的示意图2，发光管1和发光管2分别为杆状器械上两个光点(注：为了能在虚拟手术训练过程中测试手术用力的大小还可在杆状器械的前端加一个微型压力传感器)。通过上述的定位方法可求解出这两个光点所对应关键点的3D空间坐标，从而完成杆状器械的空间跟踪定位。

表1为根据两个关键光点的空间位置坐标计算的距离，可以看出本跟踪定位系统十分精确，完全达到计算机虚拟手术仿真系统的空间踪踪定位精度指标的要求(注：虚拟手术仿真中要求空间定位精度为±1mm)，造成误差的主要原因是制作误差。

表1根据两个关键光点的空间位置坐标计算距离

另外，需要强调说明的是：鉴于空间跟踪定位的实时性要求，本系统中的一些算法采用了CPU多线程和GPU并行处理技术进行加速，如前期图像预处理阶段在GPU中完成(包括RGB图像到灰度图像的转换、背景去除、中值滤波等)。这里简要说明本空间跟踪定位系统中采用GPU实现中值滤波的过程：1)首先，在中值滤波中采用了3×3模板。由于GPU实现if-else语句会使效率大大降低，而中值滤波涉及中间值的查找，不可避免地要用到if-else语句，但是GPU CG语言提供了max和min等基于硬件的函数。通过公式mid＝min(max(a，b)，max(b，c)，max(a，c))便可找出3个元素(a，b，c)的中间值。为了计算9个元素的中间值，可以将9个元素分成3组，每组3个元素；2)第二步是求出每组的中间值；3)最后，对3个组的中间值再一次计算中间值，从而求出9个元素的中间值。

多线程的引入是基于这样一个现实：光点和它的虚像分别位于图像的左右两边，这是由于摄像机的位置和活动区间所决定的。因此，在双核的CPU上可采用多线程技术来并行地求解出两个光点的3D空间位置。

上述实例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出任何的修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于单摄像机和镜面反射的空间跟踪定位方法，其特征在于，包括一个带USB接口的摄像机和一个平面镜的空间定位装置，以及附有两个发光二极管的杆状器械，其中杆状器械可以在空间定位装置的活动空间中自由移动，该方法具体包括以下步骤：

①控制USB摄像头以30帧/秒的帧率对杆状器械和平面镜反射所形成的4个光点图像进行采集，动态截取帧并生成RGB彩色图像；

②采用RGB取均值得到灰度图像，并将灰度图像与预先得到并处理好的背景灰度图相减，以便过滤掉图像背景；

③采用中值滤波方法对过滤掉背景的灰度图像进行处理，以抵制噪声和提高光点图像的质量；

④采用光点检测算法获取4个图像光点的关键点图像坐标；

⑤利用几何关系和几何演算方法将关键点的2D图像坐标转换成3D空间坐标；

⑥根据两个光点所对应关键点的3D空间坐标，由空间解析几何方法计算出方向余弦，从而得到三个方向角；

⑦系统输出杠状器械的6自由度定位数据结果，即关键点的3D坐标和杠状器械的方向角，跟踪定位未完成则返回步骤①继续跟踪定位，否则结束。

2.根据权利要求1所述的基于单摄像机和镜面反射的空间跟踪定位方法，其特征在于：

所述步骤①中，所采集的彩色图像中总共形成了4个定位光点，其中，左边两个定位光点是杠状器械上的两个真实的光点，右边两个定位光点是经平面镜反射后形成的真实光点的虚像。

3.根据权利要求1或2所述的基于单摄像机和镜面反射的空间跟踪定位方法，其特征在于：

所述步骤④中，经图像采集和处理后的4个图像光点的各光点图像是由多个像素构成的团状光点，为检测出光点所对应的关键点，具体包括以下子步骤：

采用Otsu自适应阈值分割算法分割出光点，采用投影法将整幅图像分成4个子块；

分别对分割出的4个子块光点进行重心统计计算，以得到4个图像光点所对应关键点的2D图像坐标。

4.根据权利要求1-3中任一项所述的基于单摄像机和镜面反射的空间跟踪定位方法，其特征在于，所述步骤⑤中，具体包括以下子步骤：

设ABCD为杆状器械的活动空间，A′B′C′D′为ABCD在平面镜中的虚像，光点P′是光点P的虚像，d₁为CD或C′D′的长度，d₂为BC或B′C′的长度，边CD到摄像机的长度为Z_n，边B′C′到摄像机的长度为X_n，光点P和P′到摄像机的距离分别为Z_i和X_i；

设CD和B′C′在CCD图像传感器中的距离分别为e和E，若把CD和B′C′分别平行移到P和P′的位置，则其相应在CCD图像传感器中的距离为e_i和E_i，有下列等式：

$\left\{\begin{array}{c}{\mathrm{fd}}_1={\mathrm{eZ}}_n=e_i{Z}_i\\ {\mathrm{fd}}_2={\mathrm{EX}}_n=E_i{X}_i\end{array}\right.$

由于CCD图像传感器的区域大小与我们所看到的图像是等比例放大关系，故有：

$\left\{\begin{array}{c}{e}^{\′}{Z}_n={e_i}^{\′}{z}_i\\ E^{\′}{X}_n={E_i}^{\′}{X}_i\end{array}\right.$

其中，e′、E′、e_i′、E_i′为e、E、e_i、E_i变量在图像中所对应的像素个数。

Images