CN1559356A - 由可观测标记点定位所连接的空间物体的方法 - Google Patents

Abstract

本发明提出一种由可观测标记点定位所连接的空间物体的方法，根据探针上空间位置相对固定的一组四个标志点的坐标信息建立一个探针坐标系，确定探针尖端在探针坐标系中的坐标，定位时根据当时标志点的空间坐标建立探针坐标系，计算出世界坐标系和探针坐标系的变换关系，就能够通过坐标转换得到探针尖端在世界坐标系中的坐标信息。本发明能够通过可观测标记点的坐标信息得到同标记点相连的空间物体的位置，对探针制造工艺要求不苛刻，有效地控制了误差源，定位精度高。本发明的定位方法可以应用在外科手术领域以及其它工业测量场合。

Description

由可观测标记点定位所连接的空间物体的方法

技术领域

本发明涉及一种由可观测标记点定位所连接的空间物体的方法，是一种基于机器视觉技术的新型标记点定位方法，可用于外科手术及其它探测定位场合。属于先进制造与自动化(医学)领域。

背景技术

八十年代中期以来，机器视觉技术逐渐成熟完善，人们能够在许多场合感知和获得被遮挡物体的形状和位置信息。这对于脑科医师而言可谓意义重大——脑部病灶位置难以确定一直是脑外科手术中的一个技术难题，运用机器视觉原理的探针定位法能够在一定精度要求范围内解决这个难题[张珂，唐龙。计算机模拟手术中的交互技术。中国医药信息学研究。2001年合订：256-258]。该方法使用的探针呈钎状，顶部固定有一圆球状标志物(可根据灰度特征从图像场景中将标志物分割识别出来)，中部另外固定有两个圆球状标志物，三个标志物的中心和探针尖端共线，顶部标志物到探针尖端的距离已知，三个标志物中心距离两两不等。定位时医生手持探针，尖端点在生理特征点上，用立体视觉技术得到三个标志物中心的坐标信息，由三点之间的不同距离辨别出顶部标志物和中部标志物；用两个中部标志物中心的坐标信息定出顶部标志物中心到探针尖端的空间矢量方向，这样就可以根据顶部标志物中心的坐标信息和顶部到尖端的已知距离计算出此时探针尖端所指的点的坐标信息。这种定位方法的精确程度受制于探针的制造工艺，要保证三个圆球标志物中心同探针尖端共线非常困难。

发明内容

本发明的目的在于针对现有探针定位技术的不足，提供一种由可观测标记点定位所连接的空间物体的方法，简单易行，提高定位精度，容易推广到各种标记点定位场合。

为实现这样的目的，本发明利用易求知三维坐标信息的点去推知坐标难求的点的坐标信息。根据探针上空间位置相对固定的一组四个标志点的坐标信息建立一个探针坐标系，确定探针尖端在探针坐标系中的坐标，定位时根据当时标志点的空间坐标建立探针坐标系，计算出世界坐标系和探针坐标系的变换关系，就能够通过坐标转换得到探针尖端在世界坐标系中的坐标信息。

本发明的定位方法具体包括以下几个步骤：

1.由一组标记点建立一个探针坐标系。通过探针上的四个标记点建立一个探针坐标系，四个标记点中，三点共线或者接近共线，三点间的空间距离两两都不相等，称另一点为第四点。探针坐标系的建立过程如下：共线(或接近共线)的三点中任选出两点，与第四点构成一个三个点的点集，将由这三个点确定的平面定为标准平面，要求将摄像机摆放在一个其主光轴在标准平面之外的位置。根据灰度特征从图像中提取出四个标记点，这四个标记点在二维图像中都有各自的对应点。从摄像机模型来看，由于主光轴不在标准平面上，空间关系共线或接近共线的三点的二维图像对应点也接近共线关系，将这三个对应点划归一处，余下的就是第四点的对应点。根据三个共线(或接近共线)对应点间的两两不相等的空间距离将这三个点区分开来，加上自然分出的第四点的对应点，用立体视觉的原理从两幅图像的对应点对中计算出四个空间点的三维坐标。将共线(或接近共线)三个空间点中距离最大的两个点的连线定为探针坐标系的一条坐标轴，并将这两个点的中点定为坐标系的原点。过坐标原点在标准平面上作一条直线同求出的坐标轴垂直，将这条直线定为探针坐标系的第二条坐标轴，由两条坐标轴叉乘出第三条坐标轴，三条坐标轴交汇于坐标原点，这样就建立了探针坐标系。

2.探针的初始标定。一旦探针制作完成，探针尖端在探针坐标系中的坐标就确定不变了。所以每支探针在制作完成后都要进行一次初始标定，以确定探针尖端在探针坐标系中稳定不变的坐标信息。探针的目的就是要通过可观测的标记点坐标信息得到不可直接测得的探针尖端坐标。本方法利用探针尖端和选定的一个标记点之间距离不变的事实，将确定探针尖端坐标信息的问题抽象成已知球面上点求解球心的几何模型。具体做法：将探针尖端作为支点，转动探针，获得选定的这个标记点在多个不同位置上的坐标信息，取其中三个空间点构成一个三角形，求出通过三角形外心且垂直于三角形所在平面的直线，采用不同的三点组合，求出另外一条过外心垂直三角形平面的直线。如果测量得到该标机点在8个不同位置的坐标信息，那么一共可以连出C₈ ³(＝56)个不同的三角形、引出56条不同的直线。理论上56条直线的交点唯一，就是所求的探针尖端。可由于实际测量的各个环节都不同程度地存在误差，56条直线很可能不交于一点。用数值方法可以求出到56条直线距离平方和最小的点，可以认为这组最优解就是探针尖端的坐标信息。探针有四个可观测标记点，每个标记点都可作为选定标记点求出一个探针尖端坐标值，把得到的四个探针尖端坐标值进行一次算术平均，得到的坐标就可以认为是探针坐标系中的探针尖端坐标。

3.建立并用旋转矩阵、平移向量描述摄像机坐标系和探针坐标系之间的转换关系。摄像机坐标系原点到探针坐标系原点在机器人坐标系下的对应位置构成的向量就是平移向量。在建立探针坐标系的步骤2中已经得到了探针坐标系三个坐标轴在摄像机坐标系下的向量表示，把这三个向量单位化。摄像机坐标系下三个探针坐标系坐标轴的单位向量与摄像机坐标系的三个坐标轴的单位向量([1，0，0]，[0，1，0]，[0，0，1])构成一一对应关系，据此联立出9个线性方程，求解出旋转矩阵(3×3)的9个分量。由求解出的旋转矩阵和平移向量就可以建立摄像机坐标系和探针坐标系的对应关系。

4.根据实际定位时探针上的四个标记点建立探针坐标系，根据探针初始标定的数据得到此时探针尖端在探针坐标系下的坐标，再根据建立探针坐标系时探针坐标轴的向量方向确定摄像机和探针坐标系的坐标变换关系，最后由这转换关系得到摄像机坐标系下探针尖端的坐标，完成对空间物体点的定位。

本发明的可观测标记点定位方法，可由采用探针定位延伸到标记牌定位。将四个红外标记点(也可用其他发光材料制作可观测标记点。其中三点共线或者接近共线，三点间的空间距离两两都不相等，称另一点为第四点)嵌在一块标记板上，搭成闭合电路；实际观测读取坐标时利用摄像机中红外标记点的标记信息即时建立一个标记牌坐标系(以下统一称标记牌坐标系)，用旋转矩阵、平移向量描述摄像机坐标系和标记牌坐标系之间的转换关系。摄像机坐标系原点到标记牌坐标系原点在机器人坐标系下的对应位置构成的向量就是平移向量。如步骤2中定义方法确定标记牌坐标系三个坐标轴在摄像机坐标系下的向量表示，把这三个向量单位化。摄像机坐标系下三个标记牌坐标系坐标轴的单位向量与摄像机坐标系的三个坐标轴的单位向量([1，0，0]，[0，1，0]，[0，0，1])构成一一对应关系，据此联立出9个线性方程，求解出旋转矩阵(3×3)的9个分量。由求解出的旋转矩阵和平移向量就可以建立摄像机坐标系和标记牌坐标系的对应关系，通过摄像机坐标系中标记牌上四个标记点的空间坐标信息得到空间物体位置信息，从而完成定位。

本发明的标记点定位方法，能够通过可观测标记点的坐标信息得到同标记点相连的空间物体的位置，不需要在探针制造工艺精确度上提出过多要求，依靠软件方法实现的准确的坐标关系计算就能达到很高的定位精度，有效地控制了误差源，减小了误差量。本发明的定位方法可以应用在外科手术领域以及其它工业测量场合。

附图说明

图1为本发明方法所使用探针的外形及标记点排布位置。

图1中，A、B、C、D为探针上的四个标记点，空间排布位置固定，四个点共面或接近共面，其中A、B、C三点共线或接近共线，四个标记点的三维坐标信息能够通过摄像机得到。

图2是建立探针坐标系的示意图。

图3为由球面上点求解球心的几何模型示意图。

图4为摄像机坐标系—探针(标记牌)坐标系变换关系示意图，其中O-XYZ代表摄像机坐标系，o₁-xyz表示探针(标记牌)坐标系。

图5是标记牌及建立标记牌坐标系的示意图，a、b、c、d为四个红外发光二极管，空间排布位置固定，四个点共面或接近共面，其中a、b、c共线或接近共线。

具体实施方式

为了更好地讲解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。

1.本发明方法所用探针如图1所示。A、B、C、D四点为标志点位置，A、B、C三点共线(并不需要严格实现)。根据探针上的A、B、C、D四点建立一个坐标系，称为探针坐标系。一旦规定了一种建立坐标系的方法，通过四点建立的这个坐标系就是唯一的。图2是建立这个探针坐标系的示意图，将A、C、D所在的平面记为π，要求摄像机的主光轴在平面π之外，根据灰度特征从图像中提取出四个标志点。四个标记点在二维图像中都有各自的对应点。找出二维图像上的三个共线点，余下的第四点就是点D的对应点。设三维空间点在相互距离上存在不等关系(如AB＞BC)，并且A、B、C点在二维图像中也存在对应点，那么在二维图像中也一定存在相应的不等关系，据此分别标记出并用立体视觉方法得到A、B、C、D四点的三维空间坐标信息。将A、C中点标为E。连A、C两点成有向直线，方向从A到C。在平面π上过点E作直线z垂直于y，将z变成指向直线y的D点侧的有向直线。叉乘矢量y、z，得到矢量x。以E点为原点，矢量x、y、z为三个坐标轴方向建立坐标系。

2.探针的初始标定。将探针尖端作为支点转动探针，获得同一个标记点在多个不同位置的坐标信息，取其中三个空间点(记为A、B、C)构成一个三角形，如图3。求出通过三角形外心O₁且垂直于三角形所在平面的直线L₁，再采用不同的三点组合(如A、B、D)，求出另外一条过外心垂直三角形平面的直线L₂。如果测量得到8个不同位置的标记点坐标，那么一共可以连出C₈ ³(＝56)个不同的三角形、引出56条不同的直线。理论上56条直线的交点唯一，就是所求的标记点。可由于实际测量的各个环节都不同程度地存在误差，56条直线很可能不交于一点。用数值方法可以求出到56条直线距离平方和最小的点，可认为这组最优解就是该标记点的坐标信息。探针有四个标记点，利用每个标记点都能求得一个探针尖端坐标信息，把得到的四个坐标进行算术平均，得到的坐标就可以认为是探针坐标系中的探针尖端坐标。

3.用立体视觉方法得到的A、B、C、D四点空间坐标信息及据此建立的探针坐标系都是基于摄像机坐标系的，因此必须找出摄像机坐标系和探针坐标系间的变换关系。

坐标系变换的一些基础知识：若某个点在坐标系1下的坐标为

在坐标系2下的坐标为 两个坐标间的关系可表示为 $\stackrel{\→}{p_2}=R\stackrel{\→}{p_1}+\stackrel{\→}{T}$ 分别是该点在坐标系1和坐标系2下的坐标向量)[马颂德，张正友.计算机视觉——计算机理论与算法基础.科学出版社.1998.96-97]。其中，矩阵R是一个3×3的正交方阵，表示旋转变换，表示为：

$R=\left[\begin{array}{ccc}{r}_{\mathrm{xx}}& r_{\mathrm{xy}}& r_{\mathrm{xz}}\\ r_{\mathrm{yx}}& r_{\mathrm{yy}}& r_{\mathrm{yz}}\\ r_{\mathrm{zx}}& r_{\mathrm{zy}}& r_{\mathrm{zz}}\end{array}\right]$

表示平移矢量， $\stackrel{\→}{T}={(t_x,t_y,t_z)}^T.$

是第二个坐标系原点在第一个坐标系下的坐标，在这里就是图3中点E在摄像机坐标系中的坐标值。

如图4，O-XYZ代表摄像机坐标系，O是坐标原点，X、Y、Z是坐标系的三个坐标轴；o₁-xyz表示探针坐标系，o₁是坐标原点(图3中点E)，x、y、z表示三个坐标轴。摄像机坐标系下，X、Y、Z轴的单位矢量方向分别是(1，0，0)、(0，1，0)、  (0，0，1)，分别记为

设探针坐标系的三个坐标轴的矢量方向在摄像机坐标系下表示为

单位化后记为

这样，

就分别表示探针坐标系三个坐标轴正方向在摄像机坐标系下的单位矢量表示。保持坐标原点O位置不变，对X、Y、Z轴进行纯旋转变换。变换后的X、Y、Z轴矢量方向应当与x，y，z轴矢量方向相同。可表示为：

又是单位阵，所以R可以直接得到，就是 这样，每一点在摄像机坐标系下的坐标都能通过 $\stackrel{\→}{p_2}=R\stackrel{\→}{p_1}+\stackrel{\→}{T}$ 变换成探针坐标系坐标(

为该点在摄像机坐标系坐标，

为同一点在探针坐标系下的坐标)，也可以通过 $\stackrel{\→}{p_1}=R^{-1}\stackrel{\→}{p_2}-R^{-1}\stackrel{\→}{T}$ 将探针坐标系下的坐标变换成摄像机坐标系下的坐标。

4.建立好探针坐标系之后，再根据探针初始标定的数据得到此时探针尖端在探针坐标系下的坐标，根据建立探针坐标系时探针坐标轴的向量方向确定摄像机和探针坐标系的坐标变换关系，最后由这转换关系得到摄像机坐标系下探针尖端的坐标，完成对空间物体点的定位。

本发明的可观测标记点定位方法，可由采用探针定位推广到标记牌定位，如图5所示。通过标记牌上的a、b、c、d四点确定出建立一个坐标系(且称之为标记牌坐标系)。可规定一种建立标记牌坐标系的方法，使得通过四点建立的这个坐标系唯一。具体方法如下：将a、c、d所在的平面记为π，要求摄像机的主光轴在平面π之外，根据灰度特征从图像中提取出四个标志点。四个标记点在二维图像中都有各自的对应点。从摄像机模型来看，由于主光轴不在平面π上，a、c、d的三个对应点接近共线关系，将这三个点划归在一处，余下的那个点就是点d的对应点。如果三维空间距离关系有ab＞bc(a、b、c沿共线方向顺次排列)，并且a、b、c点在二维图像中分别对应a′、b′和c′，那么在二维图像中也有a′b′＞b′c′，据此分别标记出并用立体视觉方法得到a、b、c、d四点的三维空间坐标信息。将a、c中点标为e。连a、c两点成有向直线，方向从a到c。在平面π上过点e作直线z垂直于y，将z变成指向直线y的d点侧的有向直线。叉乘矢量y、z，得到矢量x。以e点为原点，矢量x、y、z为三个坐标轴方向建立坐标系。如图4，O-XYZ代表摄像机坐标系，O是坐标原点，X、Y、Z是坐标系的三个坐标轴；o₁-xyz表示标记牌坐标系，o₁是坐标原点(图3中点e)，x、y、z表示三个坐标轴。摄像机坐标系下，X、Y、Z轴的单位矢量方向分别是(1，0，0)、(0，1，0)、(0，0，1)，分别记为

设标记牌坐标系的三个坐标轴的矢量方向在摄像机坐标系下表示为

单位化后记为

这样，

就分别表示标记牌坐标系三个坐标轴正方向在摄像机坐标系下的单位矢量表示。保持坐标原点O位置不变，对X、Y、Z轴进行纯旋转变换。变换后的X、Y、Z轴矢量方向应当与x，y，z轴矢量方向相同。可表示为： 又是单位阵，所以R可以直接得到，就是

这样，每一点在摄像机坐标系下的坐标都能通过 $\stackrel{\→}{p_2}=R\stackrel{\→}{p_1}+\stackrel{\→}{T}$ 变换成标记牌坐标系坐标(

为该点在摄像机坐标系坐标， 为同一点在标记牌坐标系下的坐标)，也可以通过 $\stackrel{\→}{p_1}=R^{-1}\stackrel{\→}{p_2}-R^{-1}\stackrel{\→}{T}$ 将标记牌坐标系下的坐标变换成摄像机坐标系下的坐标。

这样就能够通过摄像机中显示的标记牌四个标记点的坐标信息得到标记牌固定着的部件的位置信息，从而通过标记牌和摄像机完成定位任务。

Claims (2)

1、一种由可观测标记点定位所连接的空间物体的方法，其特征在于包括如下具体步骤：

1)由一组标志点建立一个探针坐标系：从探针上共线或接近共线的三点标记点中任选出两点，与第四点构成一个三个点的点集，将由这三个点确定的平面定为标准平面，将摄像机摆放在一个其主光轴在标准平面之外的位置，根据灰度特征从图像中提取出四个标记点，并找出这四个标记点在二维图像中各自的对应点，从两幅图像的对应点对中得到四个空间点的三维坐标，将共线或接近共线的三个空间点中距离最大的两个点的连线定为探针坐标系的一条坐标轴，并将这两个点的中点定为坐标系的原点，过坐标原点在标准平面上作一条直线同求出的坐标轴垂直，将这条直线定为探针坐标系的第二条坐标轴，由两条坐标轴叉乘出第三条坐标轴，三条坐标轴交汇于坐标原点，这样就建立了探针坐标系；

2)探针的初始标定：将探针尖端作为支点转动探针，获得同一个标记点在多个不同位置的坐标信息，取其中三个空间点构成一个三角形，求出通过三角形外心且垂直于三角形所在平面的直线，采用不同的三点组合，分别求出所有过外心垂直三角形平面的直线，用数值方法找出到这些直线距离平方和最小的点作为该标记点的坐标信息，根据探针的四个标记点得到的四个坐标进行算术平均，得到探针坐标系中的探针尖端坐标；

3)建立摄像机坐标系和探针坐标系之间的转换关系：摄像机坐标系原点到探针坐标系原点在机器人坐标系下的对应位置构成的向量就是平移向量，把得到的探针坐标系中的探针尖端坐标三个向量单位化，根据摄像机坐标系下三个探针坐标系坐标轴的单位向量与摄像机坐标系的三个坐标轴的单位向量构成的对应关系联立线性方程，由求解出的旋转矩阵和平移向量建立摄像机坐标系和探针坐标系的对应关系；

4)根据实际定位时探针上的四个标记点建立探针坐标系，根据探针初始标定的数据得到此时探针尖端在探针坐标系下的坐标，再根据建立探针坐标系时探针坐标轴的向量方向确定摄像机和探针坐标系的坐标变换关系，最后由这转换关系得到摄像机坐标系下探针尖端的坐标，完成对空间物体点的定位。

2、如权利要求1的由可观测标记点定位所连接的空间物体的方法，其特征在于所述的探针采用标记牌代替，四个红外标记点嵌在一块标记牌上，经标记牌坐标系的建立，标记牌的初始标定，建立摄像机坐标系和标记牌坐标系之间的转换关系后，通过摄像机坐标系中标记牌上四个标记点的空间坐标信息得到与标记牌连接固定的空间物体的位置信息，从而完成定位。

Images