CN108830905A - 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 - Google Patents

Abstract

一种仿真医疗器械的双目标定定位方法及虚拟仿真医教系统，包括：关联器械与特征靶；配置摄像头调整两摄像头视野重叠区域；标定：摄像头获取标定参照物的图像，计算摄像头的内外参数；校正：根据摄像头标定后获得的内外参分别对左右视图进行消除畸变和行对准，使得对极线行对齐；捕捉器械：通过抓拍捕捉特征靶捕捉器械；立体匹配：根据映射关系进行立体匹配并对畸变进行纠正，实时计算器械的空间位置；上述仿真医疗器械的双目标定定位方法及虚拟仿真医教系统，只需在医用器械表面贴上指定特征靶状物，无需其他物体连接,极大增加了便携性，模拟仿真度增强，通过调整摄像头调整活动区域，操作区域范围极大的增大，且可同时识别多个医学仿真器械。

Description

仿真医疗器械的双目标定定位方法及虚拟仿真医教系统

技术领域

本发明涉及医疗教学训练系统，特别涉及一种虚拟仿真医教系统中的仿真医疗器械的双目标定位方法及该系统。

背景技术

医学仿真系统可根据器械的空间位置信息,来实时反应操作者使用器械的位置,速度,方向,角度。结合实际医学操作中的规范,形成对比,从而反应出操作者技能熟练度,优劣势。针对运动物体提供了新的模拟仿真思路。目前医学仿真领域,用的比较多追踪方案,通常是通过机械臂传感方案，得到器械的三维空间位置。机械臂的活动区域受机械臂长度影响，且不能随意调整活动区域。

发明内容

基于此，有必要提供一种提高器械活动范围的仿真医疗器械的双目标定定位方法。

同时，提供一种提高器械活动范围的虚拟仿真医教系统。

一种仿真医疗器械的双目标定定位方法，包括如下步骤：

关联：关联器械与特征靶；

配置摄像头：配置一对摄像头，调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域；

标定：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数；

校正：根据摄像头标定后获得的内参：焦距、成像原点、畸变参数和表现双目相对位置关系的外参：旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得两摄像头光轴平行、左右成像平面共面、对极线行对齐；

捕捉器械：通过抓拍捕捉特征靶从而捕捉器械；

立体匹配：根据映射关系进行立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置。

在优选的实施例中，所述关联步骤中：将特征靶粘贴在器械上从而关联器械与特征靶。

在优选的实施例中，所述标定步骤中：将摄像机坐标系中坐标为(X,Y,Z)的Q点被光线投影到图像平面上的q(x,y,f)点，图像平面与光轴z轴垂直，投影中心距离为f即相机的焦距，x/f＝X/Z，y/f＝Y/Z，即x＝fX/Z，y＝fY/Z，

将坐标为(X,Y,Z)的Q点映射到投影平面上坐标为(x,y)的q点作投影变换，q＝M×Q，其中

得出透视投影变换矩阵为：

M称为摄像机的内参数矩阵，f为摄像机或相机的焦距，单位均为物理尺寸。

在优选的实施例中，所述标定步骤还包括：

转换：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像

素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。

在优选的实施例中，所述校正步骤包括：

分别将左右两个图像的从像素坐标系通过共同的内参矩阵转换到摄像机坐标系；

分别对两个摄像机坐标系进行旋转得到新的摄像机坐标系，左乘旋转矩阵R1、R2，

针对新的摄像机坐标分别进行左、右摄像机的去畸变操作；

分别用左、右摄像机的内参矩阵将左、右两个摄像机坐标系重新转换到左、右图像像素坐标系；

分别用左、右源图像的像素值对新左、右图像的像素点进行插值；

其中，R1为左摄像机经过标定得到的相对标定物的旋转矩阵，R2为右摄像机经过标定得到的相对标定物的旋转矩阵。

在优选的实施例中，两个摄像机或相机共同的内参矩阵：

f_x＝f/dx，f_y＝f/dy分别为x轴、y轴的归一化焦距，

为左相机或摄像机在x轴上的归一化焦距，

f₁为左相机或摄像机的焦距，dx₁为左相机或摄像机单个感光单元芯片的长度，dy₁为左相机或摄像机单个感光单元芯片的宽度，

为右相机或摄像机在x轴上的归一化焦距，

f₂为右相机或摄像机的焦距，dx₂为左相机或摄像机单个感光单元芯片的长度，dy₂为右相机或摄像机单个感光单元芯片的宽度，

c_x1为左相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y1为左相机或摄像机感光芯片的中心点在y方向上存在的偏移，c_x2为右相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y2为左相机或摄像机感光芯片的中心点在y方向上存在的偏移。

在优选的实施例中，所述去畸变操作包括：

校正径向畸变：通过泰勒级数展开式进行校正：

X_corrected径＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected径＝y(1+k₁r²+k₂r⁴+k₃r⁶)；

校正切向畸变：

x_corrected切＝x+[2p₁y+p₂(r²+2x²)]

y_corrected切＝y+[2p₂x+p₁(r²+2y²)]

(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离。

在优选的实施例中，还包括：抗干扰：通过正态分布找到q最佳值，利用方差，搜索设定的N次值求平均方差，若当前值的方差大于平均方差则舍掉。

一种虚拟仿真医教系统，包括：相互关联的医用器械与特征靶、一对摄像头、及双目标定定位系统，所述双目标定定位系统包括：标定模块、校正模块、捕捉器械模块及立体匹配模块，

所述标定模块：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数；

所述校正模块：根据摄像头标定后获得的内参：焦距、成像原点、畸变参数和表现双目相对位置关系的外参：旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得两摄像头光轴平行、左右成像平面共面、对极线行对齐；

所述捕捉器械模块：通过抓拍捕捉特征靶从而捕捉器械；

所述立体匹配模块：根据映射关系进行立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置；

通过调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域。

在优选的实施例中，所述标定模块还包括：

转换单元：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。

上述的仿真医疗器械的双目标定定位方法及虚拟仿真医教系统，只需在医用器械表面贴上指定特征靶状物，无需机械臂、无电线等其他物体连接,极大增加了便携性，模拟仿真度增强，可通过调整摄像头调整活动区域，操作区域范围极大的增大，且可同时识别多个医学仿真器械。

附图说明

图1为本发明一实施例的仿真医疗器械的双目标定定位方法的流程示意图；

图2为本发明一优选实施例的仿真医疗器械的双目标定定位方法的标定过程投影变换的示意图；

图3为本发明一优选实施例的虚拟仿真医教系统校正前双摄像头校正示意图；

图4为本发明一优选实施例的虚拟仿真医教系统校正后双摄像头示意图；

图5为本发明一实施例的虚拟仿真医教系统的示意图；

图6为本发明一优选实施例的虚拟仿真医教系统的示意图。

具体实施方式

如图1所示，本发明一实施例的仿真医疗器械的双目标定定位方法，其特征在于，包括如下步骤：

步骤S101，关联：关联器械与特征靶。

步骤S103，配置摄像头：配置一对摄像头，调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域。

步骤S105,捕捉器械：通过抓拍捕捉特征靶从而捕捉器械。

步骤S107，标定：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数。

将获取的标定参照物图像的特征点从世界坐标系转为摄像机坐标系，确定摄像机的外参，确定摄像机在三维空间中的位置和朝向，再从摄像机坐标系转为成像平面坐标系，确定摄像机内参，投影矩阵P＝K[R|t]，其中R为相摄像机外参中的摄像机的旋转矩阵，t为摄像机外参中的摄像机的平移矩阵，K为摄像机的内参。

通过标定获取左右相机的内外参数，之后通过标定对左右两幅图像进行立体校准和对齐，最后确定两个相机的相对位置关系，即中心距d。

标定摄像头后通常是做两件事：一个是由于每个镜头的畸变程度各不相同，通过摄像头标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像；另一个是根据获得的图像重构三维场景。

摄像机标定过程，简单的可以描述为通过标定板，可以得到n个对应的世界坐标三维点X_i和对应的图像坐标二维点x_i，这些三维点到二维点的转换都可以通过相机内参K，相机外参R和t，以及畸变参数D，经过一系列的矩阵变换得到。

计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，利用极线约束使得对应点的匹配由二维搜索降为一维搜索。

步骤S109，校正：是根据摄像头标定后获得的内参的焦距、成像原点、畸变参数和双目相对位置关系的旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；即使得左右两幅图像的对极线在同一水平线线上，这样左右图像中任意一点与其在另一幅图像上的匹配点就必然具有相同的行号，只需在该行进行一维搜素就可以匹配到对应点。

步骤S111，立体匹配：通过映射关系进行立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置。

步骤S107、步骤S109与步骤S101不分先后顺序，都在步骤S111前完成即可。步骤S101与步骤S103也不分先后顺序，在步骤S105前完成即可。

步骤S107、步骤S109与步骤S103、步骤S105不分先后顺序，在步骤S111前完成即可。

本实施例的左、右摄像头或左右图像为相对左右位置，不限定为左右位置，仅便于说明。

进一步，优选的，步骤S101,关联步骤中：通过将特征靶粘贴在器械上从而关联器械与特征靶。

如图2所示，进一步，本实施例的步骤S107，标定步骤中：将摄像机坐标系中坐标为(X,Y,Z)的Q点被光线投影到图像平面上的q(x,y,f)点，图像平面与光轴z轴垂直，投影中心距离为f即相机的焦距，x/f＝X/Z，y/f＝Y/Z，即x＝fX/Z，y＝fY/Z，

将坐标为(X,Y,Z)的Q点映射到投影平面上坐标为(x,y)的q点作投影变换，q＝M×Q，其中

得出透视投影变换矩阵为：

M称为摄像机的内参数矩阵，f为摄像机或相机的焦距，单位均为物理尺寸。

进一步，本实施例的步骤S107，标定步骤还包括：步骤S108转换：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。

如图3及图4所示，为校正前及校正后的双摄像头立体校正图示。

进一步，本实施例的校正步骤包括：

分别将左右两个图像的从像素坐标系通过共同的内参矩阵转换到摄像机坐标系；

分别对两个摄像机坐标系进行旋转得到新的摄像机坐标系，左乘旋转矩阵R_r、R_l；

针对新的摄像机坐标分别进行左、右摄像机的去畸变操作；

分别用左、右摄像机的内参矩阵将左、右两个摄像机坐标系重新转换到左、右图像像素坐标系；

分别用左、右源图像的像素值对新左、右图像的像素点进行插值；

其中，R_r为左摄像机经过标定得到的相对标定物的旋转矩阵，R_l为右摄像机经过标定得到的相对标定物的旋转矩阵。

两个摄像机或相机共同的内参矩阵：

f_x＝f/dx，f_y＝f/dy分别为x轴、y轴的归一化焦距，

为左相机或摄像机在x轴上的归一化焦距，

f₁为左相机或摄像机的焦距，dx₁为左相机或摄像机单个感光单元芯片的长度，dy₁为左相机或摄像机单个感光单元芯片的宽度，

为右相机或摄像机在x轴上的归一化焦距，

f₂为右相机或摄像机的焦距，dx₂为左相机或摄像机单个感光单元芯片的长度，为右相机或摄像机单个感光单元芯片的宽度，

c_x1为左相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y1为左相机或摄像机感光芯片的中心点在y方向上存在的偏移，c_x2为右相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y2为左相机或摄像机感光芯片的中心点在y方向上存在的偏移。

两摄像头之间的旋转矩阵和平移矩阵可以由下式求出：

R＝R_r(R_l)T

T＝T_r-RT_l

其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。R_r为右摄像头经过标定得到的相对标定物的旋转矩阵，T_r为右摄像头通过标定得到的相对标定物的平移向量。R_l为左摄像头经过标定得到的相对相同标定物的旋转矩阵，T_l为左摄像头经过张氏标定得到的相对相同标定物的平移向量。

双目校正把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

进一步，本实施例的去畸变操作包括：

校正径向畸变：通过泰勒级数展开式进行校正：

X_corrected径＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected径＝y(1+k₁r²+k₂r⁴+k₃r⁶)；

校正切向畸变：

x_corrected切＝x+[2p₁y+p₂(r²+2x²)]

y_corrected切＝y+[2p₂x+p₁(r²+2y²)]

(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，k₁、k₂、k₃、p₁、p₂为畸变参数。

上述5个畸变参数：k₁、k₂、k₃、p₁、p₂通过3个角点构成的6组方程就可以求解。

做双目平行校正时，是已经通过相机标定获取了左、右相机的内参矩阵和畸变参数，以及左、右相机达到平行时各需要的旋转矩阵，另外，已知左右两个相机拍摄出来的两幅图片。

世界坐标系(X_w,Y_w,Z_w)：其是目标物体位置的参考系。除了无穷远，世界坐标可以根据运算方便与否自由放置。在双目视觉中世界坐标系主要有三个用途：1、标定时确定标定物的位置；2、作为双目视觉的系统参考系，给出两个摄像机相对世界坐标系的关系，从而求出相机之间的相对关系；3、作为重建得到三维坐标的容器，盛放重建后的物体的三维坐标。世界坐标系是将看见中物体纳入运算的第一站。

摄像机坐标系(X_c,Y_c,Z_c)：其是摄像机站在自己角度上衡量的物体的坐标系。摄像机坐标系的原点在摄像机的光心上，z轴与摄像机光轴平行。它是与拍摄物体发生联系的桥头堡，世界坐标系下的物体需先经历刚体变化转到摄像机坐标系，然后在和图像坐标系发生关系。它是图像坐标与世界坐标之间发生关系的纽带，沟通了世界上最远的距离。

图像坐标系(x,y)/(u,v):其是以摄像机拍摄的二维照片为基准建立的坐标系。用于指定物体在照片中的位置。可以将(x,y)称为连续图像坐标或空间图像坐标，将(u,v)称为离散图像坐标系或者是像素图像坐标系。

(x,y)坐标系的原点位于摄像机光轴与成像平面的焦点O’(u₀,v₀)上，单位为长度单位(米)。(u,v)坐标系的原点在图片的左上角，单位为数量单位(个)。(x,y)主要用于表征物体从摄像机坐标系向图像坐标系的透视投影关系。而(u,v)则是实实在在的，我们能从摄像机中得到的真实信息。

(x,y)与(u,v)存在如下转换关系：

dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u₀,v₀)称为图像平面的主点，也是摄像机的内参数。其实相当于对x轴和y轴的离散化。其可以运用齐次坐标，将上式写成矩阵形式，如下：

进一步，本实施例的仿真医疗器械的双目标定定位方法还包括：

抗干扰：通过正态分布找到q最佳值，利用方差，搜索设定的N次值求平均方差，若当前值的方差大于平均方差则舍掉。本实施例中可以将N设置为10次，但不限定于10次。

本实施例的抗干扰策略还包括：滤波算法。如可采用线性滤波、高斯滤波、中值滤波、双边滤波、均值滤波、Laplacian operator、Sobel operator等。

线性滤波:图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。首先，有一个二维的滤波器矩阵(又叫卷积核)和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作为该像素位置的值，完成滤波过程。

中值滤波(median filter)：中值滤波用测试像素周围邻域像素集中的中值代替原像素。中值滤波去除椒盐噪声和斑块噪声时，效果非常明显。

双边滤波(bilateral filter)：双边滤波在平滑图像时能够很好的保留边缘特性，但是其运算速度比较慢。Sobel operator：Sobel算子通过计算水平和垂直方向上的一节差分来进行计算。

均值滤波：对一副图像上的某个点进行中值滤波处理，先将掩模内欲求的像素及其邻域的像素值排序，确定出中值，然后将这个中值赋值给该像素。

高斯滤波(Gaussian filter)：高斯滤波为最常用的滤波器，具有可分离性质，可以把二维高斯运算转换为一维高斯运算，其本质上为一个低通滤波器。

Laplacian operator：Laplacian算子通过计算二阶差分(微分)来进行计算。

Sobel operator：Sobel算子通过计算水平和垂直方向上的一节差分来进行计算。

如图5所示，本发明一实施例的虚拟仿真医教系统100，包括：相互关联的仿真医疗器械及特征靶20、一对摄像头40、42、及双目标定定位系统60，所述双目标定定位系统60包括：捕捉器械模块62、标定模块64、校正模块66、立体匹配模块68。

标定模块64：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数及畸变参数。

进一步，本实施例的标定模块将获取的标定参照物图像的特征点从世界坐标系转为摄像机坐标系，确定摄像机的外参，确定摄像机在三维空间中的位置和朝向，再从摄像机坐标系转为成像平面坐标系，确定摄像机内参，投影矩阵P＝K[R|t]，其中R为相摄像机外参中的摄像机的旋转矩阵，t为摄像机外参中的摄像机的平移矩阵，K为摄像机的内参。

通过标定获取左右相机的内外参数，之后通过标定对左右两幅图像进行立体校准和对齐，最后确定两个相机的相对位置关系，即中心距d。

标定摄像头后通常是做两件事：一个是由于每个镜头的畸变程度各不相同，通过摄像头标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像；另一个是根据获得的图像重构三维场景。

摄像机标定过程，简单的可以描述为通过标定板，可以得到n个对应的世界坐标三维点X_i和对应的图像坐标二维点x_i，这些三维点到二维点的转换都可以通过相机内参K，相机外参R和t，以及畸变参数D，经过一系列的矩阵变换得到。畸变参数D包括：径向畸变参数及切向畸变参数。

计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，利用极线约束使得对应点的匹配由二维搜索降为一维搜索。

校正模块66：是根据摄像头标定后获得的内参的焦距、成像原点、畸变参数和双目相对位置关系的旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；即，使得左右两幅图像的对极线在同一水平线线上，这样左右图像中任意一点与其在另一幅图像上的匹配点就必然具有相同的行号，只需在该行进行一维搜素就可以匹配到对应点。

捕捉器械模块62：通过抓拍捕捉特征靶从而捕捉器械。

立体匹配模块68：通过映射关系进行立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置。

配置摄像头，调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域。

进一步，本实施例的标定模块64中：将摄像机坐标系中坐标为(X,Y,Z)的Q点被光线投影到图像平面上的q(x,y,f)点，图像平面与光轴z轴垂直，投影中心距离为f即相机的焦距，x/f＝X/Z，y/f＝Y/Z，即x＝fX/Z，y＝fY/Z，

将坐标为(X,Y,Z)的Q点映射到投影平面上坐标为(x,y)的q点作投影变换，q＝M×Q，其中

得出透视投影变换矩阵为：

M称为摄像机的内参数矩阵，f为摄像机或相机的焦距，单位均为物理尺寸。

如图6所示，进一步，本实施例的标定模块64还包括：转换单元642。转换单元642：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：

u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。

进一步，本实施例的校正模块包括：

分别将左右两个图像的从像素坐标系通过共同的内参矩阵转换到摄像机坐标系；

分别对两个摄像机坐标系进行旋转得到新的摄像机坐标系，左乘旋转矩阵R_r、R_l；

针对新的摄像机坐标分别进行左、右摄像机的去畸变操作；

分别用左、右摄像机的内参矩阵将左、右两个摄像机坐标系重新转换到左、右图像像素坐标系；

分别用左、右源图像的像素值对新左、右图像的像素点进行插值；

其中，R_r为左摄像机经过标定得到的相对标定物的旋转矩阵，R_l为右摄像机经过标定得到的相对标定物的旋转矩阵。

两个摄像机或相机共同的内参矩阵：

f_x＝f/dx，f_y＝f/dy分别为x轴、y轴的归一化焦距，

为左相机或摄像机在x轴上的归一化焦距，

f₁为左相机或摄像机的焦距，dx₁为左相机或摄像机单个感光单元芯片的长度，dy₁为左相机或摄像机单个感光单元芯片的宽度，

为右相机或摄像机在x轴上的归一化焦距，

f₂为右相机或摄像机的焦距，dx₂为左相机或摄像机单个感光单元芯片的长度，dy₂为右相机或摄像机单个感光单元芯片的宽度，

c_x1为左相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y1为左相机或摄像机感光芯片的中心点在y方向上存在的偏移，c_x2为右相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y2为左相机或摄像机感光芯片的中心点在y方向上存在的偏移。

两摄像头之间的旋转矩阵和平移矩阵可以由下式求出：

R＝R_r(R_l)T

T＝T_r-RT_l

其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。R_r为右摄像头经过标定得到的相对标定物的旋转矩阵，T_r为右摄像头通过标定得到的相对标定物的平移向量。R_l为左摄像头经过标定得到的相对相同标定物的旋转矩阵，T_l为左摄像头经过张氏标定得到的相对相同标定物的平移向量。

双目校正把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

进一步，本实施例的去畸变操作包括：

校正径向畸变：通过泰勒级数展开式进行校正：

X_corrected径＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected径＝y(1+k₁r²+k₂r⁴+k₃r⁶)；

校正切向畸变：

x_corrected切＝x+[2p₁y+p₂(r²+2x²)]

y_corrected切＝y+[2p₂x+p₁(r²+2y²)]

(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，k₁、k₂、k₃、p₁、p₂为畸变参数。

上述5个畸变参数：、k₁、k₂、k₃、p₁、p₂，通过3个角点构成的6组方程就可以求解。

进一步，本实施例的双目标定定位系统还包括：抗干扰模块65。抗干扰模块65：通过正态分布找到q最佳值，利用方差，搜索设定的N次值求平均方差，若当前值的方差大于平均方差则舍掉。本实施例中可以将N设置为10次，但不限定于10次。

本实施例的抗干扰模块还包括：滤波算法。如可采用线性滤波、高斯滤波、中值滤波、双边滤波、均值滤波、Laplacian operator、Sobel operator等。

中值滤波(median filter)：中值滤波用测试像素周围邻域像素集中的中值代替原像素。中值滤波去除椒盐噪声和斑块噪声时，效果非常明显。

旋转矩阵R、平移矩阵T与摄像机无关，所以称这两个参数为摄像机的外参数(extrinsic parameter)可以理解为两个坐标原点之间的距离，因其受x,y,z三个方向上的分量共同控制，所以其具有三个自由度。

本发明的通过双目视觉(Binocular Stereo Vision)基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。通过双目标定:是要获得每个摄像机的相机内参数和求出摄像机的畸变参数，左右两个摄像机的中心距。通过立体匹配经过标定后的双目系统,匹配计算相机视野中物体的三维空间坐标。本实施例的特征靶用来区分摄像头图像中目标。

本发明提供了一种三维实时定位捕捉医用器械方法，通过双目摄像头抓拍医用器械的图像,基于双目定位算法,实时计算出器械的三维空间位置，相对于现有三维定位医用器械技术(含机械方案)，本方案中,仿真器械无机械臂,无电线等其他物体连接,只需在器械表面贴上指定特征靶状物,极大增加了便携性,模拟仿真度,操作区域范围。极大增加了医用器械模拟仿真度和医用器械的可追踪活动区域范围。

左右摄像头的视野重叠区域为可追踪区域。双目视觉系统活动区域就是相机视野区域，远远大于机械臂的活动区域；双目系统成本低。机械臂模拟医学器械时，需要与医学器械产生物理连接，而双目系统则不需要。在模拟医学机械领域特定场景,机械臂仿真度低于双目系统。

本实施例的器械优选的为穿刺器械。优选的适用于如静脉穿刺针、动脉穿刺针、注射针、采血针、胸腔穿刺针、腰穿穿刺针、腹穿穿刺针、骨穿穿刺针等等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种仿真医疗器械的双目标定定位方法，其特征在于，包括如下步骤：

关联：关联器械与特征靶；

配置摄像头：配置一对摄像头，调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域；

标定：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数；

校正：根据摄像头标定后获得的内参：焦距、成像原点、畸变参数和表现双目相对位置关系的外参：旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得两摄像头光轴平行、左右成像平面共面、对极线行对齐；

捕捉器械：通过抓拍捕捉特征靶从而捕捉器械；

立体匹配：根据映射关系进行立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置。

2.根据权利要求1所述的仿真医疗器械的双目标定定位方法，其特征在于，所述关联步骤中：将特征靶粘贴在器械上从而关联器械与特征靶。

3.根据权利要求1所述的仿真医疗器械的双目标定定位方法，其特征在于，所述标定步骤中：将摄像机坐标系中坐标为(X,Y,Z)的Q点被光线投影到图像平面上的q(x,y,f)点，图像平面与光轴z轴垂直，投影中心距离为f即相机的焦距，x/f＝X/Z，y/f＝Y/Z，即x＝fX/Z，y＝fY/Z，

将坐标为(X,Y,Z)的Q点映射到投影平面上坐标为(x,y)的q点作投影变换，q＝M×Q，其中

得出透视投影变换矩阵为：

M称为摄像机的内参数矩阵，f为摄像机或相机的焦距，单位均为物理尺寸。

4.根据权利要求3所述的仿真医疗器械的双目标定定位方法，其特征在于，所述标定步骤还包括：

转换：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。

5.根据权利要求4所述的仿真医疗器械的双目标定定位方法，其特征在于，所述校正步骤包括：

分别将左右两个图像的从像素坐标系通过共同的内参矩阵转换到摄像机坐标系；

分别对两个摄像机坐标系进行旋转得到新的摄像机坐标系，左乘旋转矩阵R1、R2，

针对新的摄像机坐标分别进行左、右摄像机的去畸变操作；

分别用左、右摄像机的内参矩阵将左、右两个摄像机坐标系重新转换到左、右图像像素坐标系；

分别用左、右源图像的像素值对新左、右图像的像素点进行插值；

其中，R1为左摄像机经过标定得到的相对标定物的旋转矩阵，R2为右摄像机经过标定得到的相对标定物的旋转矩阵。

6.根据权利要求5所述的仿真医疗器械的双目标定定位方法，其特征在于，两个摄像机或相机共同的内参矩阵：

f_x＝f/dx，f_y＝f/dy分别为x轴、y轴的归一化焦距，

为左相机或摄像机在x轴上的归一化焦距，

f₁为左相机或摄像机的焦距，dx₁为左相机或摄像机单个感光单元芯片的长度，dy₁为左相机或摄像机单个感光单元芯片的宽度，

为右相机或摄像机在x轴上的归一化焦距，

f₂为右相机或摄像机的焦距，dx₂为左相机或摄像机单个感光单元芯片的长度，dy₂为右相机或摄像机单个感光单元芯片的宽度，

c_x1为左相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y1为左相机或摄像机感光芯片的中心点在y方向上存在的偏移，c_x2为右相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y2为左相机或摄像机感光芯片的中心点在y方向上存在的偏移。

7.根据权利要求5所述的仿真医疗器械的双目标定定位方法，其特征在于，所述去畸变操作包括：

校正径向畸变：通过泰勒级数展开式进行校正：

X_corrected径＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected径＝y(1+k₁r²+k₂r⁴+k₃r⁶)；

校正切向畸变：

x_corrected切＝x+[2p1y+p₂(r²+2x²)]

y_corrected切＝y+[2p₂x+p₁(r²+2y²)]

(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离。

8.根据权利要求1所述的仿真医疗器械的双目标定定位方法，其特征在于，还包括：

抗干扰：通过正态分布找到q最佳值，利用方差，搜索设定的N次值求平均方差，若当前值的方差大于平均方差则舍掉。

9.一种虚拟仿真医教系统，其特征在于，包括：相互关联的医用器械与特征靶、一对摄像头、及双目标定定位系统，所述双目标定定位系统包括：标定模块、校正模块、捕捉器械模块及立体匹配模块，

所述标定模块：摄像头获取标定参照物的图像，测定标定参照物上每一个特征点相对于世界坐标系的位置，将世界坐标系选为标定参照物的物体坐标系，确定标定参照物上特征点在图像上的投影位置，计算摄像头的内外参数；

所述校正模块：根据摄像头标定后获得的内参：焦距、成像原点、畸变参数和表现双目相对位置关系的外参：旋转矩阵和平移矩阵，分别对左右视图进行消除畸变和行对准，使得两摄像头光轴平行、左右成像平面共面、对极线行对齐；

所述捕捉器械模块：通过抓拍捕捉特征靶从而捕捉器械，

所述立体匹配模块：根据映射关系立体匹配并对畸变进行纠正，实时计算特征靶的三维空间位置从而计算器械的空间位置；

通过调整摄像头焦距，调整两摄像头之间的夹角和距离，以调整两摄像头视野重叠区域。

10.根据权利要求9所述的虚拟仿真医教系统，其特征在于，

所述标定模块还包括：

转换单元：以成像平面的左下角或左上角为原点建立像素坐标系，以像素为单位，设每个像素的物理尺寸大小为dx×dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)，则：u＝(x/dx)+u₀，v＝(y/dy)+v₀，

用齐次坐标与矩阵形式表示为：

将等式两边都乘以点Q(X,Y,Z)坐标中的Z可得：

将摄像机坐标系中的(1)式代入(3)式可得：

则右边第一个矩阵和第二个矩阵的乘积亦为摄像机的内参数矩阵,单位为像素，相乘后可得：

此内参数矩阵中f/dx、f/dy、c_x/dx+u₀、c_y/dy+v₀的单位均为像素，令内参数矩阵为K，则(5)式可写成：

u₀、v₀为图像中心，dx为相机或摄像机单个感光单元芯片的长度，dy为相机或摄像机单个感光单元芯片的宽度，c_x为相机或摄像机感光芯片的中心点在x方向上存在的偏移，c_y为相机或摄像机感光芯片的中心点在y方向上存在的偏移。