CN105093552A

CN105093552A - 立体透视方法及系统

Info

Publication number: CN105093552A
Application number: CN201510595552.6A
Authority: CN
Inventors: 吴剑; 杨光
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen International Graduate School of Tsinghua University
Priority date: 2015-09-17
Filing date: 2015-09-17
Publication date: 2015-11-25
Anticipated expiration: 2035-09-17
Also published as: CN105093552B

Abstract

本发明提供了一种立体透视方法及系统，该透视系统包括第一半透半反镜、呈正交偏振态的两个投影仪、第二半透半反镜以及配准装置。该透视方法包括：用两个呈正交偏振态的投影仪将透视目标的图像投影到第一半透半反镜上，形成具有设定视差的两个二维图像；在第一半透半反镜远离投影仪的一侧设置第二半透半反镜，两个半透半反镜的一端共轴连接构成合页式结构，使得所述两个二维图像分别在关于第二半透半反镜轴对称的位置形成两个对应的二维虚像；借助被动式偏光眼镜在第一位置观测，获得所述两个二维虚像叠加形成的三维虚像；将所述三维虚像与透视目标配准。其实现简单，成本低，能够应用于图像引导手术导航中辅助医生手术。

Description

立体透视方法及系统

技术领域

本发明涉及立体透视方法及系统，尤其是一种基于双投影仪和半透半反镜的立体透视方法及系统。

背景技术

目前行业上立体成像主要有裸眼立体成像和非裸眼立体成像两种方式。

裸眼立体成像是通过调节光的角度使左右影像分别输入到左右眼中，具体分为柱状透镜、视差屏障和指向光源三种方式。柱状透镜方式，成像结构较复杂，成本高，在不合适的角度观看会出现影像重叠的状况。视差屏障方式，部分方向光线被遮挡，亮度较低，分辨率损失严重。指向光源方式，成像结构极其复杂，技术尚处于研发阶段。

而非裸眼立体成像又称为眼镜式立体成像，具体分为色差式、快门式和偏光式三种方式。偏光式相对于色差式和快门式具有很多优点。相比于色差式，偏光式对于图像源不做修改，实现简单。相比于快门式，偏光式进入人眼中图像亮度较高，且不会出现画面闪烁的问题，实现简单，成本低。

发明内容

本发明的目的是在偏光式非裸眼立体成像原理基础上提供一种立体透视方法及系统。

本发明的具体技术方案如下：

一种立体透视方法，该透视方法包括：

用两个呈正交偏振态的投影仪将透视目标的图像投影到第一半透半反镜上，形成具有设定视差的两个二维图像；

在第一半透半反镜远离投影仪的一侧设置第二半透半反镜，两个半透半反镜的一端共轴连接构成合页式结构，使得所述两个二维图像分别在关于第二半透半反镜轴对称的位置形成两个对应的二维虚像；

借助被动式偏光眼镜在第一位置观测，获得所述两个二维虚像叠加形成的三维虚像；

将所述三维虚像与透视目标配准。

优选地，将三维虚像与透视目标配准的方法包括：在透视目标设置标志点；以及调节两个投影仪、半透半反镜、和/或所述两个二维图像的位置和/或姿态，使得在第二位置观测到的由所述两个二维图像叠加形成的三维图像中的标志点与透视目标上相应的标志点关于第二半透半反镜呈轴对称。

优选地，所述透视目标的图像为计算机生成的透视目标的三维模型、或者利用透视目标的CT或MRI图像重建出来的透视目标的三维结构。

优选地，在第一半透半反镜上投影形成的两个二维图像的部分对应位置点重合。

一种立体透视系统，该透视系统包括：

第一半透半反镜，通过第一支撑机构设置于透视目标处，姿态可调节；

呈正交偏振态的两个投影仪，通过第二支撑机构设置于第一半透半反镜的远离透视目标的一侧，用于将透视目标的图像投影到第一半透半反镜上，产生具有设定视差的两个二维图像；

第二半透半反镜，设置在第一半透半反镜远离投影仪的一侧，且两个半透半反镜的一端共轴连接构成合页式结构，用于利用所述两个二维图像产生三维虚像；以及

配准装置，用于将所述三维虚像与透视目标配准。

优选地，所述第二支撑机构包括X、Y轴方向平移台和安装于X、Y轴方向平移台的双投影仪固定装置，所述X、Y轴方向平移台用于调节投影仪在X轴和Y轴方向的移动距离和速度，所述双投影仪固定装置具有投影仪水平倾角调节机构。

优选地，所述投影仪由普通的投影仪和线偏振片构成，线偏振片通过线偏振片固定装置安装于投影仪的镜头前端，所述线偏振片固定装置具有偏振态调节机构。

优选地，所述第一支撑机构为两曲轴转动臂。

优选地，所述第一半透半反镜带有雾度，透过率不小于80％，且表面有一层金属膜。

优选地，所述第二半透半反镜没有雾度，透过率不小于80％，且表面有一层金属膜。

优选地，所述配准装置包括：坐标计算模块，用于利用标志点的坐标、三维虚像和三维实像之间的变换关系、以及观测者的位置计算标志点在第一半透半反镜上的对应位置，其中三维虚像和三维实像之间的变换关系为关于第二半透半反镜呈轴对称；以及调整模块，用于调整投影到第一半透半反镜上的二维图像的位置，使其中的标志点位于所述对应位置。

本发明具有以下有益技术效果：利用两个投影仪、两个半透半反镜以及偏光眼镜产生反映透视目标结构的三维虚像，进而将该三维虚像与透视目标配准，从而实现了对透视目标的立体透视，其实现简单，成本低，能够应用于图像引导手术导航中辅助医生手术。

附图说明

图1为本发明立体透视系统一些实施例的结构示意图；

图2a-图2d为该立体透视系统一种可能的立体投影光路图；

图3a-图3c为该立体透视系统一种可能的空间配准方法的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。

参照图1，一些实施例立体透视系统包括：两个投影仪P1和P2，第一半透半反镜G4，第二半透半反镜G5，以及配准装置。第一半透半反镜G4通过第一支撑机构105设置于透视目标O处，通过第一支撑机构105可调节第一半透半反镜G4的姿态。两个投影仪P1和P2呈正交偏振态，它们通过第二支撑机构设置于第一半透半反镜G4的上侧(即远离透视目标O的一侧)，用于将透视目标O的图像投影到第一半透半反镜G4上，产生具有设定视差的两个二维图像F1和F2。第二半透半反镜G5设置在第一半透半反镜G4下侧(即远离投影仪的一侧)，且两个半透半反镜G4、G5的一端共轴连接构成合页式结构，第二半透半反镜G5用于利用所述两个二维图像F1和F2产生两个二维虚像F3和F4进而产生三维虚像。配准装置用于将所述三维虚像与透视目标O配准，从而实现对透视目标的透视。

第二支撑机构包括X、Y轴方向平移台102和安装于X、Y轴方向平移台102的双投影仪固定装置101。两个投影仪P1和P2的间距、对齐程度以及水平倾角可调节，两个投影仪P1和P2间距、对齐程度的调节可以通过光学微距平台和滑轨来实现，投影仪水平倾角的调节可以通过设置云台连接结构来实现。投影仪X、Y轴方向平移台102可以实现投影仪在X轴和Y轴方向移动距离和速度的调节。

两个投影仪P1和P2由普通的投影仪和线偏振片构成。两个线偏振片G1和G2通过线偏振片固定装置104对应安装于两个投影仪的镜头前端，所述线偏振片固定装置104具有偏振态调节机构，可以实现两个线偏振片G1和G2偏振态的调节。

图1中103为图像输出装置，用于将透视目标O的图像输出给两个投影仪P1和P2。这里所说的透视目标O的图像可以是计算机生成的透视目标O的三维模型，也可以是通过透视目标O的CT或MRI等医学图像重建出来的透视目标O的三维结构。

第一支撑机构105采用两曲轴转动臂，可以实现第一半透半反镜G4和第二半透半反镜G5共轴转动、三维空间平移的调节。

第一半透半反镜G1采用亚克力制成，带有雾度，透过率不小于80％，且表面有一层金属膜。第二半透半反镜G2采用亚克力制成，没有雾度，透过率不小于80％，且表面有一层金属膜。

下面进一步描述其原理及应用。

调节两个投影仪P1和P2使其对齐紧贴后固定在一起，图像输出装置103通过两个投影仪P1和P2将透视目标O的图像投影到第一半透半反镜G4上，产生具有设定视差的两个二维图像F1和F2；调节两个线偏振片G1、G2的偏振态分别与被动式偏光眼镜G3左右镜片的偏振态一致(可以通过线偏振态正交完全消光的方式判定)；调节两个投影仪P1和P2的水平倾角，使其相对于第一半透半反镜G4为正投影；调节两个投影仪P1和P2焦距使两个二维图像F1和F2在第一半透半反镜G4上清晰度最大；通过计算机软件调整两个二维图像F1和F2在第一半透半反镜G4上的位置，使其部分对应位置点重合。

参照图2a和图2b，由于第一半透半反镜G4带有一定雾度，且表面镀有一层金属膜，因此两个二维图像F1和F2在第一半透半反镜G4上会发生漫反射。而且由于金属离子不会改变线偏振光的原有偏振态，因此漫反射回的二维图像F1的光线经过被动式偏光眼镜G3，部分汇聚到第二位置1处的人眼中，由于两眼观测到的是两路存在一定视差的两个二维图像F1和F2，便会产生立体感(即产生三维图像)。同时由于第一半透半反镜G4的光透过率高于80％，两个二维图像F1和F2的光线便会透过第一半透半反镜G4到达其另一侧。由于第二半透半反镜G5不带有雾度，表面光滑，且镀有一层金属膜，根据镜面反射的原理，两个二维图像F1和F2分别在关于第二半透半反镜G5轴对称的位置形成两个对应的二维虚像F3和F4，且两个二维虚像F3、F4姿态和两个二维图像F1、F2姿态关于第二半透半反镜G5呈轴对称。同样，漫反射回的两个二维虚像F3、F4的光线经过被动式偏光眼镜G3，部分汇聚到第一位置2处的人眼中，产生立体感，即，借助被动式偏光眼镜G3在第一位置2观测，获得了两个二维虚像F3、F4叠加形成的三维虚像。

参照图2c，通过计算机软件调整两个二维图像F1、F2在第一半透半反镜G4上的位置，使其部分对应位置点重合，重合点根据零视差的原理叠加形成的三维图像点位于第一半透半反镜G4上，如图中B点所示。左侧投影仪投影在第一半透半反镜G4上的部分点位于屏幕靠右位置，右侧投影仪投影在第一半透半反镜G4上的对应点位于屏幕靠左位置，这样形成的光路如图中A1和A2所示，根据负视差的原理叠加形成的三维图像点A位于第一半透半反镜G4靠近人眼一侧空间中，产生一种凸出感。左侧投影仪投影在第一半透半反镜G4上的部分点位于屏幕靠左位置，右侧投影仪投影在第一半透半反镜G4上的对应点位于屏幕靠右位置，这样形成的光路如图中的C1和C2所示，根据正视差的原理叠加形成的三维图像点C位于第一半透半反镜G4远离人眼一侧空间中，产生一种凹进感。因而在人眼中形成一种凹凸的立体感。同理，两个二维虚像F3、F4在人眼中也形成一种凹凸的立体感。图中E1、E2表示观测者的左右眼。

参照图2d，投影在第一半透半反镜G4上的两个二维图像F1、F2上的点(以D1和D2为例)的光线经过漫反射向四周空间发散，部分光线被人眼汇聚后收束到观测者眼中。根据所绘光路图可以看出，这种被动偏光式立体投影产生的三维图像点空间位置不仅与二维投影图像中对应点空间位置有关，而且与观测者眼镜所在空间位置有关。随着人眼前后移动，对应三维图像点空间位置也会随之前后移动(由D处移到D^’处)。随着人眼左右移动，对应三维图像点空间位置也会随之左右移动(由D处移到D^’处)。因此为了观测到一个最佳的立体效果以及后续配准精度，建议观测者的位置应尽量固定且正对第一半透半反镜G4。同理，观察三维虚像的观测者的位置应尽量固定且正对第二半透半反镜G5。图中E₁、E₂表示观测者在一个位置时的左右眼，E^’ ₁、E^’ ₂表示观测者在另一个位置时的左右眼。

将产生的三维虚像与透视目标O配准，即实现了立体透视目的。一些实施例中采用有标志点的刚性配准方法将产生的三维虚像与透视目标O配准，该方法包括：在透视目标O设置标志点；以及调节两个投影仪、半透半反镜和/或所述两个二维图像的位置和/或姿态，使得在第二位置观测到的由所述两个二维图像叠加形成的三维图像中的标志点与透视目标上相应的标志点关于第二半透半反镜呈轴对称。通过旋转第二半透半反镜G5，可以调节三维虚像的高度。通过调节投影在第一半透半反镜G4上的二维图像F1、F2的位置和姿态，可以调节三维虚像的位置和姿态。通过调整第一支撑机构105可以调节三维虚像的位置。

图3a-图3c示出了一种可能的空间配准方法。

图3a中，在病人身上(其中的病灶区域为透视区域)加标志点M1和跟踪器T1，标志点M1相对于跟踪器T1的空间坐标固定且已知，跟踪器T1在世界坐标系Wc1中的空间坐标已知，于是便建立起病人坐标系Pac1到世界坐标系Wc1的坐标变换关系扫描病人加标志点M1的病灶区域获得的CT图像通过两个投影仪P1、P2投影，图像中的标志点在投影仪的成像平面上的图像坐标已知，于是便建立了世界坐标系Wc1到图像坐标系Imgc1的坐标变换关系由投影机模型可知，投影仪的成像平面上的图像与投影在第一半透半反镜G4上的二维图像F1、F2满足透视变换关系，即图中的只需要确定投影仪成像平面上的图像标志点(至少4点)的像素坐标和摄像机透视变换关系便可以获得投影在第一半透半反镜G4上的二维图像F1、F2中对应标志点M2的空间坐标。于是病人身上的标志点M1的空间坐标和投影在第一半透半反镜G4上的二维图像F1、F2中标志点M2的空间坐标满足变换关系T，且根据二维图像F1、F2和二维虚像F3、F4关于第二半透半反镜G5成轴对称的关系，便可以获得二维虚像F3、F4中对应标志点相对于病人身上标志点M1的坐标变换关系。

由上述推导可知，该立体透视方式形成的三维图像点空间位置不仅与二维投影图像中对应点空间位置有关，而且与观测者眼镜所在空间位置有关，如图3b所示。二维投影图像中对应标志点(如图中Q1和Q2所示)空间位置可由图3a中投影仪模型标定获得。观测者眼镜所在空间位置可由跟踪器或者估算获得。通过计算机软件调整两个二维图像F1、F2使其质心重合。质心区域的点根据图2c所述零视差原理，形成的三维图像点位于第一半透半反镜G4上。其余区域的点分别根据正视差和负视差原理形成凹凸感。这些质心区域重合点在后续配准过程中作为不动参考点。有标志点的空间配准要实现的目标就是使形成的三维图像点Q和实际病人身上的对应标志点关于第二半透半反镜G5呈轴对称的关系。图3b中的光路抽象成数学相似三角形如图3c所示。配准过程中，实际病人身上的标志点和观测者眼镜所在空间位置一般固定不动，观测者眼镜所在空间位置已知，形成的三维图像点Q配准需要移动到的目标位置已知(与实际病人身上对应标志点关于第二半透半反镜G5呈轴对称)。为了使Q点到达目标位置，需通过计算机软件调整Q1和Q2的空间位置，Q1和Q2需要移动到的目标位置可通过相似三角形关系和投影机模型推算获得。待调整每个三维图像中的标志点和实际病人身上对应标志点关于半透半反镜G5呈轴对称，即每个三维虚像中的标志点和实际病人身上对应标志点重合，便视作三维虚像与实际病人对应病灶区域(即透视目标)配准。

图3(c)中，设Q点坐标为(XQ,YQ,ZQ)，E1点坐标为(XE1,YE1,ZE1)，E2点坐标为(XE2,YE2,ZE2)，Q1点坐标为(XQ1,YQ1,ZQ1)，Q2点坐标为(XQ2,YQ2,ZQ2)。则

Q 1 Q 2 = \sqrt[2]{{(X Q 1 - X Q 2)}^{2} + {(Y Q 1 - Y Q 2)}^{2} + {(Z Q 1 - Z Q 2)}^{2}},

Q 1 Q = \sqrt[2]{{(X Q 1 - X Q)}^{2} + {(Y Q 1 - Y Q)}^{2} + {(Z Q 1 - Z Q)}^{2}},

Q 2 Q = \sqrt[2]{{(X Q 2 - X Q)}^{2} + {(Y Q 2 - Y Q)}^{2} + {(Z Q 2 - Z Q)}^{2}},

E 1 E 2 = \sqrt[2]{{(X E 1 - X E 2)}^{2} + {(Y E 1 - Y E 2)}^{2} + {(Z E 1 - Z E 2)}^{2}},

E 1 Q = \sqrt[2]{{(X E 1 - X Q)}^{2} + {(Y E 1 - Y Q)}^{2} + {(Z E 1 - Z Q)}^{2}},

E 2 Q = \sqrt[2]{{(X E 2 - X Q)}^{2} + {(Y E 2 - Y Q)}^{2} + {(Z E 2 - Z Q)}^{2}} .

由相似三角形原理可知，又Q1和Q2点所在的平面已知，于是便可求得Q1和Q2点的空间位置坐标。根据投影机模型的逆变换，便可求得对应投影仪成像平面上标志点的像素坐标。

可见，在一些实施例中，配准装置可以包括坐标计算模块和调整模块，坐标计算模块用于利用标志点的坐标、三维虚像和三维实像之间的变换关系、以及观测者的位置计算标志点在第一半透半反镜上的对应位置；调整模块用于调整投影到第一半透半反镜上的二维图像的位置，使其中的标志点位于所述对应位置。所述的三维虚像和三维实像之间的变换关系为关于第二半透半反镜呈轴对称。

上述实施例在偏光式非裸眼立体成像原理基础上，基于双投影仪和半透半反镜实现了立体透视。其将两路二维图像经过互为正交的线偏振片后投影在一块半透半反镜(第一半透半反镜)上，二维图像的光线通过漫反射的方式进入人眼，通过佩戴被动式偏光眼镜可以观测到两个二维图像叠加形成的三维图像。同时可以观测到该三维图像在关于另一块半透半反镜(第二半透半反镜)轴对称的位置形成的相同的三维虚像，通过配准使三维虚像与透视目标配准(重合)。其实现简单，成本低，同时由于半透半反镜镀有金属膜，增强了漫反射效果，保证了进入人眼中图像的亮度，且不会出现画面闪烁的问题。

上述立体透视系统能够用于图像引导手术导航中，当用于图像引导手术导航时，病灶区域为透视目标，通过两个投影仪P1和P2将计算机生成的病灶区域的三维模型或者通过医学图像(CT/MRI)重建出来的病灶区域的三维结构投影到第一半透半反镜G4上，通过第二半透半反镜G5产生三维虚像，进而将产生的三维虚像和对应病人的病灶区域配准，辅助医生手术。

Claims

1.一种立体透视方法，其特征在于，该透视方法包括：

将所述三维虚像与透视目标配准。

2.根据权利要求1所述的立体透视方法，其特征在于，将三维虚像与透视目标配准的方法包括：

在透视目标设置标志点；以及

调节两个投影仪、半透半反镜、和/或所述两个二维图像的位置和/或姿态，使得在第二位置观测到的由所述两个二维图像叠加形成的三维图像中的标志点与透视目标上相应的标志点关于第二半透半反镜呈轴对称。

3.根据权利要求1所述的立体透视方法，其特征在于：所述透视目标的图像为计算机生成的透视目标的三维模型、或者利用透视目标的CT或MRI图像重建出来的透视目标的三维结构。

4.根据权利要求1所述的立体透视系统，其特征在于：在第一半透半反镜上投影形成的两个二维图像的部分对应位置点重合。

5.一种立体透视系统，其特征在于，该透视系统包括：

配准装置，用于将所述三维虚像与透视目标配准。

6.根据权利要求5所述的立体透视系统，其特征在于：所述第二支撑机构包括X、Y轴方向平移台和安装于X、Y轴方向平移台的双投影仪固定装置，所述X、Y轴方向平移台用于调节投影仪在X轴和Y轴方向的移动距离和速度，所述双投影仪固定装置具有投影仪水平倾角调节机构。

7.根据权利要求5所述的立体透视系统，其特征在于：所述投影仪由普通的投影仪和线偏振片构成，线偏振片通过线偏振片固定装置安装于投影仪的镜头前端，所述线偏振片固定装置具有偏振态调节机构。

8.根据权利要求5所述的立体透视系统，其特征在于：所述第一支撑机构为两曲轴转动臂。

9.根据权利要求5所述的立体透视系统，其特征在于：所述第一半透半反镜带有雾度，透过率不小于80％，且表面有一层金属膜；所述第二半透半反镜没有雾度，透过率不小于80％，且表面有一层金属膜。

10.根据权利要求5所述的立体透视系统，其特征在于，所述配准装置包括：

坐标计算模块，用于利用标志点的坐标、三维虚像和三维实像之间的变换关系、以及观测者的位置计算标志点在第一半透半反镜上的对应位置，其中三维虚像和三维实像之间的变换关系为关于第二半透半反镜呈轴对称；以及

调整模块，用于调整投影到第一半透半反镜上的二维图像的位置，使其中的标志点位于所述对应位置。