CN113315962A - 3d显微实时虚拟观测与交互系统 - Google Patents

Abstract

本发明涉及一种3D显微实时虚拟观测与交互系统，特别是涉及对微小尺度物体实时或离线虚拟观测，该系统主要包括双目体视显微镜观测平台、虚拟观测管理模块、立体图像对对准模块、视差实时调整模块和3D观测模块。本发明通过对双目体视显微镜上左、右相机拍摄的图像进行立体图像对对准使其满足立体显示的条件仅存在水平方向的视差，3D观测时对物体的视差实时调整使不同的人均能感受到立体显示效果，利用手机或手柄使观察者立体观测的同时实时调整视差和改变待观测物的位置，提高观测系统的可操作性和便捷性。

Description

3D显微实时虚拟观测与交互系统

技术领域

本发明涉及一种3D显微实时虚拟观测与交互系统，特别是涉及对立体图像对对准和视差调整实现对微小尺度物体实时虚拟观测，可通过手机或手柄实现与虚拟观测系统的实时交互。

背景技术

目前操作人员对于微小尺度物体(如MEMS微结构、微小零件、微小生物组织、细胞等)的观察通常是在显微镜下进行的，若直接通过体视显微镜的目镜观察，可以获得立体显示效果，但眼睛需要对准目镜，长时间保持固定姿势，极易产生疲劳、引起不适，也可以通过电脑实时显示显微镜下的二维图像，对于表面形状比较复杂的物体，不能很好的展示其深度信息，降低定位精度。

与传统的2D电影相比，3D电影的显示效果更为逼真，给人一种身临其境的感觉，使观众能够获得更好的沉浸式体验。在微观领域通过体视显微镜目镜可以实时观测到待观测物体的立体效果，在实际使用体视显微镜的过程中，因操作者不同需对目镜的瞳距进行调整才能看到清晰的立体图像。杨泽声等(2003)通过在体视显微镜的两条光路中安装相机，并将相机拍摄的图像在两台监视器显示，在监视器前面放置光学系统，陈木旺等(2010)直接将3D显示设备上分为两部分分别显示两个安装在体视显微镜光路上的相机摄取的视频，人眼在特定的位置都能观察到3D图像，但他们都无法保证左、右相机的安装角度完全一致，也没有对拍摄到的左、右图像进行对准；左、右图像分别显示在显示屏幕的左半部分和右半部分但不能对左、右图像的相对位置进行调整，立体显示时物体上某一点的视差仅与在左右图像中的相对位置有关，相当于观察者无法对体视显微镜的目镜瞳距进行调节，可能观察不到立体显示效果或立体显示效果不明显；由于体视显微镜的视场范围较小，只能观察到待观测物的局部，一个观察者无法在立体观测的同时对待观测物体的位置精确调整，降低了观测系统的便捷性和舒适性。

针对以上问题，本发明提出了一种3D显微实时虚拟观测与交互系统，对于显微立体显示来说，本发明具有特殊意义，表现在：(1)提出了一种立体图像对对准方法，使左、右图像对仅存在水平方向的视差满足立体显示的条件；(2)提出了一种立体图像对视差调整方法，进而改善立体显示效果，使不同的人都能感受立体显示效果；(3)观察者通过手机或手柄在立体观测的同时改变待观测物的位置，提高了虚拟观测系统的可操作性、便捷性。

发明内容

本发明提出了3D显微实时虚拟观测与交互系统，其目的在于：通过对体视显微镜上左、右相机拍摄的图像进行立体图像对对准使其满足立体显示的条件，立体显示时对物体的视差进行调整使不同的人均能感受到立体显示效果，利用手机或手柄使观察者立体观测的同时调整视差和改变待观测物的位置，提高观测系统的便捷性。

本发明所涉及的3D显微实时虚拟观测与交互系统，是由双目体视显微镜观测平台、虚拟观测管理模块、立体图像对对准模块和视差实时调整模块、3D观测模块组成。

1)双目体视显微镜观测平台

双目体视显微镜观测平台主要包括双目体视显微镜、环形光源、两个相同的相机、转接件、二维平移台、运动控制箱、电脑、3D投影仪及配套的3D眼镜，环形光源通过LED发光二级管发光，具有使用寿命长、响应速度快、亮度连续可调的优点，环形光源直接安装体视显微镜的物镜的镜头上；左相机先和套筒连接，套筒和体视显微镜上的一个光学接口连接，左相机不能旋转；转接件主要包括转套、外壳、底座、齿轮罩、电机座、42步进电机和三个直齿圆柱齿轮，42步进电机的输出轴和小齿轮连接，小齿轮带动惰轮旋转，惰轮带动大齿轮转动，转套和大齿轮通过螺栓连接，转套和大齿轮同轴转动，实现了转套相对底座的转动；右相机先和转接件上的转套连接，转接件上的底座安装在体视显微镜的另一个光学接口上，转接件通过电机驱动，通过转套带动右相机旋转，底座保持不动，两个相机分别采集体视显微镜左右光路的图像，将相机采集到的图像传输到电脑上，3D投影仪通过HDMI数据线和电脑连接，投影仪开启3D功能之后观察者佩戴3D眼镜即可实现对待观测物体的立体观测；二维平移台安装在体视显微镜的镜座上，待观测物体直接放置在平移台上；运动控制箱控制转接件上的电机和二维平移台上的两个电机，运动控制箱通过RS232数据线和电机、电脑连接。

2)虚拟观测管理模块

虚拟观测管理模块安装在电脑上，可以利用手机或手柄实现虚拟观测模块的部分功能。管理模块中可以实时3D观测和离线3D观测，通过打开保存好的左、右两路视频可以实现离线3D观测。若进行实时3D观测需要先拍摄仅有一个线槽的标定板，判断立体图像对是否对准，若未对准需要先进行立体图像对对准，对准之后将待观测物放在体视显微镜下进行实时的立体观测，可以选择观测时的视频是否保存并设置视频的分辨率、帧率、存储格式和存储位置，在立体观测的过程中也可以通过电脑、手机或手柄进行视差调整和改变待观测物的位置。

3)立体图像对对准模块

将仅有一个线槽的标定板放在体视显微镜下，左右相机拍摄图像，对图像进行预处理、中心线提取、拟合直线、判断两条中心线的夹角是否为0，若夹角为0则左右图像的角度一致，若夹角不为0，则需要通过控制右相机旋转相应的角度，实现左右相机的角度对准；左右相机的角度对准之后需要重新拍摄图像提取中心线上的中点的像素坐标，判断中心线上的中点的纵坐标是否相同，若不同则需要右图像平移相应的差值实现位置对准，经过立体图像对对准之后的左、右图像旋转角度相同，竖直方向的视差为0，仅存在水平方向的视差。

4)视差实时调整模块

3D观测时物体上同一点的视差不仅与在左、右图像中的位置有关，也和左、右图像在显示屏幕上的位置有关，视差实时调整模块主要是通过改变左、右图像在显示屏幕上的相对水平位置来改变视差，进而改善立体显示效果，通常固定左图像的位置对右图像的水平位置进行调整，可以通过电脑、手机或手柄实现。

5)3D观测模块

3D观测模块包括实时3D观测和离线3D观测，实时3D观测是指通过在3D显示设备上实时的左右并列显示双目体视显微镜上左、右相机的图像，离线观测是指通过打开保存好的左、右两路视频且左右并列显示，3D显示设备开启3D显示功能之后，显示屏幕左半部分为左画面，右半部分为右画面，显示屏幕上交替进行左右眼画面的播放，在播放左画面时，左眼镜打开，右眼镜关闭，观察者左眼看到需要让左眼看见的画面，右眼什么都看不到。在播放右眼画面是，右眼看右画面，左眼看不到画面，就这样让左右眼分别看到左右各自的画面，从而实现3D立体效果。

附图说明

图1为本发明的模块组成图

图2为双目体视显微镜观测平台的结构图

图3为转接件的结构图

图4为虚拟观测管理模块的流程图

图5为立体图像对对准的流程图

图6为视差实时调整的示意图

附图中标记说明：

M1、双目体视显微镜观测平台

M2、虚拟观测管理模块

M3、立体图像对对准模块

M4、视差实时调整模块

M5、3D观测模块

1、二维平移台

2、环形光源

3、双目体视显微镜

4、套筒

5、相机

6、运动控制箱

7、电脑

8、转接件

9、幕布

10、3D投影仪

11、3D眼镜

12、转套

13、外壳

14、底座

15、齿轮罩

16、电机座

17、42步进电机

S1、判断是否实时3D观测

S2、打开保存好的左、右视频

S3、将标定板移至视野中央

S4、判断立体图像对是否对准

S5、立体图像对对准

S6、将待观测物移至视野中央

S71、判断是否进行视频保存

S72、设置左、右视频的帧数、分辨率、存储格式及位置

S8、视差实时调整

S9、离线3D观测

S10、调整待观测物的位置

S51、拍摄左、右图像

S52、图像预处理

S53、中心线提取

S54、拟合直线

S55、判断中心线夹角是否为0

S56、右图像通过硬件旋转对准

S57、提取中心线中点像素坐标

S581、判断左、右图像中点像素纵坐标差值是否为0

S582、右图像通过平移对准

S59、立体图像对已对准

18、显示屏幕

19、左图像

20、右图像

具体实施方式

现结合附图对本发明做进一步阐述，图1为本发明涉及的模块组成图，3D显微实时虚拟观测与交互系统主要由双目体视显微镜观测平台M1、虚拟观测管理模块M2、立体图像对对准模块M3、视差实时调整模块M4和3D观测模块M5组成。

1、双目体视显微镜观测平台

图2为双目体视显微镜观测平台的结构图，主要包括二维平移台1、环形光源2、双目体视显微镜3、套筒4、相机5、运动控制箱6、电脑7、转接件8、幕布9、3D投影仪10及配套的3D眼镜11。二维平移台固定在双目体视显微镜的镜座上，通过28步进电机驱动，X、Y轴的行程均为50mm，台面尺寸为155x155mm，导程为1mm,最大速度为6mm/sec；环形光源通过LED发光二级管发光，具有使用寿命长、响应速度快、亮度连续可调的优点，环形光源直接安装体视显微镜的物镜的镜头上；双目体视显微镜的变倍范围是0.7x-11.5x，变倍比可达16.4，分辨率可达900LP/mm；相机的传感器类型为CMOS,有效像素为130万，选择分辨率为1280x1024时帧率可达92FPS；左相机先和套筒一端连接，套筒另一端和体视显微镜上的光学接口连接,左相机不能旋转；图3为转接件的结构图，转接件主要包括转套12、外壳13、底座14、齿轮罩15、电机座16、42步进电机17和三个直齿圆柱齿轮，42步进电机的输出轴和小齿轮连接，小齿轮带动惰轮旋转，惰轮带动大齿轮转动，齿轮的模数都是1，小齿轮和大齿轮的齿数分别是22和70，转套和大齿轮通过螺栓连接，转套和大齿轮同轴转动，实现了转套相对底座的转动；右相机直接和转套连接，底座和体视显微镜上的光学接口连接，通过42步进电机带动右相机旋转；运动控制箱控制转接件上的电机和二维平移台上的两个电机，运动控制箱通过RS232数据线和电机、电脑连接；电脑和3D投影仪通过HDMI数据线连接。

2、虚拟观测管理模块

现结合附图4对虚拟观测管理模块进一步说明，可以选择进行实时3D观测S1还是离线3D观测S9，离线3D观测主要是通过打开保存好的左、右视频S2并在显示屏幕上左右并列播放，也可以对左、右视频的视差实时调整S8获得更好的立体显示效果，进行实时3D观测时，需要先观察仅有一个线槽的标定板,将标定板移至视野中央S3,通过左、右相机拍摄的图像判断立体图像对是否对准S4,若立体图像对未对准则需要进行立体图像对对准S5，再次观察标定板,判断立体图像对是否对准,对准之后才可以对待观测物体进行观察，将待观测物移至视野中央S6,对待观测物进行观察时可以选择观察过程的视频是否保存S71,若保存则需要设置左、右视频的帧数、分辨率、存储格式及位置S72，在对微型物体观测的过程中可能需要对左、右图像的视差实时调整S8来获得更好的立体显示效果，也可以通过控制二维平移台的移动调整待观测物的位置S10,将待观测物感兴趣部分移至视野中央，视差实时调整和调整待观测物的位置可以通过电脑、手机或手柄实现，增加了观察者操作的便捷性和舒适性。

3、立体图像对对准模块

现结合附图5对立体图像对对准模块进一步说明,把仅有一个线槽的标定板放在体视显微镜下，标定板的外形尺寸为30*30mm²，加工精度为1μm，标定板中央有一长2mm、宽0.3mm的直线，拍摄左、右图像S51，对图像进行预处理S52将RGB图像转为二值图像，利用形态学闭运算、骨架提取和去毛刺算法实现中心线提取S53、利用最小二乘法拟合直线S54、判断中心线的夹角是否为0S55，若不为0则需要通过控制转接件带动右相机旋转一定的角度，使右图像通过硬件旋转对准S56,需要再次拍摄左、右图像判断中心线夹角是否为0,若为零则需要提取中心线中点像素坐标S57,判断左、右图像中心线中点像素纵坐标差值是否为0S581，若不为0，则需要右图像通过平移对准S59,若在显示屏幕上显示的图像是相机拍摄的整幅图像，通过平移显示右图像的控件在显示屏幕上的位置实现，若显示的是相机拍摄的部分图像则可以通过改变左、右图像的截取起始位置实现，若左图像是从(x,y)截取一定大小的图像，则右图像从(x,y+Δy)截取同样大小的图像也能实现左右图像的位置对准，若左、右图像的中点纵坐标的差值为0，则说明立体图像对已对准S582。

4、视差实时调整模块

现结合附图6对视差实时调整模块进一步说明，左相机拍摄的图像19和右相机拍摄的图像20在显示屏幕18上左右并列显示，左图像距离显示屏幕的边缘距离为c,右图像距离显示屏幕的中心线EF的距离是d,同一点A在左、右图像中距离左边缘的距离分别为a、b,显示设备开启3D功能之后，依次交替把显示屏幕的左半部分和右半部分传递给观察者，立体显示时点A的视差为(b+d-a-c)，不仅与点A在左右图像中的位置有关也和在显示设备上的位置有关，由于不同的人对立体信息感知能力不一样，可以通过改变左右图像在显示屏幕上的相对水平位置来改变视差，进而改善立体显示效果，通常固定左图像的位置，对右图像的水平位置进行调整，可以通过电脑、手机或手柄实现，每次调整的步长以像素为单位可以自己设置。

5、3D观测模块

3D投影仪连接电脑之后，通过投影仪的遥控器依次选择“菜单——播放设置——3D设置——左右格式”，自动把显示屏幕左半部分作为左眼画面，右半部分作为右眼画面，显示屏幕上会交替进行左右眼画面的播放，在播放左画面时，左眼镜打开，右眼镜关闭，观察者左眼看到需要让左眼看见的画面，右眼什么都看不到。在播放右眼画面是，右眼看右画面，左眼看不到画面，就这样让左右眼分别看到左右各自的画面，从而实现3D立体效果，观察者在观测的过程中可以通过电脑、手机或手柄对左、右图像的视差进行调整，也可以控制二维平移台的移动控制待观测物的位置。3D观测模块既可以实时的立体观测体视显微镜下的待观测物体，也可以通过双目体视显微镜上的左、右相机对待观测物体的两路图像进行保存，通过打开左、右两路视频来再现待观测物的立体显示效果。

对本领域的技术人员来说，很明显，本发明可以做出多种改进和变化，只要落入所附的权利要求书及其等同的范围内，本发明就涵盖本发明的这些改进和变化。

Claims (6)

1.一种3D显微实时虚拟观测与交互系统，其特征在于：由双目体视显微镜观测平台、虚拟观测管理模块、立体图像对对准模块、视差实时调整模块和3D观测模块组成；

所述的双目体视显微镜观测平台包括双目体视显微镜、环形光源、两个相同的相机、套筒、转接件、二维平移台、运动控制箱、电脑、3D投影仪及配套的3D眼镜；环形光源通过LED发光二级管发光，环形光源直接安装体视显微镜的物镜的镜头上；左相机先和套筒连接，套筒和体视显微镜上的一个光学接口连接，左相机不能旋转，右相机先和转接件上的转套连接，转接件上的底座安装在体视显微镜的另一个光学接口上，转接件通过电机驱动，通过转套带动右相机旋转，底座保持不动，两个相机分别采集体视显微镜左右光路的图像，将相机采集到的图像传输到电脑上，3D投影仪和电脑通过HDMI数据线连接，二维平移台安装在体视显微镜的镜座上，待观测物体放置在平移台上；运动控制箱控制转接件上的电机和二维平移台上的两个电机，运动控制箱通过RS232数据线和电机、电脑连接。

2.根据权利要求1所述的3D显微实时虚拟观测与交互系统，其特征在于：所述的双目体视显微镜观测平台中的转接件包括转套、外壳、底座、齿轮罩、电机座、42步进电机和三个直齿圆柱齿轮，齿轮的模数都是1，小齿轮和大齿轮的齿数分别是22和70，42步进电机的输出轴和小齿轮连接，小齿轮带动惰轮转动，惰轮带动大齿轮转动，转套和大齿轮通过螺栓连接，转套和大齿轮同轴转动，实现了转套相对底座的转动。

3.根据权利要求1所述的3D显微实时虚拟观测与交互系统，其特征在于：所述的虚拟观测管理模块中选择实时3D观测或离线3D观测，若进行实时3D观测需要先拍摄标定板，判断立体图像对是否对准，若未对准需要进行立体图像对对准，对准之后将待观测物放在体视显微镜下进行实时的立体观测，对观测时的视频保存并设置视频的分辨率、帧率、存储格式和存储位置。

4.根据权利要求1所述的3D显微实时虚拟观测与交互系统，其特征在于：所述的立体图像对对准模块通过把仅有一个线槽的标定板放在体视显微镜下，标定板的外形尺寸为30*30mm²，加工精度为1μm，标定板中央有一长2mm、宽0.3mm的直线，拍摄左、右图像，对图像进行预处理将RGB图像转为二值图像，利用形态学闭运算、骨架提取和去毛刺算法实现中心线提取、利用最小二乘法拟合直线、判断中心线的夹角是否为0，若不为0则需要通过控制转接件带动右相机旋转一定的角度，使右图像通过硬件旋转对准,需要再次拍摄左、右图像判断中心线夹角是否为0,若为零则需要提取中心线中点像素坐标,判断左、右图像中心线中点像素纵坐标差值是否为0，若不为0，则需要右图像通过平移对准,若在显示屏幕上显示的图像是相机拍摄的整幅图像，通过平移显示右图像的控件在显示屏幕上的位置实现，若显示的是相机拍摄的部分图像则可以通过改变左、右图像的截取起始位置实现，若左图像是从(x,y)截取一定大小的图像，则右图像从(x,y+Δy)截取同样大小的图像也能实现左右图像的位置对准，若左、右图像的中点纵坐标的差值为0，则说明立体图像对已对准。

5.根据权利要求1所述的3D显微实时虚拟观测与交互系统，其特征在于：所述的视差实时调整模块通过改变左、右图像在显示屏幕上的相对水平位置来调整视差，固定左图像的位置对右图像在显示屏幕上的水平位置进行调整，可以通过电脑、手机或手柄实现，每次调整的步长以像素为单位设置，使右图像向左或右平移一定距离。

6.根据权利要求1所述的3D显微实时虚拟观测与交互系统，其特征在于：所述的3D观测模块包括实时3D观测和离线3D观测，实时3D观测是指通过在3D显示设备上实时的左右并列显示双目体视显微镜上左、右相机的图像，离线观测是指通过打开保存好的左右两路视频且左右并列显示，在3D观测的过程中可以利用电脑、手机或手柄调整左右图像的视差和待观测物的位置。

Images