CN109147913A - 一种手术显微镜双路同步微型图像的显示系统及其方法 - Google Patents

Abstract

本发明实施例公开了一种手术显微镜双路同步微型图像的显示系统及方法，系统包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，处理装置包括两个输出端及处理模块；处理模块接收手术图像，根据图元的三维顶点坐标进行空间变换，以得到渲染图像，根据渲染图像获取单幅深度图像，并根据单幅深度图像合成多视点图像，通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕。实施本发明实施例，可以提高基于手术显微镜进行手术的学习和交流效果。

Description

一种手术显微镜双路同步微型图像的显示系统及其方法

技术领域

本发明涉及医疗技术领域，具体涉及一种手术显微镜双路同步微型图像的显示系统及其方法。

背景技术

在医学领域，许多手术都需要借助显微镜进行操作实施。例如，耳科、眼科、神经外科和整形外科等都需要手术显微镜进行，术者必须经过专业训练。但由于受观察空间和观察条件的限制，手术显微镜所得到的手术实时信息仅能被主刀医生所得知，手术辅助人员或实习医生等无法准确感知，极大地降低了学习和交流效果。

发明内容

本发明实施例的目的在于提供一种手术显微镜双路同步微型图像的显示系统及其方法，以提高基于手术显微镜进行手术的学习和交流效果。

为实现上述目的，第一方面，本发明实施例提供了一种手术显微镜双路同步微型图像的显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，所述手术图像包括多个图元。其中，所述处理装置包括两个输出端及处理模块；

所述处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；

所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；

所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

作为本申请一种优选的实施方式，任一所述输出端通过数据线与所述裸眼3D显示设备连接。

作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从图元空间变换到世界空间具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵M_model确定世界空间的位置坐标，变换矩阵M_model如下：

其中p_x，p_y，p_z分别为图元在世界空间中的位置，θ为旋转轴的角度，k_x，k_y，k_z分别为缩放比例。

作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵M_view从世界空间变换到观察空间即：

其中t_x，t_y，t_z分别是世界空间中图像观察单元的位置坐标，-t_x，-t_y，-t_z表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；

利用投影矩阵M_frustum计算图像的高度比Aspect即：

三维顶点坐标与所述投影矩阵M_frustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间P_clip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screen_x为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screen_y为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

第二方面，本发明实施例提供了一种手术显微镜双路同步微型图像的显示方法，适用于第一方面所述的手术显微镜双路同步微型图像的显示系统。所述方法包括：

所述手术显微镜获取手术图像，所述手术图像包括多个图元；

所述处理模块接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；

所述处理模块根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；

所述处理模块通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

实施本发明实施例的手术显微镜双路同步微型图像的显示系统，处理模块对手术显微镜获取的手术图像进行一系列图像处理以得到多视点图像，再通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕；多视点图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，多视点图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明第一实施例提供的手术显微镜双路同步微型图像显示系统的结构示意图。

图2是本发明第一实施例提供的手术显微镜双路同步微型图像显示方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，是本发明第一实施例所提供的手术显微镜双路同步微型图像的显示系统的结构示意图。如图所示，该显示系统包括包括手术显微镜100、处理装置200、裸眼3D显示设备300及投影屏幕400。手术显微镜100的输出端连接处理装置200，处理装置200包括两个输出端，分别连接裸眼3D显示设备300及投影屏幕400。

其中，手术显微镜100用于获取手术图像，并将手术图像传输至处理装置200，该手术图像由多个图元构成；

处理装置200还包括处理模块，该处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；

所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；

所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备300和投影屏幕400。具体地，任意一个输出端通过数据线连接裸眼3D显示设备300。需要说明的是，多视点图像输出至投影屏幕400进行平面显示，输出至裸眼3D显示设备300进行3D显示。也就是说，处理模块可控制裸眼3D显示设备对多视点图像进行裸眼显示。

具体的，为了实现屏幕后处理效果，首先需要在Unity中添加一个脚本，用于获取当前屏幕的渲染纹理，之后利用Unity中提供的函数Graphics.Bilt来调用Shader来进行图像后期的处理，其中Shader部分的工作就是进行图片的处理工作，比如虚化，高斯模糊等图像操作，最后把渲染纹理显示到屏幕上即可。

Unity中深度纹理实质上是一张渲染纹理，存储着高精度的纹理值，而不是颜色值。Unity中的纹理的深度值进行了归一化，范围在0和1间，该深度值的分布是呈现非线性的。Dnity中深度相机的深度值来源于经过顶点变换后的归一化之后的设备坐标。深度纹理的像素值则对应了设备坐标中顶点坐标的Z值，但是由于归一化后的Z∈[-1，1]，因此需要进行[-1，1]之间的转换即：

d＝0.5*Z_ndc+0.5

其中，d表示深度纹理的像素值，Z_ndc表示归一化设备坐标中的Z值。

进一步地，处理模块根据所述图元的三维顶点坐标进行空间变换具体如下：

(1)在将所述图元的三维顶点坐标从图元空间变换到世界空间中

该步骤过程具体如下：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵M_model确定世界空间的位置坐标即：

其中p_x，p_y，p_z分别为图元在世界空间中的位置，θ为旋转轴的角度，k_x，k_y，k_z分别为缩放比例。

(2)在将所述图元的三维顶点坐标从世界空间变换到观察空间中

该步骤过程具体包括：

将所述图元的三维顶点通过变换矩阵M_view从世界空间变换到观察空间即：

其中t_x，t_y，t_z分别是世界空间中图像观察单元的位置坐标，-t_x，-t_y，-t_z表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

(3)在将所述图元的三维顶点坐标从观察空间变换到剪裁空间中

该步骤过程具体包括：

获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；

利用投影矩阵M_frustum计算图像的高度比Aspect即：

三维顶点坐标与所述投影矩阵M_frustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间P_clip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

(4)在将所述图元的三维顶点坐标从剪裁空间变换到显示空间中

该步骤过程具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screen_x为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screen_y为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

实施本发明实施例的手术显微镜双路同步微型图像的显示系统，处理模块对手术显微镜获取的手术图像进行一系列图像处理以得到多视点图像，再通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕；多视点图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，多视点图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。

相应地，在上述实施例所提供的手术显微镜双路同步微型图像的显示系统的基础上，本发明实施例还提供了一种手术显微镜双路同步微型图像的显示方法，该方法适用于前述的手术显微镜双路同步微型图像的显示系统。该方法包括以下步骤：

S101，手术显微镜获取手术图像，所述手术图像包括多个图元。

S102，处理模块接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像。

其中，空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间。

S103，处理模块根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像。

S104，处理模块通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

具体地，根据所述图元的三维顶点坐标进行空间变换的过程如下：

(1)在将所述图元的三维顶点坐标从图元空间变换到世界空间中

该步骤过程具体如下：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵M_model确定世界空间的位置坐标即：

其中p_x，p_y，p_z分别为图元在世界空间中的位置，θ为旋转轴的角度，k_x，k_y，k_z分别为缩放比例。

(2)在将所述图元的三维顶点坐标从世界空间变换到观察空间中

该步骤过程具体包括：

将所述图元的三维顶点通过变换矩阵M_view从世界空间变换到观察空间即：

其中t_x，t_y，t_z分别是世界空间中图像观察单元的位置坐标，-t_x，-t_y，-t_z表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

(3)在将所述图元的三维顶点坐标从观察空间变换到剪裁空间中

该步骤过程具体包括：

获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；

利用投影矩阵M_frustum计算图像的高度比Aspect即：

三维顶点坐标与所述投影矩阵M_frustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间P_clip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

(4)在将所述图元的三维顶点坐标从剪裁空间变换到显示空间中

该步骤过程具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screen_x为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screen_y为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

实施本发明实施例的手术显微镜双路同步微型图像的显示方法，处理模块对手术显微镜获取的手术图像进行一系列图像处理以得到多视点图像，再通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕；多视点图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，多视点图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种手术显微镜双路同步微型图像的显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，所述手术图像包括多个图元，其特征在于，所述处理装置包括两个输出端及处理模块；

所述处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；

所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；

所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

2.如权利要求1所述的手术显微镜双路同步微型图像的显示系统，其特征在于，任一所述输出端通过数据线与所述裸眼3D显示设备连接。

3.如权利要求1所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从图元空间变换到世界空间具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵M_model确定世界空间的位置坐标，变换矩阵M_model如下：

其中p_x，p_y，p_z分别为图元在世界空间中的位置，θ为旋转轴的角度，k_x，k_y，k_z分别为缩放比例。

4.如权利要求3所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵M_view从世界空间变换到观察空间即：

其中t_x，t_y，t_z分别是世界空间中图像观察单元的位置坐标，-t_x，-t_y，-t_z表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

5.如权利要求2所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；

利用投影矩阵M_frustum计算图像的高度比Aspect即：

三维顶点坐标与所述投影矩阵M_frustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间P_clip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

6.如权利要求5所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screen_x为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screen_y为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

7.一种手术显微镜双路同步微型图像的显示方法，适用于如权利要求1所述的手术显微镜双路同步微型图像的显示系统，其特征在于，所述方法包括：

所述手术显微镜获取手术图像，所述手术图像包括多个图元；

所述处理模块接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；

所述处理模块根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；

所述处理模块通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

8.如权利要求7所述的手术显微镜双路同步微型图像的显示方法，其特征在于，将所述图元的三维顶点坐标从图元空间变换到世界空间具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵M_model确定世界空间的位置坐标，变换矩阵M_model如下：

其中p_x，p_y，p_z分别为图元在世界空间中的位置，θ为旋转轴的角度，k_x，k_y，k_z分别为缩放比例。

9.如权利要求8所述的手术显微镜双路同步微型图像的显示方法，其特征在于，将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵M_view从世界空间变换到观察空间即：

其中t_x，t_y，t_z分别是世界空间中图像观察单元的位置坐标，-t_x，-t_y，-t_z表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

10.如权利要求7所述的手术显微镜双路同步微型图像的显示方法，其特征在于，将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；

利用投影矩阵M_frustum计算图像的高度比Aspect即：

三维顶点坐标与所述投影矩阵M_frustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间P_clip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标；

将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screen_x为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screen_y为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。