CN112068300B - 基于医疗显微影像的快门式自适应3d显示系统 - Google Patents

Abstract

本发明提出了一种基于医疗显微影像的快门式自适应3D显示系统，该系统中，双目相机通过分光器与手术显微镜光学系统连接，用于获取双目影像数据；控制模块用于输入控制指令；控制指令包括第一类控制指令、第二类控制指令；影像处理模块在第一类控制指令状态下，基于双目影像数据计算影像视差，并传递给双目相机进行偏移量调整；显示模块用于基于双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示；手术显微镜光学系统可基于控制指令进行调整。本发明即保证了影像视差改变时影像处理模块能够实时的校准视差以确保观看的舒适度，又能保证影像视差不变时影像处理模块能够停止运行以保证术中的绝对安全性。

Description

基于医疗显微影像的快门式自适应3D显示系统

技术领域

本发明属于显微成像领域，具体涉及一种基于医疗显微影像的快门式自适应3D显示系统。

背景技术

显微镜是生命科学研究领域的一个常用设备，也广泛应用于病理学、临床医学、药理学、中药鉴定等多学科的科研及实践中。并且随着医疗水平的不断提高和日趋复杂多样的临床需求，借助于显微镜进行的精细手术、检查，以及借助于显微镜进行的教学实验越来越多。然而，显微镜下的手术精细、手术时间长、术野受限，长时间、高注意力的注视显微镜不可避免地导致医生眼睛疲劳、颈部疲劳等身心不适，轻则影响手术效果、重则导致医疗事故。同时，显微镜下的教学实验存在讲解困难，难以在讲解的过程中实现多人实时观摩，极大地降低了传授效率和学习效果。

为了降低医生术中疲劳程度，提高手术安全性，以及提高显微镜下的教学效果，研究仿人眼3D显示系统替代传统人眼通过目镜观察目标的方法就显得至关重要。然而，左右相机采集到的影像视差对仿人眼3D显示效果有很大影响，不仅会影像3D显示质量，还易导致人眼视觉疲劳。目前，通过显微镜上安装位置传感器来调整影像视差的方法需要对显微镜主体进行改造，其普适性差，并且需要对位置传感器根据显微镜主体与目标的距离进行逐点标定，其操作难度大、标定复杂。通过传统图像匹配算法调整影像视差的方法难以实现高帧率的处理速度，且易出现误匹配点，处理速度慢、鲁棒性差的问题，并且术中算法的连续运行会降低手术的安全性。因此，为了克服硬件调整影像视差普适性差、操作复杂的缺点，以及传统算法调整影像视差速度慢、鲁棒性差、安全性低的缺点，本发明提出一种基于医疗显微影像的快门式自适应3D显示系统，旨在提高显微手术中医生操作的舒适度，避免医疗事故，旨在提高显微镜下教学实验的便捷、高效度，降低传授难度。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术中硬件调整影像视差普适性差、操作复杂，算法调整影像视差速度慢、鲁棒性差的问题，本发明提出了一种基于医疗显微影像的快门式自适应3D显示系统，包括手术显微镜光学系统、分光器、双目相机、控制模块、影像处理模块、显示模块；

所述双目相机通过分光器与所述手术显微镜光学系统连接，用于获取双目影像数据；

所述控制模块用于输入控制指令；所述控制指令包括第一类控制指令、第二类控制指令；

所述影像处理模块在第一类控制指令状态下，基于所述双目影像数据计算影像视差，并传递给所述双目相机进行偏移量调整；

所述显示模块用于基于所述双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示；所述手术显微镜光学系统可基于所述控制指令进行调整。

在一些优选实施方式中，该系统还包括快门式3D眼镜；所述显示装置为快门式3D显示屏。

在一些优选实施方式中，所述控制模块为脚踏开关模块；所述脚踏开关模块包括方向脚踏键、焦距脚踏键。

在一些优选实施方式中，所述方向脚踏键包括上移、下移、左移、右移、前移、后移六个脚踏键；所述焦距脚踏键包括成像倍率放大、成像倍率缩小两个脚踏键。

在一些优选实施方式中，所述第一类控制指令包括上移、下移、成像倍率放大、成像倍率缩小；所述第二类控制指令包括左移、右移、前移、后移。

在一些优选实施方式中，所述影像处理模块中“基于所述双目影像数据计算影像视差”，其方法为：

对所述双目影像数据中左、右影像进行同等倍数的缩小；

对缩小后的左、右影像进行特征点提取和特征点描述；

对缩小后的左、右影像进行误匹配特征点的剔除，得到最终匹配点；

基于最终匹配点计算影像视差。

在一些优选实施方式中，对缩小后的左、右影像进行误匹配特征点的剔除所采用的算法为改进的网格运动统计算法，其方法为：

基于所提取的特征点，采用暴力匹配算法对缩小后的左、右影像进行高数量匹配；

初次采用GMS算法对误匹配点进行粗剔除，并挑选高匹配度的前

个匹配点；

二次采用GMS算法对挑选出的前

个匹配点中包含的误匹配点进行细剔除；

其中，

为预设值。

在一些优选实施方式中，对缩小后的左、右影像进行特征点提取和特征点描述采用的方法为ORB算法。

在一些优选实施方式中，所述影像视差，其计算方法为：

计算缩小后的左、右影像的最终匹配点的平均坐标差值

，转换成影像视 差

；其中，

为预设参数。

在一些优选实施方式中，所述显示模块中“基于所述双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示”，其方法为：

对所述双目影像数据中左、右影像在宽度方向分别压缩一半后，分别充满所述显示装置的左、右显示屏。

本发明的有益效果：

本发明的影像处理模块仅在第一类控制指令下进行工作，这样既保证了影像视差改变时影像处理模块能够实时的校准视差以确保观看的舒适度，又能保证影像视差不变时影像处理模块能够停止运行以保证术中的绝对安全性。

本发明通过方便、快捷的影像视差调整，提高了3D显示的质量，不仅能够缓解显微镜下长时精细手术中医生眼睛疲劳、颈部疲劳等身心不适，提高手术效果，降低医疗事故，还能实现显微镜下教学实验的多人实时观摩，提高传授效率和学习效果。本发明可应用于显微手术、病理学、临床医学等生命科学研究领域中，以及显微镜下的教学实验中。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于医疗显微影像的快门式自适应3D显示系统框图；

图2是本发明另一种实施例的基于医疗显微影像的快门式自适应3D显示系统示意图；

图3是本发明一种实施例中影像处理模块启停方法示意图；

图4是本发明一种实施例中影像视差计算方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于医疗显微影像的快门式自适应3D显示系统，如图1所示，包括手术显微镜光学系统、分光器、双目相机、控制模块、影像处理模块、显示模块；

所述双目相机通过分光器与所述手术显微镜光学系统连接，用于获取双目影像数据；

所述控制模块用于输入控制指令；所述控制指令包括第一类控制指令、第二类控制指令；

所述影像处理模块在第一类控制指令状态下，基于所述双目影像数据计算影像视差，并传递给所述双目相机进行偏移量调整；

所述显示模块用于基于所述双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示；

所述手术显微镜光学系统可基于所述控制指令进行调整。

为了更清晰地对本发明基于医疗显微影像的快门式自适应3D显示系统进行说明，下面结合附图对本方发明一种实施例中各部分进行展开详述。

一种实施例的基于医疗显微影像的快门式自适应3D显示系统，如图2所示，包括手术显微镜光学系统1、分光器2、双目相机3、控制模块4、工业IO控制卡5、影像处理模块6、影像3D显示模块7、快门式3D眼镜8。本实施例中，影像处理模块6安装于电脑主机，电脑主机作为信息交互的中枢，分别与影像3D显示模块7、工业IO控制卡5、双目相机3连接，进行各部分的信息传递。

手术显微镜光学系统1用以不同倍率的进行清晰成像，并通过分光器2使光线进入双目相机3进行双目图像采集。双目相机3为用于模仿人眼进行图像采集。

控制模块4为脚踏开关模块，用以控制手术显微镜光学系统1进行位置和成像倍率的调整，其中位置调整包括前、后、左、右平移，上、下移动，成像倍率调整包括成像倍率放大、缩小。

工业IO控制卡5用以接收脚踏开关模块开关量信号，并将信号实时的反馈给影像处理模块，以控制影像处理模块的运行和停止。

影像处理模块6用以快速、自适应校准双目相机的成像视差，以保证观看的舒适度。

影像3D显示模块7用以将双目相机的左、右相机采集到的图像横向压缩后分别显示在快门式3D显示屏的左右侧进行影像融合，使用者可以通过快门式3D眼镜8进行观看。

本实施例中，手术显微镜光学系统1是由能够呈现出色立体感和显微细节图像的主镜，宽视野目镜，多层增透、复消色差、平场大物镜三者组成，可实现高质量的显微成像。分光镜2安装在手术显微镜光学系统1上，双目相机3安装在分光镜2上，能够实现接收到的光线通过分光镜2反射到双目相机3，进而形成左右影像。所形成的左右影像传送到影像处理模块6中进行视差计算，并根据视差参数控制双目相机3拍摄区域。将双目相机3采集到的影像传输到影像3D显示模块7中进行显示，以供配戴快门式3D眼镜8的使用者进行观看。其中，影像处理模块6启动和关闭时通过工业IO控制卡5接收脚踏开关模块的开关信号进行控制。

脚踏开关模块通过其上设置的方向脚踏键、焦距脚踏键，能够控制手术显微镜光学系统1上移、下移、左移、右移、前移、后移，以及成像倍率放大、缩小，而手术显微镜光学系统1左移、右移、前移、后移（第二类控制指令）并不影响左右影像视差的改变，因此，工业IO控制卡5无需接收四者信号。如图3所示，仅当脚踏开关模块控制手术显微镜光学系统1上移、下移，以及成像倍率放大、缩小时（第一类控制指令），工业IO控制卡5接收其信号，并启动影像处理模块6实时对采集到的影像进行处理，得到影像视差后调整双目相机的偏移量，保证自适应地、实时地调整影像视差，并将调整视差后的双目相机所采集到的影像实时地传入影像3D显示模块7进行显示，以维持观看舒适度。当脚踏开关模块控制手术显微镜光学系统1上移、下移，以及成像倍率放大、缩小的开关关闭时，左右影像已匹配到最佳显示状态，此时工业IO控制卡5接收其停止信号，并将信号传给影像处理模块6，停止对影像视差进行调整，以保障手术操作中绝对的安全性，避免因程序运行带来的潜在风险，双目相机3采集的图像数据直接传输给影像3D显示模块7，影像3D显示模块7将影像转换成用于3D眼镜观看的显示数据进行显示。

本实施例中，影像处理模块中“基于所述双目影像数据计算影像视差”，如图4所示，其方法为：

（1）获取影像数据

此处影像数据为双目影像数据，基于双目相机采集，可以采用两个工业相机，也可以采用双目相机产品。在进行影像采集时，保证左右相机的分辨率、曝光时间、帧率等参数设置的一致性，保证左右相机绝对水平，其中帧率设置为>60 f/s。

（2）影像匹配

首先，对双目相机采集到的左、右影像

，进行同等倍数的缩 小，以实现快速的特征提取，设图像处理后的大小为

：

其中，

为原始图像的大小，图像宽度和高度缩放因子分别为

和

。

其次，采用快速特征提取和描述的ORB（Oriented FAST and Rotated BRIEF）算法对对缩小后的左、右影像进行特征点提取和特征点描述；

最后，采用基于改进的网格运动统计（Improved Grid-based MotionStatistics，IGMS）算法，对缩小后的左、右影像进行误匹配特征点的剔除，得到最终匹配点；该算法具有快速、鲁棒的优点，可提高匹配的稳定性。

其中，本实施例中，上述基于改进的网格运动统计（IGMS）算法流程为：

1）基于所提取的特征点，采用暴力匹配算法(Brute Force，BF)对缩小后的左、右影像进行高数量匹配；

2）初次采用GMS算法对误匹配点进行粗剔除，并挑选高匹配度的前

个匹配点；

3）二次采用GMS算法对挑选出的前

个匹配点中包含的误匹配点进行细剔除。其 中，一般参数设置为

。

（3）影像视差

计算缩小后的左、右影像的最终匹配点的平均坐标差值

，转换成影像视 差

，并将影像视差实时传递给相机，以控制左右相机在

方向的偏移量。

本实施例中，影像3D显示模块包含图像处理和3D显示，具体步骤：首先，将所述双目影像数据中左、右影像在宽度方向分别压缩一半；其次，将压缩后的左、右影像分别充满显示屏的左、右半屏幕，其显示屏为快门式显示屏，刷新频率为120Hz，需配合快门式3D眼镜8使用。

特别地，根据本公开的实施例，方法步骤的相关内容可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (4)

1.一种基于医疗显微影像的快门式自适应3D显示系统，其特征在于，包括手术显微镜光学系统、分光器、双目相机、控制模块、影像处理模块、显示模块和工业IO控制卡；

所述双目相机通过分光器与所述手术显微镜光学系统连接，用于获取双目影像数据；

所述控制模块用于输入控制指令；所述控制指令包括第一类控制指令、第二类控制指令；所述控制模块为脚踏开关模块；所述脚踏开关模块包括方向脚踏键、焦距脚踏键；所述第一类控制指令包括上移、下移、成像倍率放大、成像倍率缩小；所述第二类控制指令包括左移、右移、前移、后移；

所述影像处理模块在第一类控制指令状态下，基于所述双目影像数据计算影像视差，并传递给所述双目相机进行偏移量调整；其中，影像视差的计算步骤具体包括：获取双目影像数据；对所述双目影像数据中左、右影像

进行同等倍数的缩小，图像处理后的大小为

；采用快速特征提取和描述的ORB算法对缩小后的左、右影像进行特征点提取和特征点描述；采用基于改进的网格运动统计算法，对缩小后的左、右影像进行误匹配特征点的剔除，得到最终匹配点；计算缩小后的左、右影像的最终匹配点的平均坐标差值

，转换成影像视差

，并将影像视差实时传递给相机，以控制左右相机在

方向的偏移量；其中，

，

为原始图像的大小，

分别为图像宽度和高度的缩放因子；其中，改进的网格运动统计算法具体为：基于所提取的特征点，采用暴力匹配算法对缩小后的左、右影像进行高数量匹配；初次采用GMS算法对误匹配点进行粗剔除，并挑选高匹配度的前n个匹配点；二次采用GMS算法对挑选出的前n个匹配点中包含的误匹配点进行细剔除；

；

所述显示模块用于基于所述双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示；

所述手术显微镜光学系统基于所述控制指令进行调整；

所述工业IO控制卡用于接收所述控制模块开关量信号，并将信号实时的反馈给所述影像处理模块，以控制所述影像处理模块的运行和停止；仅当所述脚踏开关模块控制所述手术显微镜光学系统执行第一类控制指令时，所述工业IO控制卡接收其信号，并启动所述影像处理模块实时对采集到的影像进行处理，得到影像视差后调整双目相机的偏移量，并将调整视差后的双目相机所采集到的影像实时地传入影像3D显示模块进行显示；当所述脚踏开关模块控制所述手术显微镜光学系统执行第一类控制指令的开关关闭时，所述工业IO控制卡接收其停止信号，并将信号传给所述影像处理模块，停止对影像视差进行调整，以保障手术操作中绝对的安全性。

2.根据权利要求1所述的基于医疗显微影像的快门式自适应3D显示系统，其特征在于，该系统还包括快门式3D眼镜；所述显示装置为快门式3D显示屏。

3.根据权利要求1所述的基于医疗显微影像的快门式自适应3D显示系统，其特征在于，所述方向脚踏键包括上移、下移、左移、右移、前移、后移六个脚踏键；所述焦距脚踏键包括成像倍率放大、成像倍率缩小两个脚踏键。

4.根据权利要求1所述的基于医疗显微影像的快门式自适应3D显示系统，其特征在于，所述显示模块中“基于所述双目影像数据生成用于3D眼镜观看的显示数据并通过显示装置显示”，其方法为：

对所述双目影像数据中左、右影像在宽度方向分别压缩一半后，分别充满所述显示装置的左、右显示屏。

Images