CN113504636B - 一种兼具3d成像和荧光成像的成像系统 - Google Patents

Abstract

本发明提出一种兼具3D成像和荧光成像的成像系统，包括光路切换模块、数字摄像模块和显示模块；光路切换模块用于实现3D光光路和荧光光路之间的切换；数字摄像模块包括数据处理模块和两组图像采集模组；3D模式下，两组图像采集模组分别以左、右眼视角采集经光路切换模块传输来的画面，数据处理模块将采集到的左、右眼视角画面合成为3D图像；荧光模式下，两组图像采集模组以同一视角采集经光路切换模块传输来的画面，数据处理模块将采集到的画面转换为荧光图像；显示模块用于对数字摄像模块传输来的画面进行显示。本发明提供的成像系统能够兼具3D成像和荧光成像功能且可实现荧光成像与3D成像的自由切换。

Description

一种兼具3D成像和荧光成像的成像系统

技术领域

本发明涉及一种成像设备，具体涉及一种兼具3D成像和荧光成像的成像系统。

背景技术

数字显微手术成像系统可以在超大屏幕上观察到直接用肉眼看不见或看不清的局部细小区域，该系统主要包括数字摄像设备、光学设备、显微设备、外接液晶显示器等。目前市面上的数字显微手术成像系统要么只具有荧光成像功能，要么只具有3D成像功能，功能较为单一，结构复杂，从荧光显示到3D显示或者从3D显示到荧光显示，用户必须频繁的更换设备，使用极为不便并且耽误时间，并且有可能存在因频繁更换造成设备的污染、损坏等。

发明内容

发明目的：为克服现有技术的缺陷，本发明提出一种兼具3D成像和荧光成像的成像系统，该系统可实现荧光成像与3D成像的自由切换。

技术方案：为实现上述目的，本发明提出以下技术方案：

一种兼具3D成像和荧光成像的成像系统，包括：光路切换模块、数字摄像模块和显示模块；其中，

所述光路切换模块用于实现3D光光路和荧光光路之间的切换，并通过切换后的光路将手术显微镜的镜下画面传输至数字摄像模块；

所述数字摄像模块包括：数据处理模块和两组图像采集模组；所述数字摄像模块与所述光路切换模块配合可实现3D模式或荧光模式；

在3D模式下，所述两组图像采集模组分别以左眼视角和右眼视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的左、右眼视角画面合成为3D图像；

在荧光模式下，所述两组图像采集模组以同一视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的画面转换为荧光图像；

所述显示模块用于对数字摄像模块传输来的画面进行显示。

针对所述成像系统，以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选的，所述数字摄像模块还包括多媒体输出模块，所述多媒体输出模块连接在所述数据处理模块和所述显示模块之间，用于根据所述显示模块的显示需求将所述数据处理模块输出的图像进行分辨率变换以及帧率变换。

可选的，所述图像采集模组包括一个图像传感器和一个镜筒，所述镜筒用于将光路切换模块输出的画面传输给图像传感器，所述图像传感器用于将所述镜筒传递的光信号转换为电信号并传输给数据处理模块。

可选的，所述图像传感器包括型号为IMX334的图像传感器芯片、电源接口和MIPI接口，所述图像传感器芯片通过所述电源接口连接电源板，通过所述MIPI接口连接所述数据处理模块。

可选的，所述数据处理模块包括中央处理器芯片以及连接于所述中央处理器芯片的存储器电路、运行内存电路、时钟和复位电路。

可选的，所述数字摄像模块还包括通信模块，所述通信模块用于提供数据处理模块与外部设备的数据交互通道。

可选的，所述数字摄像模块还包括遥控模块，所述遥控模块用于实现用户对所述数据处理模块的近距离无线控制。

有益效果：与现有技术相比，本发明具有以下优势：

1、本发明提供的成像系统能够兼具3D成像和荧光成像功能，能够将显微镜下的画面通过图像传输精准、清晰地展示在大屏幕上，方便用户在大屏幕上观察到直接用肉眼看不见或看不清的局部细小区域。

2、使用本发明所提供的系统时，用户在无须更换设备的情况下，可自由切换输出的是荧光画面或者3D画面，使用极方便并节省时间，同时也避免了有可能存在因频繁更换造成设备的污染、损坏。

附图说明

图1为实施例涉及的成像系统的整体架构图；

图2为实施例涉及的光路切换模块切换为荧光光路时的原理结构图；

图3为实施例涉及的光路切换模块切换为3D光光路时的原理结构图；

图4为实施例涉及的光路切换模块的机械结构示意图；

图5为实施例涉及的旋转平台组件的结构示意图；

图6为实施例涉及的转接口组件的结构示意图；

图7为实施例涉及的手轮组件的结构示意图；

图8为实施例涉及的光路切换模块整体的装配图；

图9为光路切换模块整体的A-A截面示意图；

图10为光路切换模块整体的第一纵向截面示意图；

图11为光路切换模块整体的第二纵向截面示意图，第二纵向截面与第一纵向截面正交；

图12为专用处理器的电路结构图；

图13为数字摄像模块的电源树结构图。

图中：1、二向色镜，2、直角棱镜，2-1、镀膜，3、第一滤光片，4、第二滤光片，5、第三滤光片，6、第四滤光片，7、外壳，8、旋转平台组件，8-1、轴承，8-2、转子，8-3、第一红外滤光片，8-4、支撑柱，8-5、滤光片架，8-6、第二红外滤光片，8-7、第一螺钉，8-8、荧光滤光片，8-9、第三红外滤光片，9、转接口组件，9-1、接口，9-2、限位块，9-3、遮光片，9-4、第二螺钉，9-5、紧定螺钉，10、手轮组件，10-1、伞齿，10-2、手轮，10-3、第三螺钉。

具体实施方式

下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。

应当理解的是，在技术下可行的情况下，以下针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

实施例：

图1示例性地给出了一种兼具3D成像和荧光成像的成像系统，包括：光路切换模块、数字摄像模块和显示器。下面将分别对光路切换模块和数字摄像模块进行详细介绍。

(一)光路切换模块

用于实现3D光光路和荧光光路之间的切换，并通过切换后的光路将手术显微镜的镜下画面传输至数字摄像模块。

本实施例中仅示例地给出一种光路切换模块的实现方式，需要注意的是，现有技术中其他能够实现光路切换功能的装置或模块也同样属于本发明的保护范围。

图2示例性地给出了光路切换模块切换为荧光光路时的原理结构图，此时，光路切换模块在原理上等同于图2中所示的结构。图2中的显微模块相当于显微镜的镜头组，镜下画面依次通过显微模块的物镜和放大装置后，输出混合光束1与混合光束2。混合光束2进入光路切换模块后经二向色镜1，一部分透射生成光束1，一部分折射生成光束2，光束1经过第二滤光片4后得到波段为可见光波段的光，光束2经过直角棱镜2反射再经过第一滤光片3后得到波段为荧光波段的光。直角棱镜2朝向显微模块的一面镀有镀膜2-1，当从显微设备出来的混合光束1进入直角棱镜时，由于镀膜2-1的存在，会被完全截止。基于上述描述可知，光路切换模块最后输出的是两种波段的光(可见波段光和荧光波段光)，可见波段光进入第一镜筒后被第一图像传感器采集，荧光波段光进入第二镜筒后被第二图像传感器采集。第一图像传感器和第二图像传感器输出的电信号送入数据处理模块后被处理为合成图像。数字摄像模块通过HDMI线连接显示屏后，即可将合成图像传输到外接超大显示屏上，便能看到直接用肉眼看不到局部微小结构的荧光图像。

图3示例性地给出了光路切换模块切换为3D光光路时的原理结构图，此时，光路切换模块在原理上等同于图3中所示的结构。镜下画面进入显微模块的物镜后经过放大装置后输出混合光束1与混合光束2。混合光束1进入光路切换模块后经第四经滤光片6得到可见波段的光，混合光束2进入光路切换模块后经第三经滤光片5也得到可见波段的光，这两路可见波段光分别进入第一镜筒、第二镜筒，然后分别被第一图像传感器和第二图像传感器采集。第一图像传感器和第二图像传感器输出的电信号送入数据处理模块后被处理为合成图像。数字摄像模块通过HDMI线连接显示屏后，即可将合成图像传输到外接超大显示屏上，便能看到直接用肉眼看不到或者看不清的局部细小区域的3D图像。

而为了实现光路切换模块的上述功能，本实施例示例性地给出了一种机械结构，具体如图4所示，包括外壳7、旋转平台组件8、转接口组件9、手轮组件10，外壳7上具有两个通光孔。

图5示出了旋转平台组件8的具体结构图。旋转平台组件8包括轴承8-1、转子8-2直角棱镜2、第一红外滤光片8-3、支撑柱8-4、滤光片架8-5、第二红外滤光片8-6、第一螺钉8-7、荧光滤光片8-8、二向色镜1、第三红外滤光片8-9，其中转子8-2上具有四个通光孔，四个通光孔相对轴心均匀分布。

图6示出了转接口组件9的具体结构图。转接口组件9包括接口9-1、限位块9-2、遮光片9-3、第二螺钉9-4、紧定螺钉9-5，其中，转接口9-1和遮光片9-3分别具有两个通光孔。

图7示出了手轮组件10的具体结构图。手轮组件10包括伞齿10-1、手轮10-2、第三螺钉10-3等。

在图4至图7所示的结构中，外壳7、转子8-2、支撑柱8-4、滤光片架8-5、接口9-1、遮光片9-3、伞齿10-1、手轮10-2等器件的材质可选用轻型铝合金、镁合金、钢等材质等，表面处理可根据材质选择喷砂、喷漆、硬质阳极氧化、哑光黑色等工艺。限位块9-2的材质可选择不锈钢、铝青铜、铝合金等。直角棱镜2、第一红外滤光片8-3、第二红外滤光片8-6、荧光滤光片8-8、二向色镜1、第三红外滤光片8-9的材质可选用玻璃、镜片等，表面可包含镀层。

图8所示为光路切换模块装配好之后的示意图，图9为光路切换模块整体的A-A截面示意图，图10为光路切换模块整体的第一纵向截面意图，图11为光路切换模块整体的第二纵向截面示意图。如图9至图11所示，光路切换模块中各个组件的装配关系如下。

轴承8-1安装在转子8-2上，第一红外滤光片8-3、第三红外滤光片8-9分别安装在转子8-2的内腔中，直角棱镜2、二向色镜1分别安装在转子8-2的内腔中，支撑柱8-4安装在转子8-2上，滤光片架8-5通过第一螺钉8-7安装在支撑柱8-4上，第二红外滤光片8-6、荧光滤光片8-8分别安装在滤光片架8-5的内腔中，此时完成旋转平台组件8的组装。旋转平台组件8安装于外壳7的内腔中，将伞齿10-1、手轮10-2通过第三螺钉10-3安装在外壳7上；将遮光片9-3布置于接口9-1的内腔中并通过限位块9-2、第二螺钉9-4将其固定，将紧定螺钉9-5旋入接口9-1的螺纹孔中，此时完成接口组件9的组装。将接口组件9安装在外壳7上并通过第二螺钉9-4固定。

装配时，轴承8-1内圈与转子8-2过盈配合，轴承8-1外圈与外壳7过盈配合，转子8-2有齿与伞齿10-1啮合。当转动手轮10-2时，伞齿10-1带动转子8-2转动，从而旋转平台组件8在外壳7的内腔中可自由旋转。

当转动手轮10-2将旋转平台组件8旋转到如图8-图11所示的位置时，外壳7的两个通光孔、转子8-2四个通光孔的其中两个通光孔，二向色镜1、直角棱镜2、荧光滤光片8-8、第二红外滤光片8-6、接口9-1的两个通光孔、遮光片9-3的两个通光孔即形成了如图2所示的荧光光路通道，应用于图1所示的系统中即可实现荧光成像。

当转动手轮10-2将旋转平台组件8从如图8-图11所示的位置顺时针或逆时针旋转90°时，外壳7的两个通光孔、转子8-2四个通光孔的另外两个通光孔、第一红外滤光片8-3、第三红外滤光片8-9、接口9-1的两个通光孔、遮光片9-3的两个通光孔，即形成了如图3所示3D光光路通道，应用于图1所示的系统中即可实现3D成像。

(二)数字摄像模块

如图1所示，数字摄像模块包括：两组图像采集模组、数据处理模块、多媒体输出模块。

所述数字摄像模块与所述光路切换模块配合可实现3D模式或荧光模式；在3D模式下，所述两组图像采集模组分别以左眼视角和右眼视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的左、右眼视角画面合成为3D图像；在荧光模式下，所述两组图像采集模组以同一视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的画面转换为荧光图像。

数据处理模块输出的画面传输至多媒体输出模块，多媒体输出模块连接在数据处理模块和显示模块之间，用于根据显示模块的显示需求将数据处理模块输出的图像进行分辨率变换以及帧率变换。

两组图像采集模组结构均包括一个图像传感器和一个镜筒，所述镜筒用于将光路切换模块输出的画面传输给图像传感器，所述图像传感器用于将所述镜筒传递的光信号转换为电信号并传输给数据处理模块。

本实施例中，我们需要数字摄像模块的分辨率达到3840*2160，即4K级分辨率。因此，我们选用了索尼的IMX334图像传感器芯片实现图像传感器的功能，能够达到800万像素，满足3840*2160的分辨率性能要求，另一方面，IMX334图像传感器芯片可以实现在4K分辨率条件下的每秒60帧的传输速率，可以有效提升视频的流畅度。

图像传感器电路模块的工作原理如下：手术显微镜镜下画面通过两路光学透镜组分别传输给第一路图像传感器和第二路图像传感器，每一路图像传感器中的感光芯片接收到光信号后，会将光信号转换为电信号并传输给数据处理模块的主控芯片。

数据处理模块以专用处理器为核心，其电路结构如图12所示，主要包括：中央处理器芯片、存储器、运行内存电路、时钟和复位电路、各种外设接口等。

中央处理器芯片采用华为海思的Hi3559ARFCV100，该芯片是是专业的8K UltraHD Mobile Camera SOC，它提供了8K30/4K120广播级图像质量的数字视频录制，支持多路Sensor输入，支持H.265编码输出或影视级的RAW数据输出，并集成高性能ISP处理，同时采用先进低功耗工艺和低功耗架构设计，为用户提供了卓越的图像处理能力。主芯片支持业界领先的多路4K Sensor输入，多路ISP图像处理，支持HDR10高动态范围技术标准。Hi3559AV100提供了高效且丰富的计算资源，采用先进的12nm低功耗工艺和小型化封装，同时支持DDR4/LPDDR4，使得Hi3559AV100可支撑产品小型化设计。

存储器电路采用了海力士16GB容量EMMC存储芯片进行设计，该芯片符合EMMC5.0技术指标。

时钟和复位电路中，时钟发生电路采用振荡频率为24MHz的晶体振荡器作为主芯片的时钟输入，后经芯片内部倍频电路产生不同的时钟频率用于支持各模块的正常运行。复位电路的功能是在芯片上下电，程序出错等工况下可以保证系统能回归正常工作状态。

外设接口主要包括以下几种：如视频输入MIPI接口，视频输出HDMI接口，串口UART，I2C，SPI，USB2.0/3.0，通用输入输出口等，这些丰富的接口为支持各种应用提供了坚实基础。

数字摄像模块的电源树结构如图13所示，输入为12V/3A直流电。经过DC-DC电源转换后得到5V和3.3V直流电，且5V电源优先于3.3V上电。由5V电源经过多个DC-DC电源转换模块后得到多种电源电压用于供给不同的电路。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种兼具3D成像和荧光成像的成像系统，其特征在于，包括：光路切换模块、数字摄像模块和显示模块；其中，

所述光路切换模块用于实现3D光光路和荧光光路之间的切换，并通过切换后的光路将手术显微镜的镜下画面传输至数字摄像模块；

所述光路切换模块包括外壳(7)、旋转平台组件(8)、转接口组件(9)，旋转平台组件(8)安装于外壳(7)的内腔中，转接口组件(9)安装在外壳(7)上；外壳(7)上具有两个通光孔一；

旋转平台组件(8)包括轴承(8-1)、转子(8-2)、直角棱镜(2)、第一红外滤光片(8-3)、支撑柱(8-4)、滤光片架(8-5)、第二红外滤光片(8-6)、第一螺钉(8-7)、荧光滤光片(8-8)、二向色镜(1)、第三红外滤光片(8-9)；轴承(8-1)安装在转子(8-2)上，第一红外滤光片(8-3)、第三红外滤光片(8-9)分别安装在转子(8-2)的内腔中，直角棱镜(2)、二向色镜(1)分别安装在转子(8-2)的内腔中，支撑柱(8-4)安装在转子(8-2)上，滤光片架(8-5)通过第一螺钉(8-7)安装在支撑柱(8-4)上，第二红外滤光片(8-6)、荧光滤光片(8-8)分别安装在滤光片架(8-5)的内腔中；转子(8-2)上具有四个通光孔二；

手轮组件(10)包括伞齿(10-1)、手轮(10-2)、第三螺钉(10-3)，将伞齿(10-1)、手轮(10-2)通过第三螺钉(10-3)安装在外壳(7)上；

转接口组件(9)包括接口(9-1)、限位块(9-2)、遮光片(9-3)、第二螺钉(9-4)、紧定螺钉(9-5)，其中，转接口(9-1)和遮光片(9-3)分别具有两个通光孔；遮光片(9-3)布置于接口(9-1)的内腔中并通过限位块(9-2)、第二螺钉(9-4)将其固定，将紧定螺钉(9-5)旋入接口(9-1)的螺纹孔中；转接口(9-1)具有两个通光孔三，遮光片(9-3)具有两个通光孔四；

轴承(8-1)内圈与转子(8-2)过盈配合，轴承(8-1)外圈与外壳(7)过盈配合，转子(8-2)有齿与伞齿(10-1)啮合；当转动手轮(10-2)时，伞齿(10-1)带动转子(8-2)转动，从而旋转平台组件(8)在外壳(7)的内腔中可自由旋转；

当转动手轮(10-2)将旋转平台组件(8)旋转到第一位置时，外壳(7)的两个通光孔一、转子(8-2)四个通光孔二的其中两个通光孔二，二向色镜(1)、直角棱镜(2)、荧光滤光片(8-8)、第二红外滤光片(8-6)、接口(9-1)的两个通光孔三、遮光片(9-3)的两个通光孔四形成荧光光路通道；

当转动手轮(10-2)将旋转平台组件(8)从第一位置顺时针或逆时针旋转90°时，外壳(7)的两个通光孔一、转子(8-2)四个通光孔二的另外两个通光孔二、第一红外滤光片(8-3)、第三红外滤光片(8-9)、接口(9-1)的两个通光孔三、遮光片(9-3)的两个通光孔四形成3D光光路通道；

所述数字摄像模块包括：数据处理模块和两组图像采集模组；所述数字摄像模块与所述光路切换模块配合可实现3D模式或荧光模式；

在3D模式下，所述两组图像采集模组分别以左眼视角和右眼视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的左、右眼视角画面合成为3D图像；

在荧光模式下，所述两组图像采集模组以同一视角采集经光路切换模块传输来的画面，所述数据处理模块将采集到的画面转换为荧光图像；

所述显示模块用于对数字摄像模块传输来的画面进行显示。

2.根据权利要求1所述的成像系统，其特征在于，所述数字摄像模块还包括多媒体输出模块，所述多媒体输出模块连接在所述数据处理模块和所述显示模块之间，用于根据所述显示模块的显示需求将所述数据处理模块输出的图像进行分辨率变换以及帧率变换。

3.根据权利要求1所述的成像系统，其特征在于，所述图像采集模组包括一个图像传感器和一个镜筒，所述镜筒用于将光路切换模块输出的画面传输给图像传感器，所述图像传感器用于将所述镜筒传递的光信号转换为电信号并传输给数据处理模块。

4.根据权利要求3所述的成像系统，其特征在于，所述图像传感器包括图像传感器芯片、电源接口和MIPI接口，所述图像传感器芯片通过所述电源接口连接电源板，通过所述MIPI接口连接所述数据处理模块。

5.根据权利要求4所述的成像系统，其特征在于，所述数据处理模块包括中央处理器芯片以及连接于所述中央处理器芯片的存储器电路、运行内存电路、时钟和复位电路。

6.根据权利要求1所述的成像系统，其特征在于，所述数字摄像模块还包括通信模块，所述通信模块用于提供数据处理模块与外部设备的数据交互通道。

7.根据权利要求1所述的成像系统，其特征在于，所述数字摄像模块还包括遥控模块，所述遥控模块用于实现用户对所述数据处理模块的近距离无线控制。

Images