CN211324858U - 内窥镜系统、混合光源、视频采集装置及图像处理器 - Google Patents

Abstract

本申请实施例提供了一种内窥镜系统、混合光源、视频采集装置及图像处理器。该内窥镜系统包括混合光源，其用于同步对含有造影剂的目标探测区域发射可见光及近红外光；视频图像采集装置，用于采集所述目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；图像处理器，用于根据所述图像混合数据生成所述目标探测区域的造影图像；视频输出单元，用于将所述造影图像转换成视频格式并输出；显示单元，用于实时显示视频格式的造影图像。本申请实施例可以提高内窥镜系统区分正常组织与病变组织的准确度。

Description

内窥镜系统、混合光源、视频采集装置及图像处理器

技术领域

本申请涉及医疗器械领域，尤其是涉及一种内窥镜系统、混合光源、视频采集装置及图像处理器。

背景技术

分子影像(molecular imaging)是运用影像学手段显示组织水平、细胞和亚细胞水平的特定分子，反映活体状态下分子水平变化，对其生物学行为在影像方面进行定性和定量研究的科学。基于分子影像技术的内窥镜是一种常用的医疗器械，是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。医生可以借助内窥镜观察患者体内的病灶(例如溃疡或肿瘤等病变组织/器官)，据此制定出较佳的治疗方案。

传统内窥镜系统是通过自然光条件下激发成像的，但是有些病变组织的外观外形并不明显；又有些正常的组织，在某些特定的环境下，外观有很相似病变组织。因此，如果仅仅通过肉眼观察内窥镜系统显示的图像来判断，容易造成误诊断。因此，如何准确区分正常组织与病变组织，已成为内窥镜系统亟待解决的技术问题。

实用新型内容

本申请实施例的目的在于提供一种内窥镜系统、混合光源、视频采集装置及图像处理器，以提高内窥镜系统区分正常组织与病变组织的准确度。为达到上述目的，一方面，本申请实施例提供了一种内窥镜系统，包括：

混合光源，其用于同步对含有造影剂的目标探测区域发射可见光及近红外光；

视频图像采集装置，用于采集所述目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；

图像处理器，用于根据所述图像混合数据生成所述目标探测区域的造影图像；

视频输出单元，用于将所述造影图像转换成视频格式并输出；

显示单元，用于实时显示视频格式的造影图像。

在本申请一实施例中，所述混合光源包括：彼此靠近且独立设置的白光激光光源及近红外光激光光源。

在本申请一实施例中，所述视频图像采集装置包括：

内窥镜，用于采集所述目标探测区域的图像混合光信号；

调焦镜头，用于对所述图像混合光信号进行调焦；

滤光片，用于滤除调焦后的图像混合光信号中，其波长位于可见光和近红外光之外的部分；

光电转换模块，用于将滤光后的图像混合光信号转换成对应的电信号，以作为图像混合数据。

在本申请一实施例中，所述光电转换模块包括以下中的任意一种：

电荷耦合元件；

互补金属氧化物半导体图像传感器。

在本申请一实施例中，所述混合光源、所述视频输出单元和所述图像处理器集成为一体结构。

另一方面，本申请实施例还提供了一种混合光源，所述混合光源应用于内窥镜系统，所述混合光源用于同步对含有造影剂的目标探测区域发射可见光及近红外光。

在本申请一实施例中，所述混合光源包括：彼此靠近且独立设置的白光激光光源及近红外光激光光源。

另一方面，本申请实施例还提供了一种视频采集装置，所述视频采集装置应用于内窥镜系统，所述视频图像采集装置，用于采集目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据。

在本申请一实施例中，所述视频图像采集装置包括：

内窥镜，用于采集所述目标探测区域的图像混合光信号；

调焦镜头，用于对所述图像混合光信号进行调焦；

滤光片，用于滤除调焦后的图像混合光信号中，其波长位于可见光和近红外光之外的部分；

光电转换模块，用于将滤光后的图像混合光信号转换成对应的电信号，以作为图像混合数据。

在本申请一实施例中，所述光电转换模块包括以下中的任意一种：

电荷耦合元件；

互补金属氧化物半导体图像传感器。

另一方面，本申请实施例还提供了一种图像处理器，包括：

图像获取模块，用于获取目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；

识别及标记模块，用于从所述图像混合数据中识别出近红外光图像数据和可见光图像数据，并将所述近红外光图像数据进行标记；

图像合成模块，用于将标记后的近红外光图像数据及识别出的可见光图像数据，合成为所述目标探测区域的造影图像。

在本申请一实施例中，所述图像处理器包括现场可编程门阵列。

由以上本申请实施例提供的技术方案可见，在本申请实施例基于分子影像技术的内窥镜系统中，由于内窥镜系统可获取到目标探测区域的近红外光图像，而近红外光图像可穿透目标探测区域更深层的组织，因此，本申请实施例的内窥镜系统输出显示的造影图像，可以更准确地区分目标探测区域内的正常组织与病变组织，从而提高了内窥镜系统区分正常组织与病变组织的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一些实施例中内窥镜系统的结构框图；

图2为本申请一些实施例中图像处理器的结构示意图；

图3为本申请另一些实施例中图像处理器的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。例如在下面描述中，在第一部件上方形成第二部件，可以包括第一部件和第二部件以直接接触方式形成的实施例，还可以包括第一部件和第二部件以非直接接触方式(即第一部件和第二部件之间还可以包括额外的部件)形成的实施例等。

而且，为了便于描述，本申请一些实施例可以使用诸如“在…上方”、“在…之下”、“顶部”、“下方”等空间相对术语，以描述如实施例各附图所示的一个元件或部件与另一个(或另一些)元件或部件之间的关系。应当理解的是，除了附图中描述的方位之外，空间相对术语还旨在包括装置在使用或操作中的不同方位。例如若附图中的装置被翻转，则被描述为“在”其他元件或部件“下方”或“之下”的元件或部件，随后将被定位为“在”其他元件或部件“上方”或“之上”。

研究表明，光穿透组织的能力与组织吸收光的强弱、光波的特性、生物组织结构及其物理化学特性等均有关系。而波长范围为650～900nm的近红外光(Near-Infrared，简称NIR)，与可见光相比具有：⑴生物组织对此波段近红外光的吸收和散射效应最小，与可见光相比近红外光可穿透更深层的组织；⑵由于生物组织对此波段近红外光的自体荧光较小，信背比(Signal-to-background ratio，简称SBR)相对高等优点。

参见图1所示，基于上述原理，为了提高内窥镜系统区分正常组织与病变组织的能力，本申请一些实施例的内窥镜系统可以包括混合光源、视频图像采集装置、图像处理器、视频输出单元和显示单元等。其中，混合光源可用于同步对含有造影剂的目标探测区域发射可见光及近红外光。视频图像采集装置可用于采集所述目标探测区域的图像混合数据。所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据。图像处理器可用于根据所述图像混合数据生成所述目标探测区域的造影图像。视频输出单元可用于将所述造影图像转换成视频格式并输出。显示单元可用于实时显示视频格式的造影图像。

在本申请上述实施例的内窥镜系统中，由于内窥镜系统可获取到目标探测区域的近红外光图像，而近红外光图像可穿透目标探测区域更深层的组织，因此，本申请上述实施例的内窥镜系统输出显示的造影图像，可以更准确地区分目标探测区域内的正常组织与病变组织。

在本申请一实施例中，所述混合光源可以是彼此靠近且独立设置的白光激光光源及近红外光激光光源，所述白光激光光源和所述近红外光激光光源可同步对应向目标探测区域发射可见光和近红外光。在本申请另一实施例中，所述混合光源也可以是单激光源，所述单激光源发可射出波长范围至少覆盖可见光波段及近红外光波段的激光。因此，在本申请一些实施例中，并不限定混合光源的结构，具体可以根据需要选择。

在本申请一实施例中，所述视频图像采集装置可以包括内窥镜、调焦镜头、滤光片和光电转换模块。其中，内窥镜可用于采集所述目标探测区域的图像混合光信号。调焦镜头可用于对所述图像混合光信号进行调焦，以获得清晰图像。滤光片可用于滤除调焦后的图像混合光信号中，其波长位于可见光和近红外光之外的部分，即滤光片过滤后的图像混合光信号中可以仅保留可见光部分和近红外光部分。光电转换模块可用于将滤光后的图像混合光信号转换成对应的电信号，以作为图像混合数据，便于后续处理。在本申请一些实施例中，光电转换模块可以为单个，以降低功耗，减小体积。

在一些示例性实施例中，所述光电转换模块例如可以包括但不限于电荷耦合元件(Charge Coupled Device，简称CCD)或互补金属氧化物半导体(Complementary MetalOxide Semiconductor，简称CMOS)图像传感器等。

在本申请一些实施例中，根据需要，所述图像处理器可以采用任何合适的硬件或软硬件相结合的结构。例如在一些示例性实施例中，所述图像处理器可采用现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或复杂可编程逻辑器件(ComplexProgrammable Logic Device，简称CPLD)等硬件结构实现。其中，FPGA是一种基于硬件基础的处理系统，其优势在于数据的并行处理，可以在一个时钟周期内，同时处理多个数据，从而可以缩短处理时间，降低了图像延时。在上述硬件实现方式下，如图2所示，所述图像处理器可以包括图像获取模块21、识别及标记模块22和图像合成模块23。其中：

图像获取模块21可以用于获取目标探测区域的图像混合数据。所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据。

识别及标记模块22可以用于从所述图像混合数据中识别出近红外光图像数据和可见光图像数据，并将所述近红外光图像数据进行标记。在本申请一实施例中，在近可见光的照射下，目标探测区域会呈现出一种可见光影像；由于目标探测区域内含有造影剂，与此同时，在近红外光的照射下，目标探测区域内含有造影剂的部分还会呈现出另一种近红外光影像。而在图像获取模块21获取的图像混合数据中：可见光图像数据对应的可见光影像的颜色值，与近红外光图像数据对应的近红外光影像的颜色值具有明显差异，因此，基于这种颜色值的差异，识别及标记模块22从图像混合数据中识别出近红外光图像数据和可见光图像数据。在此基础上，为了增强或突出显示效果，以便于操作，可将识别出的近红外光图像数据进行标记(例如荧光标记等)。

图像合成模块23可用于将标记后的近红外光图像数据及识别出的可见光图像数据，合成为所述目标探测区域的造影图像。

在本申请一些实施例中，所述图像处理器还可以包括图像去雾模块和图像降噪模块。其中：

图像去雾模块可以用于将所述图像混合数据进行暗通道去雾处理，以降低或消除图片的雾化。由于在手术以及其他应用的过程中，可能会因为蒸气或其他因素导致图像发生雾化，而模糊不清。基于包含暗通道去雾算法的图像去雾模块，可以在一定程度上降低甚至消除图像的雾化模糊。

图像降噪模块可以用于将所述图像去雾模块处理后的图像进行多帧降噪处理，以提高图像的信噪比。在图像获取的过程中，可能会因为光线条件，曝光时间等因素导致图像噪点增多，使得图像不清晰。通过包含多帧降噪算法的图像去雾模块，可以将采集到的针对相同目标区域的多帧图像，在不同的帧数下找到不同的带有噪点性质的像素点，通过反复加权、替换，最终合成后得到一张较为干净、纯净的图像。

在本申请一些实施例中，所述图像合成模块23可以包括：

RGB转换子模块可以用于将目标区域内标记后的近红外光图像数据进行RGB转换，以转换为具有指定荧光效果的图像。

图像覆盖子模块可以用于将所述具有指定荧光效果的图像覆盖掉所述目标区域内的可见光部分的图像，以免受到可见光的干扰。

在本申请一示例性实施例中，上述指定荧光效果的图像例如可以为绿色荧光效果的图像。由于.绿色的荧光效果更加直观明显，从而可以方便医生手术操作时(或其他应用场景下)更加清晰区分正常组织和病变组织。

在本申请另一示例性实施例中，上述指定荧光效果的图像可以分成多个层级显示，即显示的荧光的亮度可以根据原始数据的强弱变化而变化，从而有利于医生对病变组织的病变程度进行区分和判断。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或更多个或硬件模块中实现。

在另一些示例性实施例中，如图3所示，所述图像处理器也可以包括处理器及存储在存储器上的计算机程序，所述计算机程序被所述处理器运行时执行如下步骤：

获取目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；

从所述图像混合数据中识别出近红外光图像数据和可见光图像数据，并将所述近红外光图像数据进行标记；

将标记后的近红外光图像数据及识别出的可见光图像数据，合成为所述目标探测区域的造影图像。

虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。

在本申请一些实施例中，所述视频输出模块例可以为视频采集卡，例如HDMI采集卡、VGA视频采集卡、PCI视频卡、PCI-E视频采集卡等等。

在本申请一些实施例中，所述显示设备可以为显示器，例如阴极射线管(即显示器)，等离子显示器，液晶显示器(即LCD显示器)、发光二极管显示器(即LED显示器)、有机发光二极管显示器(即OLED显示器)等。

在本申请一些实施例中，为了使得内窥镜系统结构紧凑且便于使用，所述混合光源、所述视频输出单元和所述图像处理器集成为一体结构。

本实用新型是参照根据本实用新型实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种内窥镜系统，其特征在于，包括：

混合光源，其用于同步对含有造影剂的目标探测区域发射可见光及近红外光；

视频图像采集装置，用于采集所述目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；

图像处理器，用于根据所述图像混合数据生成所述目标探测区域的造影图像；

视频输出单元，用于将所述造影图像转换成视频格式并输出；

显示单元，用于实时显示视频格式的造影图像。

2.如权利要求1所述的内窥镜系统，其特征在于，所述混合光源包括：彼此靠近且独立设置的白光激光光源及近红外光激光光源。

3.如权利要求2所述的内窥镜系统，其特征在于，所述视频图像采集装置包括：

内窥镜，用于采集所述目标探测区域的图像混合光信号；

调焦镜头，用于对所述图像混合光信号进行调焦；

滤光片，用于滤除调焦后的图像混合光信号中，其波长位于可见光和近红外光之外的部分；

光电转换模块，用于将滤光后的图像混合光信号转换成对应的电信号，以作为图像混合数据。

4.如权利要求3所述的内窥镜系统，其特征在于，所述光电转换模块包括以下中的任意一种：

电荷耦合元件；

互补金属氧化物半导体图像传感器。

5.如权利要求3所述的内窥镜系统，其特征在于，所述混合光源、所述视频输出单元和所述图像处理器集成为一体结构。

6.一种混合光源，其特征在于，所述混合光源应用于内窥镜系统，所述混合光源用于同步对含有造影剂的目标探测区域发射可见光及近红外光。

7.如权利要求6所述的混合光源，其特征在于，所述混合光源包括：彼此靠近且独立设置的白光激光光源及近红外光激光光源。

8.一种视频采集装置，其特征在于，所述视频采集装置应用于内窥镜系统，所述视频采集装置，用于采集目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据。

9.如权利要求8所述的视频采集装置，其特征在于，所述视频采集装置包括：

内窥镜，用于采集所述目标探测区域的图像混合光信号；

调焦镜头，用于对所述图像混合光信号进行调焦；

滤光片，用于滤除调焦后的图像混合光信号中，其波长位于可见光和近红外光之外的部分；

光电转换模块，用于将滤光后的图像混合光信号转换成对应的电信号，以作为图像混合数据。

10.如权利要求9所述的视频采集装置，其特征在于，所述光电转换模块包括以下中的任意一种：

电荷耦合元件；

互补金属氧化物半导体图像传感器。

11.一种图像处理器，其特征在于，包括：

图像获取模块，用于获取目标探测区域的图像混合数据；所述图像混合数据包括所述目标探测区域的可见光图像数据以及近红外光图像数据；

识别及标记模块，用于从所述图像混合数据中识别出近红外光图像数据和可见光图像数据，并将所述近红外光图像数据进行标记；

图像合成模块，用于将标记后的近红外光图像数据及识别出的可见光图像数据，合成为所述目标探测区域的造影图像。

12.如权利要求11所述的图像处理器，其特征在于，所述图像处理器包括现场可编程门阵列。

13.如权利要求11所述的图像处理器，其特征在于，所述图像处理器还包括：

图像去雾模块，用于将所述图像混合数据进行暗通道去雾处理，以降低或消除图片的雾化；

图像降噪模块，用于将所述图像去雾模块处理后的图像进行多帧降噪处理，以提高图像的信噪比。

14.如权利要求11所述的图像处理器，其特征在于，所述图像合成模块包括：

RGB转换子模块，用于将目标区域内标记后的近红外光图像数据进行RGB转换，以转换为具有指定荧光效果的图像；图像覆盖子模块，用于将所述具有指定荧光效果的图像覆盖掉所述目标区域内的可见光部分的图像。

Images