CN110772208B - 一种获取荧光图像的方法、装置、设备及内窥镜系统 - Google Patents

Abstract

本申请公开了一种获取荧光图像的方法、装置、设备及内窥镜系统，该方法应用于内窥镜系统，该内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，该方法包括：获取复眼成像装置采集到的被摄对象的多个荧光图像子块；对多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像。通过上述实施方式，本申请实施例可在基本不损失时间分辨率和空间分辨率前提下显著提高图像的信噪比，综合提高图像质量。

Description

一种获取荧光图像的方法、装置、设备及内窥镜系统

技术领域

本申请涉及图像处理技术领域，特别涉及一种获取荧光图像的方法、装置、图像处理设备及内窥镜系统。

背景技术

近年来，电子内窥镜已广泛应用于消化道肿瘤的早期诊疗。普通白光内窥镜虽能提供组织的整体形态结构信息，但是，在观察一些早期平坦型肿瘤时，仍有很大概率出现漏诊。为了提高对早期肿瘤诊断的准确性，荧光内窥镜成像技术被提出并广泛应用于临床诊断。

由于癌变或病变组织的荧光强度比正常组织的荧光强度要弱，因此，通过图像传感器捕获组织反射回的荧光，便可以根据荧光强度对病变组织和正常组织进行区分。由于荧光强度相对较弱，仅仅依靠普通的图像传感器的低灵敏度很难高质量地获得荧光图像。因此，为了获取较理想的图像效果又避免使用昂贵的高灵敏镜头，现有技术中出现了帧相加、像素混合处理等方案来增强荧光图像的信噪比。

帧相加的处理过程就是将多帧荧光图像叠加成一帧。但是，内窥镜在实际应用中是需要不断移动以便医生观察病体组织的，多帧图像间会发生不同程度的像素偏移，难以进行准确的图像配准，对帧相加形成了技术障碍；同时，帧相加的处理过程会使得图像的时间分辨率下降，荧光成像时间较长，造成视频图像的卡顿或者延迟。而像素混合处理就是将相邻像元中的像素值叠加后以一个像元像素输出，虽然可以一定程度上提高荧光图像的信噪比，但同时也会降低荧光图像的空间分辨率。

鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。

发明内容

本申请的目的在于提供一种获取荧光图像的方法、装置、图像处理设备及内窥镜系统，以便在不损失时间分辨率和空间分辨率的前提下，显著提高荧光图像的信噪比，综合提高图像质量。

为解决上述技术问题，第一方面，本申请公开了一种获取荧光图像的方法，应用于内窥镜系统，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述方法包括：

获取所述复眼成像装置采集到的被摄对象的多个荧光图像子块；

对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；

基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成所述被摄对象的荧光图像。

可选地，所述对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标，包括：

将预设位置处的荧光图像子块作为参考图像子块；

分别获取其他荧光图像子块相对于所述参考图像子块的像素偏移量；

根据所述预设位置和所述像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

可选地，所述像素偏移量为预设值。

可选地，所述预设值依据捕获其他荧光图像子块的微透镜与捕获所述参考图像子块的微透镜之间的空间位置关系确定。

可选地，所述基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，包括：

判断待叠加像素点的像素配准坐标是否为整数坐标；

若是，则将所述待叠加像素点的灰度值叠加至所述整数坐标所在的像素点；

若否，则将所述待叠加像素点的灰度值分别叠加至与所述像素配准坐标相邻的各个像素点。

第二方面，本申请公开了一种获取荧光图像的装置，应用于内窥镜系统中的图像处理设备，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述装置包括：

图像子块获取单元，用于获取所述复眼成像装置采集到的被摄对象的多个荧光图像子块；

配准单元，用于对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；

灰度叠加单元，用于基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成所述被摄对象的荧光图像。

可选地，所述配准单元具体用于：将预设位置处的荧光图像子块作为参考图像子块；分别获取其他荧光图像子块相对于所述参考图像子块的像素偏移量；根据所述预设位置和所述像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

可选地，所述像素偏移量为预设值。

可选地，所述预设值依据捕获其他荧光图像子块的微透镜与捕获所述参考图像子块的微透镜之间的空间位置关系确定。

可选地，所述灰度叠加单元具体用于：判断待叠加像素点的像素配准坐标是否为整数坐标；若是，则将所述待叠加像素点的灰度值叠加至所述整数坐标所在的像素点；若否，则将所述待叠加像素点的灰度值分别叠加至与所述像素配准坐标相邻的各个像素点。

第三方面，本申请公开了一种图像处理设备，应用于内窥镜系统，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述图像处理设备包括：

处理器，其与所述复眼成像装置通信连接；以及，

与所述处理器通信连接的存储器，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如上所述的任一项方法。

第四方面，本申请公开了一种内窥镜系统，包括：

光源装置，其包括用于激励被摄对象发出荧光的激励光源；

复眼成像装置，其包括滤光片、微透镜阵列以及第一图像传感器，用于在采用所述激励光源激励所述被摄对象发出荧光时，同时采集所述被摄对象的具有空间分布的多个荧光图像子块；

以及，如上所述的图像处理设备。

可选地，所述光源装置还包括用于以特定光谱照射被摄对象的照明光源；

所述复眼成像装置还包括滤光调节部，用于在采用所述照明光源照射所述被摄对象时，将所述滤光片移除，以通过所述微透镜阵列和所述第一图像传感器同时采集所述被摄对象的具有空间分布的多个反射光图像子块；

则，在采用所述照明光源照射所述被摄对象时，所述图像处理设备中的所述处理器还用于执行：

获取所述复眼成像装置采集到的多个反射光图像子块；

对所述多个反射光图像子块进行像素坐标配准和像素插入重排，生成所述被摄对象的反射光图像。

可选地，所述光源装置还包括用于以特定光谱照射被摄对象的照明光源；

所述内窥镜系统还包括反射光成像装置，其包括物镜和第二图像传感器，用于在采用所述照明光源照射所述被摄对象时，采集所述被摄对象的反射光图像。

可选地，所述图像处理设备中的所述处理器还用于执行：

分时获取所述被摄对象的荧光图像和反射光图像；

对所述荧光图像和所述反射光图像进行图像融合处理，生成所述被摄对象的带有荧光标记的复合图像。

与现有技术相比，本申请提供的获取荧光图像的方法、装置、图像处理设备以及内窥镜系统的有益效果在于：本申请利用复眼成像装置同时采集被摄对象的多个荧光图像子块，进而对所述多个荧光图像子块进行像素坐标配准和像素灰度值叠加，可以在不损失时间分辨率和空间分辨率的前提下，生成高信噪比的荧光图像。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请实施例公开的一种内窥镜系统的结构框图；

图2为本申请实施例公开的一种获取荧光图像的方法流程图；

图3为本申请实施例公开的一种像素坐标配准的方法流程图；

图4为本申请实施例公开的又一种像素坐标配准的方法流程图；

图5为本申请实施例公开的一种像素灰度值叠加的方法流程图；

图6为本申请实施例公开的一种获取荧光图像的装置的结构框图；

图7为本申请实施例公开的另一种内窥镜系统的具体结构图；

图8为本申请实施例公开的一种应用于图7所示内窥镜系统的获取荧光图像的方法流程图；

图9为本申请实施例公开的又一种内窥镜系统的具体结构图。

具体实施方式

本申请的核心在于提供一种获取荧光图像的方法、装置、图像处理设备及内窥镜系统，以便在基本不损失时间分辨率和空间分辨率的前提下，显著提高荧光图像的信噪比，综合提高图像质量。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于癌变或病变组织的荧光强度比正常组织的荧光强度要弱，因此，荧光内窥镜成像技术被提出并广泛应用于临床诊断，根据荧光强度可对病变组织和正常组织进行区分。但是，荧光强度相对较弱，仅仅依靠普通的图像传感器的低灵敏度很难高质量地获得荧光图像。因此，为了获取较理想的图像效果又避免使用昂贵的高灵敏镜头，现有技术中出现了帧相加、像素混合处理等方案来增强荧光图像的信噪比。但这些方案又会产生其他问题，降低了荧光成像的时间分辨率或空间分辨率。鉴于此，本申请提供了一种获取荧光图像的方法、获取荧光图像的装置、图像处理设备以及内窥镜系统，可有效解决上述问题。

图1为本申请实施例公开的一种内窥镜系统的结构框图，本申请实施例所公开的获取荧光图像的方法和装置可具体应用于该内窥镜系统100。

具体地，请参阅图1，该内窥镜系统100包括：光源装置11、复眼成像装置12以及图像处理设备13。

其中，光源装置11包括用于激励被摄对象发出荧光的激励光源111。该激励光源111具体可以为任意能够出射特定波长的激励光的光源，比如，其可以为：窄带LED灯、激光灯或“宽光谱光源+滤波片”的光源结构等中的任意一种。其中，应当理解的是，在本申请中，所述激励光源111出射的激励光用于激励被摄对象发出荧光，而所述“荧光”可以为“自体荧光”(即，激励光激励被摄对象中的内源性荧光物质，比如，NADH、胶原蛋白、核黄素等，而产生的荧光)，也可以为“药剂荧光”(即，激励光激励聚集在被摄对象表面的荧光药剂而产生的荧光)，因而，所述激励光的“特定波长”可以根据实际应用需求而设置。比如，若所述激励光源111用于激励被摄对象产生自体荧光，则，所述激励光源111所发出的激励光的中心波长范围可具体为390nm～500nm。

复眼成像装置12包括滤光片121、微透镜阵列122以及第一图像传感器123，用于在采用激励光源111激励被摄对象发出荧光时，同时采集被摄对象的具有空间分布的多个荧光图像子块。

其中，激励光源111照射被摄对象后，被摄对象除了产生荧光之外，还会反射部分激励光，因此，为了防止由被摄对象反射的激励光对荧光成像造成干扰，可设置滤光片121以滤除反射光路上的激励光。又，由于激励光的波长通常较短，因此，所述滤光片121具体可以为高通滤光片，例如，仅允许波长在500nm以上的光通过的高通滤波片。此外，还可以理解的是，由于滤光片121是用于防止激励光被第一图像传感器123采集，因此，在实际应用中，滤光片121可以设置于微透镜阵列122的前方，也可以设置于微透镜阵列122的后方。

微透镜阵列122，亦称“复眼透镜”，可以是由通光孔径及浮雕深度为微米级的透镜组成的阵列，它不仅具有传统透镜的聚焦、成像等基本功能，而且具有单元尺寸小、集成度高的特点。在被摄对象发出荧光时，微透镜阵列122中的每个微透镜均可单独成像，并由第一图像传感器123接收，以生成一个对应的荧光图像子块。

第一图像传感器123可以为任意能够进行光电转换的装置，比如，其具体可以为CCD传感器或者CMOS传感器，其灵敏度具体可以设置在500～4500e-/lux-sec之间。第一图像传感器123接收经微透镜阵列122调制的荧光信号后，可在其成像平面对应形成多个荧光图像子块。其中，由于微透镜阵列122中的每个微透镜具有固定的空间分布，从而，第一图像传感器123所采集到的多个荧光图像子块也具有与之对应的空间分布特性。具体地，在本申请中，相邻两个荧光图像子块之间的相对偏移量处于亚像素级别(即小于一个像素长度)。

图像处理设备13分别与光源装置111和复眼成像装置12中的第一图像传感器123通信连接，能接收第一图像传感器123采集到图像信号，并对该图像信号进行图像数据处理，并将部分或者全部数据处理结果，比如，图像的亮度信息，反馈给光源装置111，以便光源装置111及时调整激励光源111的出射光量。

具体地，图像处理设备13可以包括处理器131和存储器132。其中，处理器131用于提供计算和控制能力，能够执行预设的或者由操作者控制的处理任务，比如，执行本申请实施例提供的获取荧光图像的方法。其具体可以为一个或者多个微控制单元(Micro-ControlUnit,MCU)或可编程逻辑电路。存储器132可以为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序或者模块，如本申请实施例中的获取荧光图像的方法对应的程序指令/模块(例如，附图6所示的图像子块获取单元501、配准单元502以及灰度叠加单元503)。处理器131通过运行存储在存储器132中的非暂态软件程序、指令或者模块，可以实现下述任一方法实施例中的获取荧光图像的方法。具体地，存储器132可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器132还可以包括相对于处理器131远程设置的存储器，这些远程存储器可以通过网络连接至处理器131。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在应用该内窥镜系统100对被摄对象进行荧光成像时，可以首先由激励光源111出射激励光；该激励光抵达被摄对象后，其中的一部分激励光激励被摄对象产生荧光，同时，另一部分激励光被被摄对象反射，被反射的激励光与荧光一起进入复眼成像装置12；在通过滤光片121后，被反射的激励光被截止，而荧光则进一步被微透镜阵列122采集和调制，并且最终在第一图像传感器123的成像平面形成具有空间分布的多个荧光图像子块；第一图像传感器123进而将采集到的多个荧光图像子块反馈至图像处理设备13，而图像处理设备13则在获取到所述多个荧光图像子块时，进一步对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标，并基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像。

其中，在上述获取荧光图像的过程中，由于复眼成像装置12可同时采集到多个荧光图像子块，无需进行帧相加，从而可以无需损失时间分辨率。又，由于图像处理设备13是在对各个荧光图像子块进行像素坐标配准后，基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加(具体为，在待生成的荧光图像的各个像素点中叠加多个荧光图像子块中与之对应的像素点的灰度值)，而非将相邻像素点合并为一个像素点，因此，成像平面上的每一个像素点都有对应的叠加后的灰度值，从而，最终获取到的荧光图像也可以具有普通荧光图像的空间分辨率(亦即，无需损失空间分辨率)。再者，由于本申请所获得的相邻荧光图像子块之间的偏移量通常属于亚像素级别，在进行像素叠加之后，每个像素点处的荧光信号都得到增强，从而可以提高荧光图像的信噪比。由此可见，本申请实施例提供的内窥镜系统100可以在不损失时间分辨率和空间分辨率的前提下，生成高信噪比的荧光图像。

此外，应当说明的是，上述内窥镜系统100仅是针对与本申请相关的主要部件进行示例性说明，在实际应用中，上述内窥镜系统100还可以包括其他常用的部件，比如，镜体，显示器等。并且，本申请实施例提供的获取荧光图像的方法和相关装置还可以进一步拓展到其他合适的内窥镜系统中，而不限于图1中所示的内窥镜系统100。比如，如图7所示的内窥镜系统200，以及，如图9所示的内窥镜系统300。

图2为本申请实施例公开的一种获取荧光图像的方法流程图，该获取荧光图像的方法可以应用于任意包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置的内窥镜系统，比如，如图1所示的内窥镜系统100、如图7所示的内窥镜系统200以及如图9所示的内窥镜系统300。

其中，为方便叙述，本申请实施例以将该获取荧光图像的方法应用于如图1所示的内窥镜系统100为例进行说明，但可以理解的是，本领域技术人员基于下述示例性说明，可以得到将本申请实施例提供的获取荧光图像的方法应用到其他合适的内窥镜系统中的具体实施方式。

具体地，参见图2所示，该获取荧光图像的方法可以包括但不限于如下步骤：

S101：获取复眼成像装置12采集到的被摄对象的多个荧光图像子块。

有关内窥镜系统的具体内容可参考上述实施例。基于微透镜阵列122，复眼成像装置12生成了被摄对象的多个具有空间分布的荧光图像子块。图像处理设备13通过与复眼成像装置12中的第一图像传感器123通信，可接收各个荧光图像子块并进行图像处理，以生成被摄对象的荧光图像。

S102：对多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标。

其中，所述“配准”是指将两幅或多幅图像进行特征匹配以确定各图像之间的相对偏移量的过程，被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。具体的，在基于多个具有空间分布的荧光图像子块生成一幅荧光图像时，需要先明确各荧光图像子块中各像素点在待生成的荧光图像中的对应坐标(即，像素配准坐标)，该过程即为像素坐标配准。由此，在本实施例中，像素配准坐标指的是荧光图像子块中像素点在待生成的荧光图像中的对应坐标。

作为一个具体实施例，在进行像素坐标配准时，可选定一个荧光图像子块(某个预设位置处的荧光图像子块)作为参考图像子块，并基于其他荧光图像子块相对于该参考图像子块的像素偏移量进行像素坐标配准。具体地，参见图3，步骤S102可具体包括：

S201：将预设位置处的荧光图像子块作为参考图像子块。

S202：分别获取其他荧光图像子块相对于所述参考图像子块的像素偏移量。

S203：根据预设位置和像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

其中，预设位置可以任意设定，只要能够基于该预设位置确定参考图像子块中各像素点在待生成的荧光图像中像素配准坐标即可，可选地，其可以为阵列面的左上角。由此，以参考图像子块所在位置(即，所述预设位置)为基准，结合像素偏移量，可确定各荧光图像子块中各像素点在待生成的荧光图像中的坐标(即，像素配准坐标)。

例如，设某个荧光图像子块M1相对于参考图像子块M0的像素偏移量为(0.4,0.3)，则，0.4的含义是指M1中每个像素点的横坐标相对于M0中对应位置像素点的横坐标偏移了0.4；0.3的含义是指M1中每个像素点的纵坐标相对于M0中对应位置像素点的纵坐标偏移了0.3。根据该参考图像子块M0所在位置和该像素偏移量(0.4,0.3)，即可更新得到M1中的各个像素点的像素配准坐标。例如，若M0所在位置为左上角，则，M0中各像素点在M0中的坐标值，即为其在待生成的荧光图像中的像素配准坐标，从而，结合M1相对M0的像素偏移量(0.4,0.3)，可得：原本在M1中坐标为(2,1)的像素点(对应M0中坐标为(2,1)的像素点)在待生成的荧光图像中的像素配准坐标变为(2.4,1.3)，原本在M1中坐标为(2,2)的像素点(对应M0中坐标为(2,2)的像素点)的像素配准坐标变为(2.4,2.3)，原本在M1中坐标为(2,3)的像素点(对应M0中坐标为(2,3)的像素点)在待生成的荧光图像中的的像素配准坐标变为(2.4,3.3)，…，以此类推。

其中，需要说明的是，捕获参考图像子块的微透镜与捕获其他荧光图像子块的微透镜之间的空间位置关系决定了像素偏移量的大小。通过将两个(或者多个)微透镜之间的固定空间位置关系映射到像平面，可确定与之对应的两个(或者多个)荧光图像子块之间的偏移量，亦即，各个荧光图像子块之间的空间分布与微透镜阵列122中各透镜之间的空间分布具有几何映射关系。又，由于微透镜阵列122中分别用于捕获各荧光图像子块的微透镜之间的空间位置关系是固定的，因此，各荧光图像子块的空间分布特征也是固定的，进而，各荧光图像子块间的像素偏移量也是固定的。

从而，为了有效节约计算量，提高图像的时间分辨率，在一些实施例中，可以在正式使用所述内窥镜系统100之前，预先确定各个位置的荧光图像子块相对于参考图像子块的像素偏移量，亦即，各荧光图像子块相对于参考图像子块的像素偏移量可以为预设值。其中，所述预设值具体可以依据捕获其他荧光图像子块的微透镜与捕获所述参考图像子块的微透镜之间的空间位置关系确定。或者，考虑到实际机械加工精度的限制，阵列中的各个微透镜不大可能被加工出完全相同的曲率和焦距，因此，作为另一种具体实施方式，所述预设值还可以基于首次运行该内窥镜系统100时的测量和计算结果而预先确定。比如，可以在该内窥镜系统100生产组装完成时，通过特征匹配、相似度计算、块匹配等匹配计算方法，对各个位置的荧光图像子块相对于参考图像子块的像素偏移量进行定标，由此确定所述预设值。

当然，可以理解的是，在硬件运算能力足够高的情况下，为了适应复眼成像装置12的工作状态变化，提高荧光图像的成像清晰度，获取其他荧光图像子块相对于所述参考图像子块的像素偏移量的另一种具体实施方式也可以为：在每一次成像时都通过特征匹配等方法来计算各荧光图像子块相对于参考图像子块的像素偏移量。

还需要说明的是，在一些实施例中(比如，空间分辨率要求较高/微透镜数量较多时)，可能存在荧光图像子块M1与参考图像子块M0并不存在重叠的像素内容/特征的情况，则此时无法通过特征匹配获取荧光图像子块M1与参考图像子块M0之间的像素偏移量，因此，在该实施例中，可以设置多个参考图像子块。

具体地，对于该类情况，参考图4，步骤S102还可具体包括：

S301：根据各微透镜的视场，将成像平面划分为多个区域，以使各区域中对应位置处的荧光图像子块之间互不重叠(即，不存在相同的像素内容)。

S302：从各区域中选取预设位置处的荧光图像子块作为各区域的参考图像子块，并基于捕获这些参考图像子块的微透镜之间的相对位置预先确定这些参考图像子块之间的相对位置。

S303：基于这些参考图像子块之间的相对位置，以及，各区域中其他荧光图像子块与其参考图像子块之间的像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

其中，在根据微透镜的视场范围将像平面划分为多个区域时，举例来说，若在水平方向上自第5个微透镜起，其视场范围与第1个微透镜的视场范围不重叠，则可在第4和第5个微透镜对应的荧光图像子块之间画一条纵向分割线，将荧光图像子块1～4划分至第一区域，并将荧光图像子块5～8划分至第二区域；垂直方向上也以此类推。在划分为多个区域后，每个区域内设置一个参考图像子块，并根据各参考图像子块之间的相对位置，首先确定各参考图像子块中的各个像素点在待生成的荧光图像中的像素配准坐标；进而再基于类似如图3所示的步骤S202～S203，确定各区域中其他荧光图像子块的各像素点的像素配准坐标。

S103：基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像。

作为一种具体实施例，在进行像素灰度值叠加时，参考图5，步骤S103可具体包括：

S401：判断待叠加像素点的像素配准坐标是否为整数坐标；若是，则进入S402；若否，则进入S403。

S402：将待叠加像素点的灰度值叠加至整数坐标所在的像素点。

S403：将待叠加像素点的灰度值分别叠加至与像素配准坐标相邻的各个像素点。

其中，进行像素灰度值的叠加可有效提高图像的信噪比。具体地，设叠加前每个像素接收到的图像信号为s，自身产生的噪声是e，则当将m个像素进行叠加时，由于图像信号是直接相加，而噪声是功率相加，则叠加后的图像信号是m·s，叠加后的噪声是

从而，叠加后的图像信噪比为

为叠加前信噪比的

倍。因此，在本申请中，在进行像素叠加之后，每个像素点处的荧光信号都得到增强，从而可以显著提高荧光图像的信噪比。

具体地，为了进一步提升荧光图像的信噪比，在叠加过程中，针对像素配准坐标是非整数坐标的像素点，本申请实施例具体对其进行了多次叠加，即，分别叠加至周边相邻的各个整数坐标的像素点。

例如，假设在进行像素坐标配准之后，针对某行，像素配准坐标中横坐标位于1的像素点有1个，位于(1～2)的像素点有m₁个，位于2的像素点有1个，位于(2～3)的像素点有m₂个，位于3的像素点有1个，位于(3～4)的像素点有m₃个；那么，依据本申请提供的实施方式，可将该行横坐标位于1以及(1～2)的m₁+1个像素点的灰度值叠加至待生成的荧光图像中该行横坐标为1的像素点，以使其信噪比提高

将该行横坐标位于(1～2)的m₁个像素点、位于2的像素点以及位于(2～3)的m₂个像素点的灰度值均叠加至待生成的荧光图像中该行横坐标为2的像素点，以使其信噪比提高

倍；将该行横坐标位于(2～3)的m₂个像素点、位于3的像素点以及位于(3～4)的m₃个像素点的灰度值均叠加至待生成的荧光图像中该行横坐标为3的像素点，以使其信噪比提高

倍。与此类似，可以得到待生成的荧光图像的各像素点基于纵向方向上的灰度值叠加数量，进而得到其总的信噪比提高倍数。由此可见，本申请通过将像素配准坐标为非整数坐标的像素点的灰度值分别叠加至其周边相邻的各个整数坐标的像素点，可以大大提升荧光图像的信噪比。

需要说明的是，由于荧光图像子块的坐标偏移量是亚像素级别的，因此本申请所进行的亚像素偏移的像素灰度值叠加并不会对图像视觉效果产生较大影响。

与现有技术相比，本申请所提供的获取荧光图像的方法，利用复眼成像装置12同时采集被摄对象的多个荧光图像子块，进而对所述多个荧光图像子块进行像素坐标配准和像素灰度值叠加，可以在不损失时间分辨率和空间分辨率的前提下，生成高信噪比的荧光图像。具体而言，由于本申请中的复眼成像装置12可同时采集到多个荧光图像子块，无需进行帧相加，从而无需损失时间分辨率。又，由于本申请是在对各个荧光图像子块进行像素坐标配准后、基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加(具体为，在待生成的荧光图像的各个像素点中叠加多个荧光图像子块中与之对应的像素点的灰度值)，而非将相邻像素点合并为一个像素点，因此，成像平面上的每一个像素点都有对应的叠加后的灰度值，从而，本申请最终获取到的荧光图像也可以具有普通荧光图像的空间分辨率(亦即，无需损失空间分辨率)。再者，由于本申请所获得的相邻荧光图像子块之间的偏移量通常属于亚像素级别，在进行像素叠加之后，每个像素点处的荧光信号都得到增强，从而可以提高荧光图像的信噪比。

图6为本申请实施例公开的一种获取荧光图像的装置的结构框图，该装置500可以应用于任意包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置的内窥镜系统，比如，该装置500具体可以运行于本申请实施例提供的内窥镜系统100、200以及300中的图像处理设备13。

具体地，参见图6所示，该装置500包括：

图像子块获取单元501，用于获取复眼成像装置采集到的被摄对象的多个荧光图像子块；

配准单元502，用于对多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；

灰度叠加单元503，用于基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像。

在上述内容的基础上，本申请实施例所提供的获取荧光图像的装置500中，作为一种具体实施例，配准单元502具体用于：

将预设位置处的荧光图像子块作为参考图像子块；

分别获取其他荧光图像子块相对于参考图像子块的像素偏移量；

根据预设位置和像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

在上述内容的基础上，本申请实施例所提供的获取荧光图像的装置500中，作为一种具体实施例，像素偏移量为预设值。

在上述内容的基础上，本申请实施例所提供的获取荧光图像的装置500中，作为一种具体实施例，预设值依据捕获其他荧光图像子块的微透镜与捕获参考图像子块的微透镜之间的空间位置关系确定。

在上述内容的基础上，本申请实施例所提供的获取荧光图像的装置500中，作为一种具体实施例，灰度叠加单元503具体用于：

判断待叠加像素点的像素配准坐标是否为整数坐标；若是，则将待叠加像素点的灰度值叠加至整数坐标所在的像素点；若否，则将待叠加像素点的灰度值分别叠加至与像素配准坐标相邻的各个像素点。

关于上述获取荧光图像的装置的具体内容，可参考前述关于内窥镜系统或获取荧光图像的方法实施例的详细介绍，这里就不再赘述。

与现有技术相比，本申请所提供的获取荧光图像的装置，通过图像子块获取单元501获取复眼成像装置采集到的被摄对象的多个荧光图像子块后，分别由配准单元502和灰度叠加单元503对所述多个荧光图像子块进行像素坐标配准和像素灰度值叠加，可以在不损失时间分辨率和空间分辨率的前提下，生成高信噪比的荧光图像。具体而言，由于本申请中的复眼成像装置可同时采集到多个荧光图像子块，无需进行帧相加，从而无需损失时间分辨率。又，由于本申请是在对各个荧光图像子块进行像素坐标配准后，基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加(具体为，在待生成的荧光图像的各个像素点中叠加多个荧光图像子块中与之对应的像素点的灰度值)，而非将相邻像素点合并为一个像素点，因此，成像平面上的每一个像素点都有对应的叠加后的灰度值，从而，本申请最终获取到的荧光图像也可以具有普通荧光图像的空间分辨率(亦即，无需损失空间分辨率)。再者，由于本申请所获得的相邻荧光图像子块之间的偏移量通常属于亚像素级别，在进行像素叠加之后，每个像素点处的荧光信号都得到增强，从而可以提高荧光图像的信噪比。

进一步地，在实际应用中，荧光成像多针对的是被摄对象中的特殊部位(如病变组织)，所生成的荧光图像实际上是该特殊部位的图像。为了识别该特殊部位在被摄对象中的具体分布位置，在生成荧光图像之后，可通过图像融合技术，将荧光图像与被摄对象的反射光图像融合生成带有荧光标记的复合图像。其中，所述反射光图像即为在普通照明光照射被摄对象时所拍摄的图像。

因此，本申请实施例还提供了另一种内窥镜系统，该内窥镜系统200与如图1所示的内窥镜系统100的区别之处在于，该内窥镜系统200中还可进一步设置照明光源112以进行反射光成像。其中，为方便理解，内窥镜系统100和200中具有相同或相似功能的部件以同一附图标记表示。

具体地，请参见图7，该内窥镜系统200包括：

光源装置11，其包括用于激励被摄对象发出荧光的激励光源111，及用于以特定光谱照射被摄对象的照明光源112；其中，作为一种具体实施例，照明光源112可具体包括LED灯、氙灯或激光灯，照明光源112所发出的照明光包括但不限于白光、窄带光等；

复眼成像装置12，其包括滤光片121、微透镜阵列122、第一图像传感器123及滤光调节部124，用于在采用激励光源111激励被摄对象发出荧光时，同时采集被摄对象的具有空间分布的多个荧光图像子块；并用于在采用照明光源112照射被摄对象时，通过滤光调节部124将滤光片121移除，以通过微透镜阵列122和第一图像传感器123同时采集被摄对象的具有空间分布的多个反射光图像子块；以及，

图像处理设备13，用于在采用激励光源111激励被摄对象发出荧光时，获取复眼成像装置12采集到的被摄对象的多个荧光图像子块，对多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标，基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像；在采用照明光源112照射被摄对象时，获取复眼成像装置12采集到的多个反射光图像子块，对多个反射光图像子块进行像素坐标配准和像素插入重排，生成被摄对象的反射光图像；和/或，对荧光图像和反射光图像进行图像融合处理，以生成被摄对象的带有荧光标记的复合图像。

需要指出的是，本实施例中，复眼成像装置12不仅可用于进行荧光成像，还可以进行反射光成像。复眼成像装置12中设置有滤光调节部124，在利用照明光源112进行反射光成像时，滤光调节部124将滤光片121从反射光路中移除；在利用激励光进行荧光成像时，滤光调节部124将滤光片121移进反射光路。

当然，内窥镜系统200中还包括一些其他必要结构：

导光装置151，连接在光源装置11和照明透镜152间，用于将照明光或者激励光传输至照明透镜152；

照明透镜152，用于以一定发散角将从导光装置151传输的照明光或激励光均匀照射在被摄对象上；

信号电缆153，连接在第一图像传感器123与图像处理设备13之间，用于传输图像数据；

光源控制器113，用于控制光源装置11中激励光源111与照明光源112的启停、发光量等。

图像处理设备13分别与光源控制器113和滤光调节部124通信连接，用于生成并发送光源时序控制信号至光源控制器113，以及，生成并发送调节信号至滤光调节部124，以便选择进行荧光成像或者反射光成像。当发送第一光源时序控制信号和第一调节信号以进行荧光成像时，滤光调节部124将滤光片121移进反射光路，激励光源111启动，被摄对象被激励出的荧光通过滤光片121，经微透镜阵列122调制后在第一图像传感器123的成像表面形成多个荧光图像子块；当发送第二光源时序控制信号和第二调节信号以进行反射光成像时，滤光调节部124将滤光片121从反射光路上移除，照明光源112启动，从被摄对象反射回的照明光经微透镜阵列122调制后在第一图像传感器123的成像表面形成多个反射光图像子块。

其中，两种不同的光源时序控制信号具体可基于频率区分。例如，第一光源时序控制信号可具体为低频信号，第二光源时序控制信号可具体为高频信号。

此外，在本实施例中，当启用照明光源112时复眼成像装置12将生成具有空间分布的多个反射光图像子块，因此，图像处理设备13需对各个反射光图像子块进行处理以生成反射光图像。该处理过程具体包括像素坐标配准和像素插入重排。

需要说明的是，与荧光图像类似，反射光图像的生成可进行同样的像素坐标配准过程；而与荧光图像不同，对于反射光图像的生成，在经过像素坐标配准后，不必进行像素灰度值叠加，而是可以进行像素插入重排。

具体地，像素插入重排是指，在经过坐标配准得到像素配准坐标后，依据像素配准坐标的大小，将各个反射光图像子块中的各个像素点均插入至反射光图像中的对应位置。由此生成的反射光图像的像素数量得到了扩大，但其中的每个像素点的灰度值均保留为原值。

例如，设某个整体图像子块在经过像素坐标配准后有这样几个像素点：(2,1.3)、(2,2.3)、(2,3.3)，则这些点在整体图像中的插入重排位置具体如表1所示：

表1

(2,1)

(2,1.3)

(2,2)

(2,2.3)

(2,3)

(2,3.3)

之所以采用像素插入重排的方式来生成反射光图像，是因为反射光图像旨在显示被摄对象的整体结构、轮廓等，从而可突显病变组织在被摄对象中的相对位置，因此其更侧重于图像的空间分辨率。

参见图8所示，图8为本申请实施例公开的一种获取荧光图像的方法流程图，该方法可由图7所示的内窥镜系统200中的图像处理设备13执行，该方法包括：

S601：发送第一调节信号至滤光调节部124，以便将滤光片121移进反射光路。

S602：发送第一光源时序控制信号至光源装置11，以便采用用于激励被摄对象发出荧光的激励光源111照射被摄对象，并通过复眼成像装置12同时采集被摄对象的具有空间分布的多个荧光图像子块。

S603：接收并对各个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，以生成被摄对象的荧光图像。

S604：发送第二调节信号至滤光调节部124，以便将滤光片121移出反射光路。

S605：发送第二光源时序控制信号至光源装置11，以便采用照明光源112照射被摄对象，并通过复眼成像装置12同时采集被摄对象的具有空间分布的多个反射光图像子块。

S606：接收并对各个反射光图像子块进行像素坐标配准和像素插入重排，以生成被摄对象的反射光图像。

S607：将荧光图像与被摄对象的整体图像进行图像融合，以生成被摄对象的带有荧光标记的复合图像。

其中，应当理解的是，在实际应用中，可以根据需要仅进行荧光成像或反射光成像，当选择以融合模式观察时，图像处理设备13才分别获取被摄对象的荧光图像和反射光图像，并对荧光图像和反射光图像进行图像融合处理，以生成被摄对象的带有荧光标记的复合图像。

作为另一个具体实施例，图9为本申请实施例公开的又一种内窥镜系统的具体结构图，同样地，为方便理解，该内窥镜系统300与上述内窥镜系统100、200中具有相同或相似功能的部件以同一附图标记表示。

具体地，请参见图9，该内窥镜系统300包括：

光源装置11，其包括用于激励被摄对象发出荧光的激励光源111，及用于以特定光谱照射被摄对象的照明光源112；

复眼成像装置12，其包括滤光片121、微透镜阵列122及第一图像传感器123，用于在采用激励光源111激励被摄对象发出荧光时，同时采集被摄对象的具有空间分布的多个荧光图像子块；

反射光成像装置14，其包括物镜141和第二图像传感器142，用于在采用照明光源112照射被摄对象时，采集被摄对象的反射光图像；以及，

图像处理设备13，用于在采用激励光源111激励被摄对象发出荧光时，获取复眼成像装置12采集到的被摄对象的多个荧光图像子块，对多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标，基于各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成被摄对象的荧光图像；在采用照明光源112照射被摄对象时，获取反射光成像装置14采集到的被摄对象的反射光图像；和/或，对荧光图像和反射光图像进行图像融合处理，以生成被摄对象的带有荧光标记的复合图像。

具体地，本实施中的复眼成像装置12用于进行荧光成像，而反射光成像装置14用于进行反射光成像。复眼成像装置12包括依次设于反射光路上的滤光片121、微透镜阵列122和第一图像传感器123，滤光片121用于滤除反射光路上的激励光。反射光成像装置14包括依次设于反射光路上的物镜141和第二图像传感器142。第一图像传感器123和第二图像传感器142的灵敏度均可以设置在500～4500e-/lux-sec之间。

当然，内窥镜系统中还包括一些其他必要结构：

导光装置151，连接在光源装置11和照明透镜152间，用于将照明光或者激励光传输至照明透镜152；

照明透镜152，用于以一定发散角将从导光装置151传输的照明光或激励光均匀照射在被摄对象上；

信号电缆153，连接在第一图像传感器123与微处理器之间，以及第二图像传感器142与微处理器之间，用于传输图像数据；

光源控制器113，用于控制光源装置11中激励光源111与照明光源112的启停、发光量等。

图像处理设备13与光源控制器113通信连接，用于生成并发送光源时序控制信号至光源控制器113，以便选择进行荧光成像或者反射光成像。当发送第一光源时序控制信号以进行荧光成像时，激励光源111启动，被摄对象被激励出的荧光通过滤光片121，经微透镜阵列122调制后在第一图像传感器123的成像表面形成多个荧光图像子块；当发送第二光源时序控制信号以进行反射光成像时，照明光源112启动，从被摄对象反射回的照明光经物镜141调制后在第二图像传感器142的成像表面直接形成被摄对象的反射光图像。

其中，两种不同的光源时序控制信号具体可基于频率区分。例如，第一光源时序控制信号可具体为低频信号，第二光源时序控制信号可具体为高频信号。

通过上述描述可见，本申请实施例提供的获取荧光图像的方法和装置还可以进一步拓展到多模式成像的内窥镜系统中，以结合其他成像模式，比如，白光成像、窄带光成像等，进行更加准确的病变组织筛查。

本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需说明的是，在本申请文件中，诸如“第一”和“第二”之类的关系术语，仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (11)

1.一种获取荧光图像的方法，应用于内窥镜系统，其特征在于，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述方法包括：

获取所述复眼成像装置采集到的被摄对象的多个荧光图像子块；

对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；

基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成所述被摄对象的荧光图像；

其中，所述像素配准坐标是指所述荧光图像子块中像素点在待生成的荧光图像中的对应坐标；

所述基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，包括：

在待生成的荧光图像的各个像素点中叠加多个荧光图像子块中与之对应的像素点的灰度值。

2.根据权利要求1所述的方法，其特征在于，所述对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标，包括：

将预设位置处的荧光图像子块作为参考图像子块；

分别获取其他荧光图像子块相对于所述参考图像子块的像素偏移量；

根据所述预设位置和所述像素偏移量，分别生成各荧光图像子块中各像素点的像素配准坐标。

3.根据权利要求2所述的方法，其特征在于，所述像素偏移量为预设值。

4.根据权利要求3所述的方法，其特征在于，所述预设值依据捕获其他荧光图像子块的微透镜与捕获所述参考图像子块的微透镜之间的空间位置关系确定。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，包括：

判断待叠加像素点的像素配准坐标是否为整数坐标；

若是，则将所述待叠加像素点的灰度值叠加至所述整数坐标所在的像素点；

若否，则将所述待叠加像素点的灰度值分别叠加至与所述像素配准坐标相邻的各个像素点。

6.一种获取荧光图像的装置，应用于内窥镜系统中的图像处理设备，其特征在于，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述装置包括：

图像子块获取单元，用于获取所述复眼成像装置采集到的被摄对象的多个荧光图像子块；

配准单元，用于对所述多个荧光图像子块进行像素坐标配准，以确定各个荧光图像子块中各个像素点的像素配准坐标；

灰度叠加单元，用于基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，从而生成所述被摄对象的荧光图像；

其中，所述像素配准坐标是指所述荧光图像子块中像素点在待生成的荧光图像中的对应坐标；

所述基于所述各个荧光图像子块中各个像素点的像素配准坐标进行像素灰度值叠加，包括：

在待生成的荧光图像的各个像素点中叠加多个荧光图像子块中与之对应的像素点的灰度值。

7.一种图像处理设备，应用于内窥镜系统，其特征在于，所述内窥镜系统包括用于同时采集被摄对象的具有空间分布的多个荧光图像子块的复眼成像装置，所述图像处理设备包括：

处理器，其与所述复眼成像装置通信连接；以及，

与所述处理器通信连接的存储器，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如权利要求1-5任一项所述的方法。

8.一种内窥镜系统，其特征在于，包括：

光源装置，其包括用于激励被摄对象发出荧光的激励光源；

复眼成像装置，其包括滤光片、微透镜阵列以及第一图像传感器，用于在采用所述激励光源激励所述被摄对象发出荧光时，同时采集所述被摄对象的具有空间分布的多个荧光图像子块；

以及，如权利要求7所述的图像处理设备。

9.根据权利要求8所述的内窥镜系统，其特征在于，

所述光源装置还包括用于以特定光谱照射被摄对象的照明光源；

所述复眼成像装置还包括滤光调节部，用于在采用所述照明光源照射所述被摄对象时，将所述滤光片移除，以通过所述微透镜阵列和所述第一图像传感器同时采集所述被摄对象的具有空间分布的多个反射光图像子块；

则，在采用所述照明光源照射所述被摄对象时，所述图像处理设备中的所述处理器还用于执行：

获取所述复眼成像装置采集到的多个反射光图像子块；

对所述多个反射光图像子块进行像素坐标配准和像素插入重排，生成所述被摄对象的反射光图像。

10.根据权利要求8所述的内窥镜系统，其特征在于，

所述光源装置还包括用于以特定光谱照射被摄对象的照明光源；

所述内窥镜系统还包括反射光成像装置，其包括物镜和第二图像传感器，用于在采用所述照明光源照射所述被摄对象时，采集所述被摄对象的反射光图像。

11.根据权利要求9或10所述的内窥镜系统，其特征在于，所述图像处理设备中的所述处理器还用于执行：

分时获取所述被摄对象的荧光图像和反射光图像；

对所述荧光图像和所述反射光图像进行图像融合处理，生成所述被摄对象的带有荧光标记的复合图像。

Images