CN115701341A - 成像系统的图像处理方法、装置、设备、介质及程序产品 - Google Patents

Abstract

本申请提供一种成像系统的图像处理方法、装置、设备、介质及程序产品。该成像系统的图像处理方法包括：控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；从所述红外荧光图像中提取荧光区域图像；将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；显示所述融合后的图像。本申请可以提高待测组织体融合图像的精确性、成像效果和实时性。

Description

成像系统的图像处理方法、装置、设备、介质及程序产品

技术领域

本申请涉及医学影像技术领域，尤其涉及一种成像系统的图像处理方法、装置、设备、介质及程序产品。

背景技术

将红外荧光造影剂成像技术应用于医疗或生物研究领域，可以辅助医务人员获取生物体内待测组织体中病变组织的形状、位置等信息。例如，医务人员可以通过控制荧光造影剂的注射位置和注射方式，使荧光造影剂聚集在活体生物的待测组织体中的病变组织处，以此准确而直观地获知病变组织的形状、位置等信息。

目前，红外荧光造影剂成像系统的设置方式是：将红外相机和可见光相机并排放置在聚集有荧光造影剂的待测组织体前方，用激发光源照射待测组织体，然后利用两种相机分别采集得到待测组织体的红外荧光图像和可见光图像，并将两个图像进行融合后进行显示。

然而，由于现有红外荧光成像系统的两种相机是并排放置的，获取的两种图像不是同一视角、同一区域的图像，因此，利用这两个相机采集到的红外荧光图像和可见光图像融合得到的图像的成像效果不佳、准确性较差，且融合的速度较慢、实时性差。

发明内容

本申请提供一种成像系统的图像处理方法、装置、设备、介质及程序产品，用以解决当前成像系统存在的红外荧光图像和可见光图像融合得到的图像的成像效果不佳、准确性较差、融合速度慢、实时性差的问题。

第一方面，本申请提供一种成像系统的图像处理方法，所述成像系统包括：红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴，所述方法包括：

控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；

利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；

从所述红外荧光图像中提取荧光区域图像；

将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；

显示所述融合后的图像。

可选地，所述从所述红外荧光图像中提取所述荧光区域图像，包括：

获取所述红外荧光图像中荧光区域的蒙版图像；

利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像。

可选地，所述利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像，包括：

对所述红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像；所述伪彩色处理后的红外荧光图像为彩色图像；

利用所述荧光区域的蒙版图像，从所述伪彩色处理后的红外荧光图像中提取所述荧光区域图像。

可选地，所述利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像，还包括：

利用所述荧光区域的蒙版图像，从红外荧光图像中提取所述荧光区域图像；

对所述荧光区域图像进行伪彩色处理，得到伪彩色处理后的荧光区域图像；所述伪彩色处理后的荧光区域图像为彩色图像。

可选地，所述获取所述红外荧光图像中荧光区域的蒙版图像之前，还包括：

对所述红外荧光图像进行降噪处理。

可选地，所述对所述红外荧光图像进行降噪处理的方法为三角形算法。

可选地，所述将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

根据所述红外相机的视场角与所述可见光相机的视场角，获取所述红外荧光图像相对于所述可见光图像的尺寸比；

若所述尺寸比非预设值，则根据所述尺寸比，以所述可见光图像的中心为基准，从可见光图像中提取可见光融合区域图像；其中，所述可见光融合区域图像的尺寸与所述红外荧光图像尺寸一致；

将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像。

可选地，所述将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

根据所述荧光区域的蒙版图像，得到所述红外荧光图像中非荧光区域的蒙版图像；

利用所述非荧光区域的蒙版图像，从所述可见光融合区域图像中提取所述非荧光区域图像；

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到所述待测组织体的融合后的图像。

可选地，所述将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到第一初始融合图像；

将所述第一初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

可选地，所述将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

调整所述荧光区域图像的透明度，得到调整好透明度的荧光区域图像；调整所述可见光融合区域图像的透明度，得到调整好透明度的可见光融合区域图像；

将所述调整好透明度的荧光区域图像与所述调整好透明度的可见光融合区域图像融合，得到第二初始融合图像；

将第二初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

第二方面，本申请提供一种成像系统的图像处理装置，所述成像系统包括：红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴，所述装置包括：

控制模块，用于控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；

第一获取模块，用于利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；

第二获取模块，用于从所述红外荧光图像中提取荧光区域图像；

第三获取模块，将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；

显示模块，用于显示所述融合后的图像。

第三方面，本申请提供一种电子设备，所述电子设备包括：至少一个处理器、存储器、红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴；

所述激发光源用于照射待测组织体；

所述红外相机用于采集所述待测组织体的红外荧光图像；

所述可见光相机用于采集所述待测组织体的可见光图像；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行如第一方面中任一项所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中任一项所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

本申请提供的成像系统的图像处理方法、装置、设备、介质及程序产品，通过改变红外相机和可见光相机的设置方式，使两种相机共光轴，从而能够获取到同一视角、同一区域的红外荧光图像和可见光图像，从而得以根据获取到的两种图像，准确地将红外荧光图像和可见光图像进行融合，提高了融合得到的图像的成像效果、以及准确性，同时减小了红外荧光图像和可见光图像融合时的计算量，缩短了融合处理的时间，从而提升了红外荧光图像和可见光图像融合的实时性。该方法能够更直观、更准确地观察待测组织体。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请实施例提供的一种成像系统的图像处理方法应用的成像系统结构示意图；

图2是本申请实施例提供的一种成像系统的图像处理方法的流程示意图；

图3是本申请实施例提供的一种红外荧光图像的灰度直方图；

图4是本申请实施例提供的一种成像系统的图像处理方法的具体示例流程示意图；

图5是本申请实施例提供的一种成像系统的图像处理装置的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请所涉及的名词进行解释：

红外荧光造影剂成像技术：是指利用激发光源将荧光造影剂激发出荧光，再利用红外相机接收荧光并成像，最后显示该红外荧光图像的技术。

激发：是指荧光造影剂在经入射光照射后，吸收光能并进入激发态，然后立即退激发并发出比入射光的波长更长的出射光这一过程。

激发光源：是指能够为激发过程提供光能，使荧光造影剂激发产生荧光的入射光光源。例如，红外激发光源、长波长发光二极管(Light-Emitting Diode，LED)、卤素灯等。

荧光造影剂：是指可以进入生物体内，且在激发光源照射下可以被激发出荧光的化学物质。例如，近红外二区荧光造影剂、近红外一区荧光造影剂等。其中，近红外光(NearInfrared，NIR)是波长介于可见光(Visible Light)波长和中红外光(Middle Infrared，MIR)波长之间的电磁波，其波长在780nm～2526nm范围内。近红外一区(NIR-Ⅰ)的波长范围在700nm～900nm之间；(NIR-Ⅱ)的波长范围在900nm～1700nm之间。

由于激发出的荧光波长比可见光波长更长，该荧光不能被可见光相机接收并成像，只能被红外相机接收并成像。示例性地，当选用近红外二区荧光造影剂时，可以由近红外二区相机接收荧光并成像；当选用近红外一区荧光造影剂时，可以由近红外一区相机接收荧光并成像。

将红外荧光造影剂成像技术应用于医疗或者生物研究领域，可以辅助获取生物体内待测组织体中病变组织的形状、位置等信息。其中，待测组织体是指，生物体内的，医务人员或者生物研究人员需要获知其中的病变组织形状、位置等信息的组织体。例如，病变器官等。

例如，医务人员在进行肿瘤切除手术时，需要准确且彻底地将肿瘤切除。然而，如果只靠医务人员的肉眼观察，难以保证切除的准确性和彻底性。此时，医务人员就可以通过控制荧光造影剂的注射位置和注射方式，使荧光造影剂聚集在活体生物的肿瘤处，然后根据获取到的肿瘤的红外荧光图像更准确地进行切除手术。

目前，红外荧光造影剂成像系统的设置方式是：将红外相机和可见光相机并排放置在荧光造影剂聚集处的前方，用激发光源照射荧光造影剂聚集处，然后利用两种相机分别采集得到红外荧光图像和可见光图像，将两个图像进行融合后进行显示。

在这种方法下，由于红外相机和可见光相机是并排放置的，通过这种方式采集到的红外荧光图像和可见光图像并非同一视角、同一区域的图像。因此，利用这两个相机采集到的红外荧光图像和可见光图像融合得到的图像的成像效果不佳、准确性较差，不便于观察待测组织体。

考虑到上述问题的存在是因为红外荧光图像和可见光图像并非同一视角、同一区域的图像，本申请提供了一种成像系统的图像处理方法。该方法能够通过改变红外相机和可见光相机的设置方式，使两种相机共光轴，从而获取到同一视角、同一区域的红外荧光图像和可见光图像，从而得以根据获取到的两种图像，准确地将红外荧光图像和可见光图像进行融合，提高了融合得到的图像的成像效果、准确性以及实时性。该方法使医务人员或者生物研究人员能够更直观、更准确地观察待测组织体。

本申请提供的成像系统的图像处理方法，可以适用于图1所示的成像系统结构。如图1所示，该成像系统包括：可见光相机、红外相机、红外滤光片、分光器、激发光源、处理组件和显示组件。

如图1所示，可见光相机、红外相机、红外滤光片、分光器、激发光源构成了成像系统的光学结构。其中，红外相机设置于待测组织体的正上方，分光器位于红外相机与待测组织体之间，红外滤光片位于红外相机与分光器之间，可见光相机的光轴与红外相机的光轴均与分光器的镜面具有夹角。示例性地，当该夹角为45度时，可见光相机与红外相机的安装位置成90度夹角。分光器的角度设置使得红外相机与可见光相机能够共光轴。

激发光源可以向待测组织体处发射入射光A，待测组织体中聚集的荧光造影剂可以被入射光激发从而发出红外荧光，该红外荧光、待测组织体反射激发光源的光以及环境光共同组成了综合光束B。其中，综合光束B可以按照光束的波长，区分为可见光光束B1和红外光光束B2。

当该综合光束B到达分光器时，综合光束B中的可见光光束B1被分光器几乎完全反射，进入可见光相机中；而综合光束B中的红外光光束B2几乎完全透过分光器，并继续前进到达红外滤光片前方。当红外光光束B2到达红外滤光片时，其中的杂散光束(例如综合光束B中未被分光器反射分离的可见光、待测组织体反射激发光源的光)被该红外滤光片过滤，得到的过滤后的红外光光束B3继续前进到达红外光相机前方，并最终进入红外相机中。

红外相机可以根据获取到的红外光光束B3生成该待测组织体的红外荧光图像，并发送给处理组件。可见光相机可以根据获取到的可见光光束B1，生成该待测组织体的可见光图像，并发送给处理组件。

在本实施例中，处理组件可以将接收到的可见光图像和红外荧光图像融合到同一图像中，得到该待测组织体的融合图像，并发送给显示组件，显示该融合图像。

该成像系统的光学结构的设置方式，能够保证可见光相机和红外相机共光轴，即两者的原始光轴(如图1所示的综合光束B)重合，从而保证了红外荧光图像和可见光图像的融合精确性和成像效果。此外，可见光相机和红外相机共光轴，使得获取到的红外荧光图像和可见光图像为同一视角、同一区域的图像，从而减少了融合红外荧光图像和可见光图像时的计算量，缩短了融合处理的时间，进而提升了红外荧光图像和可见光图像融合的实时性。

应理解，上述所涉及的分光器可以是任一具有分离可见光和红外光能力的光学器件。例如，红外长通二向色镜，即，对红外光几乎完全透过，而对可见光几乎完全反射的色镜。

处理组件和显示组件可以是相互独立存在的硬件实体，也可以是集成在一起的硬件实体。例如，具有显示功能的终端等。

应理解，上述介绍中的成像系统结构的设置方式，只是保证可见光相机和红外相机共光轴的一种示例性设置方式。本申请不限制该成像系统结构的设置方式，本申请所提供的成像系统的图像处理方法，能够适用于所有能够保证可见光相机和红外相机共光轴的成像系统结构。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2是本申请实施例提供的一种成像系统的图像处理方法的流程示意图。如图2所示，本申请该方法可以包括：

S101，控制所述激发光源照射待测组织体。

其中，所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光。

示例性地，上述激发光源可以是红外激发光源；待测组织体可以是活体生物体内含有病变组织的器官，待测组织体中至少部分区域聚集有荧光造影剂，该部分区域例如可以是待测组织体中的病变组织(例如肿瘤)，荧光造影剂可以是近红外二区荧光造影剂。

近红外二区荧光造影剂可以被注射进入活体生物体内，并聚集在其肿瘤部位。近红外二区荧光造影剂在经红外激发光源的照射后，可以吸收光能，激发产生红外荧光。

S102，利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像。

其中，所述红外荧光图像为灰度图。可见光图像可以是任一图像格式的彩色图像。

本申请对上述红外荧光图像和可见光图像的图像位深度不进行限制。示例性地，由于上述红外荧光图像为灰度图(单通道图)，当上述红外荧光图像为8位图像时，其每个像素点可以表达256(2的8次方)种灰度值。例如，若灰度图中有一个像素点的灰度值为255，则表示该像素点的颜色为白色。

示例性地，当上述可见光图像为3通道的8位RGB图像时，其每个像素点的每个通道都可以表达256种颜色。例如，若RGB图像中有一个像素点的色值为(255，255，255)，则表示该像素点的颜色为白色。

上述红外荧光图像和可见光图像的像素位深度可以一致，也可以不一致。当其中一个图像具有更高的图像位深度时，可以将位深度更高的图片作压缩处理，将两种图像的图像位深度统一。

下述实施例均以红外荧光图像和可见光图像均为8位图像进行说明。

由于S101中激发出的荧光波长比可见光波长更长，该荧光不能被可见光相机接收并成像，只能被红外相机接收并成像。

示例性地，若选取近红外二区荧光造影剂作为荧光造影剂，可以选取近红外二区相机作为红外相机。

S103，从所述红外荧光图像中提取荧光区域图像。

荧光区域图像是指红外荧光图像中，荧光造影剂聚集区域的图像，也即待测组织体中病变组织的荧光图像。

作为第一种可能的实现方式，处理组件可以先获取所述红外荧光图像中荧光区域的蒙版图像，然后对所述红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像，然后再利用所述荧光区域的蒙版图像，从所述伪彩色处理后的红外荧光图像中提取所述荧光区域图像。

其中，红外荧光图像中荧光区域的蒙版图像是指，该红外荧光图像中聚集荧光造影剂的区域，也即待测组织体中病变组织的图像。

伪彩色处理是指将图像由单通道图变为多通道图，然后将每个像素点的灰度值映射转换为彩色色值。将该伪彩色处理应用至红外荧光图像时，可以使红外荧光图像从灰度图转换为彩色图像。

单通道图进行通道转换后图像的通道数量，与转换后图像的格式有关。示例性地，当转换后图像的格式为RGB格式时，该图像是3通道图，即每个像素点包括3个通道的数据，分别为：表征图像红色感光度的数据、图像蓝色感光度的数据和图像绿色感光度的数据。当转换后图像的格式为YUV格式时，该图像是1.5通道图，即每个像素点包括1.5个通道的数据，分别为：表征图像亮度的数据和表征图像色彩的数据。具体采用伪彩色处理将图像转换为什么格式的图像，可以根据可见光图像的格式确定。此步骤的目的是提高与可见光图像融合的成像效果。

作为第二种可能的实现方式，处理组件也可以先获取所述红外荧光图像中荧光区域的蒙版图像，再利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取出所述荧光区域图像的灰度图，即，初始荧光区域图像。然后处理组件再对所述初始荧光区域图像进行伪彩色处理，得到伪彩色处理后的荧光区域图像。

以通过上述第一种可能的实现方式完成该步骤，且将红外荧光图像由单通道图变为3通道图实现伪彩色处理为例：

首先，处理组件可以通过公式(1)获取该红外荧光图像中荧光区域的蒙版图像。

其中，ROI_Ingaas(x,y)表示荧光区域的蒙版图像中任意一个像素点的灰度值；IR(x,y)表示红外荧光图像中任意一个像素点的灰度值；m为预设阈值。

m的取值大小与该红外荧光图像的图像清晰度负相关，即，该红外荧光图像的清晰度越高，m的取值可以越小，红外荧光图像的清晰度越低，m的取值可以越大。示例性地，m可以在(0,40)范围内取任意数值。

然后，处理组件可以对红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像IR_B(x，y)。其中，x表示该图像中第x排的像素点，y表示该图像中第y列的像素点。(x，y)可以唯一确定并表征该图像中任意一个像素点；IR_B(x，y)表示伪彩色处理后的红外荧光图像中任意一个像素点的灰度值。

如何对将灰度图转换为3通道图，以及如何对灰度值进行彩色色值映射的具体方式，可以参见现有技术中的具体方式，在此不再赘述。

其中，色值是指每个像素点包含的能够表征图像红色感光度的数据、图像蓝色感光度的数据和图像绿色感光度的数据。

最后，处理组件可以利用所述荧光区域的蒙版图像，通过公式(2)从所述伪彩色处理后的红外荧光图像中提取所述荧光区域图像。

其中，IR_ROI(x,y)表示红外荧光图像中提取的荧光区域图像中任意一个像素点的色值；IR_B(x,y)表示伪彩色处理后的红外荧光图像中任意一个像素点的色值。

S104，将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像。

图像融合是指，将荧光区域图像置于可见光图像中的对应位置，使两个图像能够融合于同一图像中。其中，对应位置是指，可见光图像中待测组织体中病变组织的位置。

作为一种可能的实现方式，处理组件可以根据所述红外相机的视场角与所述可见光相机的视场角，获取所述红外荧光图像相对于所述可见光图像的尺寸比。若所述尺寸比非预设值，说明该红外荧光图像与该可见光图像的尺寸不一致，则根据所述尺寸比，以所述可见光图像的中心为基准，从可见光图像中提取可见光融合区域图像。其中，所述可见光融合区域图像的尺寸与所述红外荧光图像尺寸一致。将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像。

其中，视场角的大小决定了红外相机和可见光相机的视野范围。视场角越大，相机的视野范围越大，从而其获取到的图片尺寸就越大。

示例性地，尺寸比预设值可以是1:1，或者，根据用户对图像融合偏差的容忍范围确定。

对红外荧光图像和可见光图像做上述尺寸比计算和尺寸调整，使得红外相机和可见光相机的视场角可以不相等，从而扩大了两种相机的选用范围。

以处理组件通过先对红外荧光图像进行伪彩色处理，再利用荧光区域的蒙版图像提取出荧光区域图像这种实现方式完成步骤S103为例，上述将所述荧光区域图像与所述可见光融合区域图像进行图像融合，可以通过以下两种方式实现。

第一种实现方式：

首先，处理组件可以根据所述荧光区域的蒙版图像，通过公式(3)得到所述红外荧光图像中非荧光区域的蒙版图像。红外荧光图像中非荧光区域的蒙版图像是指，该红外荧光图像中无荧光造影剂的区域，也即待测组织体中非病变组织的图像。

其中，ROI_LV(x,y)表示非荧光区域的蒙版图像中任意一个像素点的灰度值。

其次，处理组件可以利用所述非荧光区域的蒙版图像，通过公式(4)从所述可见光融合区域图像中提取所述非荧光区域图像。

其中，LV_s ROI(x,y)表示从可见光融合区域图像中提取的非荧光区域图像中任意一个像素点的色值；LVs(x,y)表示可见光融合区域图像中任意一个像素点的色值。

再次，处理组件还可以通过公式(5)，将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到第一初始融合图像。

其中，FUS₁(x,y)表示第一初始融合图像中任意一个像素点的色值。

最后，处理组件可以将所述第一初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

示例性地，处理组件可以将第一初始融合图像中的每一个像素点，与可见光图像中对应区域的对应像素点建立映射关系，并将该可见光图像中对应像素点的色值替换为第一初始融合图像中像素点的色值，以实现图像填充。

第二种实现方式：

上述步骤还可以通过以下方式实现：

处理组件通过公式(6)，调整所述荧光区域图像的透明度和可见光融合区域图像的透明度，得到调整好透明度的荧光区域图像和调整好透明度的可见光融合区域图像，并将二者融合得到第二初始融合图像。

其中，FUS₂(x,y)表示第二初始融合图像中任意一个像素点的色值；β表示荧光区域图像显示的透明度，β可以在(0％～100％)范围内取任意值。

应理解，采用上述公式(6)得到的调整好透明度的可见光融合区域图像，只调整了可见光融合区域图像中与荧光区域图像轮廓重合的部分(即可见光融合区域图像中待测组织体中病变组织的图像)。示例性地，上述调整好透明度的可见光融合区域图像，也可以是调整了整个可见光融合区域图像透明度后得到的，即，上述公式(6)中的限制条件if IR_ROI(x,y)＞0可以去除。

然后，处理组件可以将第二初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

示例性地，处理组件可以将第二初始融合图像中的每一个像素点，与可见光图像中对应区域的对应像素点建立映射关系，并将该可见光图像中对应像素点的色值替换为第二初始融合图像中像素点的色值，以实现图像填充。

作为另一种可能的实现方式，处理组件也可以在获取红外荧光图像和可见光图像之前，根据红外相机的视场角与可见光相机的视场角，调整红外相机与待测组织体的距离以及可见光相机与该待测组织体的距离，从而使获取到的红外荧光图像和可见光图像的尺寸比等于预设值。

在该实现方式下，处理组件可以在获取到荧光区域图像与可见光图像后，直接将该可见光图像作为上述可见光融合区域图像，与该荧光区域图像进行图像融合，无需提取可见光融合区域图像。

关于两个尺寸相同、视场角相同、拍摄对象相同、拍摄区域相同的图像如何融合，可以参见前述关于融合的方式，唯一区别在于无需再执行后续的填充动作，当然，也可以参见现有技术中两个图像之间的融合方式，对此不进行赘述。

S105，显示所述融合后的图像。

在获取到待测组织体的融合后的图像后，处理组件可以将该融合图像发送给显示组件进行显示。若处理组件自身集成有显示功能，该处理组件也可以在获取到该融合图像后直接进行图像显示。

可选地，在获取所述红外荧光图像中荧光区域的蒙版图像之前，处理组件还可以对所述红外荧光图像进行降噪处理。

示例性地，处理组件可以通过降噪算法实现对红外荧光图像的降噪，例如三角形算法、大津算法等。

以处理组件采用三角形算法对红外荧光图像进行降噪处理为例：

首先，处理组件可以获取到如图3所示的红外荧光图像的灰度直方图，该直方图可以通过公式(7)表示。

H＝[h(L₁)，h(L₂)，...，h(L_n)] (7)

其中，H表示该灰度直方图中各灰度值，以及与其对应的像素点数量；h表示同一个灰度值所对应的像素点数量；L表示各灰度值，以该红外荧光图像为8位图像为例，L可以是(0,255)中的任意数值(包括两端值)。

其次，处理组件可以根据该红外荧光图像的灰度直方图，确定出h的最大值和最小值，即h_max和h_min，以及h_max和h_min分别对应的灰度值L_max和L_min。

再次，处理组件可以连接确定出的两个灰度级点(L_max，h_max)和(L_min，h_min)，得到一条直线。处理组件还可以计算其余各灰度级点到该直线的距离d，并确定出该距离的最大值d_max。

最后，处理组件可以根据上述d_max，确定出其对应的灰度级点(L₀，h₀)。并以L₀作为分割阈值T，删除该红外荧光图像中所有L＜T的像素点，从而实现降噪处理，得到降噪后的红外荧光图像。

降噪处理能够减少红外荧光图像中的噪声干扰，使降噪处理后的红外荧光图像具有更高的清晰度，从而保证了其与可见光图像融合后的图像的清晰度。示例性地，如果在获取所述红外荧光图像中荧光区域的蒙版图像之前进行了降噪处理，公式(1)中m的取值可以比未进行降噪处理情况下的更小。

应理解，由于当前技术条件下的红外荧光图像的像素较可见光图像的像素低(即当前技术条件下的红外荧光图像较可见光图像而言，其图像清晰度更容易受到噪声影响)，本申请实施例仅提供了对红外荧光图像进行降噪处理以提高融合后的图像的清晰度。但是，本申请并不限制图像降噪的处理对象。示例性地，当可见光图像的像素低于红外荧光图像时，也可以只对可见光图像进行降噪处理。或者，还可以对红外荧光图像和可见光图像均进行降噪处理。

对图像进行降噪处理，解决了不同像素的红外荧光图像与可见光图像的融合图像的清晰度不高的问题，使得像素不同的红外相机和可见光相机获得的图像也可以进行融合，从而扩大了红外相机和可见光相机的选用范围。

本申请实提供的成像系统的图像处理方法，能够通过改变红外相机和可见光相机的设置方式，使两种相机共光轴，从而获取到同一视角、同一区域的红外荧光图像和可见光图像，从而得以根据获取到的两种图像，准确地将红外荧光图像和可见光图像进行融合，提高了融合得到的图像的成像效果、准确性以及实时性。该方法将红外荧光图像和可见光图像精准地融合到一个图像中并实时地进行显示，能够更直观、更准确地观察待测组织体，为手术导航、生物研究等提供了技术支持。

下面通过具体的示例，来对上述成像系统的图像处理方法进行示例说明。

图4是本申请实施例提供的一种成像系统的图像处理方法的具体示例流程示意图。该具体示例是以荧光造影剂为近红外二区荧光造影剂、红外相机为近红外二区相机、分光器为红外长通二向色镜、处理组件和显示组件是相互独立存在的硬件实体、红外荧光图像相对于所述可见光图像的尺寸比非预设值为例进行说明的。如图4所示，本申请实施例提供的成像系统的图像处理方法具体示例可以包括：

S201，处理组件控制所述激发光源照射聚集了近红外二区荧光造影剂的待测组织体，该待测组织体发出包含近红外二区光和可见光在内的综合光束。

示例性地，处理组件可以基于用户输入的待测组织体的位置信息，控制激发光源的照射角度，并控制激发光源发光，从而使激发光源照射聚集了近红外二区荧光造影剂的待测组织体。或者，处理组件可以基于用户操作或输入的激发光源的照射角度，控制激发光源调整至该照射角度，并控制激发光源发光，从而使激发光源照射聚集了近红外二区荧光造影剂的待测组织体。

S202，红外长通二向色镜将该综合光束分离为近红外光和可见光。

S203，红外滤光片过滤该近红外光，得到过滤后的近红外二区光。

S204，近红外二区相机接收该过滤后的近红外二区光并形成红外荧光图像；可见光相机接收该可见光并形成可见光图像。

S205，近红外二区相机和可见光相机分别将该红外荧光图像和该可见光图像发送给处理组件。

S206，处理组件利用三角形算法对该红外荧光图像进行降噪处理，得到降噪后的红外荧光图像。

S207，处理组件基于降噪后的红外荧光图像，得到红外荧光图像的荧光区域蒙版图像。

S208，处理组件基于红外荧光图像的荧光区域蒙版图像，得到红外荧光图像的非荧光区域蒙版图像。

S209，处理组件对该降噪后的红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像。

S210，处理组件根据荧光区域蒙版图像，从伪彩色处理后的红外荧光图像中提取出红外荧光图像的荧光区域图像。

S211，处理组件根据非荧光区域蒙版图像，从可见光图像中提取出该可见光图像的非荧光区域图像。

S212，处理组件将该荧光区域图像与该非荧光区域图像进行融合，得到该待测组织体的第一初始融合图像。

S213，处理组件将该第一初始融合图像填充至该可见光图像中，得到待测组织体的融合后的图像。

S214，处理组件将该待测组织体的融合后的图像发送给显示组件，显示组件显示该融合后的图像。

图5是本申请实施例提供的一种成像系统的图像处理装置的结构示意图。如图5所示，该装置包括控制模块21、第一获取模块22、第二获取模23、第三获取模块24和显示模块25。其中：

控制模块21，用于控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；

第一获取模块22，用于利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；

第二获取模块23，用于从所述红外荧光图像中提取荧光区域图像；

第三获取模块24，将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；

显示模块25，用于显示所述融合后的图像。

可选地，所述第二获取模块23，具体用于：

获取所述红外荧光图像中荧光区域的蒙版图像；

利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像。

可选地，所述第二获取模块23，具体用于：

对所述红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像；所述伪彩色处理后的红外荧光图像为彩色图像；

利用所述荧光区域的蒙版图像，从所述伪彩色处理后的红外荧光图像中提取所述荧光区域图像。

可选地，所述第二获取模块23，在获取所述红外荧光图像中荧光区域的蒙版图像之前，还用于：

对所述红外荧光图像进行降噪处理。

可选地，所述第三获取模块24，具体用于：

根据所述红外相机的视场角与所述可见光相机的视场角，获取所述红外荧光图像相对于所述可见光图像的尺寸比；

若所述尺寸比非预设值，则根据所述尺寸比，以所述可见光图像的中心为基准，从可见光图像中提取可见光融合区域图像；其中，所述可见光融合区域图像的尺寸与所述红外荧光图像尺寸一致；

将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像。

可选地，所述第三获取模块24，具体用于：

根据所述荧光区域的蒙版图像，得到所述红外荧光图像中非荧光区域的蒙版图像；

利用所述非荧光区域的蒙版图像，从所述可见光融合区域图像中提取所述非荧光区域图像；

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到所述待测组织体的融合后的图像。

可选地，所述第三获取模块24，具体用于：

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到第一初始融合图像；

将所述第一初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

可选地，所述第三获取模块24，具体用于：

调整所述荧光区域图像的透明度，得到调整好透明度的荧光区域图像；调整所述可见光融合区域图像的透明度，得到调整好透明度的可见光融合区域图像；

将所述调整好透明度的荧光区域图像与所述调整好透明度的可见光融合区域图像融合，得到第二初始融合图像；

将第二初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

本申请提供的成像系统的图像处理装置，用于执行前述成像系统的图像处理方法实施例，其实现原理与技术效果类似，对此不再赘述。

图6是本申请实施例提供的一种电子设备的结构示意图。如图6所示，该电子设备400可以包括：至少一个处理器401、存储器402、红外相机403、可见光相机404和激发光源405，所述红外相机403与所述可见光相机404共光轴。

激发光源405，用于照射待测组织体；

红外相机403，用于采集所述待测组织体的红外荧光图像；

可见光相机404，用于采集所述待测组织体的可见光图像；

存储器402，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。

存储器402可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器401用于执行存储器402存储的计算机执行指令，以实现前述方法实施例所描述的成像系统的图像处理方法。其中，处理器401可能是一个中央处理器(CentralProcessing Unit，CPU)，或者是特定集成电路(Application Specific IntegratedCircuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

可选地，该电子设备400还可以包括通信接口406。在具体实现上，如果通信接口406、存储器402和处理器401独立实现，则通信接口406、存储器402和处理器401可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。

可选地，在具体实现上，如果通信接口406、存储器402和处理器401集成在一块芯片上实现，则通信接口406、存储器402和处理器401可以通过内部接口完成通信。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、RAM存储器、磁盘或者光盘等各种可以存储程序代码的介质，具体地，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。

本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的成像系统的图像处理方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种成像系统的图像处理方法，其特征在于，所述成像系统包括：红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴，所述方法包括：

控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；

利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；

从所述红外荧光图像中提取荧光区域图像；

将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；

显示所述融合后的图像。

2.根据权利要求1所述的方法，其特征在于，所述从所述红外荧光图像中提取所述荧光区域图像，包括：

获取所述红外荧光图像中荧光区域的蒙版图像；

利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像。

3.根据权利要求2所述的方法，其特征在于，所述利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像，包括：

对所述红外荧光图像进行伪彩色处理，得到伪彩色处理后的红外荧光图像；所述伪彩色处理后的红外荧光图像为彩色图像；

利用所述荧光区域的蒙版图像，从所述伪彩色处理后的红外荧光图像中提取所述荧光区域图像。

4.根据权利要求2所述的方法，其特征在于，所述利用所述荧光区域的蒙版图像，从所述红外荧光图像中提取所述荧光区域图像，包括：

利用所述荧光区域的蒙版图像，从红外荧光图像中提取初始荧光区域图像；所述初始荧光区域图像为灰度图；

对所述初始荧光区域图像进行伪彩色处理，得到所述荧光区域图像；所述荧光区域图像为彩色图像。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述获取所述红外荧光图像中荧光区域的蒙版图像之前，还包括：

对所述红外荧光图像进行降噪处理。

6.根据权利要求5所述的方法，其特征在于，所述对所述红外荧光图像进行降噪处理的方法为三角形算法。

7.根据权利要求2-4中任一项所述的方法，其特征在于，所述将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

根据所述红外相机的视场角与所述可见光相机的视场角，获取所述红外荧光图像相对于所述可见光图像的尺寸比；

若所述尺寸比非预设值，则根据所述尺寸比，以所述可见光图像的中心为基准，从可见光图像中提取可见光融合区域图像；其中，所述可见光融合区域图像的尺寸与所述红外荧光图像尺寸一致；

将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像。

8.根据权利要求7所述的方法，其特征在于，所述将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

根据所述荧光区域的蒙版图像，得到所述红外荧光图像中非荧光区域的蒙版图像；

利用所述非荧光区域的蒙版图像，从所述可见光融合区域图像中提取非荧光区域图像；

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到所述待测组织体的融合后的图像。

9.根据权利要求8所述的方法，其特征在于，所述将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

将所述荧光区域图像与所述非荧光区域图像进行图像融合，得到第一初始融合图像；

将所述第一初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

10.根据权利要求7所述的方法，其特征在于，所述将所述荧光区域图像与所述可见光融合区域图像进行图像融合，得到所述待测组织体的融合后的图像，包括：

调整所述荧光区域图像的透明度，得到调整好透明度的荧光区域图像；调整所述可见光融合区域图像的透明度，得到调整好透明度的可见光融合区域图像；

将所述调整好透明度的荧光区域图像与所述调整好透明度的可见光融合区域图像融合，得到第二初始融合图像；

将第二初始融合图像填充至所述可见光图像，得到所述待测组织体的融合后的图像。

11.一种成像系统的图像处理装置，其特征在于，所述成像系统包括：红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴，所述装置包括：

控制模块，用于控制所述激发光源照射待测组织体；所述待测组织体的至少部分区域聚集有荧光造影剂，所述荧光造影剂在所述激发光源的照射下激发出荧光；

第一获取模块，用于利用所述红外相机采集所述待测组织体的红外荧光图像，并利用所述可见光相机采集所述待测组织体的可见光图像；其中，所述红外荧光图像为灰度图；

第二获取模块，用于从所述红外荧光图像中提取荧光区域图像；

第三获取模块，将所述荧光区域图像与所述可见光图像进行图像融合，得到所述待测组织体的融合后的图像；

显示模块，用于显示所述融合后的图像。

12.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器、存储器、红外相机、可见光相机和激发光源，所述红外相机与所述可见光相机共光轴；

所述激发光源用于照射待测组织体；

所述红外相机用于采集所述待测组织体的红外荧光图像；

所述可见光相机用于采集所述待测组织体的可见光图像；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1-10中任一项所述的方法。

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。

Images