CN102721469B

CN102721469B - 双相机的多光谱成像系统和方法

Info

Publication number: CN102721469B
Application number: CN201210196099.8A
Authority: CN
Inventors: 田捷; 迟崇巍; 秦承虎; 杨鑫
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Beijing Digital Precision Medical Technology Co Ltd
Priority date: 2012-06-14
Filing date: 2012-06-14
Publication date: 2015-05-13
Anticipated expiration: 2032-06-14
Also published as: CN102721469A

Abstract

一种双相机的多光谱成像系统，包括：光源模块，用于提供近红外光和可见光；光学信号采集模块，用于采集荧光和可见光图像；计算机模块，用于处理采集到的图像，并将处理后的图像显示在计算机显示器上。本发明采用光学分光棱镜将通过镜头的光线一分为二，用两台CCD相机同时进行实时采集。我们在各相机前增加带通滤光片，使得两台相机分别在不同光波长范围内成像，最终通过软件进行图像处理，将不同谱段的图像拼合到一起，实现荧光与可见光融合的图像效果。拓展了光学分子影像探针可供选择的空间，延伸了光学分子影像研究与应用的范围。

Description

双相机的多光谱成像系统和方法

技术领域

本发明涉及一种成像系统，特别是关于一种双相机的多光谱成像的系统和方法。

背景技术

近年来，由于分子影像学技术的不断发展，继放射性核素成像、正电子发射断层扫描、单光子发射计算机断层和磁共振成像之后，出现了高分辨率的光学成像，其中近红外荧光成像倍受关注。由于光穿透组织的能力与组织吸收光的强弱、光波的特性、生物组织结构及其物理化学特性均有关系。650～900nm的近红外光（Near-Infrared，NIR）被称为“组织光窗(Tissue Optical Window)”，与可见光相比具有：⑴生物组织对此波段近红外光的吸收和散射效应最小，与可见光相比近红外光可穿透更深层的组织；⑵由于生物组织对此波段近红外光的自体荧光较小，信背比（Signal-to-background ratio，SBR)相对高等优点。

目前市场上有关探测近红外光线的产品均是采用单台相机进行实时成像，由于近红外光线肉眼不可见，所以一般采集到的图像和肉眼看到的图像有所不同。根据《Nature Medicine》2011年9月报道的国际最新进展，荷兰科学家Gooitzen M van Dam等人采用三台相机协同工作的方法进行拍摄，可以同时看到荧光图像、彩色图像以及拼合图像。其中三台相机主要由三个CCD组成，分别用来拍摄彩色图像（光谱范围400nm-650nm），荧光图像（光谱范围745nm-845nm）以及背景图像（光谱范围740nm-760nm）。通过两台计算机进行协同工作，同步处理拍摄到的图像，达到荧光、彩色以及拼合三幅图像显示的目的。

发明内容

本发明的目的是提供一种基于双CCD相机的视频成像系统和方法。

按照本发明的一方面，一种双相机的多光谱成像系统，包括：

光源模块，用于提供近红外光和可见光，其中，所述光源模块包括LED近红外光源、卤素灯白光光源、第一滤光片和第四滤光片，所述第一滤光片的光谱范围是710nm-770nm，所述第四滤光片的光谱范围是400nm-650nm；

光学信号采集模块，用于采集荧光和可见光图像，其中，所述光学信号采集模块包括镜头、分光棱镜、第二滤光片、第三滤光片、近红外CCD相机和彩色CCD相机，所述第二滤光片的光谱范围是810nm-870nm，所述第三滤光片的光谱范围是400nm-650nm；

计算机模块，用于处理采集到的图像，并将处理后的图像显示在计算机显示器上。

本发明采用光学分光棱镜将通过镜头的光线一分为二，用两台CCD相机同时进行实时采集。我们在各相机前增加带通滤光片，使得两台相机分别在不同光波长范围内成像，最终通过软件进行图像处理，将不同谱段的图像拼合到一起，实现荧光与可见光融合的图像效果。拓展了光学分子影像探针可供选择的空间，延伸了光学分子影像研究与应用的范围。

附图说明

图1是本发明的组织结构图；

图2是本发明的系统原理图；

图3是本发明的棱镜结构图；

图4是本发明的系统支架结构示意图；

图5是本发明的算法流程图；

图6是本发明实施案例的结果图。

具体实施方式

下面结合附图对本发明的实施做详细的描述。

我们根据近红外光线的特点，并基于长期在近红外成像领域的研究经验，本发明采用两台相机来实现荧光、彩色以及拼合图像的获取功能,同样达到三幅图像显示的目的。系统所拍摄的视频和图像均可以达到其报道的水平，并且所有的操作最终在一台计算机上运行实现。

如图1所示，

系统支撑模块（110），用于支撑和连接各部件；

光源模块（120），用于提供近红外光和可见光；

光学信号采集模块（130），用于采集荧光和可见光图像；

计算机模块（140），软件控制模块（141）控制近红外CCD相机（101）和彩色CCD相机（102），图像处理模块（142）处理采集到的图像，显示模块（143）将处理后的图像显示在计算机显示器上。

其中：

滤光片一（122）表示带通滤光片，光谱范围是710nm-770nm；

滤光片二（133）表示带通滤光片，光谱范围是810nm-870nm；

滤光片三（124）表示带通滤光片，光谱范围是400nm-650nm；

滤光片四（125）表示带通滤光片，光谱范围是400nm-650nm。

系统支撑模块（110）包括光源支架（111）、光学平台支架（112）和系统支架（113）。光源支架（111）主要是用来支撑LED近红外光源（121），连接方式是将灯的手柄插入光源支架（111）的前端，如图4光源支架（111）箭头所指位置。系统支撑装置（110）主要是为了支撑起光学平台支架（112）以及光源支架（111），并且保证可以移动。系统支撑装置（110）纵向可调节，整体高度范围是1500mm-1800mm。光学平台支架（112）挂接在系统支撑装置的上端，如图4光学平台支架（112）箭头所指位置。

光源模块（120）包括LED近红外光源（121）、卤素灯白光光源（123）和滤光片一（122）、滤光片四（125）。滤光片一（122）套有金属圈，圈上有一圈外螺纹，外形类似市面销售的UV镜。LED近红外光源（121）由47个LED灯焊接在一块圆形电路板上，电路板外套有金属套筒，焊接好的电路板放置在金属套筒底部，顶部有内螺纹，可以与滤光片一（122）的金属圈旋紧固定。电源线由底部小孔引出，外接电源适配器，电压24V，功率20W。其外形如同图1中的（121）所示。滤光片四（125）可以放置在卤素灯白光光源（123）的滤光片槽（104）内，卤素灯白光光源（123）产生的光信号通过光纤（105）引出。

光学信号采集模块（130）包括镜头（131）、分光棱镜（132）、滤光片二（133）、滤光片三（124）、近红外CCD相机（101）和彩色CCD相机（102）。分光棱镜（132）是由一块经过特殊镀膜的立方体玻璃（1324）、基座（1325）、金属外壳（1326）所组成，如图3所示，立方体玻璃（1324）放置在基座（1325）上，基座（1325）上方套有金属外壳（1326），与基座（1325）由螺丝固定。金属外壳（1326）上有4个圆孔，将孔（1321）与镜头（131）对接，孔（1322）与彩色CCD相机（102）对接，孔（1323）与近红外CCD相机（101）对接。滤光片二（133）放置在近红外CCD相机（101）的进光孔处。滤光片三（124）放置在彩色CCD相机（102）的进光孔处。镜头（131）、分光棱镜（132）、近红外CCD相机（101）和彩色CCD相机（102）按照中轴线对齐原则固定在同一光学平台上，位置摆放如图2中（101）、（102）、（131）、（132）、（133）、（124）所示。

计算机模块（140）包括软件控制模块（141）和图像处理模块（142）。其中软件控制模块（141）是通过近红外CCD相机（101）和彩色CCD相机（102）的数据线（106）与计算机模块（140）相连。工作人员通过操作软件控制模块（141）来达到控制近红外CCD相机（101）和彩色CCD相机（102）的目的。图像处理模块（142）主要是处理近红外CCD相机（101）和彩色CCD相机（102）拍摄的图像数据，完成分割点运算和图像叠加功能。

如图2所示

近红外CCD相机（101），用于采集近红外图像。

彩色CCD相机（102），用于采集可见光图像。

分光棱镜（132），用于将光路一分为二，一半透射，一半反射。

镜头（131），用于调节使得图像成像清晰。

LED近红外光源（121），用于发射近红外光线。

卤素灯白光光源（123），用于发射可见光光线；滤光片槽（104）用于放置滤光片四（125）；光纤（105）用于将光线引出。

滤光片二（133），用于过滤其他波长光线，保证需要波长的光线进入近红外CCD相机（101）；滤光片三（124），用于过滤其他波长光线，保证需要波长的光线进入彩色CCD相机（102）。

数据线（106）用于传输采集的图像数据。

计算机模块（140）用于控制相机和处理图像数据。

图3所示，孔（1321）、孔（1322）和孔（1323）均用于保证光线的进出。

立方体玻璃（1324），用于将光线分成两路，是分光棱镜（132）的核心部件。

基座（1325）用于托住立方体玻璃（1324），并与金属外壳（1326）固定。

金属外壳（1326）用于将立方体玻璃（1324）从其他面固定住。

图4所示，

光学平台支架（112）用于将各元器件固定在同一平台上。

光源支架（111）用于将LED近红外光源（121）进行支撑。

系统支撑装置（110）用于将光学平台支架（112）和光源支架（111）进行固定和调节，并保证整体可以移动。

下面描述本发明的方法。

卤素灯白光光源（123）对探测区域（103）进行照射；

系统支撑模块（110）调整系统支架（113）至合适高度，光学信号采集模块（130）调节镜头（131）焦距，软件控制模块（141）采集彩色CCD相机（102）视频图像，计算机模块（140）中显示模块（141）进行实时显示，调整为清晰成像；

LED近红外光源（121）对探测区域（103）进行照射，计算机模块（140）中软件控制模块（141）切换到拍照模式，获取一组校准图像；

计算机模块（140）中软件控制模块（141）采集近红外CCD相机（101）视频图像，进行实时观测；

计算机模块（140）中软件控制模块（141）切换到拍照模式，获取一组图像，进行存档；

图像处理模块（142）对存档的图像进行运算，计算分割点，图像处理模块（142）根据计算出的分割点进行图像拼合，显示模块（143）将处理后的图像显示到计算机显示器上。

校准图像。由于近红外CCD相机（101）和彩色CCD相机（102）感光芯片大小不同，所以当系统支撑模块（110）调整系统支架（113）至合适高度，光学信号采集模块（130）调节镜头（131）焦距后，我们需要获取一组校准图像，为图像处理模块（142）计算分割点做准备。如图5所示，本发明所述图像处理模块（142）分割点计算算法流程图。

步骤501：MATLAB读取两台相机拍照所得图像灰度值矩阵；

步骤502：通过硬件信息可以得知近红外CCD相机（101）芯片面积为1.3英寸，图片分辨率为1024*1024，彩色CCD相机（102）芯片面积为2/3英寸，分辨率为2136*2548。通过MATLAB软件的工具包插值运算，将彩色CCD相机（102）图像分辨率转化为534*637，近红外CCD相机（101）取得图像中以i，j为基点选择一块534*637的数据矩阵赋给A，插值后的彩色CCD相机（102）图像矩阵赋给B，其中，设置变量i，j均为0；

步骤503：计算矩阵A中各点的均值赋给mA，通过公式计算

DA = Σ_{i = 0}^{534} Σ_{j = 0}^{637} [{(a_{ij} - mA)}^{2}];

步骤504：计算矩阵B中各点的均值赋给mB，通过公式计算

DB = Σ_{i = 0}^{534} Σ_{j = 0}^{637} [{(b_{ij} - mB)}^{2}];

步骤505：根据矩阵A、B以及mA、mB，计算然后计算得到A、B的相关系数

corrcoef_AB = \frac{corAB}{\sqrt{DA \times DB}};

步骤506：得到该相关系数之后，再重复步骤3-5步骤，比较两个相关系数的大小，取较大值，并记录i，j的数值；

步骤507：迭代运算200次，i=i+1,j=0，重复步骤3-6，当i>200时，结束循环，最终返回i，j的值，公式中i,j代表两个程序变量，用于记录运算过程中矩阵的顶点坐标；A，B分别代表一个534*637的数据矩阵；mA代表A矩阵中各点的平均值；mB代表B矩阵中各点的平均值；a_ij代表矩阵A中第i行第j列的数值；b_ij代表矩阵B中第i行第j列的数值；DA、DB、corAB、corrcoef_AB分别是通过公式计算后的结果。

实施例

光学信号采集模块（130）按照图2所示组装好，光学信号采集模块（130）固定在光学平台支架（112）上，按照图4所示光学平台支架（112）挂接在系统支撑装置（110）端，LED近红外光源（121）插入光源支架（111）中。系统支撑模块（110）移动到探测区域（103）正上方，数据线（106）与计算机模块（140）对应端口连接。

光源模块（120）中光纤（105）固定在光源支架（111）上，卤素灯白光光源（123）对准探测区域（103）进行照射。

软件控制模块（141）控制采集彩色CCD相机（102）视频图像，光学信号采集模块（130）调整镜头（131）焦距保证清晰成像。软件控制模块（141）获取近红外CCD相机（101）和彩色CCD相机（102）图像，并保存。

用遮光布对探测区域（103）进行避光处理。LED近红外光源对准探测区域（103）进行照射。

软件控制模块（141）控制采集近红外CCD相机（101）视频图像，拍摄物体放置最佳拍摄角度后，保持不动，软件控制模块（141）采集近红外CCD相机（101）和彩色CCD相机（102）图像。

图像处理模块（142）计算3中获取的近红外CCD相机（101）和彩色CCD相机（102）图像分割点。图像处理模块（142）将近红外CCD相机（101）获取图像增加伪绿，图像处理模块（142）用分割点拼合5中采集彩色CCD相机（102）图像和增加伪绿的近红外CCD相机（101）图像。

实验结果如图6所示，本发明使用0.01mg/ml浓度的吲哚菁绿荧光染料注入EP管中作为实验，验证系统的可行性。可以看到图（601）为近红外CCD相机（101）拍到的图像，图（602）为彩色CCD相机（102）拍到的图像。图（603）为图像处理模块（142）计算拼合后的图像。可以看到，虽然通过肉眼看到的（602）中为透明液体，但是通过激发光源照射后，明显看出有荧光发出（601），通过图像处理模块（142）将两幅图像进行拼合，我们便在肉眼可见的（601）图像上同时看到了（602）图像信息。

尽管为说明目的公开了本发明的具体实施案例与附图，辅助理解本发明的内容并据以实施，但是专业技术人员可以理解：在不脱离本发明及所附的权利要求的精神与范围内，各种替换和修改都是可能的。因此，本发明不应该局限于最佳实施案例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种双相机的多光谱成像系统，包括：

2.根据权利要求1所述的系统，其中，所述计算机模块包括：

软件控制模块，用于控制近红外CCD相机和彩色CCD相机；

图像处理模块，用于处理近红外CCD相机和彩色CCD相机拍摄的图像数据，并完成分割点运算和图像叠加功能；

显示模块，用于在计算机显示器上显示图像。

3.根据权利要求1所述的系统，还包括系统支撑模块，用于支撑和连接各部件，所述系统支撑模块包括光源支架、光学平台支架和系统支架。

4.根据权利要求1所述的系统，其中，近红外CCD相机的图片分辨率为1024*1024，彩色CCD相机的分辨率为2136*2548。