CN103604422A

CN103604422A - 一种多模式成像方法和设备

Info

Publication number: CN103604422A
Application number: CN201310645252.5A
Authority: CN
Inventors: 冯能云; 陈云亮
Original assignee: Sonoscape Co Ltd
Current assignee: Sonoscape Co Ltd
Priority date: 2013-12-03
Filing date: 2013-12-03
Publication date: 2014-02-26

Abstract

本发明涉及光学技术领域，尤其涉及一种多模式成像方法和设备。所述方法包括：将多模式掩膜板贴合在黑白数字相机的图像传感器阵列表面；曝光，获取原始成像数据；对原始成像数据进行多模式图像处理。本发明采用单相机、单次曝光成像，获取多模式成像信息，降低了多模式成像系统的复杂性，使多模式成像系统更小型化。相比单相机多次曝光成像，本发明提高了时间分辨率，使光学多模式成像技术可以应用到状态变化更快的领域；相比多相机单次成像，本发明无需进行后期融合处理，从而简化了系统的复杂性，并提高了后期图像处理的准确性。

Description

一种多模式成像方法和设备

技术领域

本发明涉及光学成像技术领域，具体涉及一种多模式成像方法和设备。

背景技术

多模式成像技术在生命研究、生物医疗中的光学成像领域得到广泛应用。

多模式成像技术即多种成像方式整合技术，比如多波长成像计算血氧代谢率、可见光成像和荧光成像整合技术、多偏振态的偏振光成像技术等。多模式成像技术对多模式下的图像进行融合处理，得出一帧包含目标生理特性的图像。通常，多模式成像技术对各模式下图像物理角度一致性、时间分辨率等要求很高。

目前，实现多模式成像技术的方法主要包括：

一、单相机的多次曝光成像，该方法的时间分辨率低，在成像对象或成像环境不稳定、变化快的场合应用受限。

二、多相机的单次成像，该方法在进行图像“融合”处理时存在缺陷，

图像配准的准确性对最后的结果影响很大。如内窥镜成像，人体器官组织的自发活动（比如肠的自发蠕动、心跳等）会对该成像方式的处理结果造成误差，同时相机间成像区域的差异也会影响结果。

三、高清彩色相机采用补色滤镜（CMYG）掩模或拜尔滤镜（Bayer）掩模技术，可提取出RGB三色或CMYG四色，但是掩模的特异性不够，应用范围狭窄。例如Bayer掩模板的RGB三色对波长的感应范围过大，不适合进行血红蛋白浓度等临床参数测量。

发明内容

本发明所要解决的技术问题是：针对现有技术多模式成像方法中，采用单相机的多次曝光成像时间分辨率低，采用多相机的单次成像系统复杂且处理结果准确度易受影响的缺陷，提供一种时间分辨率高、降低系统复杂性的多模式成像方法和设备。

在本发明的一实施例中，提出了一种多模式成像方法，包括：

将多模式掩膜板贴合在黑白数字相机的图像传感器阵列表面；

曝光，获取原始成像数据；

对原始成像数据进行多模式图像处理。

进一步，所述多模式掩膜板包括多个成像单元，每个所述成像单元包括多个掩膜单元，一个成像单元内的不同掩膜单元进行不同方式的镀膜。

在本发明的另一实施例中，提出了一种多模式成像设备，包括黑白数字相机，所述黑白数字相机具有图像传感器阵列，所述图像传感器阵列表面贴合有多模式掩膜板。

进一步，所述多模式掩膜板包括多个成像单元，每个所述成像单元包括多个掩膜单元，一个成像单元内的不同掩膜单元具有不同方式的镀膜。

从以上技术方案可以看出，本发明实施例具有以下优点：

由于采用的是单相机、单次曝光成像，本发明降低了多模式成像系统的复杂性，使得多模式成像系统更加小型化。相对于单相机多次曝光成像，本发明提高了时间分辨率，使光学多模式成像技术可以应用到状态变化更快的领域；相对于多相机单次成像，本发明无需对图像信息进行后期“融合”处理，从而简化了系统和算法的复杂性，提高了后期图像处理的准确性；相对于采用高清彩色相机进行多模式成像，本发明可以控制每个像素单元对应的掩模的通带范围，从而提高相机波长精度。

附图说明

图1是本发明一种多模式成像方法的流程图；

图2a是本发明中多模式掩膜板的示意图；

图2b是本发明中图像传感器阵列的示意图；

图3是本发明中多模式掩膜板的一举例示意图。

具体实施方式

下面将结合本发明中的说明书附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供了一种多模式成像方法，包括：

101：将多模式掩膜板贴合在黑白数字相机的图像传感器阵列表面。

如图2a所示，在本实施例中，所述的多模式掩膜板1包括多个成像单元2，每个所述成像单元2包括多个掩膜单元3，一个成像单元2内的不同掩膜单元3进行不同方式的镀膜。将多模式掩膜板1贴合在黑白数字相机（图未示出）的图像传感器阵列4（如图2b所示）上，所述的多模式掩膜板1的尺寸与所述图像传感器阵列4的尺寸一致并对应贴合，所述成像单元2中单个掩膜单元3的尺寸与图像传感器阵列4中的单个像元5的尺寸一致并对应贴合。

所述的多模式掩膜板1，根据实际应用进行特征性制作，所述的实际应用指的是不同的应用场景，例如内窥镜的自发荧光成像领域、偏振光成像领域、多波长成像领域，是不同的应用场景。在不同的应用场景下，多模式掩膜板1进行不同方式的成像单元划分，例如根据实际应用，一个成像单元2可包括多个2×2阵列、或者2×3阵列、或者1×4阵列、或者3×3阵列的掩膜单元3，所述一个成像单元2内的不同掩膜单元3根据实际应用，进行不同种类的镀膜，每一种类的镀膜对应一种成像模式。举例来说，如图3所示，成像单元2包括2×2阵列的掩模单元3，一个成像单元2中，四个掩膜单元3分别被镀上红、绿、蓝、紫色波长对应的滤膜。

所述相机的图像传感器可采用CCD传感器、CMOS传感器等阵列式图像传感器，亦可采用非阵列图像传感器结合扫描装置进行成像的图像传感组件。

102：曝光，获取原始成像数据。

相机的图像传感器阵列4表面贴合了多模式掩膜板1后，图像传感器曝光后获取的图像信息是包括多个成像模式下成像数据的原始成像数据。

103：对原始成像数据进行多模式图像处理。

分别提取原始成像数据中镀膜特性一致的像元，获取各模式的图像信息，生成各模式下的图像，用于后期的多模式图像处理，完成多模式成像。

需要说明的是，获取的原始成像数据是从黑白数字相机图像传感器阵列对应像元分离出来的，各个模式图像间的空间和时间差异都很微小，不需要进行后期配准工作，所以，可直接进行多模式成像数据处理。所述的图像处理可以包括现有技术中各种可能用到的图像处理方法。

具体地，以三个应用场景为例进行说明：

应用场景一

当本发明的多模式成像方法应用在内窥镜中的自发荧光成像领域，所述多模式掩膜板的一个成像单元内的一个掩模单元被镀上自发荧光对应波长的滤膜，另一些与上述掩膜单元相邻的掩模单元分别进行标准RGB三色镀膜。

具体地，所述多模式掩膜板的每个成像单元划分为包括2×2阵列的掩模单元，一个成像单元中的三个掩模单元被分别镀上标准R、G、B镀膜，用于生成白光图像；剩下的一个掩膜单元被镀上自发荧光波长对应的滤膜。

参见图2a，如果自发荧光波段在可见光波段范围内，则对图2a多模式掩膜板的a、b、c三种掩膜单元对应位置分别镀上R、G、B滤模，对d掩膜单元对应位置镀上自发荧光波长对应的滤膜，即镀上能透过自发荧光波长（比如胶原蛋白的荧光波长为390nm）的滤膜。一次可见光成像通过a、b、c掩模单元对应获取的像元计算出白光图像，第二次激发光成像，计算出自发荧光图像，从而实现使用单个图像传感器，不增加成像次数的自发荧光内窥镜多模式成像。

如果自发荧光波段在可见光波段范围外，则只需进行一次成像，从一帧黑白图像中可以分别计算出白光图像和自发荧光图像。

需要说明的是，所述多模式成像方法还包括：去马赛克计算，从而计算出白光图；进行电子放大，从而获取和相机像素一致的图像。

应用场景二

当本发明的多模式成像方法应用在偏振光成像领域，所述的多模式掩膜板的一个成像单元内不同的掩模单元被镀上不同偏振态的滤膜。

具体地，所述多模式掩膜板的每个成像单元划分为包括2×2阵列的掩模单元，四个掩模单元被镀上不同偏振态的滤膜。

参见图2a，对多模式掩膜板的a、b、c、d四种掩膜单元对应位置分别镀上不同偏振态的滤膜，使用四个不同偏振态的光源同时照射成像，就可以一次获取四个偏振态的图像，从而简化偏振光成像过程。如果采用高分辨的黑白数字相机，可以不进行电子放大，而获得高性能的多模式成像结果。

应用场景三

当本发明的多模式成像方法应用在多波长成像领域，所述的多模式掩膜板的一个成像单元内不同的掩膜单元被镀上不同透射波长的滤膜。

具体地，所述多模式掩膜板的每个成像单元划分为包括2×2阵列的掩膜单元，四个掩膜单元被镀上不同透射波长的滤膜。

例如，在血氧代谢率检测应用中，入射光是去近红外的白光和近红外激光，参见图2a，对多模式掩膜板的a、b、c三种掩模单元分别镀上标准R、G、B滤膜，从相机红、绿、蓝滤膜对应的像元，可以分离出红、绿、蓝可见光图像信息，用于血红蛋白浓度变化的测量；d掩膜单元镀上近红外滤膜，对应的像元可分离出激光图像，用于计算血流速度。从而通过单相机、单次曝光获取图像信息来实现血氧代谢率的计算。

需要说明的是，镀膜技术的高速发展，为本发明产品的低成本、产业化提供了极大便利。本发明中的特征性多模式微型掩膜板1，其镀膜和贴合工艺可利用现有技术中的镀膜和贴膜技术获得。

实施例二

本发明另一实施例提供了一种多模式成像设备，包括黑白数字相机，所述黑白数字相机具有图像传感器阵列，所述图像传感器阵列表面贴合有多模式掩膜板。

所述多模式掩膜板包括多个成像单元，每个所述成像单元包括多个掩膜单元，一个成像单元内的不同掩膜单元具有不同方式的镀膜。

所述多模式掩膜板的尺寸与所述图像传感器阵列尺寸一致。

所述掩膜单元的尺寸和所述图像传感器阵列中的像元尺寸一致。

本实施例的设备中，多模式掩膜板的具体结构，以及在各种应用场景下的区别，可以参照本发明实施例一中相应部分的描述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

需要说明的是，本发明的多模式成像方法，可以应用到各种需要利用光学成像原理形成影像并使用底片记录影像的场合，本发明的多模式成像设备包括但不限于普通照相摄像器材、医学成像设备、天文观测设备，本发明所述的相机，可包括各种需要利用光学成像原理形成影像的装置。

以上对本发明实施例所提供的一种多模式成像方法和设备进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种多模式成像方法，其特征在于，包括：

曝光，获取原始成像数据；

对原始成像数据进行多模式图像处理。

2.如权利要求1所述的多模式成像方法，其特征在于，所述多模式掩膜板包括多个成像单元，每个所述成像单元包括多个掩膜单元，一个成像单元内的不同掩膜单元进行不同方式的镀膜。

3.如权利要求2所述的多模式成像方法，其特征在于，所述多模式掩膜板的尺寸与所述图像传感器阵列尺寸一致。

4.如权利要求2所述的多模式成像方法，其特征在于，所述掩膜单元的尺寸和所述图像传感器阵列中的像元尺寸一致。

5.如权利要求2所述的多模式成像方法，其特征在于，所述一个成像单元内的不同掩膜单元进行不同方式的镀膜具体为：

当应用在内窥镜自发荧光成像领域，一个成像单元内的一些掩膜单元被镀上与自发荧光波长对应的滤膜，另一些掩膜单元进行标准RGB三色镀膜；

或者，当应用在偏振光成像领域，一个成像单元内的不同掩膜单元被镀上不同偏振态的滤膜；

或者，当应用在多波长成像领域，一个成像单元内的不同掩膜单元被镀上与不同波长对应的滤膜。

6.如权利要求1所述的多模式成像方法，其特征在于，所述对原始成像数据进行多模式图像处理包括：分别提取原始成像数据中镀膜特性一致的像元，获取各模式的图像信息。

7.一种多模式成像设备，包括黑白数字相机，所述黑白数字相机具有图像传感器阵列，其特征在于，所述图像传感器阵列表面贴合有多模式掩膜板。

8.如权利要求7所述的多模式成像设备，其特征在于，所述多模式掩膜板包括多个成像单元，每个所述成像单元包括多个掩膜单元，一个成像单元内的不同掩膜单元具有不同方式的镀膜。

9.如权利要求8所述的多模式成像设备，其特征在于，所述多模式掩膜板的尺寸与所述图像传感器阵列尺寸一致。

10.如权利要求8所述的多模式成像设备，其特征在于，所述掩膜单元的尺寸和所述图像传感器阵列中的像元尺寸一致。