CN114216561A - 多光谱成像方法与多光谱成像系统 - Google Patents

Abstract

一种多光谱成像方法，按时序并按设定顺序照射不同波长的光线；针对每一种波长的光线，获取至少一张对应的单色光图像；对应每一种波长取至少一张与其对应的单色光图像进行合成并获得彩色图像。一种多光谱成像系统，包括：光源；能够获取单色光图像的图像传感器；图像处理软件；能够运行图像处理软件的控制器。本发明采用特定波长的光线对取景范围进行照射，从而获得特定波长光线下的图像信息，本发明不再使用彩色镀膜过滤光线，所以光电传感器的光电转换系数高，图像动态范围大，图像信号的信噪比更高。另外，因为光电转换效率得到了有效提高，所以只需要更低的光照就可以让像元饱和，能够有效降低系统能耗。

Description

多光谱成像方法与多光谱成像系统

技术领域

本发明涉及多光谱成像技术领域，更具体地说，特别涉及一种多光谱成像方法以及一种多光谱成像系统。

背景技术

CCD(电荷藕合器件)是使用高感光度的半导体材料制成的用于获取图像信息的一种图像传感器器件，CCD摄像头能把光线转变成电荷，然后通过模数转换器芯片将电信号转换成数字信号，数字信号经过压缩处理可传送到电脑上形成所采集的图像。

CCD可以分为单色光图像传感器和彩色图像传感器两种。单色光图像传感器由于没有颜色特征，只有灰度图像，所以主要应用于工业检测或者一些不需要采集颜色信息的场合。彩色图像传感器因为包含了颜色信息，增加了彩色物体的辨识度，所以应用更加广泛。

目前的彩色图像传感器是通过在成像单元前面增加R、G、B不同波长的透光膜来实现颜色信息采集，然后通过后端软件处理，将每个成像单元的数据都变成一组R、G、B的数组，然后就可以显示出彩色图像了。

从彩色图像传感器的成像原理可以知道，每个像元都只吸收固定波长范围的光能，而其他波长的光能就损失掉了，这就造成光电转换系数偏低，图像的动态范围偏小，另外，由于每个像素点只有一个颜色信息，其他两个颜色信息来自相邻像素，所以会造成空间分辨率的损失，同时，图像颜色梯度变化大的地方还会出现颜色失真或彩色条纹等干扰。

发明内容

(一)技术问题

综上所述，如何提高传感器获取彩色图像时所存在的光电转换系数偏低，图像的动态范围偏小的问题，成为了本领域技术人员亟待解决的问题。

(二)技术方案

本发明提供了一种多光谱成像方法，该多光谱成像方法如下：按时序并按设定顺序照射不同波长的光线；

针对每一种波长的光线，获取至少一张对应的单色光图像；

对应每一种波长取至少一张与其对应的单色光图像进行合成并获得彩色图像；

所述不同波长的光线至少包括有红、绿、蓝三种颜色的光。

优选地，在本发明所提供的多光谱成像方法中，当获取所述单色光图像的传感器与目标场景具有相对运动时，采用运动补偿算法对相邻两帧单色光图像中的下一帧单色光图像的偏移量进行处理后再进行合成并获得彩色图像。

优选地，在本发明所提供的多光谱成像方法中，所述相对运动为匀速相对运动。

优选地，在本发明所提供的多光谱成像方法中，由COMS传感器在不同波长光线照射场景中获取单色光图像。

优选地，在本发明所提供的多光谱成像方法中，所述不同波长的光线包括至少三种组合；所述不同波长的光线至少包括红蓝绿成像组合、窄带蓝激光加白光成像组合以及近近红外光加白光成像组合。

优选地，在本发明所提供的多光谱成像方法中，由光源提供不同波长的光线，由COMS传感器在不同波长光线照射场景中获取单色光图像；其中，所述光源发出特定波长光线的同时由所述COMS传感器曝光获取与所述特定波长光线相对应的单色光图像。

本发明还提供了一种多光谱成像系统，该多光谱成像系统包括：

能够发射不同波长光线的光源；

能够获取单色光图像的图像传感器；

能够将多张单色光图像合成彩色图像的图像处理软件；

能够运行所述图像处理软件的控制器，所述控制器与所述光源控制连接、用于控制所述光源按时序照射不同波长的光线，所述控制器与所述图像传感器控制连接、用于控制所述图像传感器针对每一种波长的光线，获取至少一张对应的单色光图像。

优选地，在本发明所提供的多光谱成像系统中，所述光源与所述图像传感器集成在一个摄像头内；或，所述光源与所述图像传感器为分体结构。

优选地，在本发明所提供的多光谱成像系统中，所述控制器与所述光源通过数据线有线连接。

优选地，在本发明所提供的多光谱成像系统中，所述图像传感器与所述控制器通过数据线有线连接。

(三)有益效果

本发明提供了一种多光谱成像方法，在该成像法中，按时序并按设定顺序照射不同波长的光线；针对每一种波长的光线，获取至少一张对应的单色光图像；对应每一种波长取至少一张与其对应的单色光图像进行合成并获得彩色图像；不同波长的光线至少包括有红、绿、蓝三种颜色的光。本发明还提供了一种多光谱成像系统，该成像系统包括：能够发射不同波长光线的光源；能够获取单色光图像的图像传感器；能够将多张单色光图像合成彩色图像的图像处理软件；能够运行图像处理软件的控制器，控制器与光源控制连接、用于控制光源按时序照射不同波长的光线，控制器与图像传感器控制连接、用于控制图像传感器针对每一种波长的光线，获取至少一张对应的单色光图像。通过上述结构设计，本发明采用特定波长的光线对取景范围进行照射，从而获得特定波长光线下的图像信息，本发明不再使用彩色镀膜过滤光线，所以光电传感器的光电转换系数高，图像动态范围大，图像信号的信噪比更高。基于第一个优点，因为光电转换效率得到了有效提高，所以只需要更低的光照就可以让像元饱和，能够有效降低系统能耗。另外，由于每个颜色对应的像元位置是完全重合的，所以空间分辨率大，是传统彩色传感器的多倍。本发明还可以适配不同的光源，实现多种特殊光的成像模式，针对不同的应用场合，成像模式更加灵活。

附图说明

图1为本发明一种实施例中多光谱成像系统的系统构成示意简图。

在图1中，部件名称与附图编号的对应关系为：

光源1、图像传感器2、控制器3；

不同波长的光线a、单色光图像b、合成的彩色光图像c。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参考图1，图1为本发明一种实施例中多光谱成像系统的系统构成示意简图。

本发明提供了一种多光谱成像方法，在该成像方法中，本发明改变了传统技术中设置透光膜获取单色光图像然后合成的的方法，采用不设置透光膜，同时营造特定波长光照环境来获得单色光图像的方法，以解决现有技术中由于设置透光膜而存在的光电转换系数偏低，图像的动态范围偏小的问题。

本发明所提供的多光谱成像方法具体操作如下：

第一步骤，首先按时序并按设定顺序照射不同波长的光线a，来创造特定的波长光线光照环境，这样在该特定光照环境下使用成像传感器，就可以针对每一种波长的光线，获取至少一张对应的单色光图像b。

在上述的第一步骤中，根据具体的使用要求选定几个(可以是一个，也可以是两个，或者是三个及三个以上的数量)不同波长的光线a，在光线波长选定后，就可以选择对应的发光体(例如波长可调的LED灯组件)作为光源1。然后，再设定光线的照射顺序(在使用过程中，光源1则按照光线的照射顺序采用滚动循环方式进行照射)。最后，根据成像传感器的性能(主要是成像传感器的帧率)设定相邻两个光线之间的切换时间，在切换时间确定后，光线则等时间间隔频闪。

在第一步骤中，光源1的照明区域可以作为取景区域，取景区域采用单色光照射，这样由成像传感器获得的图像就是单色光图像b。

第二步骤，对应每一种波长取至少一张与其对应的单色光图像b进行合成并获得彩色图像。

在上述的第二步骤中，由第一步骤获取的图像全部为单色光图像b，将每一种波长所对应的单色光图像b进行合成(其合成方法与现有技术中使用透光膜获取单色光图像b进行合成的方法一致，在此不进行赘述)，从而获得彩色图像。

在此限定：不同波长的光线a至少包括有红、绿、蓝三种颜色的光，这种限定能够营造出一种白色光图像，然后可以基于白色光图像，再加入其它波长的光线(例如红外光、激光等，其中红外光可以是近红外光，激光可以是蓝激光)以满足不同领域中对于光照的要求。

对于本领域技术人员而言，尤其是应用于医疗领域中，摄像头(成像传感器)是处于运动状态的，那么，每一张单色光图像b就会相对有一个位差，位差存在将会影响成像的清晰度。为了解决该问题，本发明提出了如下优化设计方案：当获取单色光图像b的传感器与目标场景(目标场景就是使用单色光所照射的希望获得图像信息的一片区域)具有相对运动时，采用运动补偿算法对相邻两帧单色光图像b中的下一帧单色光图像b的偏移量进行处理后再进行合成并获得彩色图像。

本发明的特点是按时序、设定顺序发出特定波长的光来对取景范围进行照射，因为不同光源1对应的CMOS曝光时刻不同，当镜头与被观测物体(必须在光照范围内)有相对运动的时候，就会产生不同光谱对应的图像有一个位置偏移(虽然比较小，但是改偏移一定存在)。设两个相邻的光谱对应的曝光间隔为T，两次曝光之间物体运动的距离为S，T越小，则S越小，图像清晰度越高(偏差越小则清晰度越高)，T的大小主要取决于CMOS的最高帧率限制。当CMOS的帧率为120fps时，对于具有4种波长的光源1，T为33ms，通常情况下，内窥镜运动的速度不会高于10cm/s，所以S<3.3mm，以放大倍率β＝50来计算，对应的成像端位置偏移是0.066mm，大约对应50个像元。为了提高成像精度，可以加入运动补偿算法，让一组内相邻帧的偏移量为0，这样可以保证内镜无论在静止观察时还是在运动过程中，都可以呈现最清晰的图像。

为了进一步提高图像的清晰度，摄像头(成像传感器)应当采用匀速运动，即上述的相对运动为匀速相对运动，那么处理器就能够根据设定的补偿量对单色光图像b进行处理，从而获得高质量、高清晰度的彩色图像。

具体地，本发明是采用COMS传感器在不同波长光线照射场景中获取单色光图像b，COMS传感器具有较高的帧率，帧率高则单位时间内获取的单色光图像b张数就多，单色光图像b张数多，则合成的彩色光图像c质量就高。

在本发明中，不同波长的光线a包括至少三种组合，其中，不同波长的光线a至少包括红蓝绿成像组合、窄带蓝激光加白光成像组合以及近近红外光加白光成像组合。

具体地，本发明由光源1(光源1采用可变光LED灯组件，可变光是指可改变光线的波长)提供不同波长的光线a，由COMS传感器在不同波长光线照射场景中获取单色光图像b，其中，光源1发出特定波长光线的同时由COMS传感器曝光获取与特定波长光线相对应的单色光图像b。

基于上述的多光谱成像方法，本发明还构建了一套多光谱成像系统，该多光谱成像系统的结构如下，包括：能够发射不同波长光线的光源1(光源1由多个光照单元组成，每一个光照单元都能够发出一定波长的光线，每一个光照单元都能够单独被控制进行发光或者熄灭)；能够获取单色光图像b的图像传感器2(本发明优选采用COMS成像传感器，其帧率较高，可以获得高清图像)；能够将多张单色光图像b合成彩色图像的图像处理软件(现有技术中能够进行图像合成处理的图片处理程序即可)；以及能够运行图像处理软件的控制器3，控制器3与光源1控制连接、用于控制光源1按时序照射不同波长的光线a，控制器3与图像传感器2控制连接、用于控制图像传感器2针对每一种波长的光线，获取至少一张对应的单色光图像b。

进一步地，光源1与图像传感器2集成在一个摄像头(头端)内。

当然，光源1与图像传感器2之间也可以采用分体式结构。无论光源1如何设置，以能够为头端提供所需照亮光线即可。

摄像头包括有一个壳体，壳体外部轮廓采用平滑的光面结构，这样在作为内窥镜使用时，可以避免造成人体组织的伤害。

作为本发明的一个结构优化，本发明可以根据现有技术常用的几种照明组合方式选择相应的光源1然后将其集成到一个电路板上，这样可以获得多个光源1组件，光源1组件采用可拆卸方式安装在摄像头内，这样可以提高多光谱成像系统的通用性。

在本发明的一个具体实施方式中，控制器3与光源1通过数据线有线连接。

在本发明的另一个具体实施方式中，控制器3与光源1通过无线通信方式连接，无线通信方式可以是蓝牙通信。

具体地，图像传感器2与控制器3通过数据线有线连接。

随着CMOS技术的飞速发展，目前无论从分辨率还是帧率方面都有了很大的提升，主流的CMOS传感器都有几百帧的帧率。在高帧率的情况下，就可以通过对光源1的控制来实现在黑白传感器上实现彩色成像。

基本原理如下：光源1按照时间顺序并按照设定顺序采用循环式依次发出不同波长的光，每种光发出的同时将发光信号同步给CMOS传感器，CMOS传感器与光源1同步曝光，这样就可以依次得到多张图像(每张图像都是在不同的特定波长关照环境下的图像)，将不同波长光线所成的像进行软件融合，就可以得到一张具备我们需要的信息的复合图像。

这张合成后的图像可以是RGB图像，也可以是任意波长的图像，比如在医学成像领域，有蓝激光和荧光两种特殊光谱非常常见，可以用来做消化系统的早癌筛查和肿瘤边界的标记。随着生物医学的发展，后面会发现更多的特殊光波对特定组织的成像规律，只要有明确的特殊光与组织病理的对应关系，就可以通过定制不同的光源1，配合对应的图像融合软件算法，来用这种成像方法获取任意光谱的图像。

而在本发明的具体实施方式中，结合目前的特殊光成像模式，比较典型的光源1波长组合包括RGB白光成像组合，窄带蓝激光+白光成像组合，NIR+白光成像组合。

本发明提供了一种多光谱成像方法，在该成像法中，按时序并按设定顺序照射不同波长的光线a；针对每一种波长的光线，获取至少一张对应的单色光图像b；对应每一种波长取至少一张与其对应的单色光图像b进行合成并获得彩色图像；不同波长的光线a至少包括有红、绿、蓝三种颜色的光。本发明还提供了一种多光谱成像系统，该成像系统包括：能够发射不同波长光线的光源1；能够获取单色光图像b的图像传感器2；能够将多张单色光图像b合成彩色图像的图像处理软件；能够运行图像处理软件的控制器3，控制器3与光源1控制连接、用于控制光源1按时序照射不同波长的光线a，控制器3与图像传感器2控制连接、用于控制图像传感器2针对每一种波长的光线，获取至少一张对应的单色光图像b。

本发明提供了一种多光谱成像方法，并根据该方法又设计了一种多光谱成像系统，基于该多光谱成像方法，本发明能够通过黑白传感器实现多光谱成像。

本发明具备如下优点：

1、采用特定波长的光线对取景范围进行照射，从而获得特定波长光线下的图像信息，本发明不再使用彩色镀膜过滤光线，所以光电传感器的光电转换系数高，图像动态范围大，图像信号的信噪比更高；

2、基于第一个优点，因为光电转换效率得到了有效提高，所以只需要更低的光照就可以让像元饱和，能够有效降低系统能耗；

3、由于每个颜色对应的像元位置是完全重合的，所以空间分辨率大，是传统彩色传感器的多倍(实际测得为至少4倍)；

4、可以适配不同的光源1，实现多种特殊光的成像模式，针对不同的应用场合，成像模式更加灵活。

本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种多光谱成像方法，其特征在于，

按时序并按设定顺序照射不同波长的光线；

针对每一种波长的光线，获取至少一张对应的单色光图像；

对应每一种波长取至少一张与其对应的单色光图像进行合成并获得彩色图像；

所述不同波长的光线至少包括有红、绿、蓝三种颜色的光。

2.根据权利要求1所述的多光谱成像方法，其特征在于，

当获取所述单色光图像的传感器与目标场景具有相对运动时，采用运动补偿算法对相邻两帧单色光图像中的下一帧单色光图像的偏移量进行处理后再进行合成并获得彩色图像。

3.根据权利要求2所述的多光谱成像方法，其特征在于，

所述相对运动为匀速相对运动。

4.根据权利要求1所述的多光谱成像方法，其特征在于，

由COMS传感器在不同波长光线照射场景中获取单色光图像。

5.根据权利要求1所述的多光谱成像方法，其特征在于，

所述不同波长的光线包括至少三种组合；

所述不同波长的光线至少包括红蓝绿成像组合、窄带蓝激光加白光成像组合以及近近红外光加白光成像组合。

6.根据权利要求1至5任一项所述的多光谱成像方法，其特征在于，

由光源提供不同波长的光线，由COMS传感器在不同波长光线照射场景中获取单色光图像；

其中，所述光源发出特定波长光线的同时由所述COMS传感器曝光获取与所述特定波长光线相对应的单色光图像。

7.一种多光谱成像系统，其特征在于，包括：

能够发射不同波长光线的光源(1)；

能够获取单色光图像的图像传感器(2)；

能够将多张单色光图像合成彩色图像的图像处理软件；

能够运行所述图像处理软件的控制器(3)，所述控制器与所述光源控制连接、用于控制所述光源按时序照射不同波长的光线，所述控制器与所述图像传感器控制连接、用于控制所述图像传感器针对每一种波长的光线，获取至少一张对应的单色光图像。

8.根据权利要求7所述的多光谱成像系统，其特征在于，

所述光源与所述图像传感器集成在一个摄像头内；

或，所述光源与所述图像传感器为分体结构。

9.根据权利要求7所述的多光谱成像系统，其特征在于，

所述控制器与所述光源通过数据线有线连接。

10.根据权利要求7所述的多光谱成像系统，其特征在于，

所述图像传感器与所述控制器通过数据线有线连接。

Images