CN110611779A - 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 - Google Patents

一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 Download PDF

Info

Publication number
CN110611779A
CN110611779A CN201910924844.8A CN201910924844A CN110611779A CN 110611779 A CN110611779 A CN 110611779A CN 201910924844 A CN201910924844 A CN 201910924844A CN 110611779 A CN110611779 A CN 110611779A
Authority
CN
China
Prior art keywords
filter
optical
optical filter
imaging
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910924844.8A
Other languages
English (en)
Other versions
CN110611779B (zh
Inventor
朱凝
刘琼
魏波
郑晓明
邵军
汪洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201910924844.8A priority Critical patent/CN110611779B/zh
Publication of CN110611779A publication Critical patent/CN110611779A/zh
Application granted granted Critical
Publication of CN110611779B publication Critical patent/CN110611779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Abstract

本发明涉及一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法，该成像装置中用于图像传感器的彩色滤光片包含有多个滤光片排布单元，其滤光片排布单元在绿色以及近红外滤光片的抽样密度达到3/8，蓝色以及红色滤光片的抽样密度达到1/8时，能够同时获取物理反射的可见光以及激发的近红外光，获得了准确的彩色数据。在包含有该彩色绿光片的图像传感器前设置陷波滤波器进一步实现了成像的准确性。该成像装置应用于医学成像中，实现了对目标组织的高灵敏度。

Description

一种基于单图像传感器同时获取可见光与近红外波段的成像 装置及其成像方法
技术领域
本发明涉及光学成像领域，具体涉及一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法。
背景技术
吲哚菁绿(ICG)作为近红外显影剂在临床治疗上已经有较为广泛的应用。然而，近红外光人眼看不到，需要特殊的光学成像系统，以近红外荧光团为造影剂，当一种波长的近红外光照射外科手术视野时，手术视野发射出另外一种波长的近红外光，摄取这种发射的近红外光可以精确确定近红外荧光团的位置。在早期诊断或手术中，使用可见光照射，光到达人体组织及操作器械等处时，反射光经内窥镜通道到达相机的图像传感器，处理可见光信号能够清晰显像各种组织结构、操作位置等重要信息，因此同时获取并处理可见光及荧光显影剂的近红外信号将能满足精准定位组织的要求。在同时成像过程中，接收并处理可见光及近红外信号有使用双相机、双CCD相机、三相机等需双通道或三通道方法，但在时间或空间上的错位可能会影响成像效果，且设备的集成度与便携度较差。
发明内容
针对现有技术中存在的技术问题，本发明的首要目的是：提供一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法。基于上述目的，本发明至少提供如下技术方案：
一种用于图像传感器的彩色滤光片，其包括多个滤光片排布单元，所述多个滤光片排布单元按照在纵横方向上反复配置的方式排布，
所述滤光片排布单元包括依次间隔排列的第一滤光片排布子单元以及第二滤光片排布子单元，所述第一滤光片排布子单元以及所述第二滤光片排布子单元均在纵横方向上以两行两列的田格状排列形成；
所述第一滤光片排布子单元中，其包括一个第一滤光片、一个第二滤光片、一个第三滤光片以及一个第四滤光片；
所述第二滤光片排布子单元中，其包括两个第一滤光片以及两个第四滤光片；
所述第一滤光片以及所述第四滤光片分别选择绿色滤光片以及近红外滤光片中的一种，所述第二滤光片以及所述第三滤光片分别选择红色滤光片以及蓝色滤光片中的一种，所述第一滤光片与所述第四滤光片不相同，所述第二滤光片与所述第三滤光片不相同。
进一步的，所述第一滤光片是绿光滤光片，所述第二滤光片是红光滤光片，所述第三滤光片是绿光滤光片，所述第四滤光片是红外滤光片。
进一步的，所述第一滤光片是绿色滤光片，所述第二滤光片是蓝色滤光片，所述第三滤光片是红色滤光片，所述第四滤光片是红外滤光片。
进一步的，所述第一滤光片以及第四滤光片的抽样密度各占所述滤光片排布单元的3/8，所述第二滤光片以及所述第三滤光片的抽样密度各占所述滤光片排布单元的1/8。
一种基于单图像传感器同时获取可见光与近红外波段的成像装置，其包括图像传感器，所述图像传感器包括上述彩色滤光片。
进一步的，还包括光源以及陷波滤波器，所述光源发射的光包括激发光，所述陷波滤波器的阻挡波段对应于所述激发光波段。
进一步的，所述光源发射的光信号经所述陷波滤波器之后传输至所述图像传感器。
进一步的，所述成像装置用于医学成像。
一种基于单图像传感器同时获取可见光与近红外波段的成像方法，其包括：
波段涉及可见光以及荧光激发光的光信号传输至权利要求5-7的所述成像装置，所述成像装置同时接受并处理所述可见光以及所述荧光激发光的光信号，并对所述可见光以及所述荧光激发光去马赛克化、颜色校正以及融合后显示成像。
进一步的，所述成像方法用于医学成像。
与现有技术相比，本发明至少具有如下有益效果：
本发明的成像装置中用于图像传感器的彩色滤光片中包含有多个滤光片排布单元，该滤光片排布单元中绿色以及近红外滤光片的抽样密度达到3/8，蓝色以及红色滤光片的抽样密度达到1/8时，能够同时获取物理反射的可见光以及激发的近红外光，获得了准确的彩色数据。且在包含有该彩色绿光片的图像传感器前设置陷波滤波器进一步实现了成像的准确性。该成像装置应用于医学成像中，实现了对目标组织的高灵敏度。
附图说明
图1是传统的滤光片排布阵列。
图2是本发明基于单图像传感器同时获取可见光与近红外波段的成像装置示意图。
图3是本发明图像传感器的结构示意图。
图4是本发明一实施例的彩色滤光片阵列。
图5是采用本发明的单图像传感器同时接收并处理彩色信号以及近红外信号的图像处理流程图。
图6为包含传统色彩滤光片阵列的CCD拍摄的图片。
图7为本发明的成像装置拍摄的图片。
具体实施方式
下面来对本发明做进一步详细的说明。
图2是本发明基于单图像传感器同时获取可见光与近红外波段的成像装置示意图，本发明的成像装置可用于医学成像。如图所示，该成像装置包括透镜模块、图像传感器、图像处理模块、显示部以及控制模块。
光源包括可见光光源以及激发光光源，光源照射待测物体时，同时发射可见光以及激发光，待测物体反射可见光，并受激发光激发后发射荧光激发带。该实施例中以吲哚菁绿荧光试剂为例，选用785nm的激光作为激发光光源。使光源照射待测物体，光源中的激发光光源激发待测物体中的吲哚菁绿荧光试剂发射荧光激发带，荧光激发带的主波长不同于激光光源的波长。
待测物体反射的可见光以及待测物体发射的荧光激发带经透镜聚焦后传输至图像传感器中，图像传感器同时采集荧光信号以及可见光信号，并将光信号转换为电信号，将其传输至图像处理模块，经过图像处理模块将电信号转换为对应波长的图像，在显示部上显示，实现荧光与可见光图像的同时成像。
在本发明的实施例中，图像传感器为CCD图像传感器，该CCD图像传感器的结构如图3所示，其包括多晶硅电极1、光电二极管、抗反射层4、彩色滤光片以及微透镜阵列5，光电二极管包括N型硅层2以及P型硅层3。
本实施例图像传感器中的彩色滤光片包括有多个滤光片排布单元，多个滤光片排布单元按照在纵横方向上反复配置的方式排布，该滤光片排布单元包括依次间隔排列的第一滤光片排布子单元以及第二滤光片排布子单元，第一滤光片排布子单元以及第二滤光片排布子单元均在纵横方向上以两行两列的田格状排列形成。
第一滤光片排布子单元包括一个第一滤光片、一个第二滤光片、一个第三滤光片以及一个第四滤光片，该第一滤光片、第二滤光片、第三滤光片以及第四滤光片可以按照顺时针或逆时针顺序排布形成田格状的第一滤光片排布子单元。第二滤光片排布子单元包括两个第一滤光片以及两个第四滤光片，两个第一滤光片以及两个第四滤光片排布形成田格状的第二滤光片排布子单元。
第一滤光片以及第四滤光片分别选择绿色滤光片以及近红外滤光片中的一种。第二滤光片以及第三滤光片分别选择红色滤光片以及蓝色滤光片中的一种，所述第一滤光片与所述第四滤光片不相同，所述第二滤光片与所述第三滤光片不相同。
在一实施例中第一滤光片是绿光滤光片，第二滤光片是红光滤光片，第三滤光片是绿光滤光片，第四滤光片是红外滤光片；在另一实施例中第一滤光片是绿色滤光片，第二滤光片是蓝色滤光片，第三滤光片是红色滤光片，第四滤光片是红外滤光片。在另一实施例中，第一滤光片是红外滤光片，第二滤光片是蓝色滤光片，第三滤光片是红色滤光片，第四滤光片是绿色滤光片。
本发明的成像装置需要较高准确率的近红外数据，单色抽样密度越大越能够采集较多单色的抽样数据，其中红色滤光片的抽样密度占滤光片排布单元的1/8，绿色滤光片的抽样密度占滤光片排布单元的3/8，蓝色滤光片的抽样密度占滤光片排布单元的1/8，近红外滤光片的抽样密度占滤光片排布单元的3/8。绿色及近红外滤光片的抽样密度达到3/8，可以使用绿色图像作为指导图像(guide image)能够得到较为准确的彩色图像，近红外图像也会较为准确，图1是传统的彩色滤光片排布阵列，图4是本发明一实施例中的彩色滤光片排布阵列示意图。基于此的四色滤光片排布阵列单元可以满足近红外数据的高准确率。
光信号经透镜聚焦之后传输至CCD图像传感器之前，设置相应波长的陷波滤波器，在该实施例中，选用与吲哚菁绿荧光试剂激发光波长相对应的陷波滤波器，该陷波滤波器的阻挡波段为765-805nm的红外光。
图5为本发明图像传感器同时接收并处理彩色信号及近红外信号的图像处理流程图。如图所示，其包括三个连续过程：去马赛克化、颜色校正以及彩色与近红外图像的融合。去马赛克化是根据指导图像将各个单色的图像数据做插值处理，重建红绿蓝及近红外各个单色的完整图像，因为在每个像素中只有一个波段的图像数据；颜色校正是除去在彩色图像中的近红外光部分并建立标准彩色图像；图像融合是将处理完全的彩色图像与近红外图像融合，由于近红外光人眼无法看到，使用伪彩将近红外标记，共同与彩色图像显示。近红外荧光和反射的可见光同时捕获，可作为物理组织的参考，为医学成像提供了一种更加准确的方式。
如图6与图7，分别为相同实验环境下，使用传统四色均匀分布(即红、绿、蓝、近红外像素各占1/4)的单CCD拍摄图片与本发明所提出的色彩阵列单CCD拍摄图片的实验鼠图片，图6及图7中的(a)图(即左图)均为近红外图像，(b)图均为彩色图像。由图可知，该发明中所提出的图像传感器在近红外荧光成像上具有更加准确、清晰、对比度更高的优点。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种用于图像传感器的彩色滤光片，其包括多个滤光片排布单元，所述多个滤光片排布单元按照在纵横方向上反复配置的方式排布，其特征在于，
所述滤光片排布单元包括依次间隔排列的第一滤光片排布子单元以及第二滤光片排布子单元，所述第一滤光片排布子单元以及所述第二滤光片排布子单元均在纵横方向上以两行两列的田格状排列形成；
所述第一滤光片排布子单元中，其包括一个第一滤光片、一个第二滤光片、一个第三滤光片以及一个第四滤光片；
所述第二滤光片排布子单元中，其包括两个第一滤光片以及两个第四滤光片；
所述第一滤光片以及所述第四滤光片分别选择绿色滤光片以及近红外滤光片中的一种，所述第二滤光片以及所述第三滤光片分别选择红色滤光片以及蓝色滤光片中的一种，所述第一滤光片与所述第四滤光片不相同，所述第二滤光片与所述第三滤光片不相同。
2.根据权利要求1的所述彩色滤光片，其特征在于，所述第一滤光片是绿光滤光片，所述第二滤光片是红光滤光片，所述第三滤光片是绿光滤光片，所述第四滤光片是红外滤光片。
3.根据权利要求1的所述彩色滤光片，其特征在于，所述第一滤光片是绿色滤光片，所述第二滤光片是蓝色滤光片，所述第三滤光片是红色滤光片，所述第四滤光片是红外滤光片。
4.根据权利要求1或2的所述彩色滤光片，其特征在于，所述第一滤光片以及第四滤光片的抽样密度各占所述滤光片排布单元的3/8，所述第二滤光片以及所述第三滤光片的抽样密度各占所述滤光片排布单元的1/8。
5.一种基于单图像传感器同时获取可见光与近红外波段的成像装置，其特征在于，其包括图像传感器，所述图像传感器包括权利要求1-4的所述彩色滤光片。
6.根据权利要求5的所述成像装置，其特征在于，还包括光源以及陷波滤波器，所述光源发射的光包括激发光，所述陷波滤波器的阻挡波段对应于所述激发光波段。
7.根据权利要求6的所述成像装置，其特征在于，所述光源发射的光信号经所述陷波滤波器之后传输至所述图像传感器。
8.根据权利要求5-7之一的所述成像装置，其特征在于，所述成像装置用于医学成像。
9.一种基于单图像传感器同时获取可见光与近红外波段的成像方法，其特征在于，其包括：
波段涉及可见光以及荧光激发光的光信号传输至权利要求5-7的所述成像装置，所述成像装置同时接受并处理所述可见光以及所述荧光激发光的光信号，并对所述可见光以及所述荧光激发光去马赛克化、颜色校正以及融合后显示成像。
10.根据权利要求9的所述成像方法，其特征在于，所述成像方法用于医学成像。
CN201910924844.8A 2019-09-27 2019-09-27 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 Active CN110611779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910924844.8A CN110611779B (zh) 2019-09-27 2019-09-27 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910924844.8A CN110611779B (zh) 2019-09-27 2019-09-27 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法

Publications (2)

Publication Number Publication Date
CN110611779A true CN110611779A (zh) 2019-12-24
CN110611779B CN110611779B (zh) 2021-11-26

Family

ID=68893607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910924844.8A Active CN110611779B (zh) 2019-09-27 2019-09-27 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法

Country Status (1)

Country Link
CN (1) CN110611779B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161636A (ja) * 2009-01-08 2010-07-22 Toyota Central R&D Labs Inc 撮影装置用フィルタ及び撮影画像処理装置
US20100295947A1 (en) * 2009-05-21 2010-11-25 Pierre Benoit Boulanger Multi-Spectral Color and IR Camera Based on Multi-Filter Array
CN102404581A (zh) * 2011-11-02 2012-04-04 清华大学 基于插值与近红外的彩色图像处理的方法和装置
CN103971351A (zh) * 2013-02-04 2014-08-06 三星泰科威株式会社 使用多光谱滤光器阵列传感器的图像融合方法和设备
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN106911919A (zh) * 2017-03-24 2017-06-30 陈兵 彩色图像传感器及彩色图像成像方法
CN106911876A (zh) * 2015-12-22 2017-06-30 三星电子株式会社 用于输出图像的方法和设备
CN108370422A (zh) * 2015-12-11 2018-08-03 塔莱斯公司 利用单个矩阵传感器采集可见和近红外图像的系统和方法
US20180366507A1 (en) * 2017-05-24 2018-12-20 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light pixels
CN109276231A (zh) * 2018-11-15 2019-01-29 豪威科技(上海)有限公司 一种成像系统及成像方法
US20190075233A1 (en) * 2017-09-01 2019-03-07 Qualcomm Incorporated Extended or full-density phase-detection autofocus control
CN109922283A (zh) * 2017-12-04 2019-06-21 佳能株式会社 摄像设备及摄像设备的控制方法
CN109981940A (zh) * 2017-11-30 2019-07-05 普里露尼库斯股份有限公司 固体摄像装置、用于驱动固体摄像装置的方法和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161636A (ja) * 2009-01-08 2010-07-22 Toyota Central R&D Labs Inc 撮影装置用フィルタ及び撮影画像処理装置
US20100295947A1 (en) * 2009-05-21 2010-11-25 Pierre Benoit Boulanger Multi-Spectral Color and IR Camera Based on Multi-Filter Array
CN102404581A (zh) * 2011-11-02 2012-04-04 清华大学 基于插值与近红外的彩色图像处理的方法和装置
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN103971351A (zh) * 2013-02-04 2014-08-06 三星泰科威株式会社 使用多光谱滤光器阵列传感器的图像融合方法和设备
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN108370422A (zh) * 2015-12-11 2018-08-03 塔莱斯公司 利用单个矩阵传感器采集可见和近红外图像的系统和方法
CN106911876A (zh) * 2015-12-22 2017-06-30 三星电子株式会社 用于输出图像的方法和设备
CN106911919A (zh) * 2017-03-24 2017-06-30 陈兵 彩色图像传感器及彩色图像成像方法
US20180366507A1 (en) * 2017-05-24 2018-12-20 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light pixels
US20190075233A1 (en) * 2017-09-01 2019-03-07 Qualcomm Incorporated Extended or full-density phase-detection autofocus control
CN109981940A (zh) * 2017-11-30 2019-07-05 普里露尼库斯股份有限公司 固体摄像装置、用于驱动固体摄像装置的方法和电子设备
CN109922283A (zh) * 2017-12-04 2019-06-21 佳能株式会社 摄像设备及摄像设备的控制方法
CN109276231A (zh) * 2018-11-15 2019-01-29 豪威科技(上海)有限公司 一种成像系统及成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUSUKE MONNO ETC.: ""Single-Sensor RGB-NIR Imaging: High-Quality System Design and Prototype Implementation"", 《IEEE SENSORS JOURNAL 》 *
张建寰 等: ""多光谱阴道镜的微型化多通道滤光片设计"", 《光学精密工程》 *

Also Published As

Publication number Publication date
CN110611779B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US11900623B2 (en) Hyperspectral imaging with tool tracking in a light deficient environment
EP3106079B1 (en) Image capturing system and electronic endoscope system
US9468356B2 (en) Lesion evaluation information generator, and method and computer readable medium therefor
EP2629504B1 (en) Imaging apparatus
JP5498626B1 (ja) 内視鏡装置
JP5191090B2 (ja) 内視鏡装置
EP2604176A1 (en) Imaging device
US10357204B2 (en) Endoscope system and operating method thereof
US11533417B2 (en) Laser scanning and tool tracking imaging in a light deficient environment
EP3085300A1 (en) Endoscope device
US10602919B2 (en) Imaging device
JP5930474B2 (ja) 内視鏡システム及びその作動方法
US20200397278A1 (en) Endoscope system, image processing apparatus, image processing method, and recording medium
JP6245710B2 (ja) 内視鏡システム及びその作動方法
CN110611779B (zh) 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
JPH04357926A (ja) 内視鏡装置
US20180092519A1 (en) Infrared fluorescence observation device
JP2003018467A (ja) 電荷増倍型固体電子撮像装置およびその制御方法
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP5483522B2 (ja) 画像取得装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
US20230363629A1 (en) Image forming apparatus
JP2021003347A (ja) 医療用画像処理装置及び医療用観察システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant