CN115299858A - 基于白光led照明特征光谱成像的内窥镜装置及应用方法 - Google Patents
基于白光led照明特征光谱成像的内窥镜装置及应用方法 Download PDFInfo
- Publication number
- CN115299858A CN115299858A CN202210962243.8A CN202210962243A CN115299858A CN 115299858 A CN115299858 A CN 115299858A CN 202210962243 A CN202210962243 A CN 202210962243A CN 115299858 A CN115299858 A CN 115299858A
- Authority
- CN
- China
- Prior art keywords
- light
- blue
- green
- light source
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明涉及一种基于白光LED照明特征光谱成像的内窥镜装置及应用方法,所述装置包括内窥镜手柄、连接线、主机和显示器,所述的内窥镜手柄采集的图像通过连接线传输到主机,经主机处理后传输到显示器,所述的内窥镜手柄包括用于照亮检测场景的白光LED与用于对检测场景进行成像的CMOS传感器。与现有技术相比,本发明解决了传统技术需要CCD传感器与窄带照明设计的问题,首次在常见的硬件需求下,实现了特征光谱成像技术,使该技术具有的病灶识别能力推广了到可以避免交叉感染的一次性内镜应用之中等。
Description
技术领域
本发明涉及内窥镜领域,尤其是涉及一种基于白光LED照明特征光谱成像的内窥镜装置及应用方法。
背景技术
在传统内窥镜应用中,使用窄带特征光谱光源对组织进行成像有助于早癌、息肉等病灶的发现,是内镜筛查的重要手段。在诸多应用中,以Olympus提出窄带成像技术(NBI)和富士胶片公司提出的BLI、LCI技术最为著名。
NBI是利用滤波器生成的415和540nm蓝绿窄带光对检测场景进行照明成像的技术。由于血红蛋白对这两个波段光的吸收作用达到峰值,所以使用此种照明可以对血管组织丰富的黏膜结构进行识别从而发现早期病变。
BLI技术使用可以强调血管的波长在440-460nm的窄带光源对场景进行照明成像,使用BLI技术可以达到NBI同等检测水平且通过提高照明强度的方式可以增强检测性能。
LCI技术是结合白色光和窄带波长光对场景进行照明成像的技术。通过对白色光和窄带光的调整与转换可以使黏膜附近的细微色差更易于识别。
以上技术虽然可以利用窄带光照明的特点对病灶特征进行增强。但是此类系统均需要利用CCD作为图像采集传感器,且需要比较复杂的光源设计。这种情况会明显增加检测系统构建的复杂性与成本,减少了特征光谱成像在内窥镜领域的应用(尤其是一次性内窥镜)。因此传统特征光谱成像技术需要高成本传感器和特殊窄带光照明的问题成为本发明需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于白光LED照明特征光谱成像的内窥镜装置及应用方法。
本发明的目的可以通过以下技术方案来实现:
根据本发明的一个方面,提供了一种基于白光LED照明特征光谱成像的内窥镜装置,包括内窥镜手柄、连接线、主机和显示器,所述的内窥镜手柄采集的图像通过连接线传输到主机,经主机处理后传输到显示器,所述的内窥镜手柄包括用于照亮检测场景的白光LED与用于对检测场景进行成像的CMOS传感器。
作为优选的技术方案,所述的连接线内置用于周期性控制白光LED的照明亮度的光源控制器。
作为优选的技术方案,所述的主机包括视频输入、FPGA和视频输出;
所述的视频输入用于接收由连接线传送过来的从CMOS传感器上采集的图像;所述的FPGA用于为光源控制器提供指令,指导其完成白光LED控制,并根据白光LED光谱和传感器特性对采集图像进行转换;所述的视频输出用于传输FPGA处理后的图像至显示器。
作为优选的技术方案,所述的CMOS传感器像素的表面集成微型滤光片,使传感器每个像素分别可以对不同波长的光进行成像。
根据本发明的另一个方面,提供了一种采用所述的基于白光LED照明特征光谱成像的内窥镜装置的应用方法,该方法包括以下步骤:
步骤1、图像采集:CMOS传感器采集检测场景原始图像;
步骤2、原始图像:原始图像由连接器传送到FPGA;
步骤3、图像处理:FPGA进行初步的图像处理操作;
步骤4、色彩变换:FPGA对处理过的图像进行特征光谱成像的色彩变换;
步骤5、结果图像:FPGA生成结果图像。
作为优选的技术方案,所述步骤3具体为:
对CMOS传感器采集的原始图像进行驱噪、结构增强、动态范围矫正与增强、色彩矫正与增强处理。
作为优选的技术方案,所述步骤4具体包括:
步骤4.1、CMOS传感器不同颜色像素获取的灰度值表示,如下公式所示:
其中GVc为CMOS像素获取的灰度值,λ表示波长,λl、λh为光源的最高与最低波长,Qe为当前像素对于特定波长光的相对量子效率,φs为特定波长光在光源中的相对光通量,Vλ为特定波长光的通量功率转换系数,P为光源的发光功率,I为传感器接收光功率与像素灰度值的比例关系;
步骤4.2、对步骤4.1的公式进行转换:
步骤4.3、获得恢复后的绿色与蓝色灰度值后,利用以下公式进行色彩变换:
其中和表示蓝色和绿色色彩变换后的灰度值,和分别表示传感器对540nm和415nm光的量子转换效率,和分别表示光源在540nm和415nm的相对光通量,V540和V415表示540nm和415nm光的通量功率转换比;至此完成了蓝绿光的色彩变换;
步骤4.4、以上蓝绿色光的转换结果归纳为以下两式:
运用以上公式,即可完成蓝绿色光的色彩转换;
步骤4.5、为了保证图像的色彩平衡,对红色通道进行以下处理:
作为优选的技术方案,所述步骤4.2用来消除灰度值内不属于绿色与蓝色的成分,即获取绿色和蓝色波长与全波段光范围传感器的响应和光源分布的比例,从而恢复绿色与蓝色波段内原始的灰度值。
作为优选的技术方案,所述步骤4.3可以将505nm到566nm绿光的光功率灰度值转换比例换算为540nm光的转换比例;同理,350nm到480nm蓝光也换算为415nm光的转换比例。
作为优选的技术方案,所述步骤4.4在实际应用中,以下离散形式也适用:
其中Δλ为离散光波长的差值。
与现有技术相比,本发明具有以下优点:
1、在传统特征光谱成像技术之上,本发明提出了基于CMOS传感器和白光LED构成的特征光谱成像技术。
2、本发明成功解决了传统技术需要CCD传感器与窄带照明设计的问题,首次在常见的硬件需求下,实现了特征光谱成像技术,使该技术具有的病灶识别能力推广了到可以避免交叉感染的一次性内镜应用之中。
3、本发明改进了传统特征光谱成像技术需要高成本传感器和特殊窄带光照明的问题,使发明提出方法更适用于一次性内镜应用场景。
附图说明
图1为本发明装置的结构示意图;
图2为本发明方法的流程图;
图3为镁光MT9T031-C传感器的光谱响应曲线;
图4为LED的照明光谱分布图。
其中1为内窥镜手柄,11为白光LED,12为CMOS传感器,2为连接线,21为光源控制器,3为主机,31为视频输入,32为FPGA,33为视频输出,4为显示器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
如图1所示,一种基于白光LED照明特征光谱成像的内窥镜装置,包括内窥镜手柄1、连接线2、主机3和显示器4,所述的内窥镜手柄1采集的图像通过连接线2传输到主机3,经主机3处理后传输到显示器4,所述的内窥镜手柄11包括白光LED11与CMOS传感器12,所述的白光LED11用于照亮检测场景,所述的CMOS传感器12用于对检测场景进行成像。
所述的连接线2包括光源控制器21,所述的光源控制器21用于周期性的控制白光LED的照明亮度。所述的主机3包括视频输入31、FPGA32和视频输出33,所述的视频输入31用于接收由连接线传送过来的从CMOS传感器12上采集的图像;所述的FPGA32用于为光源控制器提供指令,指导其完成白光LED控制,并根据白光LED光谱和Sensor特性对采集图像进行转换;所述的视频输出33用于传输FPGA处理后的图像至显示器4。
如图2所示,一种采用所述的基于白光LED照明特征光谱成像的内窥镜装置的方法,该方法包括以下步骤:
步骤1、图像采集:CMOS传感器采集检测场景原始图像;
步骤2、原始图像:原始图像由连接器传送到FPGA;
步骤3、图像处理:FPGA进行初步的图像处理操作;
步骤4、色彩变换:FPGA对处理过的图像进行特征光谱成像的色彩变换;
步骤5、结果图像:FPGA生成结果图像;
传统特征光谱成像原理:
CMOS传感器像素的表面一般都集成微型滤光片,这使传感器每个像素分别可以对不同波长的光进行成像,像素的这种成像能力可由传感器的光谱响应曲线反映。如图3所示,以镁光MT9T031-C传感器为例,图中,横坐标为吸收光的波长,纵坐标为光电转换效率,此图可以说明装载不同滤光片的像素对不同波长的光的吸收作用不同,造成传感器对不同波长光的光电转换效率不同。
除此之外,LED光源功率在各波长上的分布也有不同,如图4所示,以欧司朗GWVJLPE1.EM光源为例,显示了该LED的照明光谱分布,其中横坐标为发射光的波长,纵坐标为相对光通量。由图可见,此光源在蓝光波段的相对光通量低,而在红光波段的相对光通量高。
基于传统特征光谱成像原理,结合CMOS传感器与照明光源的特点,本发明提出了以下色彩转换方法:
步骤4.1、CMOS不同颜色像素获取的灰度值与以下公式相关:
以上式中,GVc为CMOS像素获取的灰度值,λlλh为光源的最高与最低波长(一般为350nm-800nm),Qe为当前像素对于特定波长光的相对量子效率,φs为特定波长光在光源中的相对光通量,Vλ为特定波长光的通量功率转换系数,P为光源的发光功率,I为传感器接收光功率与像素灰度值的比例关系。
步骤4.2、为了使各像素的值与传统特征光谱成像应用相似,提出了以下转换公式:
上式中,GVg和GVb表示步骤4.1处理从CMOS传感器中恢复的绿色与蓝色像素点灰度值(即由图像原始数据经过插值之后得到的图像的蓝绿灰度值)。和表示由以上公式执行的色彩转换恢复出来的绿色与蓝色像素值。由于传感器在蓝绿通道采集过程中,会接收到绿色与蓝色光谱之外的成分,所以此步骤用来消除灰度值内不属于绿色与蓝色的成分,即获取绿色和蓝色波长与全波段光范围传感器的响应和光源分布的比例,从而恢复绿色与蓝色波段内原始的灰度值。
步骤4.3、获得恢复后的绿色与蓝色灰度值后,为使绿色和蓝色光谱可以成像出540和415nm特征光谱的照明性能,利用以下公式进行色彩变换:
上式中,和表示蓝色和绿色色彩变换后的灰度值,和分别表示传感器对540nm和415nm光的量子转换效率,和分别表示光源在540nm和415nm的相对光通量,V540和V415表示540nm和415nm光的通量功率转换比。利用以上公式可以将505nm到566nm绿光的光功率灰度值转换比例换算为540nm光的转换比例。同理,350nm到480nm蓝光也可换算为415nm光的转换比例。至此,完成了蓝绿光的色彩变换。
步骤4.4、以上蓝绿色光的转换结果归纳为以下两式:
在实际应用中,以下离散形式也可适用:
上式中,Δλ为离散光波长的差值。运用以上公式,即可完成蓝绿色光的色彩转换。
步骤4.5、为了保证图像的色彩平衡,对红色通道进行以下处理:
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于白光LED照明特征光谱成像的内窥镜装置,包括内窥镜手柄、连接线、主机和显示器,所述的内窥镜手柄采集的图像通过连接线传输到主机,经主机处理后传输到显示器,其特征在于,所述的内窥镜手柄包括用于照亮检测场景的白光LED与用于对检测场景进行成像的CMOS传感器。
2.根据权利要求1所述的一种基于白光LED照明特征光谱成像的内窥镜装置,其特征在于,所述的连接线内置用于周期性控制白光LED的照明亮度的光源控制器。
3.根据权利要求2所述的一种基于白光LED照明特征光谱成像的内窥镜装置,其特征在于,所述的主机包括视频输入、FPGA和视频输出;
所述的视频输入用于接收由连接线传送过来的从CMOS传感器上采集的图像;所述的FPGA用于为光源控制器提供指令,指导其完成白光LED控制,并根据白光LED光谱和传感器特性对采集图像进行转换;所述的视频输出用于传输FPGA处理后的图像至显示器。
4.根据权利要求1所述的一种基于白光LED照明特征光谱成像的内窥镜装置,其特征在于,所述的CMOS传感器像素的表面集成微型滤光片,使传感器每个像素分别可以对不同波长的光进行成像。
5.一种采用权利要求1-4中任一所述的基于白光LED照明特征光谱成像的内窥镜装置的应用方法,其特征在于,该方法包括以下步骤:
步骤1、图像采集:CMOS传感器采集检测场景原始图像;
步骤2、原始图像:原始图像由连接器传送到FPGA;
步骤3、图像处理:FPGA进行初步的图像处理操作;
步骤4、色彩变换:FPGA对处理过的图像进行特征光谱成像的色彩变换;
步骤5、结果图像:FPGA生成结果图像。
6.根据权利要求5所述的方法,其特征在于,所述步骤3具体为:
对CMOS传感器采集的原始图像进行驱噪、结构增强、动态范围矫正与增强、色彩矫正与增强处理。
7.根据权利要求5所述的方法,其特征在于,所述步骤4具体包括:
步骤4.1、CMOS传感器不同颜色像素获取的灰度值表示,如下公式所示:
其中GVc为CMOS像素获取的灰度值,λ表示波长,λl、λh为光源的最高与最低波长,Qe为当前像素对于特定波长光的相对量子效率,φs为特定波长光在光源中的相对光通量,Vλ为特定波长光的通量功率转换系数,P为光源的发光功率,I为传感器接收光功率与像素灰度值的比例关系;
步骤4.2、对步骤4.1的公式进行转换:
步骤4.3、获得恢复后的绿色与蓝色灰度值后,利用以下公式进行色彩变换:
其中和表示蓝色和绿色色彩变换后的灰度值,和分别表示传感器对540nm和415nm光的量子转换效率,和分别表示光源在540nm和415nm的相对光通量,V540和V415表示540nm和415nm光的通量功率转换比;至此完成了蓝绿光的色彩变换;
步骤4.4、以上蓝绿色光的转换结果归纳为以下两式:
运用以上公式,即可完成蓝绿色光的色彩转换;
步骤4.5、为了保证图像的色彩平衡,对红色通道进行以下处理:
8.根据权利要求7所述的方法,其特征在于,所述步骤4.2用来消除灰度值内不属于绿色与蓝色的成分,即获取绿色和蓝色波长与全波段光范围传感器的响应和光源分布的比例,从而恢复绿色与蓝色波段内原始的灰度值。
9.根据权利要求7所述的方法,其特征在于,所述步骤4.3可以将505nm到566nm绿光的光功率灰度值转换比例换算为540nm光的转换比例;同理,350nm到480nm蓝光也换算为415nm光的转换比例。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210962243.8A CN115299858A (zh) | 2022-08-11 | 2022-08-11 | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210962243.8A CN115299858A (zh) | 2022-08-11 | 2022-08-11 | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115299858A true CN115299858A (zh) | 2022-11-08 |
Family
ID=83860943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210962243.8A Pending CN115299858A (zh) | 2022-08-11 | 2022-08-11 | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115299858A (zh) |
-
2022
- 2022-08-11 CN CN202210962243.8A patent/CN115299858A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
US10779714B2 (en) | Image processing apparatus, method for operating image processing apparatus, and image processing program | |
US10335014B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP4709606B2 (ja) | 生体観測装置 | |
JP5670264B2 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
WO2017183307A1 (ja) | 内視鏡システム、画像処理装置、及び画像処理装置の作動方法 | |
WO2006025334A1 (ja) | 内視鏡装置 | |
US9962070B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
CN108830825B (zh) | 内窥镜系统及其工作方法 | |
US9595117B2 (en) | Image processing device and method for operating endoscope system | |
WO2018061414A1 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
CN111050629B (zh) | 内窥镜系统 | |
JP5948203B2 (ja) | 内視鏡システム及びその作動方法 | |
JP5715602B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
CN114430667A (zh) | 内窥镜系统及其工作方法 | |
WO2020035929A1 (ja) | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム | |
JP2010200883A (ja) | 内視鏡画像処理装置および方法ならびにプログラム | |
CN116869461B (zh) | 内窥镜系统、内窥镜图像的处理方法、设备及存储介质 | |
CN113366366B (zh) | 内窥镜系统 | |
CN112137564A (zh) | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 | |
CN115299858A (zh) | 基于白光led照明特征光谱成像的内窥镜装置及应用方法 | |
CN112004455A (zh) | 医疗图像处理系统 | |
CN111712178A (zh) | 内窥镜系统及其工作方法 | |
JP2010213746A (ja) | 内視鏡画像処理装置および方法ならびにプログラム | |
CN114027765B (zh) | 荧光内窥镜系统、控制方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |