CN113616138B - 一种多光谱内窥镜图像处理系统 - Google Patents

一种多光谱内窥镜图像处理系统 Download PDF

Info

Publication number
CN113616138B
CN113616138B CN202110886762.6A CN202110886762A CN113616138B CN 113616138 B CN113616138 B CN 113616138B CN 202110886762 A CN202110886762 A CN 202110886762A CN 113616138 B CN113616138 B CN 113616138B
Authority
CN
China
Prior art keywords
image
image processing
sub
multispectral
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110886762.6A
Other languages
English (en)
Other versions
CN113616138A (zh
Inventor
王希光
张柳音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuangyiqi Electronics Co ltd
Original Assignee
Beijing Shuangyiqi Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuangyiqi Electronics Co ltd filed Critical Beijing Shuangyiqi Electronics Co ltd
Priority to CN202110886762.6A priority Critical patent/CN113616138B/zh
Publication of CN113616138A publication Critical patent/CN113616138A/zh
Application granted granted Critical
Publication of CN113616138B publication Critical patent/CN113616138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种多光谱内窥镜图像处理系统，该系统包括光源模块、内窥镜和图像处理模块，其中：光源模块与照明光导进行连接，用于生成多种不同光谱的窄带照明光，并通过照明光导，将窄带照明光按照预设时序照射到被观察部位；内窥镜用于通过成像镜头接收经被观察部位表面返回的光信号，并通过彩色图像传感器将返回的每个光信号转换成对应的电信号，再将每个电信号发送到图像处理模块，其中，彩色图像传感器的表面设置有预设排列规则的马赛克彩色滤镜阵列；图像处理模块，用于通过动态范围增强算法，对彩色图像传感器转换得到的电信号进行处理，生成被观察部位对应的观察图像。本发明能够获取多种照明波段的高质量内镜图像。

Description

一种多光谱内窥镜图像处理系统
技术领域
本发明涉及电子内窥镜成像检查技术领域，尤其涉及一种多光谱内窥镜图像处理系统。
背景技术
电子内窥镜可以直接观察人体内器官表面的组织形态，是现代医疗检查的常用仪器之一。一般来说，电子内窥镜具有供给对体腔内被观察部位进行照射的照明光的光源装置、对被观察部位产生的返回光进行摄像的内窥镜、以及根据内窥镜产生的电子信号生成被观察部位图像的图像处理装置。
多光谱成像是一种基于多组窄带光成像的影像技术，将图像在光谱维度上进行细致分割，不仅是传统的黑白、灰度或红绿蓝三通道彩色图像，而是在光谱维度上有几十甚至上百个通道。因此，通过多光谱成像设备获取到的是一个图像数据立方，其每一层包含一种特定窄带光的图像信息。多光谱图像数据比传统红绿蓝数据对颜色的分辨率大幅提升，能够看到器官病变部位更细微的颜色变化。
现有的内窥镜实现多光谱成像一般采用灰度图像传感器，通过不断改变光源装置照射光的光谱实现分时多光谱成像，但是这种光谱切换方式较复杂，且无法较容易地实现常规的红绿蓝彩色成像。因此，现在亟需一种多光谱内窥镜图像处理系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种多光谱内窥镜图像处理系统。
本发明提供一种多光谱内窥镜图像处理系统，包括：光源模块、内窥镜和图像处理模块，其中：
所述光源模块与设置在所述内窥镜中的照明光导进行连接，用于生成多种不同光谱的窄带照明光，并通过所述照明光导，将多种不同光谱的窄带照明光，按照预设时序照射到被观察部位；
所述内窥镜的头端设置有成像镜头和彩色图像传感器，用于通过所述成像镜头接收经所述被观察部位表面返回的光信号，并通过所述彩色图像传感器将返回的每个光信号转换成对应的电信号，再将每个电信号发送到所述图像处理模块，其中，所述彩色图像传感器的表面设置有预设排列规则的马赛克彩色滤镜阵列；
所述图像处理模块，用于通过动态范围增强算法，对所述彩色图像传感器转换得到的电信号进行处理，生成所述被观察部位对应的观察图像。
根据本发明提供的一种多光谱内窥镜图像处理系统，所述图像处理模块包括图像获取单元、子图像分离单元和动态范围增强单元，其中：
所述图像获取单元的输入端连接所述彩色图像传感器的输出端，用于获取所述电信号，并根据所述电信号的电平和时序，将所述电信号转化为对应的图像数据；
所述子图像分离单元的输入端连接所述图像获取单元的输出端，用于将所述图像数据按照所述马赛克彩色滤镜阵列的排布规则进行图像像素抽取，得到多个对应的子图像，其中，每个子图像对应所述马赛克彩色滤镜阵列中的一种颜色；
所述动态范围增强单元的输入端连接所述子图像分离单元的输出端，用于根据每个子图像的曝光度、每个子图像对应窄带照明光的光谱，以及所述马赛克彩色滤镜阵列的透过光谱，将多个子图像进行合成，得到观察图像。
根据本发明提供的一种多光谱内窥镜图像处理系统，所述图像处理模块还包括偏移对齐单元，用于对不同子图像的像素位置进行对齐修正，得到对齐修正后的子图像。
根据本发明提供的一种多光谱内窥镜图像处理系统，所述图像处理模块还包括分辨率还原单元，用于对每个子图像进行分辨率还原处理，以使得抽取得到的每个子图像的分辨率和图像数据对应的原始分辨率相同。
根据本发明提供的一种多光谱内窥镜图像处理系统，所述图像处理模块还包括高动态范围插补单元，用于将所述图像数据直接进行高动态范围插补，以保持所述图像数据的分辨率不变，得到高动态范围插补后的图像数据。
根据本发明提供的一种多光谱内窥镜图像处理系统，所述窄带照明光的波长范围为350nm至1000nm，带宽为5nm至30nm。
本发明提供的多光谱内窥镜图像处理系统，采用可切换的窄带滤光片过滤宽带照明光，生成多种光谱的窄带照明光，从而将滤过得到窄带照明光照射被观察物体；并采用表面设置有马赛克彩色滤镜阵列的彩色图像传感器拍摄被观察物体，能够获取多种照明波段的高质量内镜图像，也能够通过快速切换多个窄带滤光片来获得一个组织区域的光谱图像立方体数据。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的多光谱内窥镜图像处理系统的结构示意图；
图2为本发明提供的以2x2像素为重复单元的马赛克彩色滤镜阵列分布示意图；
图3为本发明提供的两种不同的滤镜透过曲线示意图；
图4为本发明提供的4*4分辨率的彩色图像分离成4个2*2子图像的示意图；
图5为本发明提供的多光谱滤光片组件的结构示意图；
图6为本发明提供的动态范围增强单元的原理示意图；
图7为本发明提供的子图像对齐的示意图；
图8为本发明提供的子图像恢复原始分辨率的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的多光谱内窥镜图像处理系统的结构示意图，如图1所示，本发明提供了一种多光谱内窥镜图像处理系统，包括光源模块101、内窥镜102和图像处理模块103，其中：
所述光源模块101与设置在所述内窥镜102中的照明光导1021进行连接，用于生成多种不同光谱的窄带照明光，并通过所述照明光导1021，将多种不同光谱的窄带照明光，按照预设时序照射到被观察部位。
在本发明中，在光源模块101内设置有照明单元1011，其中，照明单元1011可为氙灯、白色LED灯或卤素灯等常用宽谱照明光源。照明单元1011发出的照明光，经由多光谱滤光片组件1012，不同的滤光片被切入或切出光路，从而得到不同光谱的窄带照明光，并通过会聚透镜单元1013射入到内窥镜102的照明光导1021中，经由照明光导1021至照明透镜组件1024后射出内窥镜102，从而以预设的分布范围照射在被观察器官部位的表面。
所述内窥镜102的头端设置有成像镜头1022和彩色图像传感器1023，用于通过所述成像镜头1022接收经所述被观察部位表面返回的光信号，并通过所述彩色图像传感器1023将返回的每个光信号转换成对应的电信号，再将每个电信号发送到所述图像处理模块103，其中，所述彩色图像传感器1023的表面设置有预设排列规则的马赛克彩色滤镜阵列。
在本发明中，内窥镜102与光源模块101之间通过光通道连接，即在内窥镜102和光源模块101之间设置有照明光导1021(该照明光导1021安装在内窥镜102中，其进光端和光源模块101连接)，该照明光导1021可为光纤、液体光导或导光棒等常用光导。当被观察部位的表面所反射的光线通过成像透镜组件1022，在彩色图像传感器1023表面成像。在本发明中，彩色图像传感器1023表面设置有预设排列规则的马赛克彩色滤镜阵列，图2为本发明提供的以2x2像素为重复单元的马赛克彩色滤镜阵列分布示意图，如图2所示，A11、A12、A13和A14分别表示不同像素表面的滤镜，图3为本发明提供的两种不同的滤镜透过曲线示意图，其中，图3中的(a)为RGBG拜耳式滤镜的透过率曲线，B曲线代表对蓝色光的透过率比较高，G曲线代表对绿色光的透过率比较高，R曲线代表对红色光的透过率比较高；图3中的(b)为RGBW式滤镜的透过率曲线，W为对整个可见光波段均有较高的透过率。进一步地，如果A11像素表面的滤镜对应R曲线，A12与A13像素表面的滤镜对应G曲线，A14像素表面的滤镜对应G曲线，则彩色图像传感器1023为RGBG式图像传感器；如果A12或A13之一对应W曲线，则彩色图像传感器1023为RGBW式传感器。在本实施例中，彩色图像传感器1023不仅限于RGBG或RGBW式，同时也可以是常见的RGBIr或YCMG等形式。进一步地，彩色图像传感器1023将被观察部位返回的光信号转化为电信号，并以一定的电平和时序，输出至图像处理模块103。
所述图像处理模块103，用于通过动态范围增强算法，对所述彩色图像传感器1023转换得到的电信号进行处理，生成所述被观察部位对应的观察图像。
在本发明中，可参考图1所示，图像处理模块103中设置有图像获取单元1031，图像获取单元1031可将图像处理模1031输出的电信号，根据电平和时序，将该电信号转化为数字表示的图像格式并暂存于图像处理模块1031中。在一实施例中，图像处理模块103中设置有时序同步单元1032。在多光谱成像过程中，时序同步单元1032对光源模块101中的电机驱动单元1014与彩色图像传感器1023发出同步信号，从而保证在多光谱滤光片组件1012切换到预定位置时，彩色图像传感器1023开始曝光，保证彩色图像传感器1023传给图像处理模块103的每一帧图像的照明光谱是已知的。进一步地，当图像处理模块103中的图像获取单元1031获取到一帧图像后，图像分离单元1033会根据彩色图像传感器1023表面安装的马赛克彩色滤镜排布规律，以马赛克彩色滤镜的类型为依据抽取图像的像素，从而分成若干个子图像，可参考图2所示，在一实施例中，假设彩色图像传感器1023的分辨率为横向2x列，纵向2y行，则图像分离单元1033会将图像获取单元1031获取的图像抽取为四个分辨率均为横向x列、纵向y行的子图像，其中第一个子图像只包含A11类型的滤镜所对应的像素，第二个子图像只包含A12类型的滤镜所对应的像素，第三个子图像只包含A13类型的滤镜所对应的像素，第四个子图像只包含A14类型的滤镜所对应的像素。每一个子图像中像素的相对位置关系(上下左右)与原始图像相同。图4为本发明提供的4*4分辨率的彩色图像分离成4个2*2子图像的示意图，可参考图4所示，每个方块对应一个像素，不同斜线装饰的方块表示了该像素上有不同种类的微滤镜，当图像分离之后，每一个子图像都只包含对应同一种滤镜的像素数据。进一步地，当图像分离单元1033将原始图像(即通过图像获取单元1031得到的图像)分成多个对应不同类型滤镜的子图像后，动态范围增强单元1034将多个子图像合并为一个高动态范围图像，其分辨率与子图像相同，从而得到被观察部位对应的观察图像；最后，将得到的观察图像在显示器上进行显示，也可以传输至其他外部设备。需要说明的是，在本发明中，图像处理模块103可以是一个独立的装置，也可能是多个有处理能力的设备的组合体；图像处理模块103可以独立于光源模块101，也可以部分内置于光源模块101中，也可以全部内置于光源模块101中。
本发明提供的多光谱内窥镜图像处理系统，采用可切换的窄带滤光片过滤宽带照明光，生成多种光谱的窄带照明光，从而将滤过得到窄带照明光照射被观察物体；并采用表面设置有马赛克彩色滤镜阵列的彩色图像传感器拍摄被观察物体，能够获取多种照明波段的高质量内镜图像，也能够通过快速切换多个窄带滤光片来获得一个组织区域的光谱图像立方体数据。
在上述实施例的基础上，可参考图1所示，所述光源模块101包括照明单元1011、多光谱滤光片组件1012和会聚透镜单元1013，其中：
所述照明单元1011为宽谱照明光源，设置在所述多光谱滤光片组件1012的进光端，用于将生成的照明光发射到所述多光谱滤光片组件1012；
所述多光谱滤光片组件1012是由多个滤光片组成，用于按照预设的滤光片切换方式，使得所述照明单元1011生成的照明光穿过对应的滤光片，以生成不同光谱的窄带照明光；
所述会聚透镜单元1013设置在所述多光谱滤光片组件1012的出光端，用于将所述多光谱滤光片组件1012发射出的窄带照明光进行会聚，并将会聚后的窄带照明光通过所述照明光导发射到所述内窥镜102。
在上述实施例的基础上，所述窄带照明光的波长范围为350nm至1000nm，带宽为5nm至30nm。
在本发明中，图5为本发明提供的多光谱滤光片组件的结构示意图，可参考图5所示，多光谱滤光片组件1012由支持结构201、驱动连接结构202和多个滤光片203组成。在一实施例中，以具有30个孔洞安装滤光片的多光谱滤光片组件1012进行说明，使得照明光路可通过某一个滤光片孔洞。优选地，在本实施例中，当多光谱滤光片组件1012被驱动连接结构202所连接的驱动装置(可参考图1中的驱动装置1015，该驱动装置1015还可以调整多光谱滤光片组件1012的高度，从而在低位时，光不通过多光谱滤光片组件1012，在高位时，光会通过多光谱滤光片组件1012)驱动转动时，不同的滤光片被切入或切出光路，从而改变了照明光的光谱。
在上述实施例的基础上，所述多光谱滤光片组件包括宽光谱白光照明模式和窄带光照明模式，其中：
所述宽光谱白光照明模式，用于将所述照明单元生成的宽谱照明光源，通过所述照明光导，直接发射到所述内窥镜；
所述窄带光照明模式，用于在所述多光谱滤光片组件中的滤光片进行切换时，生成对应的窄带照明光，或，根据按照预设的滤光片切换方式，生成光谱变换的窄带照明光。
在本发明中，在多光谱滤光片组件102上，可在不少于一个滤光片的安装位置(即图5中的滤光片203)处不安装滤光片，只需安装挡光网或者安装中性灰度滤光片，从而不改变光谱曲线的形状，当该位置被切入光路时，照明单元1011发出宽光谱白光，适合常规的红绿蓝彩色成像；进一步地，通过图像处理模块103中的控制单元(可参考图1中的控制单元1035，该控制单元1035基于控制台获取相应的控制指令，从而对多个装置进行控制，例如，图像获取单元、时序控制单元和图像分离单元等)控制驱动单元1015驱动多光谱滤光片组件1012转动，当安装了窄带滤光片的位置被切入光路时，光源模块101发出窄带光，适合窄带光成像；当控制单元控制不同的滤光片以一定的时序顺次切入光路时，光源模块101发出光谱变换的窄带光，此时可用于多光谱成像，从而使得图像处理模块103能够根据光源模块101的照明模式，将彩色图像传感器1023传回的电信号还原为红绿蓝彩色图像或多光谱图像数据立方。
在上述实施例的基础上，所述图像处理模块包括图像获取单元、子图像分离单元和动态范围增强单元，其中：
所述图像获取单元的输入端连接所述彩色图像传感器的输出端，用于获取所述电信号，并根据所述电信号的电平和时序，将所述电信号转化为对应的图像数据；
所述子图像分离单元的输入端连接所述图像获取单元的输出端，用于将所述图像数据按照所述马赛克彩色滤镜阵列的排布规则进行图像像素抽取，得到多个对应的子图像，其中，每个子图像对应所述马赛克彩色滤镜阵列中的一种颜色；
所述动态范围增强单元的输入端连接所述子图像分离单元的输出端，用于根据每个子图像的曝光度、每个子图像对应窄带照明光的光谱，以及所述马赛克彩色滤镜阵列的的透过光谱，将多个子图像进行合成，得到观察图像。
在本发明中，图6为本发明提供的动态范围增强单元的原理示意图，可参考图6所示，本实施例以彩色图像传感器1023表面装有RGBW类型的马赛克彩色滤镜进行说明，假设窄带照明光中心波长为λ，通过实验或者厂家提供的数据手册，获得图像处理器不同滤镜的波长-效率曲线。通过查询此曲线，可知R类型像素对照明光成像效率为ηR，G类型像素对照明光成像效率为ηG，B类型像素对照明光成像效率为ηB，W类型像素对照明光成像效率为ηW。由于输入的4个子图像对应的是同一场景、同一时刻的四个不同曝光度的照片，其相对曝光度分别为ηR、ηG、ηB和ηW，此时可通过动态范围增强单元1034中的高动态范围融合算法，将输入的4个子图像合成为一个高动态图像输出，从而得到被观察部位的观察图像。
在上述实施例的基础上，所述图像处理模块还包括偏移对齐单元，用于对子图像的像素位置进行对齐修正，得到对齐修正后的子图像。
在本发明中，通过图像分离单元将原始图像抽离为子图像，所获得的子图像在空间中的实际位置具有像素的偏差，图7为本发明提供的子图像对齐的示意图，如图7所示，在本实施例中，以RGBW类型的马赛克彩色滤镜进行说明，R类型像素与G类型像素在水平方向上偏差一个像素，与B类型像素在竖直方向上偏差一个像素，与W类型像素在水平方向和竖直方向上均偏差一个像素，因而当将四个子图像进行合成时，图像上相同位置的像素在空间上没有准确地对齐，影响合成效果。为了实现像素的对齐，需要估计缺失像素位置的值，具体地，可以通过对周边像素的计算，估算缺失像素的值，修正不同滤镜位置带来的问题，从而实现移位对齐。
在上述实施例的基础上，可参考图1所示，所述图像处理模块103还包括分辨率还原单元1036，用于对每个子图像进行分辨率还原处理(例如，空间插补处理)，以使得抽取得到的每个子图像的分辨率和图像数据对应的原始分辨率相同。
在本发明中，原始图像(即通过彩色传感器获取得到的图像数据)分成多个对应不同类型滤镜的子图像后，图像的分辨率降低，图8为本发明提供的子图像恢复原始分辨率的示意图，可参考图8所示，如果获得与原始分辨率相同的图片，则需还原图像的分辨率，即通过插值的方法获得缺失像素的值，具体地，可参考图8所示，针对R类型像素的子图像中，通过以下公式从而填充通过R透镜提取的子图像中缺失的像素，公式为：
经过填充还原的原始分辨率的子图像，再进一步进行高动态范围融合运算，各滤镜对特定光谱的成像效率，即上述实施例的ηR、ηG、ηB和ηW，可近似为其曝光度。
在上述实施例的基础上，所述图像处理模块还包括高动态范围插补单元，用于将所述图像数据直接进行高动态范围插补，以保持所述图像数据的分辨率不变，得到高动态范围插补后的图像数据。
在本发明中，图像处理模块将内窥镜传回的原始图像数据进行插补计算，并形成高动态范围图像，使得亮处和暗处都有合适的亮度，提高窄带光成像的质量。优选地，在本发明中，可参考图1所示，还可以设置一个动态范围增强单元，该动态范围增强单元的输入端和图像获取单元的输出端连接，用于对未经过图像分类的原始图像进行高动态光照渲染处理。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种多光谱内窥镜图像处理系统，其特征在于，包括光源模块、内窥镜和图像处理模块，其中：
所述光源模块与设置在所述内窥镜中的照明光导进行连接，用于生成多种不同光谱的窄带照明光，并通过所述照明光导，将多种不同光谱的窄带照明光，按照预设时序照射到被观察部位；
所述内窥镜的头端设置有成像镜头和彩色图像传感器，用于通过所述成像镜头接收经所述被观察部位表面返回的光信号，并通过所述彩色图像传感器将返回的每个光信号转换成对应的电信号，再将每个电信号发送到所述图像处理模块，其中，所述彩色图像传感器的表面设置有预设排列规则的马赛克彩色滤镜阵列；
所述图像处理模块，用于通过动态范围增强算法，对所述彩色图像传感器转换得到的电信号进行处理，生成所述被观察部位对应的观察图像；
所述图像处理模块包括子图像分离单元和动态范围增强单元，其中：
所述子图像分离单元用于将图像数据按照所述马赛克彩色滤镜阵列的排布规则进行图像像素抽取，得到多个对应的子图像，其中，每个子图像对应所述马赛克彩色滤镜阵列中的一种颜色；
所述动态范围增强单元用于根据每个子图像的曝光度、每个子图像对应窄带照明光的光谱，以及所述马赛克彩色滤镜阵列的透过光谱，将多个子图像进行合成，得到观察图像。
2.根据权利要求1所述的多光谱内窥镜图像处理系统，其特征在于，所述图像处理模块包括图像获取单元，其中：
所述图像获取单元的输入端连接所述彩色图像传感器的输出端，用于获取所述电信号，并根据所述电信号的电平和时序，将所述电信号转化为对应的图像数据；
所述子图像分离单元的输入端连接所述图像获取单元的输出端；
所述动态范围增强单元的输入端连接所述子图像分离单元的输出端。
3.根据权利要求2所述的多光谱内窥镜图像处理系统，其特征在于，所述图像处理模块还包括偏移对齐单元，用于对不同子图像的像素位置进行对齐修正，得到对齐修正后的子图像。
4.根据权利要求2所述的多光谱内窥镜图像处理系统，其特征在于，所述图像处理模块还包括分辨率还原单元，用于对每个子图像进行分辨率还原处理，以使得抽取得到的每个子图像的分辨率和图像数据对应的原始分辨率相同。
5.根据权利要求2所述的多光谱内窥镜图像处理系统，其特征在于，所述图像处理模块还包括高动态范围插补单元，用于将所述图像数据直接进行高动态范围插补，以保持所述图像数据的分辨率不变，得到高动态范围插补后的图像数据。
6.根据权利要求1所述的多光谱内窥镜图像处理系统，其特征在于，所述窄带照明光的波长范围为350nm至1000nm，带宽为5nm至30nm。
CN202110886762.6A 2021-08-03 2021-08-03 一种多光谱内窥镜图像处理系统 Active CN113616138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110886762.6A CN113616138B (zh) 2021-08-03 2021-08-03 一种多光谱内窥镜图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110886762.6A CN113616138B (zh) 2021-08-03 2021-08-03 一种多光谱内窥镜图像处理系统

Publications (2)

Publication Number Publication Date
CN113616138A CN113616138A (zh) 2021-11-09
CN113616138B true CN113616138B (zh) 2024-05-03

Family

ID=78382477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110886762.6A Active CN113616138B (zh) 2021-08-03 2021-08-03 一种多光谱内窥镜图像处理系统

Country Status (1)

Country Link
CN (1) CN113616138B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02149244A (ja) * 1988-12-01 1990-06-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
CN102920420A (zh) * 2012-10-11 2013-02-13 北京大学 一种内窥镜装置
CN104083141A (zh) * 2013-11-21 2014-10-08 北京华科创智健康科技股份有限公司 一种多光谱组合输出光源装置及内窥镜装置
CN104523214A (zh) * 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
CN107205618A (zh) * 2015-02-10 2017-09-26 奥林巴斯株式会社 图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序
JPWO2016098170A1 (ja) * 2014-12-15 2017-09-28 オリンパス株式会社 撮像装置およびカプセル型内視鏡
CN107302667A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种相机可互换动态分光成像系统及其应用于高动态成像的方法
CN107786818A (zh) * 2017-11-07 2018-03-09 西北核技术研究所 一种基于多色滤光的瞬态成像动态范围扩展方法
CN109475283A (zh) * 2016-09-02 2019-03-15 Hoya株式会社 内窥镜系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02149244A (ja) * 1988-12-01 1990-06-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
CN102920420A (zh) * 2012-10-11 2013-02-13 北京大学 一种内窥镜装置
CN104083141A (zh) * 2013-11-21 2014-10-08 北京华科创智健康科技股份有限公司 一种多光谱组合输出光源装置及内窥镜装置
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
JPWO2016098170A1 (ja) * 2014-12-15 2017-09-28 オリンパス株式会社 撮像装置およびカプセル型内視鏡
CN104523214A (zh) * 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
CN107205618A (zh) * 2015-02-10 2017-09-26 奥林巴斯株式会社 图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序
CN109475283A (zh) * 2016-09-02 2019-03-15 Hoya株式会社 内窥镜系统
CN107302667A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种相机可互换动态分光成像系统及其应用于高动态成像的方法
CN107786818A (zh) * 2017-11-07 2018-03-09 西北核技术研究所 一种基于多色滤光的瞬态成像动态范围扩展方法

Also Published As

Publication number Publication date
CN113616138A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
JP6088629B2 (ja) 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
JP4118916B2 (ja) マルチスペクトル画像撮影装置
JP6939000B2 (ja) 撮像装置及び撮像方法
US8451328B2 (en) Image processing device, imaging device, computer-readable device, and image processing method for processing a fluorescence image
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
US6496719B2 (en) Apparatus for displaying fluorescence images
US20120257030A1 (en) Endoscope apparatus and image acquisition method of the endoscope apparatus
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
US9113814B2 (en) Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
US20130338438A1 (en) Fluorescence endoscope apparatus
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
CN107205629A (zh) 图像处理装置和摄像系统
JPWO2018163500A1 (ja) 内視鏡装置
JP5041936B2 (ja) 生体観測装置
JP2020151403A (ja) 医療用画像処理装置及び医療用観察システム
CN113616138B (zh) 一种多光谱内窥镜图像处理系统
US11308578B2 (en) Endoscope system
JP6389377B2 (ja) 内視鏡用プロセッサ
JP2007275243A (ja) 面順次方式電子内視鏡装置
WO2015194204A1 (ja) 内視鏡装置
JP2011200364A (ja) 内視鏡装置
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
EP2334084A1 (en) Image sensing device and system
WO2021192644A1 (ja) 内視鏡及び内視鏡システム
JP7411515B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant