CN110115557B - 一种高光谱内窥成像装置及成像方法 - Google Patents

一种高光谱内窥成像装置及成像方法 Download PDF

Info

Publication number
CN110115557B
CN110115557B CN201910413069.XA CN201910413069A CN110115557B CN 110115557 B CN110115557 B CN 110115557B CN 201910413069 A CN201910413069 A CN 201910413069A CN 110115557 B CN110115557 B CN 110115557B
Authority
CN
China
Prior art keywords
image
narrow
band
module
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910413069.XA
Other languages
English (en)
Other versions
CN110115557A (zh
Inventor
聂云峰
张金刚
付强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Endoscope Technology Co ltd
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN201910413069.XA priority Critical patent/CN110115557B/zh
Publication of CN110115557A publication Critical patent/CN110115557A/zh
Application granted granted Critical
Publication of CN110115557B publication Critical patent/CN110115557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

本发明实施例公开了一种高光谱内窥成像装置及成像方法，通过将微相机阵列用于高光谱内窥成像系统，并提供光谱可调的窄带光源，使本发明的分光方式为光源分光和滤光片分光的差分组合，这种设置在保证了光源利用率的同事提高了光谱的分辨率，并使当前计算机技术优势被充分利用到传统的内窥光学成像系统，从而突破了单镜头内窥镜系统功能上的局限性，拓展了计算高光谱成像、立体视觉图像重建、黑白窄带相机分辨率增强等功能，同时通过将计算算法对图像处理的增强，可减少光学系统的复杂度、避免昂贵的可调滤光片器件和运动部件的使用，从而使光机系统更加简化稳定，适用于观测人体内部喉部、鼻腔、腹腔、肠道、胰腺、支气管、输尿管等空间极其狭窄的场合。

Description

一种高光谱内窥成像装置及成像方法
技术领域
本发明实施例涉及内窥成像技术领域，具体涉及一种高光谱内窥成像系统及成像方法。
背景技术
光谱成像技术是一种将光谱探测与成像技术相结合的新型探测手段，可以同时获得目标的空间信息和光谱信息。
内窥成像是用于观测耳鼻咽喉、呼吸道、消化道等深入体内的相关器官，目前，在电子喉镜系统上被广泛应用的窄带成像功能，就是采用了两个光谱通道的信息，通过光学滤光在检查部位采用不同颜色光源，实现对喉部的“电子染色”，在不损伤粘膜组织的前提下，实现血管微结构的染色从而进一步增强病变细胞和正常细胞的分辨能力。
如图1和图2所示。图1中的光谱维图像获取主要通过光源的单色化，然后用探测器快速获取单色图，从而完成三维数据立方体的获取。图2中的光源为宽谱光源，通过光纤将影像传出体外，再用快速旋转的滤光轮去完成图像的单色化，最后形成三维数据立方体。图中的滤光轮也可以是声光可调滤波器(Acoustic-Optics Tunable Filter,AOTF)或者液晶可调滤光片(Liquid Crystal Tunable Filter,LCTF)。
现有的一些高光谱内窥系统多处于研究阶段，常见的光路原理如图1和图2所示。图1中的光谱维图像获取主要通过光源的单色化，然后用探测器快速获取单色图，从而完成三维数据立方体的获取。图2中的光源为宽谱光源，通过光纤将影像传出体外，再用快速旋转的滤光轮去完成图像的单色化，最后形成三维数据立方体。图中的滤光轮也可以是声光可调滤波器(Acoustic-Optics Tunable Filter,AOTF)或者液晶可调滤光片(LiquidCrystal Tunable Filter,LCTF)。
其次，单独采用滤光片型分光，其光学复杂度高，光谱维的信息收集速度受限于滤光装置的切换速度和探测器的快门速度。其中，滤光片轮型，需要采用运动部件，造成实际操作时候很多不稳定因素，采集速度太慢；而LCTF型，由于分光基于偏振和晶体双折射原理，所以光能利用率较低，此外LCTF只能在可见和短波红外波段内工作；AOTF对入射光线的角度有严格限制，而内窥一般属于大视场系统，因而大大限制其性能。此外，AOTF和LCTF这两种元器件的价格也比较昂贵，制造成本较高。基于上述问题，由于单独对光源进行分光获得高光谱的方式其光源利用率低，而单独采用滤光片的方式光谱分辨率低。
发明内容
为此，本发明实施例提供一种高光谱内窥成像系统及成像方法，以解决现有技术中由于现有内窥成像技术的不足而导致的不能快速高效获取高光谱影像的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，一种高光谱内窥成像装置，包括用于提供光谱可调的窄带光源并照射在被测位置的光源装置以及用于获取被测位置的光谱图像的微型相机阵列装置，所述微型相机阵列装置包括至少三个窄带微型相机和一个黑白微型相机相机，所述窄带微型相机内设置有与窄带光源的光谱存在差分的滤光片。
进一步地，还包括用于调节微型相机阵列装置位置的控制装置，所述控制装置包括可弯曲电缆以及控制可弯曲电缆移动的控制器。
根据本发明实施例的第二方面，一种高光谱内窥成像系统，包括窄带图像获取模块：用于获取被测位置的窄带图像；全谱段图像获取模块：用于获取被测位置的全谱段图像；光谱计算模块：用于将全谱段图像和窄带图像进行差分进一步获取光谱信息；图像处理模块：用于处理窄带图像和全谱段图像并重建三维图像。
进一步地，所述图像处理模块包括图像信息预处理模块：对微型相机阵列装置获取的图像信息进行预处理；图像增强处理模块：用于对图像预处理模块完成预处理后的图像进行全谱段图像和窄带图像增强处理；特征提取模块：用于提取图像增强处理模块增强后的窄带图像的特征；特征匹配模块：用于对特征提取模块提取后的窄带图像的特征进行匹配和配准，得到目标区域的深度图和三维图像；三维重建模块：用于将特征匹配模块处理后的深度图和数据立方体图进行融合，获得的高光谱数据立方体。
进一步地，所述图像处理模块包括图像增强处理模块：用于对图像预处理模块完成预处理后的图像，进行黑白/窄带图像增强处理；融合模块：用于对任意两路窄带相机将和黑白图像进行融合生成增强的窄带影像；双目视觉重建模块：用于对窄带影像采用双目视觉重建算法处理，得到立体图像。
根据本发明实施例的第三方面，一种高光谱内窥成像方法，包括以下步骤：S1、获取被测位置的窄带图像；S2、获取被测位置的全谱段图像；S3、将全谱段图像和窄带图像进行差分进一步获取光谱信息；S4、处理窄带图像和全谱段图像并重建三维图像。
进一步地，所述步骤S4还包括以下步骤S4.1、对微型相机阵列装置获取的图像信息进行预处理；S4.2、对图像预处理模块完成预处理后的图像，进行全谱段图像和窄带图像增强处理；S4.3、提取图像增强处理模块增强后的窄带图像的特征；S4.4、对特征提取模块提取后的窄带图像的特征进行匹配和配准，得到目标区域的深度图和三维图像；S4.5、将特征匹配模块处理后的深度图和数据立方体图进行融合，获得的高光谱数据立方体。
进一步地，所述步骤S4还包括以下步骤S4.1、对图像预处理模块完成预处理后的图像，进行全谱段图像和窄带图像增强处理；S4.2、对任意两路窄带相机将和黑白图像进行融合生成增强的窄带影像；S4.3、对窄带影像采用双目视觉重建算法处理，得到立体图像。
根据本发明实施例的第四方面，一种基于高光谱内窥成像系统的成像方法的电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
根据本发明实施例的第五方面，一种基于高光谱内窥成像方法的计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例具有如下优点：通过将微相机阵列用于高光谱内窥成像系统，并提供光谱可调的窄带光源，使本发明的分光方式为光源分光和滤光片分光的差分组合，这种设置在保证了光源利用率的同事提高了光谱的分辨率，同时能够使当前计算机技术优势被充分利用到传统的内窥光学成像系统，从而突破了单镜头内窥镜系统功能上的局限性，拓展了计算高光谱成像、立体视觉图像重建、黑白窄带相机分辨率增强等功能，同时通过将计算算法对图像处理的增强，可减少光学系统的复杂度、避免昂贵的可调滤光片器件和运动部件的使用，从而使光机系统更加简化稳定，适用于观测人体内部喉部、鼻腔、腹腔、肠道、胰腺、支气管、输尿管等空间极其狭窄的场合，同时通过高光谱三维数据立方体的获取，将自动查找可疑病变区域，大大提高医生的诊断效率，为健康医学大数据提供有力的保障。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明背景技术提供的典型的光源分光型高光谱内窥示意图；
图2为本发明背景技术提供的典型的滤光片型高光谱内窥的原理示意图；
图3为本发明实施例提供的内窥成像系统原理图；
图4为本发明实施例提供的一种高光谱内窥成像系统系统组成及其逻辑关系图；
图5为本发明实施例提供的窄带滤光片相机光谱曲线图；
图6为本发明实施例提供的光源和滤光片差分来获取更精细的光谱的对比示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：一种高光谱内窥成像系统，参照图3和图4所示，包括光源装置：用于提供光谱可调的窄带光源；微型相机阵列装置：用于对窄带光源进行差分滤光并获取多通道图像信息；控制装置：用于调节微型相机阵列装置位置；集成控制系统：分别于光源装置、控制装置和微型相机阵列装置连接，用于对光源装置、控制装置和微型相机阵列装置进行高精度的运行控制和数据传输；图像处理模块：与集成控制系统连接，用于对采集到的图像信息处理为立体图像。上述的集成控制系统又包括光源控制模块：用于控制光源装置发出光的光谱范围和光强度；图像获取模块：用于实时采集微型相机阵列装置获取的图像信息、视频数据和工作状态参数；智能辅助诊断模块：用于辅助标定立体图像上的病变位置；诊断数据存储模块：用于对诊断的数据进行分类保存。而本申请中高光谱成像的具体方法包括以下步骤：S1、将微型相机阵列装置深入待测人体内部管道器官，并调节微型相机阵列装置至被测组织位置；S2、开启光源装置，光源装置发出的多个窄带光源通过不同的导光光纤照亮被测组织表面；S3、调节光源装置的光照亮度和光谱范围，直至获取被测组织表面的清晰图像；S4、通过集成控制系统进行多路微型相机的同步采集，并保持光源和拍摄角度与微型相机的采集装置保持同步；S5、对观测目标拍摄并存储视频影像，将采集到的图像数据传输至图像处理模块中；S6、图像处理模块将图像数据进行处理得到三维图像。
上述的光源装置用于快速产生光谱变化的光源，并用于人体内部器官检查时的前端照明，根据不同的成像需求，为高光谱成像提供照明光源。上述的光源装置包括用于提供光源的多个窄带的LED光源、LED驱动组件和导光光纤。将LED光源安装于LED驱动器上，即能够完成选择特定的窄带光源。而对于本实施例中的LED光源来说，传统的光源一般采用卤素灯或者氙灯等高功率光源，传统的光源寿命较短，通常寿命在500h以内，而本实施例中采用的LED光源寿命可达50000h。同时，LED光源发热少、环保、没有噪音。窄带光源随时间变化，从而形成光谱维的视频信号，在经过后续处理形成可用的高光谱数据立方体。
上述的微型相机阵列装置，在本实施例中选用符合人体工学设计，体积小、功耗低，能够并排放置多通道的微型相机，该微型相机用于置于前端进行取像，在上述的微型相机阵列装置中，包括至少三个窄带微型相机和一个黑白微型相机，窄带相机在本实施例中设置为内置有滤光片的微型相机，窄带相机的数量取决于内窥系统的最大允许直径，在本实施例中优选为三个窄带微型相机和一个黑白微型相机，也可根据实际情况选择其他数量的窄带相机。同时为了获取被测位置的图像，上述的窄带微型相机和黑白微型相机照射位置均朝向同一位置，以便于获取被测位置的图像，其中，窄带微型相机根据每个窄带相机所选择的不同的窄带LED光源光谱曲线，来选择滤光片，该滤光片选择与选择的LED光源光谱曲线存在光谱差分的滤光片。相机阵列中的三通道窄带相机负责窄带光谱图像的提取，黑白相机负责全谱段图像信息的获取，窄带光谱图像和全谱段图像之间的差值会形成更精细的光谱，上述的窄带LED光源随时间变化，完成全谱段的数据获取，与黑白相机获得的图像信息对比，既可得出全谱段的处理后的图像。工作过程具体为多路相机经过同步触发，同时获取被测位置图像，再经过计算光谱成像算法的重建、融合与增强，呈现给医生进行观察和诊断。
如图5所示，图中曲线的带宽为λR-λL，λC为中心波长。在选择相机滤光片时，相机滤光片的中心波长跟窄带LED光源的中心波长错位，如光源的中心波长为λSC，带宽为ΔλSC，那么选择的相机滤光片中心波长为λSC+ΔλSC/2。再如图6所示，窄带滤波之后的光谱曲线的带宽和中心波长都发生变化，从而产生更高的光谱分辨率。其中黑白相机将比每个窄带相机接收到更宽谱段的光能量，从而保留更多的细节，因而具有更高的信噪比。黑白相机可接受完全的LED光谱信号，可用于跟窄带相机去进行差值去获取另一部分的精细光谱。
在本实施例中，优选为(450nm,500nm)、(500nm,550nm)、(550nm,600nm)的光源，对应的滤光片优选为(475nm,500nm)、(525nm,550nm)、(575nm,600nm)的滤光片。上述的导光光纤将三组LED光源同时传输至样本处，然后经过滤光片，分别获得对应精细光谱为(475nm,500nm),(525nm,550nm),(575nm,600nm)。之后用黑白相机对三个光源进行分别采样，并与上述的精细光谱相减即可获得其余的精细光谱(450nm,475nm)、(500nm,525nm)、(550nm,575nm)。而上述的这种方法相比只对光源进行分光的方法，光利用率大大增加，时间分辨率提高一倍；相比只用滤光片型的方案，上述的方式的光谱分辨率提高一倍。此外，由于任意两个不同的窄带相机从不同角度同时获取被观测样本的两幅数字图像，基于视觉差原理即可恢复出物体的三维信息，形成三维立体视觉。当各个谱段的信息获取完全之后，可用于彩色图像的三维重建。
上述的控制装置包括可弯曲电缆以及控制该电缆运动调节位置的控制手柄，其特性为柔性、长距、直径小、安全可靠的可弯曲电缆，该电缆用于实时传输影像信号，适应于相机阵列的图像同步传递需求，且能通过手柄控制前端微型相机的弯曲角度。
参照图4所示，上述的集成控制系统为由高度集成的电路控制系统对多组图像信号同步、图像传感器驱动、图像的采集和处理、结果的显示等进行一体化控制的控制系统，能够实现高性能自动化检测。具备通用总线接口的集成控制系统对光源装置、控制装置和微型阵列相机装置进行高精度的运行控制和数据传输的功能，并可以对采集到图像和视频数据进行数据预清洗、疑似病变区域智能标定，支持用户快速、实时地完成相关医疗检测操作。集成控制系统作为本发明的中枢，处理各个分系统。
上述的集成控制系统主要用于同步光源和四路相机采集的信号，负责协调、同步各系统，时序采集和相应指令发送；测试工作准备就绪后，系统能够自动产生所需要的光源、采集和发送图像数据给后期的计算成像与显示系统。其中集成控制系统包括高精度数控装置、集成控制软件，用于支持用户对耳、鼻和咽喉等人体器官的诊断，主要功能包括高精度地控制前端光源装置的光谱范围和强度，实时采集前端光源装置和广角物镜的图像信息、视频数据和工作状态参数，对图像信息和视频数据进行预处理，为用户提供辅助智能诊断工具，快速定位病变位置，最后将采集到的所有诊断数据分类保存，以便后续用户进一步分析判读。集成控制系统服务于电子内窥镜的全工作周期，包括系统实时运行、数据回放和系统自检三种工作模式，在集成控制系统运行过程中，集成控制软件通过标准的硬件接口，控制光源装置的光谱范围和亮度、采集模式，其中采集模式包括三种，分别为高光谱、三维立体视觉、超分辨增强，集成控制软件通过标准的硬件接口同时控制图像和视频采集参数，采集参数包括帧频、快门数以及分辨率，并将保存采集到的数据。在该集成控制系统上连接高度可扩展性的硬件接口，能够兼容多种主流型号的光源装置、运动装置和图像采集设备，并提供敏捷的算法集成框架，方便用户扩展相关数据处理功能。由于上述的集成系统技术较为成熟，该控制技术已经是高光谱成像领域的通用技术，在本实施例中不多加赘述。
上述的图像处理装置，其实质为计算机的图像处理算法，计算机的图像处理算法用于对微型相机阵列装置获得的图像进行分析并处理。其中，任意两路窄带相机将和黑白图像进行融合生成增强的窄带影像，再将两路图像采用双目视觉重建算法处理，结果可通过立体眼镜由医生观看三维影像，也可以通过获取的深度图与数据立方体图进行融合显示给医生。获得的高光谱数据立方体，任何一点都可获取其光谱曲线，结合光谱性质是物质唯一“指纹”，进行异样点检测和实时可视化显示。
通过集成控制系统获取多通道原始图像数据后，首先需要对不同视角的图像进行几何校正，辐射度校正和光谱标定，为重建算法提供可靠的输入数据。其次，算法将黑白相机和任意通道窄带相机，进行黑白/窄带图像增强处理。由于黑白相机相较于窄带相机具有更高的灵敏度，因此通过增强算法能够提高彩色图像的信噪比和图像质量。然后，立体图像重建算法将增强后的两幅窄带图像作为输入，提取图像特征点进行匹配和配准，得到目标区域的深度图和三维图像。本装置中设置了可快速切换光谱范围的LED光源，来获取不同谱段的窄带图像，通过控制光源变化和快门的同步，可迅速切换到高光谱成像模式。最终，处理后的图像可根据工作模式的不同进行显示，当处于立体成像模式时，立体图像按左右眼模式显示，医生通过立体眼镜观看；当处于高光谱成像模式时，经过融合增强后的图像在显示器中显示，并对可以病灶区域进行增强显示，便于医生进行进一步诊断。
通过采用窄带微型相机阵列，实现了对电子内窥的可实施性，同时提高了计算机、信号处理与光学成像等学科融合的可行性，可将现有的黑白窄带相机融合、高光谱成像以及三维影像融入内窥检测系统，极大地拓展了现有电子内窥设备的功能，增强了时间分辨率和光谱分辨率，同时三维成像能够保证使操作人员直观的看到被拍摄部位，增加了医生判断的准确性，进而能够提高患者的治愈时间以及治愈几率。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种高光谱内窥成像装置，其特征是：包括用于提供光谱可调的窄带光源并照射在被测位置的光源装置，还包括用于获取被测位置的光谱图像的微型相机阵列装置，所述微型相机阵列装置包括至少三个窄带微型相机和一个黑白微型相机，所述窄带微型相机内设置有与窄带光源的光谱存在差分的滤光片，使得分光方式为光源分光和滤光片分光的差分组合；所述滤光片的中心波长与窄带LED光源的中心波长错位，窄带滤波之后的光谱曲线的带宽和中心波长都发生变化。
2.根据权利要求1所述的一种高光谱内窥成像装置，其特征是：还包括用于调节微型相机阵列装置位置的控制装置；分别与光源装置、控制装置和微型相机阵列装置连接集成控制系统；与集成控制系统连接，用于对采集到的图像信息处理为立体图像的成像系统；所述控制装置包括可弯曲电缆以及控制可弯曲电缆移动的控制器，所述微型相机阵列装置和控制器分别连接在可弯曲电缆的两端，所述集成控制系统包括用于控制光源装置发出光的光谱范围和光强度的光源控制模块；用于实时采集微型相机阵列装置获取的图像信息、视频数据和工作状态参数的图像获取模块；用于辅助标定立体图像上的病变位置的智能辅助诊断模块；用于对诊断的数据进行分类保存的诊断数据存储模块。
3.根据权利要求2所述的一种高光谱内窥成像装置，其特征是：所述成像系统包括
窄带图像获取模块：用于获取被测位置的窄带图像；
全谱段图像获取模块：用于获取被测位置的全谱段图像；
光谱计算模块：用于将全谱段图像和窄带图像进行差分进一步获取光谱信息；
图像处理模块：用于处理窄带图像和全谱段图像并重建三维图像。
4.根据权利要求3所述的一种高光谱内窥成像装置，其特征是：所述图像处理模块包括
图像信息预处理模块：对微型相机阵列装置获取的图像信息进行预处理；
图像增强处理模块：用于对图像预处理模块完成预处理后的图像进行全谱段图像和窄带图像增强处理；
特征提取模块：用于提取图像增强处理模块增强后的窄带图像的特征；
特征匹配模块：用于对特征提取模块提取后的窄带图像的特征进行匹配和配准，得到目标区域的深度图和三维图像；
三维重建模块：用于将特征匹配模块处理后的深度图和数据立方体图进行融合，获得的高光谱数据立方体。
5.根据权利要求3所述的一种高光谱内窥成像装置，其特征是：所述图像处理模块包括
图像增强处理模块：用于对图像预处理模块完成预处理后的图像，进行黑白/窄带图像增强处理；
融合模块：用于对任意两路窄带相机将和黑白图像进行融合生成增强的窄带影像；
双目视觉重建模块：用于对窄带影像采用双目视觉重建算法处理，得到立体图像。
6.一种高光谱内窥成像方法，采用权利要求1所述的高光谱内窥成像装置，其特征是：包括以下步骤：
S1、获取被测位置的窄带图像；
S2、获取被测位置的全谱段图像；
S3、将全谱段图像和窄带图像进行差分进一步获取光谱信息；
S4、处理窄带图像和全谱段图像并重建三维图像。
7.根据权利要求6所述的一种高光谱内窥成像方法，其特征是：步骤S4还包括以下步骤：
S4.1、对微型相机阵列装置获取的图像信息进行预处理；
S4.2、对图像预处理模块完成预处理后的图像，进行全谱段图像和窄带图像增强处理；
S4.3、提取图像增强处理模块增强后的窄带图像的特征；
S4.4、对特征提取模块提取后的窄带图像的特征进行匹配和配准，得到目标区域的深度图和三维图像；
S4.5、将特征匹配模块处理后的深度图和数据立方体图进行融合，获得的高光谱数据立方体。
8.根据权利要求6所述的一种高光谱内窥成像方法，其特征是：步骤S4还包括以下步骤：
S4.1、对图像预处理模块完成预处理后的图像，进行全谱段图像和窄带图像增强处理；
S4.2、对任意两路窄带相机将和黑白图像进行融合生成增强的窄带影像；
S4.3、对窄带影像采用双目视觉重建算法处理，得到立体图像。
9.一种电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，其特征在于，所述处理器调用所述程序指令能够执行如权利要求6至8任一所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求6至8任一所述方法的步骤。
CN201910413069.XA 2019-05-17 2019-05-17 一种高光谱内窥成像装置及成像方法 Active CN110115557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910413069.XA CN110115557B (zh) 2019-05-17 2019-05-17 一种高光谱内窥成像装置及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910413069.XA CN110115557B (zh) 2019-05-17 2019-05-17 一种高光谱内窥成像装置及成像方法

Publications (2)

Publication Number Publication Date
CN110115557A CN110115557A (zh) 2019-08-13
CN110115557B true CN110115557B (zh) 2021-12-14

Family

ID=67522727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910413069.XA Active CN110115557B (zh) 2019-05-17 2019-05-17 一种高光谱内窥成像装置及成像方法

Country Status (1)

Country Link
CN (1) CN110115557B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788468B (zh) * 2024-02-26 2024-04-30 江西福松和安医疗科技有限公司 喉部图像处理方法、系统、喉镜、可调节气道建立装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251290A (zh) * 1999-11-13 2000-04-26 福建师范大学 共轴微光—荧光肺癌诊断和定位仪器
KR100895160B1 (ko) * 2004-08-30 2009-05-04 올림푸스 가부시키가이샤 내시경 장치
CN102197987A (zh) * 2010-03-25 2011-09-28 富士胶片株式会社 包含校准装置的内窥镜系统及其校准方法
CN106901683A (zh) * 2017-05-05 2017-06-30 中国人民武装警察部队总医院 一种荧光内窥成像系统
CN107049214A (zh) * 2017-04-27 2017-08-18 苏州双威医疗器械科技有限公司 自动调焦显微内窥荧光成像系统
CN109068035A (zh) * 2018-07-13 2018-12-21 中科光电(北京)科学技术有限公司 一种智能微相机阵列内窥成像系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2241877A1 (en) * 2008-01-25 2010-10-20 Panasonic Corporation Analysis device and analysis method
CN102445275B (zh) * 2011-09-21 2013-06-05 温州佳易仪器有限公司 光谱分光彩色影像颜色采集箱以及一种光谱分光彩色影像颜色检测方法
CN105241966A (zh) * 2014-07-09 2016-01-13 中国石油化工股份有限公司 多组分气体检测装置
CN205229108U (zh) * 2015-10-26 2016-05-11 中石化石油工程技术服务有限公司 录井用多组分气体检测装置
CN207613757U (zh) * 2017-05-05 2018-07-17 中国人民武装警察部队总医院 荧光内窥成像系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251290A (zh) * 1999-11-13 2000-04-26 福建师范大学 共轴微光—荧光肺癌诊断和定位仪器
KR100895160B1 (ko) * 2004-08-30 2009-05-04 올림푸스 가부시키가이샤 내시경 장치
CN102197987A (zh) * 2010-03-25 2011-09-28 富士胶片株式会社 包含校准装置的内窥镜系统及其校准方法
CN107049214A (zh) * 2017-04-27 2017-08-18 苏州双威医疗器械科技有限公司 自动调焦显微内窥荧光成像系统
CN106901683A (zh) * 2017-05-05 2017-06-30 中国人民武装警察部队总医院 一种荧光内窥成像系统
CN109068035A (zh) * 2018-07-13 2018-12-21 中科光电(北京)科学技术有限公司 一种智能微相机阵列内窥成像系统

Also Published As

Publication number Publication date
CN110115557A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
US9176276B2 (en) Imaging system for three-dimensional imaging of the interior of an object
US6772003B2 (en) Endoscope apparatus
CN108040243B (zh) 多光谱立体视觉内窥镜装置及图像融合方法
EP1576920B1 (en) Imaging device
CN107510430A (zh) 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统
CN111308690B (zh) 一种光场电子内窥设备及其成像方法
US20220346628A1 (en) Micro cmos scopes for medical imaging
CN110811498A (zh) 可见光和近红外荧光3d融合图像内窥镜系统
KR20030033177A (ko) 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
CN105342561B (zh) 无线声控穿戴式分子影像导航系统
EP2757932A1 (en) Endoscope connector method and apparatus
WO2014205738A1 (zh) 基于内窥镜的多光谱视频导航系统和方法
US20190045170A1 (en) Medical image processing device, system, method, and program
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
CN110115557B (zh) 一种高光谱内窥成像装置及成像方法
CN208693238U (zh) 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像系统
CN105852784A (zh) 一种多谱医用内窥镜镜头及系统
CN210902962U (zh) 可扫描腹腔内部的腹腔镜外视镜装置
CN111772560A (zh) 一种基于双通道高效传输的荧光内窥镜成像系统及方法
CN216792582U (zh) 内窥镜偏振光光学适配器
CN205964001U (zh) 一种多谱医用内窥镜镜头及系统
US20140055562A1 (en) Endoscopic synthetic stereo imaging method and apparatus
JP2023519479A (ja) 標的の偏光測定特徴付けの為のシステム
CN106937863B (zh) 一种内置式显微阴道镜
Vega et al. Development of a Hyperspectral Colposcope for Early Detection and Assessment of Cervical Dysplasia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201210

Address after: 19 Yuquan Road (a), Shijingshan District, Beijing 100049

Applicant after: University OF CHINESE ACADEMY OF SCIENCES

Address before: Room 13-1-012, floor 1, building 13, block 351, north of Shuian hot spring, Wenquan Town, Haidian District, Beijing 100095

Applicant before: ZHONGKE PHOTOELECTRIC (BEIJING) SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230704

Address after: 101400 room 605, 6 / F, building 13, yard 53, Yanqi street, Yanqi Economic Development Zone, Huairou District, Beijing

Patentee after: Beijing Zhongke endoscope technology Co.,Ltd.

Address before: 19 Yuquan Road (a), Shijingshan District, Beijing 100049

Patentee before: University OF CHINESE ACADEMY OF SCIENCES

TR01 Transfer of patent right