CN114007486A - 混合成像产品和混合内窥镜系统 - Google Patents

混合成像产品和混合内窥镜系统 Download PDF

Info

Publication number
CN114007486A
CN114007486A CN202080046174.5A CN202080046174A CN114007486A CN 114007486 A CN114007486 A CN 114007486A CN 202080046174 A CN202080046174 A CN 202080046174A CN 114007486 A CN114007486 A CN 114007486A
Authority
CN
China
Prior art keywords
photons
image
source
fibers
fiber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080046174.5A
Other languages
English (en)
Inventor
S·斯泰瓦德
P·J·特莱多
A·兹里姆塞克
汪济航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ChemImage Corp
Original Assignee
ChemImage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ChemImage Corp filed Critical ChemImage Corp
Publication of CN114007486A publication Critical patent/CN114007486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

内窥镜具有改进的尖端上芯片(chip‑on‑tip)配置，这种配置包括源照射光纤的第一配置和多个第二源照射光纤，以及相机芯片。相机芯片和内窥镜的尖端上的源照射光纤的组合导致内窥镜的尺寸和重量减小。

Description

混合成像产品和混合内窥镜系统
相关申请的交叉引用
本申请要求美国临时申请序列号62/839,220的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体上涉及用于内窥镜检查的各种传感器和照射配置。更具体地，本公开涉及用于尖端上芯片内窥镜检查的各种传感器和照射配置。
背景技术
内窥镜在医学界已经获取广泛接受，因为它们允许以最小患者创伤进行手术，同时使得医生能够查看患者的内部解剖结构。根据手术的不同，内窥镜可以插入身体的自然孔道或通过皮肤切口插入。
常规的内窥镜设计通常包括细长的管状轴，该轴在一端具有刚性透镜组件或光纤透镜组件，该一端经由刚性透镜组件或一根或多根光纤束连接到相机或其他类似的光传感器。轴连接到手柄以在手术过程中进行操作。通常可以经由手柄中的目镜和/或经由外部屏幕进行查看。可以通过内窥镜中的工作通道插入各种手术工具以执行不同手术过程。
申请人先前在于2018年1月10日提交的题为“TIME CORRELATED SOURCEMODULATION FOR ENDOSCOPY”的美国申请序列号61/615,777、于2019年1月10日提交的题为“TIME CORRELATED SOURCE MODULATION FOR ENDOSCOPY”的美国申请序列号16/244,845和于2019年1月10日提交的题为“TIME CORRELATED SOURCE MODULATION FOR ENDOSCOPY”的世界知识产权组织申请序列号PCT/US2019/013067中公开了尖端上芯片内窥镜配置，上述申请中的每个申请通过引用整体并入本文。
尖端上芯片内窥镜配置不同于常规的内窥镜配置，因为相机位于内窥镜的尖端而不是底部。尖端上芯片配置有几个好处。例如，通过将相机放置在尽可能靠近样品的位置，信号的吞吐量损失会减少，并且通过透镜组件和光纤产生的图像失真也会最小化。此外，尖端上芯片内窥镜可以使系统比典型的内窥镜更轻且更小。由于信号被读取到内窥镜的尖端处的相机芯片上，因此不需要专门的光学器件或光纤将图像传输到内窥镜背面的相机。因此，减少了内窥镜系统中的组件的总数。
尽管如此，常规的内窥镜保留了某些优点。例如，复杂的成像硬件通常不能安装在内窥镜尖端上，并且需要光纤将图像从内窥镜远端的患者或组织样品传输到成像硬件所在的内窥镜近端。
因此，需要一种混合内窥镜，该混合内窥镜通过以新颖的协同的方式组合每个设计的不同元素来将尖端上芯片内窥镜配置的优点与常规内窥镜设计的优点相结合。
发明内容
本公开涉及与内窥镜一起使用或在内窥镜内使用的尖端上芯片产品的各种实施例。
在一些实施例中，公开了一种用于内窥镜中的混合成像产品，该混合成像产品包括被配置为传输第一多个调制光子的第一多个源照射光纤；被配置为传输第二多个调制光子的第二多个源照射光纤；多个光纤阵列光谱转换器(FAST)光纤；以及包括成像光纤或相机传感器中的一种或多种的第一图像收集器。在一些实施例中，混合成像产品还包括被配置为传输第三多个未调制光子的第三多个源照射光纤。在一些实施例中，混合成像产品还包括第二图像收集器，并且第二图像收集器包括成像光纤或相机传感器中的一种或多种。
在一些实施例中，一种内窥镜系统包括：混合成像产品，该混合成像产品包括被配置为传输第一多个调制光子的第一多个源照射光纤、被配置为传输第二多个调制光子的第二多个源照射光纤、多个光纤阵列光谱转换器(FAST)光纤、以及包括成像光纤或相机传感器中的一种或多种的第一图像收集器；照射源；至少调制用于第一多个源照射光纤的第一多个调制光子的第一调制器；以及至少调制用于第二多个源照射光纤的第二多个调制光子的第二调制器。在一些实施例中，混合成像产品还包括被配置为传输第三多个未调制光子的第三多个源照射光纤。在一些实施例中，混合成像产品还包括第二图像收集器，并且第二图像收集器包括成像光纤或相机传感器中的一种或多种。在一些实施例中，照射源包括白炽灯、卤素灯、发光二极管(LED)、量子级联激光器、量子点激光器、外腔激光器、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光灯、气体放电灯、金属卤化物灯、氙弧灯、感应灯或其组合。在一些实施例中，第一调制器或第二调制器各自独立地是声光可调谐滤光器(AOTF)、液晶可调谐滤光器(LCTF)、多元光学元件(MOE)、滤光轮、图案标准具滤光器、多共轭滤光器(MCF)或保形滤光器(CF)中的一种或多种。
在一些实施例中，一种使用内窥镜系统生成融合图像的方法，该内窥镜系统包括：混合成像产品，混合成像产品包括被配置为传输第一多个调制光子的第一多个源照射光纤、被配置为传输第二多个调制光子的第二多个源照射光纤、多个光纤阵列光谱转换器(FAST)光纤、以及包括成像光纤或相机传感器中的一种或多种的第一图像收集器；照射源；至少调制用于第一多个源照射光纤的第一多个调制光子的第一调制器；以及至少调制用于第二多个源照射光纤的第二多个调制光子的第二调制器，该方法包括：从第一多个调制光子生成第一图像；从第二多个调制光子生成第二图像；以及重叠第一图像和第二图像从而生成融合图像。在一些实施例中，该方法还包括从第三多个未调制光子生成第三图像。在一些实施例中，第三组多个未调制光子是NIR光子、SWIR光子、eSWIR光子或其组合。在一些实施例中，第一多个调制光子和第二多个调制光子中的每一者独立地是VIS或VIS-NIR。
附图说明
包含在说明书中并且形成其一部分的附图示出了本发明的实施例，并且与书面描述一起用于解释本发明的原理、特性和特征。在附图中：
图1示出了根据本公开的内窥镜的第一变体。
图2示出了根据本公开的内窥镜的第二变体。
图3示出了根据本公开的内窥镜的第三变体。
图4示出了根据本公开的与如图1-3所示的内窥镜变体中的一个一起使用的两个光学配置选项。
图5示出了根据本公开的内窥镜的第四变体。
图6示出了根据本公开的内窥镜的第五变体。
图7示出了根据本公开的内窥镜的第六变体。
图8示出了根据本公开的光纤阵列频谱转换器设备的实施例。
图9示出了根据本公开的混合内窥镜的实施例。
具体实施方式
本公开不限于所描述的特定系统、设备和方法，因为它们可以变化。本说明书中使用的术语仅用于描述特定版本或实施例的目的，并不旨在限制范围。
如在本文档中使用的，除非上下文另有明确规定，否则单数形式“一个(a)”、“一个(an)”和“该/所述(the)”包括复数参考。除非另有定义，否则本文中使用的所有技术和科学术语与本领域普通技术人员通常理解的含义相同。本公开中的任何内容均不应当被解释为承认本公开中描述的实施例无权凭借在先发明而先于此类公开。本文档中使用的术语“包括”是指“包括但不限于”。
下面描述的实施例不旨在是穷尽的或将教导限制为在下面的详细描述中公开的精确形式。相反，选择和描述实施例使得本领域的其他技术人员可以领会和理解本教导的原理和实践。
如上所述，常规内窥镜包括设置在一端的光纤透镜组件，该一端经由一根或多根光纤束连接到相机或其他类似的光传感器。为了从常规的内窥镜成像系统获取多光谱数据，从样品获取的信号在到达相机之前通常由一个或多个一列滤光器选择性地调谐。在内窥镜尖端带有相机(或芯片)的内窥镜系统中，如果不显著小型化过滤技术来过滤样品图像是不可能的。相反，源照射在到达样品之前被过滤。然后通过内窥镜尖端的相机读取样品信号。
本公开描述了若干内窥镜成像变化。这些变化包括在样品成像之前过滤源照射。在每个变体中，源滤波和/或调制可以通过例如光学成像滤光器来执行，诸如声光可调谐滤光器(AOTF)、液晶可调谐滤光器(LCTF)和/或顺序扫描可调谐滤光器，包括例如多共轭滤光器(MCF)或保形滤光器(CF)。然而，应当注意，这里仅通过示例的方式描述了MCF和CF。诸如多元光学元件(MOE)、MOE滤光器和滤光器轮布置、图案化标准具滤光器和其他类似滤光器等附加的滤光器可以用于过滤源照射。源照射处理和滤波的其他示例可以在美国专利申请号15/374,769中找到，该美国专利申请以美国专利申请公开号2018/0116494公开，其内容通过引用整体并入本文。上述源滤波和/或调制在一些实施例中被表示为由“调制器”执行，“调制器”是指调制来自照射源的光子的任何装置。
如本文所述，变化包括放置在内窥镜尖端的中央并且被源照射光纤包围的相机芯片。然而，应当注意，该中央布置仅作为示例提供，并且可以包括相机芯片和源照射光纤的附加布置。
如本文所述的内窥镜变化可以包括各种照射源。在某些实现中，单个照射源可以与分束器和/或反射镜的各种配置组合使用以提供多个光束。然后可以使用例如不同源照射光纤或源照射光纤组将这些多束光束引导到内窥镜的尖端。例如，在图1所示的变体中，单个照射源可以分成两个独立的光束并且被引导到两组源照射光纤。在其他实现中，例如图4所示的选项，单个照射源可以分成分开的光束，或经由一个或多个反射镜重新定向，以为三组源照射光纤提供源照射。应当注意，虽然例如在图1和图4中仅示出了单个照射源，但是本公开不限于单个照射源。可以预期，附加的照射源可以被包括在如本文所述的一个或多个内窥镜变体中。这样的内窥镜变化可以包括单独或组合使用的多个单独且不同的照射源。
照射光纤的数目不受限制。在一些实施例中，照射光纤的数目为约50、约60、约70、约80、约90、约100、约110、约120、约130、约140、约150、约200、约300、约400、约500、约600、约700、约800、约900、约1000、约1100、约1200、约1300、约1400、约1500、或上述各项中的任何两种之间的范围内的多个数目的光纤。
照射源不受限制并且可以是用于为内窥镜提供必要照射和其他辅助要求(诸如功耗、发射光谱、封装、热输出等)的任何源。在一些实施例中，照射源是白炽灯、卤素灯、发光二极管(LED)、量子级联激光器、量子点激光器、外腔激光器、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光灯、气体放电灯、金属卤化物灯、氙弧灯、感应灯或这些照射源的任何组合。在一些实施例中，照射源是可调照射源，这表示照射源是单色的并且可以被选择为在任何期望的波长范围内。可调照射光源的所选择的波长不受限制，可以是紫外(UV)、可见光(VIS)、近红外(NIR)、可见近红外(VIS-NIR)、短波红外(SWIR)、扩展短波红外(eSWIR)和近红外扩展短波红外(NIR-eSWIR)范围内的任何通带。波长范围如下所述。
内窥镜的所公开的变体包括至少一个相机芯片，该至少一个相机芯片用作图像传感器以检测传入的光子并且输出该信息以形成图像。相机芯片的功能和结构不受限制。在一些实施例中，相机芯片的特征在于它能够成像的光的波长。相机芯片可以成像的光波长不受限制，包括紫外(UV)、可见(VIS)、近红外(NIR)、可见近红外(VIS-NIR)、短波红外(SWIR)、扩展短波红外(eSWIR)、近红外扩展短波红外(NIR-eSWIR)。这些分类对应于如下波长：约180nm至约380nm(UV)、约380nm至约720nm(VIS)、约400nm至约1100nm(VIS-NIR)、约850nm至约1800nm(SWIR)、约1200nm至约2450nm(eSWIR)和约720nm至约2500nm(NIR-eSWIR)。上述范围可以单独使用或结合任何所列范围使用。这样的组合包括相邻(连续)范围、重叠范围和不重叠范围。范围组合可以通过包括多个相机芯片来实现，每个相机芯片对特定范围敏感，或者通过包括滤光器阵列实现的单个相机芯片可以感测多个不同范围。
在一些实施例中，相机芯片的特征在于其制造材料。相机芯片的材料不受限制，并且可以基于相机芯片预期检测的波长范围进行选择。在这样的实施例中，相机芯片包括硅(Si)、锗(Ge)、砷化铟镓(InGaAs)、硅化铂(PtSi)、碲化汞镉(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)、或这些中的任何组合。
在一些实施例中，相机芯片的特征在于其电气结构。该电气结构不受限制。在一些实施例中，相机芯片包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。应当注意，上面列出的材料中的每一种都可以与任一电气结构一起使用以形成最终相机芯片。示例包括Si CCD、Si CMOS、Ge CCD、Ge CMOS、InGaAs CCD、InGaAs CMOS、PtSi CCD、PtSiCMOS、HgCdTe CCD、HgCdTe CMOS、InSb CCD、InSb CMOS、CQD CCD和CQD CMOS。这些传感器结构可以单独使用，也可以组合使用，可以在同一物理相机芯片中使用，也可以在多个单独的相机芯片中使用。
在一些实施例中，相机芯片设置有滤光器阵列以产生图像。滤光器阵列的设计不受限制。应当理解，术语“滤光器”在相机芯片的上下文中使用时表示允许参考光通过滤光器。例如，“绿色滤光器”是通过仅允许波长为约520nm至约560nm的光(对应于可见颜色绿色)通过滤光器而在人眼看来呈绿色的滤光器。类似的“NIR滤光器”只允许近红外光(NIR)通过。在一些实施例中，滤光器是位于相机芯片上方的滤光器阵列。这种滤光器阵列的设计各不相同，但都与原始的“拜耳”滤光器彩色马赛克滤光器有关。滤光器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(2×2具有对角线颜色)、RGBW(2×2具有成对颜色)、RGBW(2×2具有垂直W)和X-TRANS(由日本东京的富士胶片公司出售)。X-TRANS传感器具有较大6×6像素图案，该图案通过在所有水平和垂直线上包括RGB图块来减少莫尔效应伪影(Moiréeffect artifacts)。在列表中，B对应于蓝色，G对应于绿色，R对应于红色，E对应于翠绿，C对应于青色，Y对应于黄色，M对应于洋红色。W对应于“白色”或单色图块，这将在下面进一步描述。
W或“白色”图块本身包括若干配置。在一些实施例中，W图块不过滤任何光，因此所有光到达相机芯片。在那些实施例中，相机芯片将检测给定波长范围内的所有光。取决于相机芯片，这可以是UV、VIS、NIR、VIS-NIR、VIS-NIR、VIS-SWIR或VIS-eSWIR。在一些实施例中，W图块是用于VIS、VIS-NIR、NIR或eSWIR的滤光器，分别仅允许VIS、VIS-NIR、NIR或eSWIR到达相机芯片。这可以有利地与上面列出的任何相机芯片材料或电气结构结合。这种滤光器阵列很有用，因为它使得单个相机芯片能够检测可见光和近红外光，有时也称为四频带滤光器阵列。
在其他实施例中，滤光器阵列被省略并且没有提供产生单色图像的相机芯片。在这样的实施例中，所生成的图像仅基于构成相机芯片的材料的带隙。在其他实施例中，滤光器仍然应用于相机芯片，但仅作为单片单个滤光器。例如，红色滤光器的应用表示相机芯片生成表示红色光谱的单色图像。在一些实施例中，采用多个相机芯片，每个相机芯片具有不同的单片单个滤光器相机芯片。例如，可以通过组合分别具有R、G和B滤光器的三个相机芯片来产生VIS图像。在另一示例中，可以通过组合分别具有R、G、B和NIR滤光器的四个相机芯片来产生VIS-NIR图像。在另一示例中，可以通过组合分别具有R、G、B和eSWIR滤光器的四个相机芯片来产生VIS-eSWIR图像。
在一些实施例中，省略了颜色阵列，并且相机芯片利用被组织成像素网格的垂直堆叠的光电二极管。每个堆叠的光电二极管都响应于期望光波长。例如，堆叠光电二极管相机芯片包括R、G和B层以形成VIS图像。在另一实施例中，堆叠光电二极管相机芯片包括R、G、B和NIR层以形成VIS-NIR图像。在另一实施例中，堆叠光电二极管相机芯片包括R、G、B和eSWIR层以形成VIS-eSWIR图像。
在其中包括两个或更多个相机芯片的实施例中，可以基于来自两个或更多个相机芯片中的每一者的图像生成立体图像。立体图像很有用，因为它们允许观看者感知图像中的深度，这导致与单视场图像相比提高了准确性和真实性。在手术或其他类似的内窥镜活动中，立体图像可用于操作仪器和执行任务，与单视场内窥镜相比具有更高的安全性和准确性。这是因为，单视场内窥镜只有一个相机芯片位置，因此无法提供深度感知。在一些实施例中，立体图像是通过使用两个相同相机芯片和两个滤光器阵列形成的。在一些实施例中，立体图像由两个相同相机芯片形成，但每个相机芯片具有不同滤光器阵列。在一些实施例中，立体图像由两个不同相机芯片形成，相机芯片设置有两个不同滤光器阵列。在一些实施例中，立体图像由两个不同相机芯片形成，一个相机芯片设置有滤光器阵列，另一相机芯片设置有单色滤光器阵列或没有滤光器阵列。如果提供一个以上的相机芯片，则可以通过使用每个相机芯片的输出并且组合或融合每个相机芯片的输出来生成立体图像。
在其他实施例中，提供了获取立体图像的方法。例如，第一相机芯片生成第一图像，不同位置的第二相机芯片生成第二图像，并且第一图像和第二图像被组合(“融合”)以形成立体图像。尽管在这些实施例中描述了两个相机芯片，但是应当理解，相机芯片的总数不受限制并且可以增加到总数大于两个。在一些实施例中，存在第三、第四、第五或第六相机芯片。
图1示出了根据本公开的第一内窥镜变体。如图1所示，内窥镜可以在尖端中配备有两个红绿蓝(RGB)相机RGB1和RGB2，周围环绕着两组源照射光纤T1和T2。如图1中的端视图所示，源照射光纤T1、T2可以围绕内窥镜的圆周以交替方式布置。这种布置可以在内窥镜的圆周周围提供更均匀和一致的照射。然而，应当注意，交替布置仅作为示例提供，并且在设计中可以包括源照射光纤的其他布置。
在一些实现中，源照射光纤T1和T2可以表示通过连续扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。例如，T1和T2可以选择性地调制或同时递送给样品。如1图中包括的电路图所示，可以将单个照射源对准分束器。分束器可以被配置为将从照射源接收的光分成两个光束。第一光束可以沿T1源照射路径被引导到调制器和滤光器(例如，MCF和/或CF)。类似地，第二光束可以沿T2源照射路径被引导到第二调制器和滤光器(例如，MCF和/或CF)。通过主动控制调制器的操作和滤光器的配置，第一多个源照射光纤T1和第二多个源照射光纤T2中的任何一者或两者可以以其相应离散波长照射样品组织。
在一些实现中，两个相机RGB1和RGB2可以被配置为执行单独的成像功能。例如，当使用源照射光纤T1照射样品组织时，RGB1可以被调节和配置为提供样品图像。相反，当使用源照射光纤T2照射样品组织时，RGB2可以被调节和配置为提供样品图像。在其他实现中，RGB1可以被实现为低分辨率相机，而RGB2可以被实现为高分辨率相机。在这样的示例中，两个相机都可以被配置为使用源照射光纤T1和T2中的任何一个来捕获图像。
图2示出了根据本公开的第二内窥镜变体。如图2所示，内窥镜可以配备有一个RGB相机和一个近红外(NIR)相机。包括源照射光纤T1和T2(类似于如上所述的T1和T2)和第三源照射光纤Ex的若干光纤可以布置成使得它们围绕两个相机芯片。如本文所述，源照射光纤Ex可以被配置为引导具有用于NIR荧光成像的激发波长的光。在其他实施例中，第三源照射光纤可以传输紫外(UV)、可见(VIS)、近红外(NIR)或可见近红外(VIS-NIR)光中的一种或多种。在其他实施例中，传输的光是单色的。在一些实现中，照射光纤可以布置成多组，每组三个。例如，如图2中的端视图所示，三个一组可以在T1、Ex和T2之间交替。然而，应当注意，图2所示的交替布置仅作为示例提供。在设计中可以使用源照射光纤的备选和/或附加布置。
类似于图1的以上讨论，T1和T2可以表示通过顺序扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。在一些实现中，所有三个照射源T1、T2和Ex可以同时呈现给样品。在一些示例中，照射源T1和T2可以独立于照射源Ex被递送。
在一些实现中，可以使用RGB相机记录使用T1和T2照射源光纤照射的组织样品的图像。在这种布置中，可以使用NIR相机记录使用Ex源照射光纤照射的组织样品的荧光图像。然而，应当注意，这种布置仅作为示例提供，并且可以基于调制、过滤和与源照射光纤相关的其他类似因素来改变相机的功能。
图3示出了根据本公开的第三内窥镜变体。如图3所示，内窥镜可以配备有四频带滤光器阵列，包括位于相机芯片上的红、绿、蓝和NIR滤光器。类似于关于图2的以上描述布置，包括源照射光纤T1和T2以及第三源照射光纤Ex的若干光纤可以围绕(多个)相机芯片。在一些实现中，照射光纤可以布置成多组，每组三个。例如，如图3中的端视图所示，三个一组可以在T1、Ex和T2之间交替。然而，应当注意，图3所示的交替布置仅作为示例提供。在设计中可以使用源照射光纤的备选和/或附加布置。
类似于图1的以上讨论，T1和T2可以表示通过顺序扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。在一些实现中，所有三个照射源T1、T2和Ex可以同时呈现给样品。在一些示例中，照射源T1和T2可以独立于照射源Ex被递送。
在一些实现中，可以使用滤光器阵列的红色、绿色和/或蓝色过滤像素来记录使用照射源光纤T1和T2成像的组织样品。在这样的布置中，可以使用NIR过滤像素来记录使用照射源光纤Ex生成的荧光图像。
图5示出了根据本公开的又一内窥镜变体。如图5所示，内窥镜配备有与两个相机芯片相对应的两个四频带滤光器阵列。每个四频带滤光器阵列包括红色、绿色、蓝色和白色(单色)滤光器，并且每个四频带滤光器阵列放置在单独的相机芯片之上。类似于关于图1的以上描述布置，T1和T2可以表示通过顺序扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。使用两个独立的相机芯片会产生立体图像。在一些实施例中(未示出)，所有三个照射源T1、T2和Ex可以同时呈现给样品。在一些示例中，照射源T1和T2可以独立于照射源Ex被递送。
图6示出了根据本公开的又一内窥镜变体。如图6所示，内窥镜配备有与单个相机芯片相对应的单个四频带滤光器阵列。四频带滤光器阵列包括红色、绿色、蓝色和白色(单色)滤光器。类似于关于图1的以上描述布置，T1和T2可以表示通过顺序扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。在一些实施例中(未示出)，所有三个照射源T1、T2和Ex可以同时呈现给样品。在一些示例中，照射源T1和T2可以独立于照射源Ex被递送。
图7示出了根据本公开的又一内窥镜变体。如图7所示，内窥镜包括被描绘为RGB1并且定位在第一相机芯片上的RGB滤光器。图7的内窥镜还包括SWIR滤光器，并且SWIR滤光器位于第二相机芯片上。类似于关于图1的以上描述布置，T1和T2可以表示通过顺序扫描MCF过滤的两个离散波长或通过CF过滤的多个波长。在一些实施例中(未示出)，所有三个照射源T1、T2和Ex可以同时呈现给样品。在一些示例中，照射源T1和T2可以独立于照射源Ex被递送。关于图7，可以理解，虽然使用两个物理上分离的相机芯片，但由于SWIR滤光器位于第二相机芯片上并且不能帮助形成立体图像，因此只能在人眼可见的白色或RGB光中生成二维或非立体图像。
在一些实施例中，内窥镜系统还包括作为光纤阵列光谱转换器(FAST)设备的一部分的多根光纤。作为光纤阵列光谱转换器(FAST)设备的一部分的光纤在本文中称为“FAST光纤”。在一些实施例中，FAST光纤被包括在内窥镜的主体内。当内窥镜的主体内包括FAST光纤时，内窥镜可以同时使用相机芯片和FAST光纤进行成像。
图8示出了FAST设备855的实施例。FAST设备包括至少一个照射源825，诸如生成通过光纤传输的光的激光源或Ex照射源。在备选实施例中，照射源825不受限制并且可以包括本文中描述的任何备选照射源。FAST设备855包括二维端856和一维端857。在一个实施例中，二维端856具有排序。二维端856的具体排序不受限制。在一些实施例中，排序是蛇形排序。FAST设备855的二维端856包括布置成一维光纤端的二维光纤阵列。在一个实施例中，二维端865是非线性的。这种非线性配置不受限制，并且可以是圆形、正方形、矩形及其组合中的一种或多种。此外，在一个实施例中，一维端857是线性的，形成一条直线。
来自样品组织的相互作用光子的至少一部分可以聚焦到FAST设备855的输入，即二维端865。在一些实施例中，FAST设备包括约50、约60、约70、约80、约90、约100、约110、约120、约130、约140或约150根FAST光纤。在一个实施例中，FAST光纤少于约100根。在另一实施例中，有大约96根FAST光纤。FAST光纤的数目可以在以任何上述数目作为端点的范围内。
再次参考图8，一维光纤端857定向在光谱仪860的入口狭缝处。光谱仪860通过将来自一维端857的多个光子分离成多个波长并且从每个光纤提供单独的色散光谱而起作用。可以在单个测量周期中获取多个拉曼光谱，因此可以对样品区域进行多次询问。包括FAST设备允许内窥镜或内窥镜系统在时间内捕获多个拉曼光谱，该时间与常规拉曼传感器收集一个光谱所需要的时间大致相同。因此，FAST设备可以大大减少获取时间。可以在检测器865处检测光子以生成拉曼数据集。在一个实施例中，处理器(未示出)提取嵌入在由检测器865生成的单个帧中的光谱和/或空间信息。虽然检测器865被描绘为CCD，但是应当理解，可以选择任何合适的检测器，包括上述不同种类的相机芯片和对应的滤光器阵列。
在图8中，861表示检测器865的输出，862表示示例性频谱重构，并且863表示示例性图像重构。在一个实施例中，感兴趣区域可以通过FAST设备与激光点的区域光学匹配以最大化收集拉曼效率。在一个实施例中，本公开设想了一种配置，其中仅移动激光束以在视场(FOV)内进行扫描。本公开还考虑了样品被移动而激光束是静止的实施例。
可以将“扫描”FOV与拉曼收集FOV光学匹配。FOV被成像到矩形FAST设备上，使得每根FAST光纤都从FOV的一个区域收集光。通过将整个FOV的面积除以光纤的数目，可以轻松计算出产生最大空间分辨率的每根光纤的面积。拉曼散射仅在激光激发样品时生成，因此拉曼光谱只能在其收集区域正在被激光束扫描的光纤处获取。仅扫描激光束是一个快速过程，其可以利用现成的电流计驱动的反射镜系统。
FAST设备855的构造需要知道每根光纤在阵列的二维端856和一维端857两者处的位置。每根光纤从二维端856中的固定位置收集光，并且将该光传输到检测器865上的固定位置上(通过该光纤的一维端857)。
每根光纤可以跨越一个以上的检测器行，从而在重构图像中允许比每根光纤一个像素更高的分辨率。事实上，这种超分辨率与光纤像素(即，与相应光纤相关联的检测器中的像素)之间的插值相结合可以实现比其他方式更高的空间分辨率。因此，空间校准可能不仅涉及成像端和远端处的光纤几何形状(即，光纤对应)的知识，而且还涉及哪些检测器行与给定光纤相关联的知识。
与其他光谱方法相比，使用FAST设备的基本优势中的一个是分析速度。FAST设备可以同时获取几个到数千个全光谱范围的空间分辨光谱。可以在使用常规方法从给定材料生成单个光谱所需要的时间内获取完整的光谱成像数据集，特别是对于易受激光诱导光损伤的组织样品。FAST设备还可以与多个检测器一起实现，并且颜色编码的FAST光谱图像可以叠加在其他高空间分辨率灰度图像上，以提供对组织样品的状况和化学性质的重要洞察。
利用FAST设备是配置内窥镜系统用于可以称为“多点”分析的一种方式。为了进行多点分析，根据组织样品的性质和所需要的多点采样类型，全部或部分照射待评估的组织样品和场。照射场可以分为多个相邻、不相邻或重叠的点，并且可以在每个点处生成光谱。在一个实施例中，这些光谱可以被平均。在另一实施例中，可以充分增加照射光斑尺寸以对样品的较大面积进行空间采样/平均。这也可以包括横断面采样。
举例来说，可以照射整个组织样品，并且可以通过评估选定点处的相互作用光子来执行多点分析。备选地，可以照射组织样品的多个点，并且可以评估从这些点发出的相互作用光子。可以连续地(即，顺序地)评估这些点。为了实现该策略，在光谱图的获取时间与空间分辨率之间存在固有权衡。每个全光谱都需要一定的时间来收集。随着样品的每单位面积收集的光谱越多，光谱图的表观分辨率和数据获取时间都会增加。在另一实施例中，对于图像场中的所有选定点，可以并行地(即，同时地)评估相互作用光子。所有点的这种并行处理被称为化学成像，并且在选择非常大量的空间点和光谱通道时可能需要大量的数据获取时间、计算时间和容量。然而，当评估的光谱通道数目相对较少时，化学成像可能需要较少的数据获取时间、计算时间和容量。
在一个实施例中，相互作用光子可以在FOV中的多个点(例如，显微镜的放大范围)处评估，这些点一起表示FOV(多点)区域的仅一部分。已经发现，在表示场的总面积的少数的点(例如，在两个、三个、四个、六个、十个、五十个、一百个或更多个点，和/或总共表示场的25％、5％、1％或更少的点)处对FOV进行采样可以提供FOV的有价值的表示。这些点可以是FOV的图像的单个像素，也可以是图像中由多个相邻或成组像素表示的FOV的区域。评估为个体点的区域或像素的形状并不重要。例如，圆形、环形、正方形或矩形区域或像素可以作为个体点进行评估。也可以在线扫描配置中评估像素线。
可以以多种已知方式选择或生成与多点分析中的每个点相对应的区域。在一个实施例中，可以使用结构化照射。举例来说，放置在照射或收集光路中的共焦掩模或衍射光学元件可以将照射或收集限制到样品的具有限定几何关系的某些部分。
FOV中的多个点的光谱分析(多点分析)允许高质量光谱感测和分析，而无需在图像的每个元素(像素)处执行光谱成像。可以(例如，同时地或单独地)对样品执行光学成像(例如，RGB成像)，并且光学图像可以与所选择的光谱信息相结合以定义和定位感兴趣区域。一次从该感兴趣区域的足够的不同位置快速获取光谱可以进行高效和准确的光谱分析以及样品中成分的标识。此外，样品或FOV中感兴趣区域的标识可以用作信号，以便对样品或FOV的该部分进行更详细的拉曼散射(或其他)分析。
FAST光谱和/或成像应用所需要的大量光纤对多点方法解决的成像光谱仪提出了极高的要求。多点分析可以利用包含两到数千根光纤的束中的直径较大的光纤，而不是具有数百万个像素。在光谱传感和分析的多点方法中，不需要完整的光谱成像(完整的光谱成像将需要至少数千个相邻像素来创建物理图像)。取而代之，同时在两到数千个点处执行的光谱感测可以快速(以秒为单位)从样品上需要分析和标识的各种点提供高质量的空间分辨光谱。因此，即使在FOV中分析的点的精确几何布置是未知的，这些点仍然具有可以跨越样品或FOV的所定义的几何布置。被分析的点可以提供关于组织样品的疾病状态的信息。
现在参考图9，描述了包括将照射光纤、成像光纤和FAST光纤组合在单个内窥镜中的柔性内窥镜的另一实施例。所描绘的内窥镜是适合插入体腔和体孔的柔性内窥镜；然而，也可以考虑适用于通过切口进行手术操作的刚性内窥镜。图9描绘了包括近端的柔性内窥镜，该近端不与患者相互作用并且以与上文所述的关于图8相同方式连接到光谱仪。具体零件和组件在这里不再赘述。柔性内窥镜还包括旨在插入体孔、体腔、切口等及其组合中的一个或多个内的远端。在近端，除了FAST设备，还提供有石英钨卤素灯、激光器或这两者形式的过滤照射源。本领域技术人员通过阅读上述公开内容将理解，对照射源没有特别限制并且照射源的选择在上文中进行了描述。
再次参考图9，内窥镜还包括远端，该远端被配置为插入患者体内以进行外科手术、辅助诊断及其组合。此外，如上所述，一些实施例中的远端包括照射光纤、FAST光纤和相机芯片中的一种或多种。可以理解，图9中描述的并且形成本公开的内窥镜系统的内窥镜不受配置限制，并且可以包括贯穿本申请描述的照射光纤、FAST光纤和相机芯片的任何组合。
在一些实施例中，内窥镜系统具有至少约每秒1帧(fps)、至少约2fps、至少约3fps、至少约4fps、至少约5fps、至少约6fps、至少约7fps、至少约8fps、至少约9fps、至少约10fps、至少约11fps、至少约12fps、至少约13fps、至少大约14fps，或至少大约15fps的刷新速率。
如上面参考图1-3和5-9所述的变体可以使用图4所示的两个光学配置选项中的一个选项来实现。在图4中标记为选项1的第一光学配置包括指向分束器402的照射源401。分束器402可以被配置为将光束分成两个光束，使得每个分束光束包括由照射源401发射的原始光的大约50％。第一分束光束被引导通过Ex源照射路径，第二分束光束被引导通过T1和T2源照射路径。沿Ex源照射路径，第一分束光束可以被引导通过调制器403，并且被反射镜404反射到激发滤光器405。激发滤光器405的输出可以通过光纤耦合透镜406并且通过Ex源照射光纤束407被输出。沿T1和T2路径，第二分束光束可以通过第二分束器408。第二分束器408的输出可以是两个相等的光束，现在每个光束大约为由照射源401发出的总光的25％。第一光束可以通过调制器409，被反射镜410反射，并且被滤光器411过滤。过滤后的光束可以通过光纤耦合透镜412，并且通过T1源照射光纤束413被输出。第二光束(来自分束器408)可以通过调制器414，并且被滤光器415过滤。过滤后的光束可以通过光纤耦合透镜416，并且通过T2源照射光纤束417被输出。
通过主动控制调制器403、409和414中的一个或多个调制器的操作，可以准确地控制如选项1中所示的配置的输出。例如，通过激活调制器409和414并且停用调制器403，T1和T2都可以主动输出源照射。类似地，通过激活调制器403并且停用调制器409和414，Ex可以主动输出源照射。
在图4中标记为选项2的第二光学配置包括指向可移动反射镜422的照射源421。根据可移动反射镜422的位置，从照射源421发射的光可以沿Ex源照射路径(由选项2中的实线表示)或T1和T2源照射路径(由选项2中的虚线表示)行进。
沿Ex源照射路径，被可移动反射镜422反射的光可以被反射镜423进一步反射到激发滤光器424。激发滤光器424的输出可以通过光纤耦合透镜425，并且通过Ex源照射光纤束426被输出。
如果可移动反射镜422被定位成使得由照射源421发射的光不被反射，则光可以遵循T1和T2路径。光束可以通过分束器427。分束器427的输出可以是两个相等光束，现在每个光束大约是由照射源421发射的总光的50％。第一光束(来自分束器427)可以通过调制器428，被反射镜429反射，并且被滤光器430过滤。过滤后的光束可以通过光纤耦合透镜431，并且通过T1源照射光纤束432被输出。第二光束(来自分束器427)可以通过调制器433，并且被滤光器434过滤。过滤后的光束可以通过光纤耦合透镜435，并且通过T2源照射光纤束436被输出。
通过主动控制可移动反射镜422的位置以及调制器428和433中的一个或多个调制器的操作，可以准确地控制如选项2中所示的配置的输出。例如，通过将可移动反射镜422移动到适当位置以反射由照射源421发射的光，所有发射的光都可以被引导到Ex光纤束426。类似地，通过将可移动反射镜422定位到没有由照射源421发射的光被反射的位置，并且通过主动控制调制器428和433，光可以输出到T1源照射光纤束432和T2源照射光纤束436中的一个或多个。
图4中的表比较了配置选项1和2的相对照度吞吐量和其他性能指标。但是，应当注意，表中包含的特定值与选项1和2中包含的特定设计相关，这些值仅通过示例方式提供。根据内窥镜系统的设计和实现，选项1和选项2中所示的设计可以相应地进行修改。例如，根据电路实现的可用空间，可以改变配置中反射镜的数目和/或位置。此外，在某些实现中，可以改变选项2的可移动反射镜422的功能。例如，当定位为反射光时，可移动反射镜422可以被配置为将反射光引导到T1和T2路径，而非反射光(即，可移动反射镜422定位在从照射源421发射的光未被反射的位置处)沿Ex通路传播。
在一些实施例中，尖端上芯片产品或内窥镜系统用作生成融合图像的方法的一部分。在这样的实施例中，使用第一多个调制光子生成第一图像，并且使用第二多个调制光子生成第二图像。使用第一图像和第二图像生成融合图像。在一些实施例中，生成第一图像和第二图像之外的附加图像，并且可以从调制和/或未调制光子生成附加图像。第一图像、第二图像和附加图像中的每个可以从紫外(UV)、可见光(VIS)、近红外(NIR)、可见近红外(VIS-NIR)、短波红外(SWIR)、扩展短波红外(eSWIR)、近红外扩展短波红外(NIR-eSWIR)范围内的光子来生成。在一些实施例中，多个未调制光子是NIR、SWIR或eSWIR光子。在其他实施例中，第一多个调制光子是VIS光子，并且第二多个调制光子是VIS-NIR光子。
在以上详细描述中，参考了形成其一部分的附图。在附图中，除非上下文另有说明，否则相似的符号通常标识相似的组件。在具体实施方式、附图和权利要求中描述的说明性实施例并不表示是限制性的。在不脱离本文中提出的主题的精神或范围的情况下，可以使用其他实施例，并且可以做出其他改变。将容易理解，如本文中一般描述的和在图中示出的本公开的各种特征可以以多种不同的配置进行布置、替换、组合、分离和设计，所有这些都在本文中明确预期。
本公开不限于本申请中描述的特定实施例，这些实施例旨在作为各种特征的说明。可以在不脱离其精神和范围的情况下进行很多修改和变化，这对于本领域技术人员来说是很清楚的。除了本文中列举的方法和装置之外，在本公开的范围内的功能等效的方法和装置对于本领域技术人员来说从前述描述是很清楚的。这种修改和变化旨在落入所附权利要求的范围内。本公开仅受所附权利要求的条款以及这些的权利要求有权享有的等效物的全部范围的限制。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，它们当然可以变化。还应当理解，本文中使用的术语仅用于描述特定实施例的目的，并不旨在进行限制。
关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用从复数转换成单数和/或从单数转换成复数。为了清楚起见，本文中可以明确地阐述各种单数/复数布置。
本领域技术人员将理解，一般而言，本文中使用的术语、尤其是在所附权利要求(例如，所附权利要求的主体)中使用的术语通常旨在作为“开放”术语(例如，术语“包括(including)”应当解释为“包括但不限于”，术语“具有(having)”应当解释为“至少具有”，术语“包括(includes)”应当解释为“包括但不限于”，等等)。虽然各种组合物、方法和设备以“包括(comprising)”各种组件或步骤(解释为意为“包括但不限于”)来描述，但组合物、方法和设备也可以“基本上由各种组件和步骤组成”或“由各种组件和步骤组成”，并且这样的术语应当被解释为基本上定义了封闭成员组。本领域技术人员将进一步理解，如果意在引入的权利要求记载的特定数目，则将在权利要求中明确记载这样的意图，并且在没有这样的记载的情况下不存在这样的意图。
例如，为了帮助理解，以下所附权利要求可能包含使用介绍性短语“至少一个”和“一个或多个”来介绍权利要求的叙述。然而，这样的短语的使用不应当被解释为暗示通过不定冠词“一个(a)”或“一个(an)”引入权利要求记载将包含这样的引入的权利要求记载的任何特定权利要求限制为仅包含一个这样的记载的实施例，即使同一权利要求包括介绍性短语“一个或多个”或“至少一个”和不定冠词，诸如“一个(a)”或“一个(an)”(例如，“一个(a)”和/或“一个(an)”应当解释为“至少一个”或“一个或多个”)；这同样适用于使用定冠词来引入权利要求。
此外，即使明确记载了引入的权利要求记载的特定数目，本领域技术人员将认识到，这样的记载应当被解释为至少表示所记载的数目(例如，“两个记载”而没有其他修饰语的单纯记载表示至少两个记载、或两个或两个以上记载)。此外，在使用类似于“A、B和C等中的至少一个”的约定的情况下，一般而言，这样的构造旨在本领域技术人员将理解约定的意义上(例如，“具有A、B和C中的至少一个的系统”将包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统，等等)。在使用类似于“A、B或C等中的至少一个”的约定的情况下，一般而言，这样的构造旨在本领域技术人员将理解约定的意义上(例如，“具有A、B或C中的至少一个的系统”将包括但不限于具有单独A、单独B、单独C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统，等等)。本领域技术人员将进一步理解，实际上呈现两个或更多个备选术语的任何单独词和/或短语(无论是在说明书、权利要求或附图中)都应当被理解为考虑包括这些术语中的一个、术语中的任何一个、或两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
此外，在根据马库什组描述本公开的特征的情况下，本领域技术人员将认识到，本公开由此也根据马库什组的任何个体成员或成员子组进行描述。
如本领域技术人员将理解的，对于任何和所有目的，例如在提供书面描述方面，本文中公开的所有范围还包括其任何和所有可能的子范围和子范围的组合。任何列出的范围都可以很容易地被识别为充分描述，并且能够将相同的范围分解为至少相等的一半、三分之一、四分之一、五分之一、十分之一等。作为非限制性示例，本文中讨论的每个范围可以容易地分解为下部三分之一、中部三分之一和上部三分之一等。如本领域技术人员还将理解的，诸如“高达”、“至少”等所有语言包括所列举的数字并且指的是可以随后分解为如上所述的子范围的范围。最后，如本领域技术人员将理解的，范围包括每个个体成员。因此，例如，具有1-3个单元的组是指具有1、2或3个单元的组。类似地，具有1-5个单元的组是指具有1、2、3、4或5个单元等的组。
以上公开的和其他的特征和功能中的各种特征和功能、或其备选可以组合成很多其他不同的系统或应用。本领域技术人员随后可以对其进行目前无法预见或未预料到的各种替代、修改、变化或改进，其中的每个也旨在被包含在所公开的实施例中。

Claims (12)

1.一种用于内窥镜中的混合成像产品，所述混合成像产品包括：
第一多个源照射光纤，被配置为传输第一多个调制光子；
第二多个源照射光纤，被配置为传输第二多个调制光子；
多个光纤阵列光谱转换器(FAST)光纤；以及
第一图像收集器，其包括成像光纤或相机传感器中的一种或多种。
2.根据权利要求1所述的混合成像产品，还包括第三多个源照射光纤，所述第三多个源照射光纤被配置为传输第三多个未调制光子。
3.根据权利要求1所述的混合成像产品，还包括第二图像收集器，其中所述第二图像收集器包括成像光纤或相机传感器中的一种或多种。
4.一种内窥镜系统，所述内窥镜系统包括：
混合成像产品，所述混合成像产品包括：
第一多个源照射光纤，被配置为传输第一多个调制光子，
第二多个源照射光纤，被配置为传输第二多个调制光子，
多个光纤阵列光谱转换器(FAST)光纤，以及
第一图像收集器，其包括成像光纤或相机传感器中的一种或多种；
照射源；
第一调制器，其至少调制用于所述第一多个源照射光纤的所述第一多个调制光子；以及
第二调制器，其至少调制用于所述第二多个源照射光纤的所述第二多个调制光子。
5.根据权利要求4所述的内窥镜系统，其中所述混合成像产品还包括第三多个源照射光纤，所述第三多个源照射光纤被配置为传输第三多个未调制光子。
6.根据权利要求4所述的内窥镜系统，其中所述混合成像产品还包括第二图像收集器，并且所述第二图像收集器包括成像光纤或相机传感器中的一种或多种。
7.根据权利要求4所述的内窥镜系统，其中所述照射源包括白炽灯、卤素灯、发光二极管(LED)、量子级联激光器、量子点激光器、外腔激光器、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光灯、气体放电灯、金属卤化物灯、氙弧灯、感应灯或其组合。
8.根据权利要求4所述的内窥镜系统，其中所述第一调制器或所述第二调制器各自独立地是声光可调谐滤光器(AOTF)、液晶可调谐滤光器(LCTF)、多元光学元件(MOE)、滤光轮、图案化标准具滤光器、多共轭滤光器(MCF)或保形滤光器(CF)中的一种或多种。
9.一种使用内窥镜系统生成融合图像的方法，所述内窥镜系统包括：混合成像产品，所述混合成像产品包括被配置为传输第一多个调制光子的第一多个源照射光纤、被配置为传输第二多个调制光子的第二多个源照射光纤、多个光纤阵列光谱转换器(FAST)光纤、以及包括成像光纤或相机传感器中的一种或多种的第一图像收集器；照射源；至少调制用于所述第一多个源照射光纤的所述第一多个调制光子的第一调制器；以及至少调制用于所述第二多个源照射光纤的所述第二多个调制光子的第二调制器，所述方法包括：
从第一多个调制光子生成第一图像；
从第二多个调制光子生成第二图像；以及
重叠所述第一图像和所述第二图像从而生成融合图像。
10.根据权利要求9所述的方法，还包括：
从第三多个未调制光子生成第三图像。
11.根据权利要求9所述的方法，其中所述第三多个未调制光子是NIR光子、SWIR光子、eSWIR光子或其组合。
12.根据权利要求9所述的方法，其中所述第一多个调制光子和所述第二多个调制光子中的每一者独立地是VIS或VIS-NIR。
CN202080046174.5A 2019-04-26 2020-04-27 混合成像产品和混合内窥镜系统 Pending CN114007486A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962839220P 2019-04-26 2019-04-26
US62/839,220 2019-04-26
PCT/US2020/030118 WO2020220035A1 (en) 2019-04-26 2020-04-27 Hybrid imaging product and hybrid endoscopic system

Publications (1)

Publication Number Publication Date
CN114007486A true CN114007486A (zh) 2022-02-01

Family

ID=72917573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046174.5A Pending CN114007486A (zh) 2019-04-26 2020-04-27 混合成像产品和混合内窥镜系统

Country Status (7)

Country Link
US (1) US20200337542A1 (zh)
EP (1) EP3958724A4 (zh)
JP (1) JP2022530113A (zh)
KR (1) KR20220005022A (zh)
CN (1) CN114007486A (zh)
BR (1) BR112021021082A2 (zh)
WO (1) WO2020220035A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11730340B2 (en) * 2019-05-01 2023-08-22 Karl Storz Imaging, Inc. Video display system having an adaptive overlay
WO2020247896A1 (en) * 2019-06-07 2020-12-10 The Board Of Trustees Of The Leland Stanford Junior University Optical systems and methods for intraoperative detection of csf leaks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US6770027B2 (en) * 2001-10-05 2004-08-03 Scimed Life Systems, Inc. Robotic endoscope with wireless interface
US7474407B2 (en) * 2003-02-20 2009-01-06 Applied Science Innovations Optical coherence tomography with 3d coherence scanning
US20130082180A1 (en) * 2004-06-30 2013-04-04 Chemlmage Corporation Multipoint Method for Assessing a Biological Sample
US7337066B2 (en) * 2005-12-08 2008-02-26 Chemimage, Corporation System and method for automated baseline correction for Raman spectra
DE102008018637A1 (de) * 2008-04-11 2009-10-15 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
US8098373B2 (en) * 2009-04-15 2012-01-17 Chemimage Corporation Spatially and spectrally parallelized fiber array spectral translator system and method of use
WO2015127090A1 (en) 2014-02-20 2015-08-27 Integrated Medical Systems International, Inc. Endoscope illumination system and method for shadow creation and improved depth perception and edge detection
US10481095B2 (en) * 2014-06-05 2019-11-19 Universität Heidelberg Methods and means for multispectral imaging
US10779713B2 (en) * 2014-12-09 2020-09-22 Chemimage Corporation Molecular chemical imaging endoscopic imaging systems

Also Published As

Publication number Publication date
EP3958724A4 (en) 2023-01-11
WO2020220035A1 (en) 2020-10-29
US20200337542A1 (en) 2020-10-29
JP2022530113A (ja) 2022-06-27
EP3958724A1 (en) 2022-03-02
BR112021021082A2 (pt) 2021-12-14
KR20220005022A (ko) 2022-01-12

Similar Documents

Publication Publication Date Title
CN111565621B (zh) 用于内窥镜的时间相关的源调制
US10530976B2 (en) Endoscope probes and systems, and methods for use therewith
US11280737B2 (en) Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
WO2019230878A1 (ja) 蛍光観察装置及び蛍光観察方法
US7626696B2 (en) Method and apparatus for reconfigurable field of view in a FAST-based imaging system
US11716543B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11276148B2 (en) Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11218645B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
EP3987761A1 (en) Hyperspectral imaging in a light deficient environment
US10602919B2 (en) Imaging device
US11937784B2 (en) Fluorescence imaging in a light deficient environment
US11622094B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11758256B2 (en) Fluorescence imaging in a light deficient environment
US20200337542A1 (en) Hybrid imaging product and hybrid endoscopic system
WO2020257119A1 (en) Speckle removal in a pulsed fluorescence imaging system
WO2020256954A1 (en) Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
WO2020257083A1 (en) Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397302A1 (en) Fluorescence imaging in a light deficient environment
WO2020257118A1 (en) Speckle removal in a pulsed fluorescence imaging system
US20190227291A1 (en) Fluorescence microscope
WO2020257121A1 (en) Speckle removal in a pulsed fluorescence imaging system
JP2011177436A (ja) 蛍光内視鏡装置
WO2009020450A1 (en) Method and apparatus for reconfigurable field of view in a fast-based imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination