CN111565621A - 用于内窥镜的时间相关的源调制 - Google Patents

用于内窥镜的时间相关的源调制 Download PDF

Info

Publication number
CN111565621A
CN111565621A CN201980007592.0A CN201980007592A CN111565621A CN 111565621 A CN111565621 A CN 111565621A CN 201980007592 A CN201980007592 A CN 201980007592A CN 111565621 A CN111565621 A CN 111565621A
Authority
CN
China
Prior art keywords
chip
rgbw
nir
vis
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007592.0A
Other languages
English (en)
Other versions
CN111565621B (zh
Inventor
P·川度
C·加德纳
S·斯图尔特
A·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ChemImage Corp
Original Assignee
ChemImage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ChemImage Corp filed Critical ChemImage Corp
Publication of CN111565621A publication Critical patent/CN111565621A/zh
Application granted granted Critical
Publication of CN111565621B publication Critical patent/CN111565621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/00167—Details of optical fibre bundles, e.g. shape or fibre distribution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内窥镜具有改进的尖端上芯片配置，所述尖端上芯片配置包括第一配置的源照射纤维和第二多个源照射纤维，连同相机芯片。内窥镜的尖端上的相机芯片和源照射纤维的组合导致产生尺寸缩小和重量减轻的内窥镜。

Description

用于内窥镜的时间相关的源调制
相关申请的交叉引用：本申请要求2018年1月10日提交的、标题为“用于内窥镜的时间相关的源调制(TIME CORRELATED SOURCE MODULATION FOR ENDOSCOPY)”的美国临时申请No.62/615,777的优先权和权益，该申请的内容整个地通过引用并入本文。
技术领域
本公开一般地涉及用于内窥镜的各种传感器和照射配置。更具体地说，本公开涉及用于尖端上芯片内窥镜的各种传感器和照射配置。
背景技术
内窥镜已经在医学界内达到了很大的接受程度，因为它们使得手术可以以最小的患者创伤进行，同时使得医生能够查看患者的内部解剖结构。根据手术，内窥镜可以被插入到身体的自然腔道或者通过皮肤中的切口。
常规的内窥镜设计通常包括细长的管状轴，该轴在一端具有刚性透镜组件或光纤透镜组件，经由该刚性透镜组件或者一个或更多个光纤股连接到相机或其他类似的光传感器。所述轴在手术期间被连接到手柄以用于操纵。经由手柄中的目镜和/或经由外部屏幕，查看通常是可能的。各种外科工具可以通过内窥镜中的工作通道被插入以用于进行不同的外科手术。
然而，常规的内窥镜设计包括各种缺点。例如，获取的信号中的吞吐量损失以及通过连接相机和透镜组件的光纤的所导致的图像失真在手术期间可能发生，而且与高质量的刚性透镜组件相关联的成本很高。
尖端上芯片内窥镜配置与常规的内窥镜配置的不同之处在于，相机在内窥镜的尖端，而不是基底。对于尖端上芯片配置，有几个益处。一个益处是相机尽可能地靠近样本，从而减小信号的吞吐量损失，并且使通过透镜组件和光纤的所导致的图像失真最小化。将相机装在内窥镜的尖端上的另一个优点是内窥镜系统本身的尺寸可能缩小，重量可能减轻。因为信号被读到内窥镜的尖端处的相机芯片上，所以不需要专门的光学器件或光纤来将图像中继转发给在内窥镜的背部的相机。这样，内窥镜系统中的部件的总数可以减少。
发明内容
本公开是针对与内窥镜一起使用的或者在内窥镜内使用的尖端上芯片产品的各种实施方案。
一个实施方案提供用于内窥镜中的尖端上芯片产品，所述尖端上芯片产品包括：第一多个源照射光纤，所述第一多个源照射光纤被配置为输送第一多个调制光子；第二多个源照射纤维，所述第二多个源照射纤维被配置为输送第二多个调制光子；以及第一相机芯片，所述第一相机芯片被配置为检测光，所述光包括可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)和它们的组合。
另一个实施方案提供所述第一相机芯片被配置为检测可见光(VIS)，并且进一步包括第二相机芯片，所述第二相机芯片被配置为检测可见光(VIS)。
另一个实施方案提供所述第一相机芯片被配置为检测可见光(VIS)，并且进一步包括第二相机芯片，所述第二相机芯片被配置为检测近红外光(NIR)。
另一个实施方案提供与所述第一相机芯片一起提供的滤色器阵列，所述滤色器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和在水平线和垂直线上的6×6RGB、以及它们的组合。
另一个实施方案提供所述滤色器阵列选自由以下滤色器组成的组：RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和它们的组合；并且所述滤色器阵列的W瓦片(tile)是NIR滤色器、SWIR滤色器或eSWIR滤色器。
另一个实施方案提供权利要求1的尖端上芯片产品进一步包括第三多个源照射纤维，所述第三多个源照射纤维被配置为输送第三多个未调制光子。
另一个实施方案提供所述第一芯片包括硅(Si)、锗(Ge)、砷化镓铟(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)或它们的组合。
一个实施方案提供一种内窥镜系统，所述内窥镜系统包括：尖端上芯片产品，所述尖端上芯片产品包括：第一多个源照射纤维，所述第一多个源照射纤维被配置为输送第一多个调制光子；第二多个源照射纤维，所述第二多个源照射纤维被配置为输送第二多个调制光子；以及第一相机芯片，所述第一相机芯片被配置为检测光，所述光包括可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)和以上光中的任何一个的组合；光源；第一调制器，所述第一调制器至少调制所述第一多个调制光子用于所述第一多个源照射纤维；以及第二调制器，所述第二调制器至少调制所述第二多个调制光子用于所述第二多个照射源纤维。
另一个实施方案提供所述第一相机芯片被配置为检测可见光(VIS)，并且其中所述尖端上芯片产品进一步包括第二相机芯片，所述第二相机芯片被配置为检测可见光(VIS)。
另一个实施方案提供所述第一相机芯片被配置为检测可见光(VIS)，并且其中所述尖端上芯片产品进一步包括第二相机芯片，所述第二相机芯片被配置为检测近红外光(NIR)。
另一个实施方案提供所述尖端上芯片产品进一步包括与所述第一相机芯片一起提供的滤色器阵列，所述滤色器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和在水平线和垂直线上的6×6RGB、以及它们的组合。
另一个实施方案提供所述滤色器阵列选自由以下滤色器组成的组：RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和它们的组合；并且所述滤色器阵列的W瓦片是NIR滤色器、SWIR滤色器或eSWIR滤色器。
另一个实施方案提供所述尖端上芯片产品进一步包括第三多个源照射纤维，所述第三多个源照射纤维被配置为输送第三多个未调制光子。
另一个实施方案提供所述光源包括白炽灯、卤素灯、发光二极管(LED)、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光、气体放电灯、金属卤化物灯、氙弧灯、感应灯或它们的组合。
另一个实施方案提供所述第一相机芯片包括硅(Si)、锗(Ge)、砷化镓铟(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)或它们的组合。
另一个实施方案提供所述尖端上芯片产品进一步包括第二相机芯片，并且所述第一相机芯片和所述第二相机芯片被配置为产生立体图像。
在一个实施方案中，存在一种使用内窥镜系统产生融合图像的方法，所述方法包括：提供权利要求8的内窥镜系统；从第一多个调制光子产生第一图像；从第二多个调制光子产生第二图像；并且覆盖所述第一图像和所述第二图像，从而产生融合图像。
另一个实施方案进一步提供从第三多个未调制光子产生第三图像。
另一个实施方案提供所述第三多个未调制光子是NIR光子、SWIR光子、eSWIR光子或它们的组合。
另一个实施方案提供所述第一多个调制光子和所述第二多个调制光子是VIS或VIS-NIR。
附图说明
合并在本说明书中并且形成本说明书的一部分的附图图示说明本发明的实施方案，并且与撰写的描述一起用于说明本发明的原理、特性和特征。在附图中：
图1图示说明根据本公开的内窥镜的第一变型。
图2图示说明根据本公开的内窥镜的第二变型。
图3图示说明根据本公开的内窥镜的第三变型。
图4图示说明用于与根据本公开的如图1-3所示的内窥镜变型之一一起使用的两个光学配置选项。
具体实施方式
本公开不限于所描述的特定系统、装置和方法，因为这些可以变化。描述中使用的术语仅仅是出于描述特定版本或实施方案的目的，而非意图限制范围。
如本文档中所使用的，单数形式“一个”、“一种”和“所述”包括复数指代，除非上下文另有清楚的规定。除非另有定义，本文中使用的所有的技术术语和科学术语都具有与本领域的普通技术人员通常理解的意义相同的意义。本公开中没有任何内容要被解读为承认本公开中描述的实施方案无权先于凭借先前的发明的这样的公开。如本文档中所使用的，术语“包括”意指“包括，但不限于”。
下面描述的本教导的实施方案并非意图是穷举的或者使教导限于以下详述的描述中公开的精确形式。相反，实施方案被选择和描述是为了使得本领域技术人员可以领会和理解本教导的原理和实践。
如以上所指出的，常规的内窥镜在一端包括经由一个或更多个光纤股连接到相机或其他类似的光传感器的光纤透镜组件。为了从常规的内窥镜成像系统获取多频谱数据，从样本获取的信号在到达相机之前被选择性地调谐，通常是用一个或更多个直列式滤色器来调谐。在内窥镜的尖端上具有相机(或芯片)的内窥镜系统中，在没有滤色技术的显著的微型化的情况下，对样本图像进行滤色是不容易做到的。作为替代，源照射在到达样本之前被滤色。样本信号然后被内窥镜的尖端处的相机读取。
本公开描述了三个内窥镜成像变型。这些变型包括在样本成像之前对源照射进行滤色。在所述变体中的每个中，源滤色和/或调制可以由例如光学成像滤色器执行，所述光学成像滤色器诸如声光可调谐滤色器(AOTF)、液晶可调谐滤色器(LCTF)和顺序扫描可调谐滤色器(包括例如多共轭滤色器(MCF)或适形滤色器(CF))。然而，应注意到，MCF和CF在本文中仅仅是作为示例描述的。附加的滤色器(诸如多元光学元件(MOE)、MOE滤色器和滤色器轮布置、图案化标准具滤色器和其他类似的滤色器)可以被用来对源照射进行滤色。源照射处理和滤色的附加示例可以在被作为美国专利申请公开No.2018/0116494发表的美国专利申请No.15/374,769中找到，该申请整个地通过引用并入本文。以上源滤色和/或调制在本说明书的一些实施方案中被表示为由“调制器”执行，所述调制器是指对来自光源的光子进行调制的装置中的任何一个。
如本文中所描述的，所述三个变型包括放置在内窥镜尖端的中心并且被源照射滤色器包围的相机芯片。然而，应注意到，该中心布置仅仅是作为示例提供的，并且相机芯片和源照射滤色器的附加布置可以包括在内。
如本文中所描述的内窥镜变型可以包括各种照射源。在某些实现中，单个光源可以与各种配置的分束器和/或反光镜组合用来提供多个光束。这些多个光束然后可以通过使用例如不同的源照射光纤或多组源照射光纤而被引导到内窥镜尖端。例如，在图1所示的变型中，单个光源可以被划分为两个单独的射束并且被引导到两组源照射光纤。在诸如图4所示的选项的其他实现中，单个光源可以被划分为单独的射束，或者经由一个或更多个反光镜被重新引导，以为三组源照射光纤提供源照射。应注意到，尽管例如在图1和图4中，只有一个光源被示出，但是本公开不限于单个光源。设想的是，附加光源可以包括在如本文中所描述的内窥镜变型中的一个或更多个中。这样的内窥镜变型可以包括单独或组合使用的多个单独的且不同的光源。
光源是没有限制的，并且可以是对于提供内窥镜其他辅助要求(诸如功耗、发射的频谱、包装、热输出等)必需的照射有用的任何源。在一些实施方案中，光源是白炽灯、卤素灯、发光二极管(LED)、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光、气体放电灯、金属卤化物灯、氙弧灯、感应灯或这些光源的任何组合。在一些实施方案中，光源是可调谐光源，可调谐光源意味着光源是单色的，并且可以被选择在任何期望的波长范围内。可调谐光源的选定的波长是没有限制的，并且可以是紫外光(UV)、可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波长红外光(SWIR)、扩展短波红外光(eSWIR)和近红外-扩展短波红外光(NIR-eSWIR)范围内的任何通带。下面描述波长范围。
内窥镜的公开的变型包括被用作检测传入的光子并且输出该信息以形成图像的图像传感器的至少一个相机芯片。相机芯片的功能性和构造是没有限制的。在一些实施方案中，相机芯片以能够成像的光的波长为特征。可以被相机芯片成像的光的波长是没有限制的，并且包括紫外光(UV)、可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)。这些对应于大约180nm至大约380nm(UV)、大约380nm至大约720nm(VIS)、大约400nm至大约1100nm(VIS-NIR)、大约850nm至大约1800nm(SWIR)、大约1200nm至大约2450nm(eSWIR)和大约720nm至大约2500nm(NIR-eSWIR)的波长。以上范围可以单独使用，或者与列出的范围中的任何一个组合使用。这样的组合包括相邻(相连)范围、重叠范围和不重叠的范围。范围的组合可以通过包括每个对特定范围敏感的多个相机芯片或者通过包括滤色器可以感测多个不同的范围的单个相机芯片来实现。
在一些实施方案中，相机芯片以形成它的材料为特征。相机芯片的材料是没有限制的，并且可以基于相机芯片预期检测的波长范围来选择。在这样的实施方案中，相机芯片是基于硅(Si)、锗(Ge)、砷化镓铟(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)或这些中的任何一个的组合。
在一些实施方案中，相机芯片以其电结构为特征。所述电结构是没有限制的，并且相机芯片包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器。应注意到，以上列出的材料每个都可以与形成最终的相机芯片的电结构一起使用。示例包括Si CMOS、Si CCD、Ge CCD、Ge CMOS、InGaAs CCD、InGaAs CMOS、PtSi CCD、PtSi CMOS、HgCdTe CCD、HgCdTe CMOS、InSb CCD、InSb CMOS、CQD CCD或CQD CMOS。这些传感器结构可以单独或者组合使用，要么在同一物理相机芯片中，要么在多个单独的相机芯片中。
在一些实施方案中，相机芯片设有滤色器阵列以生成图像。滤色器阵列的设计是没有限制的。要理解，术语“滤色器”在被用于相机芯片的上下文中时意指参考的光被允许通过该滤色器。例如，“绿色滤色器”是通过仅允许具有大约520nm至大约560nm的波长的光(对应于可见颜色绿色)通过该滤色器而对人眼表现出绿色的滤色器。类似的“NIR滤色器”只允许仅红外光(NIR)通过。在一些实施方案中，滤色器是被定位在相机芯片上方的滤色器。这样的滤色器阵列在设计上是变化的，但是全都与最初的“Bayer”滤色器马赛克滤色器相关。滤色器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和X-TRANS(由日本东京的Fujifilm Corporation销售)。X-TRANS传感器具有通过在所有的水平线和垂直线中包括RGB瓦片来减少摩尔效应伪像的大的6×6像素图案。在列表中，B对应于蓝色，G对应于绿色，R对应于红色，E对应于祖母绿，C对应于青色，Y对应于黄色，M对应于品红。W对应于下面将进一步描述的“白色”或单色瓦片。
W或“白色”瓦片本身包括几个配置。在一些实施方案中，W瓦片不对任何光进行绿色，所以所有的光都到达相机芯片。在这些实施方案中，相机芯片将检测它能够检测的所有的光。根据相机芯片，这可以是UV、VIS、NIR、VIS-NIR、VIS-NIR、VIS-SWIR或VIS-eSWIR。在一些实施方案中，W瓦片是用于VIS、VIS-NIR、NIR或eSWIR的滤色器，仅允许VISVIS-NIR、NIR或eSWIR分别到达相机芯片。这可以被有利地与以上列出的相机芯片材料或电结构中的任何一个组合。这样的滤色器阵列可以是有用的，因为它使得单个相机芯片能够既检测可见光、又检测近红外光，并且有时被称为四带滤色器阵列。
在还有的进一步的实施方案中，滤色器阵列被省略，并且不与相机芯片一起提供，这生成单色图像。在这样的实施方案中，产生的图像仅基于构成相机芯片的材料的带隙。在其他实施方案中，滤色器仍被应用于相机芯片，但是仅作为整体的单个滤色器。例如，红色滤色器的应用意味着相机芯片产生表示红色光谱的单色图像。在一些实施方案中，每个具有不同的整体的单个滤色器相机芯片的多个相机芯片被采用。作为示例，VIS图像可以通过组合每个分别具有R、G和B滤色器的三个相机芯片而产生。在另一个示例中，VIS-NIR图像可以通过组合每个分别具有R、G、B和NIR滤色器的四个相机芯片而生成。在另一个示例中，VIS-eSWIR图像可以通过组合每个分别具有R、G、B和eSWIR滤色器的四个相机芯片而生成。
在一些实施方案中，颜色阵列被省略，并且相机芯片利用被组织到像素网格中的垂直堆叠的光电二极管。堆叠的光电二极管中的每个对期望波长的光做出响应。例如，堆叠式光电二极管相机芯片包括R、G和B层以形成VIS图像。在另一个实施方案中，堆叠式光电二极管相机芯片包括R、G、B和NIR层以形成VIS-NIR图像。在另一个实施方案中，堆叠式光电二极管相机芯片包括R、G、B和eSWIR层以形成VIS-eSWIR图像。
在其中包括两个或更多个相机芯片的那些实施方案中，可以基于来自所述两个或更多个相机芯片中的每个的图像来产生立体图像。立体图像是有用的，因为它们使得查看者可以感知到图像中的深度，这提高了感知的准确性和现实性。在外科手术或其他类似的内窥镜活动期间，这对于操纵仪器和执行任务是有用的，安全性和准确性大于利用单像内窥镜。这是因为仅具有一个相机芯片位置的单像内窥镜不能提供深度感知。在一些实施方案中，立体图像是通过使用相同的两个相机芯片和两个滤色器阵列而形成的。在一些实施方案中，立体图像是用相同的两个相机芯片形成的，但是每个相机芯片设有不同的滤色器阵列。在一些实施方案中，立体图像是用不同的两个相机芯片形成的，这两个相机芯片设有不同的两个滤色器阵列。在一些实施方案中，立体图像是用不同的两个相机芯片形成的，其中只有一个相机芯片被提供滤色器阵列，另一个相机芯片要么被提供单色滤色器，要么根本不被提供滤色器阵列。在提供多于一个的相机芯片的任何时候，立体图像都可以通过使用每个相机芯片的输出并且组合或融合每个相机芯片的输出来产生。
在还有的进一步的实施方案中，获得立体图像的方法被提供。例如，第一相机芯片产生第一图像，在不同位置处的第二相机芯片产生第二图像，并且第一图像和第二图像被组合(“被融合”)以形成立体图像。
图1图示说明根据本公开的第一内窥镜变型。如图1所示，内窥镜可以在尖端中被配备有被两组源照射光纤T1和T2围绕的两个红-绿-蓝(RGB)相机RGB1和RGB2。如图1中的端视图中所示，源照射光纤T1、T2可以被以交替的方式围绕内窥镜的圆周布置。这样的布置可以提供围绕内窥镜的圆周的更均匀的且一致的照明。然而，应注意到，交替布置仅仅是作为示例提供的，并且另外的布置的源照射光纤可以被包括在设计中。
在一些实现中，源照射光纤T1和T2可以表示通过顺序扫描MCF滤色的两个离散的波长或者通过CF滤色的多个波长。例如，T1和T2可以被选择性地调制或者被同时递送到样本。如图1中包括的电路图中所示，单个光源可以朝向分束器。分束器可以被配置为将从光源接收的光划分为两个射束。第一射束可以顺着T1源照射路径被引导到调制器和滤色器(例如，MCF和/或CF)。类似地，第二射束可以顺着T2源照射路径被引导到第二调制器和滤色器(例如，MCF和/或CF)。通过主动地控制调制器的操作和滤色器的配置，第一多个源照射纤维T1或第二多个源照射纤维T2中的任何一个或这两个都可以以它们的相应的离散的波长照射组织样本。
在一些实现中，两个相机RGB1和RGB2可以被配置为执行单独的成像功能。例如，RGB1可以被调谐并且被配置为当样本组织通过使用源照射纤维T1被照射时提供样本图像。相反，RGB2可以被调谐并且被配置为当样本组织通过使用源照射纤维T2被照射时提供样本图像。在其他实现中，RGB1可以被实现为低分辨率相机，并且RGB2可以被实现为高分辨率相机。在这样的示例中，两个相机都可以被配置为使用任何一个源照射纤维T1和T2来捕捉图像。
图2图示说明根据本公开的第二内窥镜变型。如图2所示，内窥镜可以被配备一个RGB相机和一个近红外(NIR)相机。包括源照射纤维T1和T2(类似于如上所述的T1和T2)以及第三源照射纤维Ex的几个纤维可以被布置为使得它们围绕两个相机芯片。如本文中所描述的，源照射纤维Ex可以被配置为引导具有用于NIR荧光成像的激励波长的光。在一些实现中，照射纤维可以被布置为三个一组的多个组。例如，如图2中的端视图中所示，三个一组的多个组可以在T1、Ex和T2之间交替。然而，应注意到，图2所示的交替布置仅仅是作为示例提供的。源照射纤维的交替的和/或另外的布置可以被用在设计中。
类似于图1的以上讨论，T1和T2可以表示通过顺序扫描MCF滤色的两个离散的波长或者通过CF滤色的多个波长。在一些实现中，所有的三个照射源T1、T2和Ex都可以被同时呈现给样本。在一些示例中，照射源T1和T2可以被独立于照射源Ex递送。
在一些实现中，使用T1和T2照射源纤维照射的组织样本的图像可以通过使用RFB相机来记录。在这样的布置中，使用Ex源照射纤维照射的组织样本的荧光图像可以通过使用NIR相机来记录。然而，应注意到，这样的布置仅仅是作为示例提供的，并且相机的功能性可以基于调制、滤色和与源照射纤维相关的其他类似因素来改变。
图3图示说明根据本公开的第三内窥镜变型。如图3所示，内窥镜可以在相机芯片上方被配备包括红色、绿色、蓝色和NIR滤色器的四带滤色器阵列。类似于如以上关于图2描述的布置，包括源照射纤维T1和T2以及第三源照射纤维Ex的几个纤维可以围绕相机芯片(一个或更多个)。在一些实现中，照射纤维可以被布置为三个一组的多个组。例如，如图3中的端视图中所示，三个一组的多个组可以在T1、Ex和T2之间交替。然而，应注意到，图3所示的交替布置仅仅是作为示例提供的。源照射纤维的交替的和/或另外的布置可以被用在设计中。
类似于图1的以上讨论，T1和T2可以表示通过顺序扫描MCF滤色的两个离散的波长或者通过CF滤色的多个波长。在一些实现中，所有的三个照射源T1、T2和Ex都可以被同时呈现给样本。在一些示例中，照射源T1和T2可以被独立于照射源Ex递送。
在一些实现中，使用T1和T2照射源纤维成像的组织样本可以通过使用滤色器阵列的红色、绿色和/或蓝色滤色的像素来记录。在这样的布置中，使用Ex源照射纤维产生的荧光图像可以通过使用NIR滤色的像素来记录。
如以上参照图1-3描述的三种变型可以使用图4所示的两个光学配置选项中的一个来实现。第一光学配置(在图4中被标记为选项1)包括朝向分束器402的光源401。分束器402可以被配置为将射束划分为两个射束以使得射束中的每个都包括光源401发射的原始光的大约50％，第一划分光束被引导通过Ex源照射路径，第二划分光束被引导通过T1和T2源照射路径。跟随Ex源照射路径，第一划分光束可以被引导通过调制器403，并且被反光镜404反射到激励滤色器405。激励滤色器405的输出可以通过纤维耦合透镜406，并且通过Ex源照射光纤束407输出。跟随T1和T2路径，第二划分光束可以通过第二分束器408。第二分束器408的输出可以是两个相等的射束，现在每个射束为光源401发射的总的光的大约25％。第一射束可以通过调制器409，被反光镜410反射，并且被滤色器411滤色。滤色的射束可以通过纤维耦合透镜412，并且通过T1源照射光纤束413输出。第二射束(来自分束器408)可以通过调制器414，并且被滤色器415滤色。滤色的射束可以通过第一耦合透镜416，并且通过T2源照射光纤束417输出。
通过主动地控制调制器403、409和414中的一个或更多个的操作，如选项1中所示的配置的输出可以被准确地控制。例如，通过启动调制器409和414并且停用调制器403，T1和T2这二者都可以主动地输出源照射。类似地，通过启动调制器403并且停用调制器409和414，Ex可以主动地输出源照射。
第二光学配置(在图4中被标记为选项2)包括朝向可移动反光镜422的光源421。根据可移动反光镜422的位置，从光源421发射的光可以要么行进Ex源照射路径(用选项2中的实线表示)，要么行进T1和T2源照射路径(用选项2中的虚线表示)。
跟随Ex源照射路径，被可移动反光镜422反射的光可以进一步被反光镜423反射到激励滤色器424。激励滤色器424的输出可以通过纤维耦合透镜425，并且通过Ex源照射光纤束426输出。
如果可移动反光镜422被定位为使得光源421发射的光不被反射，则该光可以跟随T1和T2路径。光束可以通过分束器427。分束器427的输出可以是两个相等的射束，现在每个射束为光源421发射的总的光的大约50％。第一射束(来自分束器427)可以通过调制器428，被反光镜429反射，并且被滤色器430滤色。滤色的射束可以通过纤维耦合透镜431，并且通过T1源照射光纤束432输出。第二射束(来自分束器427)可以通过调制器433，并且被滤色器434滤色。滤色的射束可以通过纤维耦合透镜435，并且通过T2源照射光纤束436输出。
通过主动地控制可移动反光镜422的位置、以及调制器428和433中的一个或更多个的操作，如选项2中所示的配置的输出可以被准确地控制。例如，通过将可移动反光镜422移动到反射光源421发射的光的位置，所有的发射的光都可以被引导到Ex光纤束426。类似地，通过将可移动反光镜422定位到光源421发射的光不被反射的位置，并且主动地控制调制器428和433，光可以被输出到T1源照射光纤束432和T2源照射光纤束436中的一个或更多个。
图4中的表格比较相对照射强度吞吐量与配置选项1和2的其他性能度量。然而，应注意到，该表格中包含的特定值与仅作为示例提供的、选项1和2中包括的特定设计是相关的。根据内窥镜系统的设计和实现，选项1和2中所示的设计可以被相应地修改。例如，根据用于电路实现的可用空间，配置中的反光镜的数量和/或位置可以被改变。另外，在某些实现中，选项2的可移动反光镜422的功能可以被改变。例如，当在反射光的位置上时，可移动反光镜422可以被配置为在不被反射的光(即，可移动反光镜422在从光源421发射的光不被反射的位置上)顺着Ex通路行进的同时、将反射的光引导到T1和T2通路。
在一些实施方案中，尖端上芯片产品或内窥镜系统被用作产生融合图像的方法的一部分。在这样的实施方案中，第一多个调制光子被用来产生第一图像，并且第二多个调制光子被用来产生第二图像。第一图像和第二图像被用来产生融合图像。在一些实施方案中，除了第一图像和第二图像之外的附加图像被产生，并且这些附加图像可以从调制光子和/或未调制光子产生。第一图像、第二图像和附加图像中的每个都可以从紫外光(UV)、可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)的范围中的光子产生。在一些实施方案中，所述多个未调制光子是NIR、SWIR或eSWIR光子。在其他实施方案中，第一多个调制光子是VIS，并且第二多个调制光子是VIS-NIR。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。将容易理解的是，如本文一般所描述的及附图所图示说明的，本公开的方面可以在广泛种类的不同的配置中被编排、代替、组合、分开以及设计，所有这些在本文被明确地考虑了。
根据本申请所描述的特定实施方案的本公开将不受限制，其被意图作为各种方面的图示说明。如对本领域技术人员将是清晰的那样，在不脱离本公开的精神和范围下可以作许多修改和变更。在本公开范围内，功能上等同的方法和设备，除了本文所列举的那些之外，从前述说明书来看对本领域技术人员将是清晰的。这样的修改和变更意图落入所附权利要求书的范围内。本公开将仅由所附权利要求书的条款以及这样的权利要求所给予权利的等同物的全部范围限制。将理解的是，本公开不限于特定的方法、试剂、化合物、组成或生物系统，其当然可以变化。也将理解的是，本文所使用的术语仅是出于描述特定的实施方案的目的，而并非意图是限制性的。
相对于本文基本上任何复数和/或单数术语的使用，本领域技术人员可以从复数到单数和/或从单数到复数转换，只要适合于上下文和/或应用。为清楚起见，在本文各种单数/复数置换可以被明确地阐述。
本领域技术人员将理解的是，一般地，在本文且尤其在所附权利要求书中所使用的术语(例如，所附权利要求书中的主体)一般意图作为“开放(open)的”术语(例如，术语“包括(including)”应被解释为“包括但不限于(including but is not limited to)，术语“具有(having)”应被解释为“至少具有(having at least)”，术语“包含(includes)”应被解释为“包含但不限于(includes but is not limited to)”等)。尽管各种组成、方法和装置依据“包括(comprising)”各种部件或步骤(被解释为“包括但不限于(including,butnot limited to)”的意义)被描述，组成、方法和装置也可以由各种部件和步骤“本质上组成(consist essentially of)”或“组成(consist of)”，并且这样的术语应该被解释为本质上限定闭合的构件组。本领域技术人员将进一步理解的是，如果意图是特定数量的被引入权利要求陈述，则这样的意图将在权利要求中被明确地陈述，并且在没有这样的陈述时，这样的意图不存在。
例如，作为对理解的帮助，所附权利要求书可以包含引入权利要求陈述的引入性短语“至少一个”以及“一个或者更多个”的使用。然而，这样的短语的使用不应被解释为意味着通过“一”(不定冠词“a”或者“an”)引入权利要求陈述使包含这样引入的权利要求陈述的任何特定权利要求限于仅包含一个这样的陈述的实施方案，即使当同一权利要求包括引入性短语“一个或者更多个”或者“至少一个”以及“一”(不定冠词(比如，“a”或者“an”))(例如，“一”(“a”和/或“an”)应被解释为意指“至少一个”或者“一个或者更多个”)时；同样适用于用于引入权利要求陈述的定冠词的使用。
另外，即使特定数量的被引入的权利要求陈述被明确地陈述，本领域技术人员也将认识到，这样的陈述应被解释为意指至少所陈述的数量(例如，没有其他修饰语的“两个陈述”的无修饰陈述意指至少两个陈述、或者两个或者更多个陈述)。此外，在使用类似于“A、B和C等中的至少一个”的惯例的那些情况下，通常，这样的句法结构的意图是从本领域技术人员将理解该惯例的意义上来讲的(例如，“具有A、B和C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、具有A和B、具有A和C、具有B和C和/或具有A、B和C、等等的系统)。在使用类似于“A、B或C中的至少一个”的惯例的那些情况下，通常，这样的句法结构的意图是从本领域技术人员将理解该惯例的意义上来讲的(例如，“具有A、B或C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、具有A和B、具有A和C、具有B和C和/或具有A、B和C、等等的系统)。本领域技术人员将进一步理解的是，几乎任何分离词和/或短语呈现两种或更多种可替换的术语，无论在说明书、权利要求书或附图，应被理解来考虑包含一种术语、另一种术语或两种术语的可能性。例如，短语“A或B”将被理解为包含“A”或“B”或“A和B”的可能性。
另外，本公开的特征或一些方面根据马库什(Markush)组来描述，本领域技术人员将理解的是，本公开也由此依据马库什组的任何单个成员或子组成员来描述。
如将被本领域技术人员所理解的，针对任何和所有目的，例如在提供书面描述方面，本文所公开的所有范围也涵盖任何和所有可能的子范围以及其中的子范围的组合。任何所列的范围可以被容易地理解为足够地描述以及使得相同的范围被分解为至少相等的两部分、三部分、四部分、五部分以及十部分等等成为可能。作为非限制性的实施例，本文所讨论的每个范围可以被容易地分解成下三分之一、中间三分之一和上三分之一等等。如还将被本领域技术人员所理解的，所有的语言(例如“直至(up to)”和“至少(at least)”等等)包括列举的数字，并且指的是可以随后被分解成如上面所讨论的子范围的范围。最后，如将被本领域技术人员所理解的，范围包括每个单个成员。因此，例如，具有1-3个单元的组指的是具有1、2或3个单元的组。类似地，具有1-5个单元的组指的是具有1、2、3、4或5个单元的组等等。
各种上面所公开的及其他特征和功能，或其替换物，可以被结合到许多其他不同的系统或应用中。本领域技术人员可以随后做出各种目前无法预见或无法预期的替换、修改、变更或在其中的改进，其中的每个也意图被所公开的实施方案所涵盖。

Claims (21)

1.一种用于内窥镜中使用的尖端上芯片产品，所述尖端上芯片产品包括：
第一多个源照射纤维，所述第一多个源照射纤维被配置为输送第一多个调制光子；
第二多个源照射纤维，所述第二多个源照射纤维被配置为输送第二多个调制光子；以及
第一相机芯片，所述第一相机芯片被配置为检测光，所述光包括可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)和它们的组合。
2.如权利要求1所述的尖端上芯片产品，其中所述第一相机芯片被配置为检测可见光(VIS)，并且进一步包括第二相机芯片，所述第二相机芯片被配置为检测可见光(VIS)。
3.如权利要求1所述的尖端上芯片产品，其中所述第一相机芯片被配置为检测可见光(VIS)，并且进一步包括第二相机芯片，所述第二相机芯片被配置为检测近红外光(NIR)。
4.如权利要求1所述的尖端上芯片产品，进一步包括与所述第一相机芯片一起提供的滤色器阵列，所述滤色器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和在水平线和垂直线上的6×6RGB、以及它们的组合。
5.如权利要求4所述的尖端上芯片产品，其中：
所述滤色器阵列选自由以下滤色器组成的组：RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和它们的组合；并且
所述滤色器阵列的W瓦片是NIR滤色器、SWIR滤色器或eSWIR滤色器。
6.如权利要求1所述的尖端上芯片产品，进一步包括第三多个源照射纤维，所述第三多个源照射纤维被配置为输送第三多个未调制光子。
7.如权利要求1所述的尖端上芯片产品，其中所述第一芯片包括硅(Si)、锗(Ge)、砷化镓铟(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)或它们的组合。
8.如权利要求1所述的尖端上芯片产品，其中所述尖端上芯片产品进一步包括第二相机芯片，并且所述第一相机芯片和所述第二相机芯片被配置为产生立体图像。
9.一种内窥镜系统，所述内窥镜系统包括：
尖端上芯片产品，所述尖端上芯片产品包括：
第一多个源照射纤维，所述第一多个源照射纤维被配置为输送第一多个调制光子；
第二多个源照射纤维，所述第二多个源照射纤维被配置为输送第二多个调制光子；以及
第一相机芯片，所述第一相机芯片被配置为检测光，所述光包括可见光(VIS)、近红外光(NIR)、可见-近红外光(VIS-NIR)、短波红外光(SWIR)、扩展短波红外光(eSWIR)、近红外-扩展短波红外光(NIR-eSWIR)和以上光中的任何一个的组合；
光源；
第一调制器，所述第一调制器至少调制所述第一多个调制光子用于所述第一多个源照射纤维；以及
第二调制器，所述第二调制器至少调制所述第二多个调制光子用于所述第二多个照射源纤维。
10.如权利要求9所述的内窥镜系统，其中所述第一相机芯片被配置为检测可见光(VIS)，并且其中所述尖端上芯片产品进一步包括第二相机芯片，所述第二相机芯片被配置为检测可见光(VIS)。
11.如权利要求9所述的内窥镜系统，其中所述第一相机芯片被配置为检测可见光(VIS)，并且其中所述尖端上芯片产品进一步包括第二相机芯片，所述第二相机芯片被配置为检测近红外光(NIR)。
12.如权利要求9所述的内窥镜系统，其中所述尖端上芯片产品进一步包括与所述第一相机芯片一起提供的滤色器阵列，所述滤色器阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和在水平线和垂直线上的6×6RGB、以及它们的组合。
13.如权利要求12所述的内窥镜系统，其中：
所述滤色器阵列选自由以下滤色器组成的组：RGBW(2×2)、RGBW(具有对角线颜色的2×2)、RGBW(具有成对颜色的2×2)、RGBW(具有垂直W的2×2)和它们的组合；并且
所述滤色器阵列的W瓦片是NIR滤色器、SWIR滤色器或eSWIR滤色器。
14.如权利要求9所述的内窥镜，其中所述尖端上芯片产品进一步包括第三多个源照射纤维，所述第三多个源照射纤维被配置为输送第三多个未调制光子。
15.如权利要求9所述的内窥镜，其中所述光源包括白炽灯、卤素灯、发光二极管(LED)、化学激光器、固态激光器、有机发光二极管(OLED)、电致发光器件、荧光、气体放电灯、金属卤化物灯、氙弧灯、感应灯或它们的组合。
16.如权利要求9所述的内窥镜，其中所述第一相机芯片包括硅(Si)、锗(Ge)、砷化镓铟(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)或它们的组合。
17.如权利要求9所述的内窥镜，其中所述尖端上芯片产品进一步包括第二相机芯片，并且所述第一相机芯片和所述第二相机芯片被配置为产生立体图像。
18.一种使用内窥镜系统产生融合图像的方法，所述方法包括：
提供权利要求8的内窥镜系统；
从第一多个调制光子产生第一图像；
从第二多个调制光子产生第二图像；以及
覆盖所述第一图像和所述第二图像，从而产生融合图像。
19.如权利要求18所述的方法，进一步包括：
从第三多个未调制光子产生第三图像。
20.如权利要求19所述的方法，其中所述第三多个未调制光子是NIR光子、SWIR光子、eSWIR光子或它们的组合。
21.如权利要求18所述的方法，其中所述第一多个调制光子和所述第二多个调制光子是VIS或VIS-NIR。
CN201980007592.0A 2018-01-10 2019-01-10 用于内窥镜的时间相关的源调制 Active CN111565621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862615777P 2018-01-10 2018-01-10
US62/615,777 2018-01-10
PCT/US2019/013067 WO2019140099A1 (en) 2018-01-10 2019-01-10 Time correlated source modulation for endoscopy

Publications (2)

Publication Number Publication Date
CN111565621A true CN111565621A (zh) 2020-08-21
CN111565621B CN111565621B (zh) 2024-07-19

Family

ID=67139264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007592.0A Active CN111565621B (zh) 2018-01-10 2019-01-10 用于内窥镜的时间相关的源调制

Country Status (5)

Country Link
US (1) US11980349B2 (zh)
EP (1) EP3737276A4 (zh)
JP (1) JP2021510313A (zh)
CN (1) CN111565621B (zh)
WO (1) WO2019140099A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
US20200093420A1 (en) * 2018-09-21 2020-03-26 Covidien Lp Surgical imaging system and methods of use thereof
CN109363768A (zh) * 2018-10-10 2019-02-22 南京诺源医疗器械有限公司 785nm波长光源近红外荧光造影手术引导系统
KR20210114503A (ko) * 2019-01-17 2021-09-23 에스비아이 알라파마 캐나다, 인크. 질병의 시각화를 위한 모듈식 내시경 시스템
US20200288965A1 (en) * 2019-03-11 2020-09-17 Spring Biomed Vision Ltd. System and method for enhanced imaging of biological tissue
WO2020247896A1 (en) * 2019-06-07 2020-12-10 The Board Of Trustees Of The Leland Stanford Junior University Optical systems and methods for intraoperative detection of csf leaks
WO2021067677A1 (en) * 2019-10-02 2021-04-08 Chemimage Corporation Fusion of molecular chemical imaging with rgb imaging
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
WO2021166543A1 (ja) * 2020-02-21 2021-08-26 富士フイルム株式会社 撮像装置
US12034904B2 (en) * 2020-09-23 2024-07-09 Proprio, Inc. Endoscopic imaging systems for generating three dimensional images, and associated systems and methods
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
WO1994028783A1 (en) * 1993-06-14 1994-12-22 American Surgical Technologies Corporation Medical video endoscope system
JPH07275194A (ja) * 1994-04-11 1995-10-24 Asahi Optical Co Ltd 電子内視鏡の先端部
US5751341A (en) * 1993-01-05 1998-05-12 Vista Medical Technologies, Inc. Stereoscopic endoscope system
JP2000342515A (ja) * 1999-06-03 2000-12-12 Asahi Optical Co Ltd 電子内視鏡
US6485414B1 (en) * 1998-07-13 2002-11-26 Ceramoptec Industries, Inc. Color video diagnostic system for mini-endoscopes
US20040220478A1 (en) * 2003-02-26 2004-11-04 Wallace Jeffrey M. Method and devices for imaging and biopsy
US20080312533A1 (en) * 2005-03-16 2008-12-18 Or-Nim Medical Ltd. Noninvasive Measurements in a Human Body
US20090076329A1 (en) * 2007-09-17 2009-03-19 Wei Su Disposable Stereoscopic Endoscope System
CN102215736A (zh) * 2008-11-18 2011-10-12 斯特赖克公司 具有反馈控制系统的内窥镜led光源
JP2012040224A (ja) * 2010-08-20 2012-03-01 Fujifilm Corp 内視鏡装置および内視鏡診断装置
JP2012213562A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡装置
US20130019930A1 (en) * 2011-07-20 2013-01-24 Alliance For Sustainable Energy, Llc Secondary Treatment of Films of Colloidal Quantum Dots for Optoelectronics and Devices Produced Thereby
US20140320707A1 (en) * 2013-03-14 2014-10-30 James Olson Multi-channel camera system
US20150241363A1 (en) * 2012-08-03 2015-08-27 Lightpoint Medical Limited Specimen chamber for optical imaging of radiopharmaceuticals
US20170257619A1 (en) * 2014-09-18 2017-09-07 Sony Corporation Image processing device and image processing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6110106A (en) 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US20100262000A1 (en) * 2003-02-26 2010-10-14 Wallace Jeffrey M Methods and devices for endoscopic imaging
JP2010022700A (ja) 2008-07-23 2010-02-04 Fujifilm Corp 内視鏡システム
JP5426620B2 (ja) 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
US9186103B2 (en) * 2013-06-11 2015-11-17 Northwestern University System and method for spin logic
US10463399B2 (en) * 2014-11-06 2019-11-05 Asimion Inc. Visually assisted entry of a Veress needle with a tapered videoscope for microlaparoscopy
US10779713B2 (en) * 2014-12-09 2020-09-22 Chemimage Corporation Molecular chemical imaging endoscopic imaging systems
JP6810167B2 (ja) * 2016-05-27 2021-01-06 ヴェリリー ライフ サイエンシズ エルエルシー ４ｄハイパースペクトル撮像のためのシステムおよび方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
US5751341A (en) * 1993-01-05 1998-05-12 Vista Medical Technologies, Inc. Stereoscopic endoscope system
WO1994028783A1 (en) * 1993-06-14 1994-12-22 American Surgical Technologies Corporation Medical video endoscope system
JPH07275194A (ja) * 1994-04-11 1995-10-24 Asahi Optical Co Ltd 電子内視鏡の先端部
US6485414B1 (en) * 1998-07-13 2002-11-26 Ceramoptec Industries, Inc. Color video diagnostic system for mini-endoscopes
JP2000342515A (ja) * 1999-06-03 2000-12-12 Asahi Optical Co Ltd 電子内視鏡
US20040220478A1 (en) * 2003-02-26 2004-11-04 Wallace Jeffrey M. Method and devices for imaging and biopsy
US20080312533A1 (en) * 2005-03-16 2008-12-18 Or-Nim Medical Ltd. Noninvasive Measurements in a Human Body
US20090076329A1 (en) * 2007-09-17 2009-03-19 Wei Su Disposable Stereoscopic Endoscope System
CN102215736A (zh) * 2008-11-18 2011-10-12 斯特赖克公司 具有反馈控制系统的内窥镜led光源
JP2012040224A (ja) * 2010-08-20 2012-03-01 Fujifilm Corp 内視鏡装置および内視鏡診断装置
JP2012213562A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡装置
US20130019930A1 (en) * 2011-07-20 2013-01-24 Alliance For Sustainable Energy, Llc Secondary Treatment of Films of Colloidal Quantum Dots for Optoelectronics and Devices Produced Thereby
US20150241363A1 (en) * 2012-08-03 2015-08-27 Lightpoint Medical Limited Specimen chamber for optical imaging of radiopharmaceuticals
US20140320707A1 (en) * 2013-03-14 2014-10-30 James Olson Multi-channel camera system
US20170257619A1 (en) * 2014-09-18 2017-09-07 Sony Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
JP2021510313A (ja) 2021-04-22
EP3737276A4 (en) 2021-10-20
CN111565621B (zh) 2024-07-19
EP3737276A1 (en) 2020-11-18
WO2019140099A1 (en) 2019-07-18
US11980349B2 (en) 2024-05-14
US20190209000A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN111565621B (zh) 用于内窥镜的时间相关的源调制
JP7314976B2 (ja) 撮像装置及び撮像方法
US9494768B2 (en) Image capturing module and image capturing apparatus
JP6334755B2 (ja) 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
CN107080594B (zh) 多光谱荧光显微镜及其照明滤波器系统和观察系统
US10335019B2 (en) Image pickup element and endoscope device
EP2047792B1 (en) Endoscope device
US6309070B1 (en) Integrated ophthalmic illumination method and system
CN101291615B (zh) 生物体摄像装置和生物体观测系统
US20060221218A1 (en) Image sensor with improved color filter
US20150022647A1 (en) Endoscope apparatus
US10295468B2 (en) Fluorescent image system
EP2728323A1 (en) Spectral image capturing device
US11786115B2 (en) Method and apparatus to generate hyperspectral image data with a medical imaging device
WO2004057858A1 (en) A color imaging system and a method in a color imaging system
CN107085291B (zh) 用于手术多光谱荧光显微镜的照明滤波器系统及其照明滤波器
US8363134B2 (en) Color imaging device, imaging apparatus using the same, and filter
US20200337542A1 (en) Hybrid imaging product and hybrid endoscopic system
CN115103625A (zh) 用于组织目标的辨别的系统和方法
CN112956189A (zh) 用于增强的图像传感器定时的方法和系统
US11700996B2 (en) Fluorescence imaging scope with reduced chromatic aberration and method of its use
Anspach et al. Sequential RGB color imaging with a millimeter-scale monochrome camera with a rolling shutter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033050

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant