CN114175609A - 缺光环境中的超光谱成像 - Google Patents

Abstract

本发明公开了用于在缺光环境中进行超光谱成像的系统、方法和装置。系统包括发射器和图像传感器，所述发射器用于发射电磁辐射脉冲，所述图像传感器包括用于感测反射的电磁辐射的像素阵列。所述系统包括控制器，所述控制器包括与所述图像传感器和所述发射器电通信的处理器，其中所述控制器在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时。所述系统使得由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下中的一者或多者：具有从约513nm至约545nm的波长的电磁辐射、具有从约565nm至约585nm的波长的电磁辐射、或具有从约900nm至约1000nm的波长的电磁辐射。

Description

缺光环境中的超光谱成像

技术领域

本专利申请涉及数字成像，并且尤其涉及在缺光环境中的超光谱成像。

背景技术

科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于观察多种身体系统和部分，诸如胃肠道、呼吸道、尿道、腹腔等。内窥镜还可用于外科手术，诸如整形外科手术、在关节或骨上进行的手术、在神经系统上进行的手术、在腹腔内进行的手术等。

在内窥镜成像的一些情况下，观察色彩空间可能是有益的或必要的。数字彩色图像包括累积形成具有一系列色调的图像的至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常，数字彩色图像包括红色光谱带、绿色光谱带和蓝色光谱带的颜色通道(这可称为红绿蓝或RGB图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。将单独的红色层、绿色层和蓝色层的亮度信息组合以生成彩色图像。因为彩色图像由单独层构成，所以常规数字相机图像传感器包括滤色器阵列，该滤色器阵列允许红色可见光波长、绿色可见光波长和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝色波长敏感，并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成RGB图像。该至少三种不同类型的像素传感器消耗大量的物理空间，使得完整的像素阵列不能适配在内窥镜的小远侧端部中。

因为传统图像传感器不能适配在内窥镜的远侧端部中，所以图像传感器传统上位于内窥镜的手持件单元中，该手持件单元由内窥镜操作者保持并且不放置在体腔内。在此类内窥镜中，光沿内窥镜的长度从手持件单元传输到内窥镜的远侧端部。该配置具有显著限制。具有该配置的内窥镜是精密的，并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低由图像的质量，并且内窥镜需要频繁修理或更换。

具有放置在手持件单元中的图像传感器的传统内窥镜还限于仅捕获彩色图像。然而，在一些具体实施中，除了彩色图像数据之外，还可能期望利用超光谱图像数据来捕获图像。彩色图像反映人眼在观察环境时检测到的内容。然而，人眼仅限于观察可见光，并且无法检测到电磁光谱的其它波长。在超过“可见光”波长的电磁光谱的其它波长下，可获得关于环境的附加信息。用于在可见光光谱之外获得图像数据的一种方式是应用超光谱成像。

超光谱成像用于识别不同的材料或对象，并且通过提供超出人眼可见的信息来识别不同的过程。与向人眼提供有限信息的普通相机图像不同，超光谱成像可以基于化合物和生物过程的独特光谱特征来识别特定化合物和生物过程。超光谱成像是复杂的，并且需要快速的计算机处理能力、灵敏的检测器和大的数据存储容量。

超光谱成像传统上需要专用的图像传感器，该专用的图像传感器消耗显著的物理空间并且不能装配在内窥镜的远侧端部内。另外，如果超光谱图像叠加在黑白或彩色图像上以向执业医生提供背景，则能够生成叠层图像的相机(或多个相机)可具有对不同范围的电磁辐射敏感的许多不同类型的像素传感器。这将包括用于生成RGB彩色图像的三种单独类型的像素传感器，以及用于在电磁光谱的不同波长下生成超光谱图像数据的附加像素传感器。这会消耗显著的物理空间，并且需要较大的像素阵列以确保图像分辨率令人满意。在内窥镜成像的情况下，一个或多个相机将会太大以至于无法放置在内窥镜的远侧端部处，并且因此无法放置在内窥镜手部单元或机器人单元中。这引入了与上述相同的缺点，并且可导致内窥镜非常精密，使得当内窥镜在使用期间发生碰撞或冲击时，图像质量会显著降低。

鉴于上述情况，本文描述了用于缺光环境中的改善的内窥镜成像的系统、方法和装置。本文公开的系统、方法和装置提供了用内窥镜装置进行颜色和超光谱成像的装置。

附图说明

参考以下附图描述了本公开的非限制性和非完全性的具体实施，其中除非另外指明，否则在各个视图中类似的附图标号指示类似的部分。参照以下说明和附图将更好地理解本公开的优点，其中：

图1是具有成对发射器和像素阵列的用于在缺光环境中进行数字成像的系统的示意图；

图2是用于向用于内窥镜成像的缺光环境提供照明的系统；

图2A是互补系统硬件的示意图；

图3A至图3D是用于构造一个图像帧的传感器的操作循环的图示；

图4A是电磁发射器的实施方案的操作的图形表示；

图4B是改变发射电磁脉冲的持续时间和量值以提供曝光控制的图形表示；

图5是将图3A至图4B的传感器的操作循环、电磁发射器和发射电磁脉冲组合的本公开的实施方案的图示，其示出了操作期间的成像系统；

图6A是用于在t(0)至t(1)的时间段内利用全光谱光记录视频的方法的示意图；

图6B是通过在t(0)至t(1)的时间段内脉冲部分光谱光来记录视频的过程的示意图；

图7A至图7E示出了在时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的方法的示意图；

图8是用于同时调节电磁发射器和图像传感器的过程流程的示意图；

图9是用于调节图像传感器灵敏度的过程流程的示意图；

图10是用于基于帧循环的直方图来同时调节图像信号处理器和发射器的过程流程的示意图；

图11是用于基于期望输出来限制对图像信号处理器和/或发射器的调节的过程流程的示意图；

图12是用于通过使传感器循环通过第一发射强度和第二发射强度并组合来自第一发射强度和第二发射强度的数据来增大图像的动态范围的过程流程的示意图；

图13是通过使传感器循环通过多个发光强度并组合来自该多个发光强度中的每一者的数据来增大图像的动态范围的过程流程的示意图；

图14是用于对数字图像数据执行校正和调整的过程流程的示意图；

图15是用于从数字视频数据流写入、存储和读取数据的系统硬件的示意图；

图16是与分区光系统一起使用的方法和硬件示意的示意图；

图17是用于通过脉冲分区光谱而生成其上叠层有超光谱数据的RGB图像的图案重建过程的示意图；

图18A至图18B是用于在双灵敏度像素阵列中部署两种不同像素灵敏度的定时示例的示意图；

图19A至图19C示出了脉冲和/或同步的白光发射以及对应的颜色传感器的使用；

图20A至图20C示出了具有多个发射器的光源；

图21示出了在输出处经由漫射器输出以照明缺光环境中的场景的单根光纤；

图22示出了根据本公开的原理和教导内容的被分成可由光源的发射器发射的多个不同子光谱的电磁光谱的一部分；

图23是示出用于生成包括由脉冲光的不同分区产生的多个曝光帧的图像帧的发射和读出的时序的示意图；

图24A和图24B示出了根据本公开的原理和教导内容的具有用于产生三维图像的多个像素阵列的具体实施；

图25A和25B分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，图中显示了一列像素与其相关的或对应的电路列之间的电气连接和通信；并且

图26A和图26B分别示出了具有多个像素阵列用于产生三维图像的成像传感器的具体实施的透视图和侧视图，其中多个像素阵列和图像传感器构建在多个基板上。

具体实施方式

本文公开了可主要适用于医学应用诸如医学内窥镜成像的用于数字成像的系统、方法和装置。本公开的实施方案是用于在缺光环境中进行超光谱和/或彩色成像的内窥镜系统。

在一个实施方案中，系统包括发射器和图像传感器，该发射器用于发射电磁辐射脉冲，并且该图像传感器包括用于感测反射的电磁辐射的像素阵列。该系统还包括控制器，该控制器包括与图像传感器和发射器电通信的处理器，其中该控制器在图像传感器的消隐周期期间同步电磁辐射脉冲的定时。该系统使得由发射器发射的电磁辐射脉冲的至少一部分包括超光谱电磁辐射，诸如具有从约513nm至约545nm、从约565nm至约585nm和/或从约900nm至约1000nm的波长的电磁辐射。可实施系统以在缺光环境中生成场景的彩色图像，其中超光谱成像数据叠层在彩色图像上。可通过对应的系统分析超光谱成像数据以识别身体中关键组织结构的位置和身份，诸如神经组织、癌组织、血管、动脉、血流、输尿管等的位置和身份。

常规内窥镜被设计成使得图像传感器被放置在手持件单元内的装置的近侧端部处。该配置要求入射光通过精确耦接的光学元件行进内窥镜的长度。在正常使用期间精确的光学元件可能不容易对准，并且这可导致图像失真或图像损失。本公开的实施方案将图像传感器放置在内窥镜本身的远侧端部内。当与本领域中已知的具体实施相比时，这提供了更大的光学简单性。然而，该方法的可接受的解决方案非常重要，并且引入了其自身的一套工程挑战，尤其是图像传感器必须适配在高度约束的区域内。本文公开了用于在缺光环境中进行数字成像的系统、方法和装置，这些系统、方法和装置采用最小面积的图像传感器并且可被配置成能够用于超光谱和彩色成像。

在一些情况下，期望生成具有多种数据类型或彼此叠层的多个图像的内窥镜成像。例如，可能期望生成彩色(“RGB”)图像，该彩色图像还包括叠层在RGB图像上的超光谱成像数据。这种性质的叠层图像可使得执业医生或计算机程序能够基于超光谱成像数据来识别关键身体结构。历史上，这将需要使用多个传感器系统，该多个传感器系统包括用于彩色成像的图像传感器和用于超光谱成像的一个或多个另外的图像传感器。在此类系统中，该多个图像传感器将具有多个不同类型的像素传感器，这些像素传感器各自对不同范围的电磁辐射敏感。在本领域已知的系统中，这包括用于生成RGB彩色图像的三种单独类型的像素传感器，以及用于在电磁光谱的不同波长下生成超光谱图像数据的附加像素传感器。这些多个不同的图像传感器消耗过大的物理空间，并且不能位于内窥镜的远侧末端处。在本领域已知的系统中，一个或多个相机不放置在内窥镜的远侧末端处，并且替代地放置在内窥镜手持件或机器人单元中。这引入了许多缺点并且致使内窥镜是非常精细的。当内窥镜在使用期间被碰撞或冲击时，精细的内窥镜可能受损，并且图像质量可能会劣化。考虑到上述情况，本文公开了用于在缺光环境中进行内窥镜成像的系统、方法和装置。本文公开的系统、方法和装置提供用于在单个成像过程中采用多种成像技术，同时允许一个或多个图像传感器设置在内窥镜的远侧末端中的装置。

超光谱成像

在一个实施方案中，本文所公开的系统、方法和装置提供了用于在缺光环境中生成超光谱成像数据的装置。光谱成像使用跨电磁光谱的多个频带。这不同于仅捕获跨越基于人眼可分辨的可见光谱的三个波长(包括红色、绿色和蓝色波长)的光以生成RGB图像的常规相机。光谱成像可使用电磁光谱中的任何波长带，包括红外波长、可见光谱、紫外光谱、X射线波长或各种波长带的任何合适的组合。

超光谱成像最初开发用于采矿和地质中的应用。不同于向人眼提供有限信息的正常相机图像，超光谱成像可基于不同矿物质的光谱特征来识别特定矿物质。高光谱成像即便在捕获于航拍图像中时也很有用，并且可提供关于例如来自管道或天然井的油或气泄漏以及它们对附近植被的影响的信息。基于可通过超光谱成像识别的某些材料、对象或过程的光谱特征来收集该信息。超光谱成像也可用于医学成像应用中，其中某些组织、化学过程、生物过程和疾病可以基于独特的光谱特征来识别。

在超光谱成像的一个实施方案中，在图像平面中的每个像素处收集完整光谱或一些光谱信息。超光谱相机可使用特殊硬件来针对每个像素捕获任何合适数量的波长带，该波长带可被解释为完整光谱。超光谱成像的目标针对不同的应用而变化。在一个应用中，目标是获得图像场景中每个像素的整个电磁光谱的成像数据。在另一应用中，目标是获得图像场景中的每个像素的电磁光谱的某些分区的成像数据。可基于图像场景中可能识别的内容来选择电磁光谱的某些分区。这些应用使得当某些材料、组织、化学过程、生物过程和疾病在可见光波长带下可能不可识别时，能够精确地识别这些材料或组织。在一些医疗应用中，超光谱成像包括已被选择以识别某些组织、疾病、化学过程等的电磁光谱的一个或多个特定分区。可以在医疗应用中脉冲用于超光谱成像的电磁光谱的一些示例性分区包括具有从约513nm至约545nm、从约565nm至约585nm、和/或从约900nm至约1000nm的波长的电磁辐射。

超光谱成像实现了优于常规成像的许多优点，并且实现了医学应用中的特定优点。内窥镜超光谱成像允许医师或计算机实现的程序识别神经组织、肌肉组织、血管、癌细胞、典型非癌性细胞、血流方向等。超光谱成像使得非典型癌组织能够与典型健康组织精确区分，并且因此可使得执业医生或计算机实现的程序能够在手术或研究成像期间分辨癌性肿瘤的边界。通过超光谱成像获得的信息使得能够精确地识别可能导致在使用常规成像的情况下可能不可诊断或可能诊断不太准确的某些组织或病症。另外，在医学规程期间可使用超光谱成像来提供图像引导的外科手术，使得执业医生能够例如查看位于某些组织或流体后面的组织，识别与典型健康细胞形成对比的非典型癌细胞，识别某些组织或病症，识别关键结构等。超光谱成像提供不能用常规成像生成的关于组织生理、形态和组成的专用诊断信息。

在本公开的一个实施方案中，内窥镜系统照明源并脉冲用于光谱或超光谱成像的电磁辐射。本文讨论的脉冲超光谱成像包括脉冲电磁光谱的一个或多个带，并且可包括红外波长、可见光谱、紫外光谱、x射线波长或各种波长带的任何合适组合。在一个实施方案中，超光谱成像包括脉冲具有从约513nm至约545nm、从约565nm至约585nm、和/或从约900nm至约1000nm的波长的电磁辐射。

脉冲成像

本公开的一些具体实施包括传感器和系统组合设计的各个方面，该设计允许在受限的照明环境中以减少的像素数生成高清晰度图像。这通过以下方式来实现：逐帧地脉冲单色波长，并且使用受控光源结合高帧捕获速率和特别设计的对应单色传感器在单个不同颜色波长之间切换或交替每个帧。另外，可脉冲可见光谱外的电磁辐射以使得能够生成超光谱图像。像素可以是颜色不定的，使得每个像素生成每个电磁辐射脉冲的数据，包括红色可见光波长、绿色可见光波长和蓝色可见光波长的脉冲以及用于超光谱成像的其他波长。

为了促进对根据本公开的原理的理解的目的，现在将参考附图中所示的实施方案，并且将使用特定的语言来描述这些实施方案。然而，应当理解，因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改，以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。

在公开和描述用于在缺光环境中产生图像的结构、系统和方法之前，应当理解，本公开不限于本文所公开的特定结构、配置、工艺步骤和材料，因为此类结构、配置、工艺步骤和材料可一定程度地变化。另外应当理解，本文所用的术语只是为了描述具体实施方案的目的，并不旨在进行限制，因为本发明的范围将仅由所附权利要求书及其等同形式来限定。

在描述及对本公开的主题提出权利要求时，将根据下列定义使用以下术语。

应当指出的是，如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物，除非上下文中明确表示其它含义。

如本文所用，术语“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语，不排除额外的、未述及的要素或方法步骤。

如本文所用，短语“由……组成”及其语法同等成分排除未载入权利要求书的任何要素或步骤。

如本文所用，短语“主要由……组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。

如本文所用，术语“近侧”广义上是指靠近起始点的部分的概念。

如本文所用，术语“远侧”一般是指与近侧相反，因此根据上下文其是指距离起始点较远的部分或最远的部分的概念。

如本文所用，颜色传感器或多光谱传感器是那些已知具有颜色滤光器阵列(CFA)的传感器，在其上以便将入射电磁辐射过滤为其单个分量。在电磁光谱的可见范围中，此类CFA可以基于拜尔模板或其修改形式，以便分离光线中的绿色、红色和蓝色光谱分量。

如本文所用，单色传感器是指无过滤功能的成像传感器。因为像素是颜色不定的，所以其有效空间分辨率明显高于传统单传感器相机中的像素颜色(通常采用拜耳图案过滤)对等物。单色传感器还可具有更高的量子效率，因为单个像素之间浪费的入射光子更少。

如本文所用，发射器是能够生成和发射电磁脉冲的装置。发射器的各种实施方案可被配置成能够发射脉冲并且具有来自整个电磁光谱内的非常特定的频率或频率范围。脉冲可包括可见范围和不可见范围的波长。发射器可循环打开和关闭以产生脉冲，或者可产生具有快门机构的脉冲。发射器可具有可变功率输出电平，或者可用辅助装置诸如光圈或滤光器来控制。发射器可发射可通过滤色或遮光产生脉冲的宽光谱或全光谱电磁辐射。发射器可包括单独或协同起作用的多个电磁源。

现在参见附图，图1示出了用于在缺光环境中进行顺序脉冲成像的系统100的示意图。可部署系统100以生成RGB图像，其中超光谱数据叠层在RGB图像上。系统100包括发射器102和像素阵列122。发射器102在缺光环境112中脉冲电磁辐射的分区，并且像素阵列122感测反射的电磁辐射的实例。发射器102和像素阵列122依次工作，使得电磁辐射的分区的一个或多个脉冲产生包括由像素阵列122感测到的图像数据的曝光帧。

应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列122检测的电磁辐射，并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、LED、白炽光、或可进行数字控制的任何光源。

图像传感器的像素阵列122可与发射器102以电子方式配对，使得发射器102和像素阵列122在操作期间被同步用于接收发射和系统内所进行的调节两者。发射器102可被调谐成发射激光形式的电磁辐射，该电磁辐射可被脉冲以照明缺光环境112。发射器102可对应于像素阵列122的操作和功能的间隔脉冲。发射器102可脉冲多个电磁分区中的光，使得像素阵列接收电磁能量并产生与每个特定电磁分区在时间上对应的数据集。例如，图1示出了具体实施，其中发射器102发射电磁辐射的四个不同分区，包括红色104波长、绿色106波长、蓝色108波长和超光谱110发射。超光谱110发射可包括电磁光谱中引起光谱响应的波长带。超光谱110发射可包括彼此分开且独立的多个单独发射。

缺光环境112包括反射红色114、绿色116和/或蓝色118光的组合的结构、组织和其他要素。红色114组织对脉冲红色104光敏感，并且将被人眼处理为具有红色114色调。缺光环境112内的场景包括对超光谱120辐射敏感的要素。

发射器102可以是激光发射器，该激光发射器能够发射脉冲红色104光，以用于生成感测红色105数据，从而识别缺光环境112内的红色114要素。发射器102还能够发射脉冲绿色106光，以用于生成感测绿色107数据，从而识别缺光环境内的绿色116要素。发射器102还能够发射脉冲蓝色108光，以用于生成感测蓝色109数据，从而识别缺光环境内的蓝色118要素。发射器102还能够发射超光谱110发射以识别对超光谱120辐射敏感的元件。发射器102能够以任何期望的顺序发射脉冲红色104、脉冲绿色106、脉冲蓝色108和脉冲超光谱110发射。

像素阵列122感测反射的电磁辐射。感测红色105、感测绿色107、感测蓝色109和感测超光谱111数据中的每一者可被称为“曝光帧”。感测超光谱111可导致彼此分开且独立的多个单独曝光帧。例如，感测超光谱111可在电磁辐射的第一分区产生第一超光谱曝光帧，在电磁辐射的第二分区处产生第二超光谱曝光帧等。为每个曝光帧分配特定颜色或波长分区，其中该分配基于来自发射器102的脉冲颜色或波长分区的定时。曝光帧与所分配的特定颜色或波长分区的组合可被称为数据集。即使像素122不是专用颜色，也可基于关于发射器的先验信息为任何给定数据集分配颜色。

例如，在操作期间，在脉冲红色104光在缺光环境112中被脉冲之后，像素阵列122感测反射的电磁辐射。反射的电磁辐射产生曝光帧，并且曝光帧被归类为感测红色105数据，因为它在时间上与脉冲红色104光对应。曝光帧连同其在时间上与脉冲红色104光对应的指示是“数据集”。对于由发射器102发射的电磁辐射的每个分区，重复该过程。由像素阵列122创建的数据包括感测红色105曝光帧，该感测红色曝光帧识别缺光环境中的红色114分量并且在时间上与脉冲红色104光对应。该数据还包括感测绿色107曝光帧，该感测绿色曝光帧识别缺光环境中的绿色116分量并且在时间上与脉冲绿色106光对应。该数据还包括感测蓝色109曝光帧，该感测蓝色曝光帧识别缺光环境中的蓝色118分量并且在时间上与脉冲蓝色108光对应。该数据还包括感测超光谱111曝光帧，该超光谱曝光帧识别对超光谱120辐射敏感的要素并在时间上与超光谱110发射相对应。

在一个实施方案中，将代表红色、绿色和蓝色电磁脉冲的三个数据集组合以形成单个图像帧。因此，将红色曝光帧、绿色曝光帧和蓝色曝光帧中的信息组合以形成单个RGB图像帧。表示其他波长分区的一个或多个另外的数据集可叠层在单个RGB图像帧上。该一个或多个另外的数据集可表示例如激光扫描数据、荧光成像数据和/或超光谱成像数据。

应当理解，在不脱离本公开的范围的情况下，本公开不限于任何特定的颜色组合或任何特定的电磁分区，并且任何颜色组合或任何电磁分区均可用于代替RED、GREEN和BLUE，诸如青色、洋红色和黄色；紫外线；红外；前述的任何组合或任何其它颜色组合，包括所有可见波长和不可见波长。在图中，待成像的缺光环境112包括红色114部分、绿色116部分和蓝色118部分，并且还包括可被感测并标测到三维渲染中的对超光谱120辐射敏感的元素。如图所示，来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集然后可用于通过在126处组合数据集来重建图像。该多个曝光帧(即，该多个数据集)中的每一者中的信息可由控制器124、控制单元、相机控制单元、图像传感器、图像信号处理流水线或一些可被配置成能够在126处处理该多个曝光帧并组合数据集的其他计算资源组合。可将该数据集组合以在内窥镜单元自身内或由一些其他处理资源在场外生成单个图像帧。

图2是用于向诸如用于内窥镜成像的缺光环境提供照明的系统200。系统200可与本文所公开的系统、方法或装置中的任一者结合使用。系统200包括发射器202、控制器204、跳线波导206、波导连接器208、内腔波导210、内腔212和具有附带的光学部件(诸如透镜)的图像传感器214。发射器202(通常可被称为“光源”)生成穿过跳线波导206和内腔波导210的光以照明内腔212的远侧端部处的场景。发射器202可用于发射任何波长的电磁能量，包括可见波长、红外、紫外、超光谱、荧光激发、激光扫描脉冲方案或其他波长。可将内腔212插入患者体内以进行成像，诸如在手术或检查期间。如虚线216所示输出光。可使用图像传感器214捕获由光照明的场景并且向医生或一些其他医学人员显示该场景。控制器204可向发射器202提供控制信号以控制何时向一个场景提供照明。在一个实施方案中，发射器202和控制器204位于内窥镜所连接的相机控制单元(CCU)或外部控制台内。如果图像传感器214包括CMOS传感器，则可在所谓的消隐周期以图像传感器214的读出周期之间的一系列照明脉冲周期性地向该场景提供光。因此，光可以受控方式被脉冲，以避免叠层到图像传感器214的像素阵列中的图像像素的读出周期中。

在一个实施方案中，内腔波导210包括一根或多根光纤。这些光纤可由低成本材料(诸如塑料)制成，以允许内腔波导210和/或内窥镜的其他部分的处理。在一个实施方案中，内腔波导210是直径为500微米的单根玻璃纤维。跳线波导206可永久性地附接到发射器202。例如，跳线波导206可从发射器202内的发射器接收光，并且在连接器208的位置处向内腔波导210提供光。在一个实施方案中，跳线波导106包括一根或多根玻璃光纤。跳线波导可包括用于将光引导至内腔波导210的任何其他类型的波导。连接器208可将跳线波导206选择性地耦接到内腔波导210，并且允许跳线波导206内的光通过内腔波导210。在一个实施方案中，内腔波导210直接被耦接到光源，而无需任何居间跳线波导206。

图像传感器214包括像素阵列。在一个实施方案中，图像传感器214包括用于生成三维图像的两个或更多个像素阵列。图像传感器214可构成另外两个图像传感器，每个图像传感器具有独立的像素阵列并且可彼此独立地操作。图像传感器214的像素阵列包括有效像素和光学黑色(“OB”)像素或光盲像素。有效像素可以是能够感测任何波长的电磁辐射的成像数据的透明“颜色不定”像素。当像素阵列被“重置”或校准时，在像素阵列的消隐周期期间读取光学黑色像素。在一个实施方案中，当读取光学黑色像素时，光在像素阵列的消隐周期期间脉冲。在已读取光学黑色像素之后，在像素阵列的读出周期期间读取有效像素。有效像素可由在消隐周期期间脉冲的电磁辐射充电，使得有效像素准备好在像素阵列的读出周期期间由图像传感器读取。

图2A是互补系统硬件诸如专用或通用计算机的示意图。处于本公开的范围内的实施方式也可包括用于承载或存储计算机可执行指令和/或数据结构的物理及其他非暂态计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质为传输介质。因此，以举例而非限制性的方式，本公开的具体实施可包括至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态硬盘(“SSD”)(例如，基于RAM)、闪存存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储器装置、或任何其他可用于存储期望的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问的介质。

“网络”是指一个或多个数据链路，其能够使电子数据在计算机系统和/或模块和/或其它电子装置之间进行传输。在一个具体实施中，传感器与相机控制单元可网络化，以便彼此通信，以及与通过它们所连接网络进行连接的其它部件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时，计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路，该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。

另外，在到达各种计算机系统部件时，呈计算机可执行指令或数据结构的形式的程序代码工具，其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如，“NIC”)内的RAM中，然后最终传送至计算机系统RAM和/或计算机系统的非易失性计算机存储介质(装置)中。RAM还可包括固态硬盘(SSD或基于PCIx的实时存储器分层存储装置，诸如FusionIO)。因此，应当理解，计算机存储介质(装置)可包括在计算机系统部件中，该计算机系统部件还(或甚至主要)利用了传输介质。

计算机可执行指令包括(例如)当由一个或多个处理器执行时致使通用计算机、专用计算机或专用处理装置执行某些功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题，然而应当理解，随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说，上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。

本领域的技术人员应当理解，本公开可在网络计算环境中实现，该网络计算环境具有多种类型的计算机系统配置，包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持设备、手持件、多处理器系统、基于微处理器的或可编程的电子消费品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、传呼机、路由器、交换机、各种存储设备等等。应当指出的是，任意上述计算设备都可由实体机构提供或位于实体机构内。本公开也可在分布式系统环境中实现，其中本地和远程计算机系统通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合)，两者均可执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置二者中。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

图2A是示出了示例性计算装置250的框图。计算装置250可用于执行各种程序，诸如本文所讨论的那些程序。计算装置250可用作服务器、客户端或任意其他计算实体。计算装置250可执行本文所讨论的各种监控功能，并且可执行一种或多种应用程序，诸如本文所述的应用程序。计算装置250可以是各种计算装置中的任一种，诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑等。

计算装置250包括一个或多个处理器252、一个或多个存储器装置254、一个或多个接口256、一个或多个大容量存储装置258、一个或多个输入/输出(I/O)装置260以及显示装置280，所有装置均耦接到总线262。处理器252包括一个或多个处理器或控制器，该一个或多个处理器或控制器执行存储于存储器装置254和/或大容量存储装置258中的指令。处理器252还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。

存储器装置254包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM)264)和/或非易失性存储器(例如，只读存储器(ROM)266)。存储器装置254还可包括可重写ROM，诸如闪存存储器。

大容量存储装置258包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存存储器)等。如图2中所示，特定的大容量存储装置是硬盘驱动器274。各种驱动器也可包括在大容量存储装置258中以能够从各种计算机可读介质中进行读取和/或写入。大容量存储装置258包括可移动介质276和/或不可移动介质。

I/O装置260包括允许向计算装置250输入或从该计算装置检索数据和/或其他信息的各种装置。示例性I/O装置260包括数字成像装置、电磁传感器和发射器、光标控制装置、键盘、小键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、CCD或其他图像捕获装置等等。

显示装置280包括能够向计算装置250的一个或多个用户显示信息的任何类型的装置。显示装置280的示例包括监视器、显示终端、视频投影装置等。

接口256包括允许计算装置250与其他系统、装置或计算环境进行交互的各种接口。示例性接口256可包括任何数量的不同网络接口270，诸如连接局域网(LAN)、广域网(WAN)、无线网和因特网的接口。其他接口包括用户接口268和外围装置接口272。接口256还可包括一个或多个用户接口元件268。接口256还可包括一个或多个外围接口，诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。

总线262允许处理器252、存储器装置254、接口256、大容量存储装置258和I/O装置260彼此通信，并与耦接到总线262的其他装置或部件进行通信。总线262表示若干类型的总线结构(诸如系统总线、PCI总线、IEEE 1394总线、USB总线等)中的一者或多者。

出于示例性目的，本文所示的程序和其他可执行程序部件为分立块体，但应当理解，此类程序和部件可驻留在计算装置250的不同存储部件中的各个时间，并由处理器252执行。或者，本文所述的系统和程序可通过硬件来实现，或通过硬件、软件和/或固件的组合来实现。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。

图3A示出了在滚动读出模式或在传感器读出300期间使用的传感器的操作循环。帧读出可在竖直线310处开始并且可由该竖直线表示。读出周期由对角线或斜线302表示。传感器可逐行读出，向下倾斜边缘的顶部是传感器顶行312，向下倾斜边缘的底部是传感器底行314。在最后一行读出和下一读出循环之间的时间可被称为消隐周期316。应当指出，传感器像素行中的一些可覆盖有光屏蔽件(例如，金属涂层或另一种材料类型的任何其它大体上黒色的层)。这些被覆盖的像素行可被称为光学黑色行318和320。光学黑色行318和320可用作校正算法的输入。如图3A所示，这些光学黑色行318和320可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。

图3B示出了控制曝光至像素从而被像素集成或聚积的电磁辐射(例如，光)的量的方法。应当理解，光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(点划线322所示)可用于通过复位像素来开始集成时间。然后光将集成直到下一读出阶段为止。电子快门322的位置可在两个读出循环302之间移动，以便控制给定量的光的像素饱和度。应当指出，该技术允许在两个不同行之间的集成时间恒定，但在从顶行移动到底行时引入延迟。

图3C示出了电子快门322已被移除的情况。在该配置中，入射光的集成可在读出302期间开始，并且可在下一读出循环302处结束，该下一读出循环也限定下一集成的开始。

图3D示出了没有电子快门322但在消隐周期316期间具有受控和脉冲光330的配置。这确保所有行看到的光与从相同光脉冲330发出的光相同。换句话讲，每行将在黑暗环境中开始其集成，这可位于读出帧(m)的光学黑色后行320以获得最大光脉冲宽度，并且然后将接收光通并且将在黑暗环境中结束其集成，这可位于下一后续读出帧(m+1)的光学黑色前行318以获得最大光脉冲宽度。在例如图3D中，由光脉冲生成的图像将仅在帧(m+1)读出期间可用，而不会干扰帧(m)和帧(m+2)。应当指出，使光脉冲仅在一个帧中读出并且不干扰相邻帧的条件是在消隐周期316期间击发给定的光脉冲。

因为光学黑色行318、320对光不敏感，所以可将帧(m)的光学黑色后行320时间和帧(m+1)的光学黑色前行318时间添加至消隐周期316，以确定光脉冲330的击发时间的最大范围。

如图3A所示，传感器可循环多次以接收每种脉冲颜色或波长(例如，电磁光谱上的红色、绿色、蓝色或其他波长)的数据。每个循环可以是定时的。在一个实施方案中，循环可定时以在16.67ms的间隔内操作。在另一个实施方案中，循环可定时以在8.3ms的间隔内操作。应当理解，本公开设想了其它的定时间隔，并且旨在落入本公开的范围内。

图4A以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环，使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图4A示出了402处的脉冲1、404处的脉冲2和406处的脉冲3。在一个实施方案中，发射器可在传感器操作循环的读出部分302期间脉冲。在一个实施方案中，发射器可在传感器操作循环的消隐部分316期间脉冲。在一个实施方案中，发射器可脉冲持续时间，该持续时间在两个或更多个传感器操作循环的部分期间。在一个实施方案中，发射器可在消隐部分316期间或在读出部分302的光学黑色部分320期间开始脉冲，并且在读出部分302期间或下一后续循环的读出部分302的光学黑色部分318期间结束脉冲。应当理解，只要发射器的脉冲和传感器的循环相对应，上述的任何组合旨在落入本公开的范围内。

图4B以图形方式表示改变发射的电磁脉冲(例如，在412处的脉冲1、在414处的脉冲2、在416处的脉冲3)的持续时间和量值以控制曝光。具有固定输出量值的发射器可在上文结合图3D和图4A所述的任何循环期间脉冲一定间隔，以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内脉冲，从而为像素提供更多的电磁能量，或者发射器可在较短的时间间隔脉冲，从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。

与调节发射器脉冲固定输出量值的时间间隔相比，可增大发射量值本身以便向像素提供更多的电磁能量。类似地，减小脉冲的量值可为像素提供较少的电磁能量。应当指出，如果需要的话，系统的实施方案可具有同时调节量值和持续时间的能力。另外，可调节传感器以根据最佳图像质量的需要来増加其灵敏度和持续时间。图4B示出了改变脉冲的量值和持续时间。在图示中，412处的脉冲1具有比414处的脉冲2或416处的脉冲3更高的量值或强度。另外，412处的脉冲1具有比在414处的脉冲2或416处的脉冲3更短的持续时间，使得由该脉冲提供的电磁能量由图示中所示脉冲下的面积示出。在图示中，当与412处的脉冲1或416处的脉冲3相比时，414处的脉冲2具有相对低的量值或强度和较长的持续时间。最后，在图示中，当与412处的脉冲1和414处的脉冲2相比时，416处的脉冲3具有中间量值或强度和持续时间。

图5为根据本公开的原理和教导内容的组合图3A至图3D和图4A的操作循环、电磁发射器和发射的电磁脉冲以在操作期间显示成像系统的本公开的实施方案的图形表示。如在图中可见，电磁发射器主要在图像传感器的消隐周期316期间脉冲辐射，使得像素将被充电并且在图像传感器循环的读出周期302期间准备读取。图5中的虚线表示电磁辐射的脉冲(来自图4A)。电磁辐射的脉冲主要在图像传感器的消隐周期316期间发射，但可与图像传感器的读出周期302重叠。

曝光帧包括在读出周期302期间由图像传感器的像素阵列读取的数据。曝光帧可与在读出周期302之前由发射器发射的脉冲的类型的指示组合。曝光帧和脉冲类型的指示的组合可被称为数据集。可组合多个曝光帧以生成黑白或RGB彩色图像。另外，超光谱、荧光和/或激光标测成像数据可叠层在黑白或RGB图像上。

在一个实施方案中，基于三个曝光帧生成RGB图像帧，该三个曝光帧包括由图像传感器在红色发射之后生成的红色曝光帧、由图像传感器在绿光发射之后生成的绿色曝光帧以及由图像传感器在蓝光发射之后生成的蓝色曝光帧。超光谱成像数据可叠层在RGB图像帧上。可从一个或多个超光谱曝光帧抽取超光谱成像数据。超光谱曝光帧包括在电磁辐射的超光谱发射之后在读出周期302期间由图像传感器生成的数据。超光谱发射包括电磁光谱中的任何合适的发射，并且可包括跨越整个电磁光谱的多个光发射。在一个实施方案中，超光谱发射包括具有从约513nm至约545nm、从约565nm至约585nm、和/或从约900nm至约1000nm的波长的电磁辐射的发射。超光谱曝光帧可包括多个超光谱曝光帧，该多个超光谱曝光帧各自在不同类型的超光谱发射之后由图像传感器生成。在一个实施方案中，超光谱曝光帧包括多个超光谱曝光帧，该超光谱曝光帧包括在发射具有从约513nm至约545nm的波长的电磁辐射之后由图像传感器生成的第一超光谱曝光帧，在发射具有从约565nm至约585nm的波长的电磁辐射之后由图像传感器生成的第二超光谱曝光帧，和在发射具有从约900nm至约1000nm的波长的电磁辐射之后由图像传感器生成的第三超光谱曝光帧。超光谱曝光帧可包括另外的附加超光谱曝光帧，该另外的附加超光谱曝光帧在如基于成像应用所需的光的其他超光谱发射之后由图像传感器生成。

超光谱曝光帧可在发射电磁辐射的多个不同分区之后由图像传感器生成。例如，可在发射具有从约513nm至约545nm、从约565nm至约585nm和从约900nm至约1000nm的波长的电磁辐射之后由像素阵列感测到单个超光谱曝光帧。电磁辐射的发射可包括其中同时发射多个波长中的每个波长的单个脉冲、其中每个子脉冲是不同波长的电磁辐射的多个子脉冲、或者以上两者的一些组合。具有一个或多个脉冲的电磁辐射的发射可在消隐周期316期间发生，该消隐周期在像素阵列感测到曝光帧的读出周期302之前发生。

在一个实施方案中，曝光帧是在消隐周期316之后发生的读出周期302期间由像素阵列感测到的数据。电磁辐射的发射在消隐周期316期间发射。在一个实施方案中，电磁辐射的发射的一部分与读出周期316重叠。消隐周期316在像素阵列的光学黑色像素正被读取时发生，并且读出周期302在像素阵列的有效像素正被读取时发生。消隐周期316可与读出周期302重叠。

图6A和图6B示出了用于记录图像帧的过程。可将多个图像帧串在一起以生成视频流。单个图像帧可包括来自多个曝光帧的数据，其中曝光帧是在发射电磁辐射之后由像素阵列感测到的数据。图6A示出了通常利用彩色图像传感器实现的常规过程，该彩色图像传感器具有滤色器阵列(CFA)以用于每个像素滤除某些波长的光。图6B是本文所公开的过程，并且可利用接收所有波长的电磁辐射的单色“颜色不定”图像传感器来实现。

图6A所示的过程从时间t(0)到时间t(1)发生。该过程从白光发射602开始并感测白光604。在606处，基于604处的感测来处理并显示图像。

图6B所示的过程从时间t(0)到时间t(1)发生。该过程从发射绿光612开始，并且在发射绿光612之后感测反射的电磁辐射614。该过程继续发射红光616，并且在发射红光616之后感测反射的电磁辐射618。该过程继续发射蓝光620，并且在发射蓝光620之后感测反射的电磁辐射622。该过程继续进行超光谱624发射的一次或多次发射，并且在超光谱624发射的该一次或多次发射中的每一者之后感测反射的电磁能量626。

图6B所示的过程提供了较高分辨率的图像并且提供了用于生成还包括超光谱成像数据的RGB图像的装置。当使用分区光谱时(如图6B所示)，可使传感器对所有波长的电磁能量敏感。在图6B所示的过程中，指示单色像素阵列在每个循环中感测来自电磁能量全光谱的预先确定的分区的电磁能量。因此，为了形成图像，传感器仅需用来自全光谱内的多个不同分区进行循环。基于该多个循环来组装最终图像。因为来自每个颜色分区帧循环的图像具有更高的分辨率(与CFA像素阵列相比)，所以当将分区光帧组合时创建的所得图像也具有更高的分辨率。换句话讲，因为阵列内的每个像素(而不是至多，具有CFA的传感器中的每隔一个像素)感测给定脉冲和给定场景的能量的幅值，仅相隔一段时间，所以针对每个场景产生较高分辨率的图像。

如在图6A和图6B中所示的实施方案中在时间t(0)和t(1)之间可图形地看出，用于图6B中的分区光谱系统的传感器对图6A中的全光谱系统中的每个循环了至少四次。在一个实施方案中，显示装置(LCD面板)以每秒50帧至60帧的速度工作。在此类实施方案中，图6B中的分区光系统可以每秒200帧至240帧的速度操作，以保持所显示视频的连续性和平滑性。在其它实施方案中，可存在不同的捕获和显示帧速率。此外，平均捕获速率可以是显示速率的任何倍数。

在一个实施方案中，可能期望并非所有分区在系统帧速率内均相等地表示。换句话讲，并非所有光源都必须以相同的规律性脉冲，以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解，电磁频谱的不可见分区和可见分区可在系统内脉冲到一起，其中它们的相应数据值被接合(stitch)到视频输出中，以用于向用户显示。

实施方案可包括如下脉冲循环模式：

i.绿色脉冲；

ii.红色脉冲；

iii.蓝色脉冲；

iv.绿色脉冲；

v.红色脉冲；

vi.蓝色脉冲；

vii.超光谱脉冲；

viii.(重复)

如在该示例中可见，超光谱分区可以与其他分区脉冲的速率不同的速率脉冲。这样做可强调场景的某个方面，其中超光谱数据仅与视频输出中的其他数据叠层以做出期望的强调。应当指出，在红色分区、绿色分区和蓝色分区的顶部上方添加超光谱分区并不一定要求序列化的系统以全光谱非串行系统的速率的四倍操作，因为每个分区不必在脉冲模式中相等地表示。如在该实施方案中所见，添加在脉冲模式中表示更少的超光谱分区脉冲将导致传感器的循环速度增加小于20％，以便适应不规则的分区取样。

在各种实施方案中，脉冲循环模式还可以任何合适的顺序包括以下波长中的任一者。此类波长可特别适用于激发荧光试剂，以通过基于荧光试剂弛豫发射感测荧光试剂的弛豫发射来生成荧光成像数据：

i.770±20nm；

ii.770±10nm；

iii.770±5nm；

iv.790±20nm；

v.790±10nm；

vi.790±5nm；

vii.795±20nm；

viii.795±10nm；

ix.795±5nm；

x.815±20nm；

xi.815±10nm；

xii.815±5nm；

xiii.770nm至790nm；和/或

xiv.795nm至815nm。

在各种实施方案中，脉冲循环还可以任何合适的顺序包括以下波长中的任一者。此类波长可特别适用于生成超光谱成像数据：

i.513±545nm；

ii.565nm至585nm；

iii.900nm至1000nm；

iv.513±5nm；

v.513±10nm；

vi.513±20nm；

vii.513±30nm；

viii.513±35nm；

ix.545±5nm；

x.545±10nm；

xi.545±20nm；

xii.545±30nm；

xiii.545±35nm；

xiv.565±5nm；

xv.565±10nm；

xvi.565±20nm；

xvii.565±30nm；

xviii.565±35nm；

xix.585±5nm；

xx.585±10nm；

xxi.585±20nm；

xxii.585±30nm；

xxiii.585±35nm；

xxiv.900±5nm；

xxv.900±10nm；

xxvi.900±20nm；

xxvii.900±30nm；

xxviii.900±35nm；

xxix.1000±5nm；

xxx.1000±10nm；

xxxi.1000±20nm；

xxxii.1000±30nm；或者

xxxiii.1000±35nm。

可将分区循环划分为适应或近似各种成像和视频标准。在一个实施方案中，分区循环可包括如下如图7A至图7D中最佳地示出的红色光谱、绿色光谱和蓝色光谱中的电磁能量的脉冲。在图7A中，已通过在由竖直灰色虚线所示的工作范围内调制光脉冲宽度或持续时间来实现不同的光强度。在图7B中，已通过调制光功率或电磁发射器(其可为激光器或LED发射器)的功率，但保持脉冲宽度或持续时间恒定来实现不同的光强度。图7C示出了光功率和光脉冲宽度均被调制从而得到更大灵活性的情况。分区循环可使用青色洋红色黄色(CMY)、红外、紫外、超光谱和荧光，其使用与可见脉冲源混合的不可见脉冲源以及产生图像所需的任何其他色彩空间或近似于当前已知或尚未开发的期望视频标准。还应当理解，系统能够在运行中的色彩空间之间切换以提供所需图像输出质量。

在使用色彩空间绿色-蓝色-绿色-红色(如图7D中所示)的实施方案中，可能期望比色度分量更频繁地脉冲亮度分量，因为用户通常对光量值差异比对光色差更敏感。可使用如图7D中所示的单色传感器来利用该原理。在图7D中，包含最多亮度信息的绿色可在(G-B-G-R-G-B-G-R……)方案中更频繁地脉冲或具有更大强度以获得亮度数据。此类配置将创建具有可察觉的更多细节的视频流，而不创建和传输不可察觉的数据。

在一个实施方案中，复制较弱分区的脉冲可用于产生已针对较弱脉冲进行调节的输出。例如，认为蓝色激光相对于硅基像素的灵敏度弱，并且与红光或绿光相比，蓝色激光难以产生，因此可在帧循环期间更频繁地脉冲以补偿光的弱性。这些附加脉冲可随时间推移连续地完成，或者通过使用多个激光器同时脉冲以产生所需补偿效果。应当注意，通过在消隐周期(在此期间传感器不读出像素阵列的时间)期间脉冲，传感器对同一种类的激光器之间的差异/失配不敏感，并且简单地聚积光以用于期望的输出。在另一个实施方案中，最大光脉冲范围可能从帧到帧是不同的。这在图7E中示出，其中光脉冲从帧到帧是不同的。传感器可被构建成能够以两帧或三帧或四帧或n帧的重复图案对不同消隐周期进行编程。在图7E中，示出了四个不同的光脉冲，并且脉冲1可例如在脉冲4之后重复，并且可具有消隐周期不同的四帧的图案。该技术可用于将最大功率的分区放置于最小消隐周期上，并且因此允许最弱的分区在后续帧中的一帧上具有更宽的脉冲而无需增加读出速度。重建帧仍可具有帧到帧的规则图案，因为其由许多脉冲帧构成。

图8示出了过程流程800，其中对传感器和/或发射器进行调节以补偿脉冲分区光谱的能量值中的差异。在过程流程800中，从前一帧的直方图获得数据并且在802处进行分析。在804处调节传感器，并且在806处调节发射器。在808处，基于来自传感器的经调节的样本时间来确定图像，以及/或者在810处，基于经调节的(增加或减少的)发射光来确定图像。

图9是用于调节传感器并基于来自经调节的传感器的读数记录帧的过程流程900。在过程流程900中，在902处获得前一帧的直方图并且在904处基于灵敏度来调节传感器。在906处，基于来自经调节的传感器的读数来记录帧。在一个示例中，实现过程流程800、900，因为红光光谱比蓝光光谱更容易被系统内的传感器检测到。在该示例中，因为蓝色分区相对于硅具有低量子效率(在图9中最佳地示出)，所以将传感器调节为在红色分区循环期间不太敏感并且在蓝色分区循环期间更敏感。类似地，可调节发射器以提供经调节的分区(例如，更高或更低的强度和持续时间)。

图10至图11是用于对数字成像执行颜色校正的方法的示意图。在数字成像中常见的是调控图像数据内的值以校正输出，从而满足用户的期望或突出显示成像对象的某些方面。在其中光由用户控制的系统中，提供用户已知，并且可仅为电磁光谱的一部分或全电磁光谱的多个部分的光发射是有利的。图像校正对于满足用户的期望并检查系统内的故障是重要的。一种校准方法采用可与来自图像传感器的数据进行比较的给定成像条件的预期值表。

图10是用于在缺光环境中对数字成像执行颜色校正的方法1000的示意图。方法1000包括通过在1002处运行电磁光谱分区的全循环在启动时对中性颜色场景或调色板(参见1010)进行采样。基于颜色中性场景或调色板1010生成查找表1008。查找表1008用于在1008处确定帧循环的直方图。在1006处，基于中性颜色场景或调色板1010并且还基于查找表1008将直方图与已知或预期值进行比较。该方法包括在1012处调节图像信号处理器(ISP)上的设置以及/或者在1014处调节发射器。在1014处对发射器的调节可包括对发射光的任何方面的调节，诸如量值、持续时间(即，接通时间)或在光谱分区内的范围。

应当指出的是，因为光的每个分区光谱可具有不同的能量值，所以可调节传感器和/或光发射器以补偿能量值的差异。例如，在一个实施方案中，因为蓝光光谱相对于硅基成像器具有比红光光谱更低的量子效率，所以随后可将传感器的响应性调节为在红色循环期间响应较少并且在蓝色循环期间响应较多。相反，由于蓝光的量子效率低于红光，所以发射器可以高于红光的强度发射蓝光，以产生正确曝光的图像。

图11是用于对图像信号处理器(ISP)和/或发射器执行分级调节以减少输出的图像流或视频内的噪声和伪影的量的方法1100的示意图。方法1100包括在1102处发射和感测电磁光谱分区的全循环。在1104处，将电磁分区的全循环的结果与期望输出进行比较。基于该比较，在1106处调节图像信号处理器(ISP)以及/或者在1108处调节发射器。在帧循环之间对1106处的ISP和/或1108处的发射器进行的调节可在1110处受到限制。例如，可在帧之间的任何时间通过其操作范围的一部分来调节发射器。同样，可在帧之间的任何时间通过其操作范围的一部分来调节ISP。在一个实施方案中，可限制发射器和ISP两者，使得在帧之间的任何时间处仅可一起调节发射器和传感器的相应操作范围的一部分。在1112处比较这些分级调节的结果，并且基于该比较来完成调节。

在示例性实施方案中，对ISP和/或发射器的分级调节可在部件的操作范围的约0.1dB下执行，以校正先前帧的曝光。0.1dB仅仅是示例，并且应当指出，在其他实施方案中，部件的允许调节可以是其相应操作范围的任何部分。系统的部件可通过通常由部件输出的位数(分辨率)控制的强度或持续时间调节来改变。部件分辨率通常可介于约10位至24位的范围之间，但不应限于该范围，因为其旨在包括除了当前可用的那些之外尚待开发的部件的分辨率。例如，在第一帧之后，确定场景在被观察时太蓝，则可通过如上所述的分级调节(诸如约0.1dB)来调节发射器以在系统的蓝色循环期间减少蓝光的脉冲量值或持续时间。

在该示例性实施方案中，可能需要超过10％，但系统已将其自身限制为每个系统循环调节0.1dB的操作范围。因此，如果需要的话，则可在下一系统循环期间再次调节蓝光。循环之间的分级调节可具有输出图像的阻尼效应，并且当以其操作极限操作发射器和传感器时分级调节将减少噪声和人工痕迹。可确定部件的操作调节范围的任何分级量都可用作限制因素，或者可确定系统的某些实施方案可包括可在其整个操作范围内调节的部件。

另外，任何图像传感器的光学黑色区可用于帮助图像校正和降噪。在一个实施方案中，可将从光学黑色区读取的值与传感器的有效像素区域的那些值进行比较，以建立将用于图像数据处理的参考点。图12示出了可在颜色脉冲系统中采用的传感器校正方法的种类。CMOS图像传感器通常具有多个非理想因素，诸如固定图案噪声(FPN)和线路噪声。完全控制照明具有以下有益效果：可周期性地采集整个暗数据帧并将其用于校正像素偏移和列偏移。

FPN是感测元件偏移中的色散，其通常由从光电二极管到光电二极管的暗电流的随机变化引起的像素到像素的色散引起。列固定图案噪声由读出链中与像素的特定列相关联的偏移引起，并且可在图像内产生感知的竖直条纹。

行噪声是每行内的像素偏移的随机时间变化。因为行噪声是时间性的，所以必须针对每行和每个帧重新计算校正。为此，通常在阵列中的每行内存在许多光盲(OB)像素，必须首先对这些像素进行采样以在对光敏像素进行采样之前评估行偏移。然后在行噪声校正过程中减去行偏移。

在图12中的示例中，存在涉及按正确顺序获得数据、监测和控制模拟域(黑箝)中的电压偏移以及识别/校正各个缺陷像素的其他校正。过程流程1200包括在1202处使传感器在第一发射强度循环下通过电磁分区中的每个电磁分区。过程流程1200包括在1204处使传感器在第二发射强度下循环通过电磁分区中的每个电磁分区。过程流程1200包括在1206处组合来自第一发射强度和第二发射强度处的电磁分区的数据。

图13是用于增大所得图像的动态范围的过程流程1300的示意图。过程流程1300包括在1302处使传感器在第一发射强度下循环通过电磁分区中的每个电磁分区。过程流程1300包括在1304处使传感器在第二发射强度下循环通过电磁分区中的每个电磁分区。过程流程1300包括在1306处使传感器在“m”的发射强度下循环通过“n”个电磁分区，并且可重复任何合适的次数。过程流程1300包括在1308处使传感器在“m+j”的发射强度下循环通过“n+i”个电磁分区。过程流程1300包括在1310处组合来自循环发射强度中的每一者的数据。

在一个实施方案中，曝光输入可随时间推移以不同水平输入，并且组合以产生更大的动态范围。由于其中使用成像装置的空间环境有限，因此更大的动态范围可能是特别期望的。在除了由光源提供的光之外缺光或黑暗的有限空间环境中，并且在光源靠近光发射器的情况下，暴露与距离具有指数关系。例如，靠近光源和成像装置的光学开口的对象趋于曝光过度，而距离更远的对象因为存在极少(任何)的环境光而趋于曝光极度不足。

如在图13中可见，在多个分区中具有电磁能量发射的系统的循环可根据电磁光谱的分区连续地循环。例如，在其中发射器在不同的红色分区、不同的蓝色分区、不同的绿色分区和不同的超光谱分区中发射激光的实施方案中，将被组合的两个循环数据集可以是以下形式：

i.在1302处强度为一的红色；

ii.在1304处强度为二的红色；

iii.在1302处强度为一的蓝色；

iv.在1304处强度为二的蓝色；

v.在1302处强度为一的绿色；

vi.在1304处强度为二的绿色；

vii.在1302处强度为一的超光谱；以及

viii.在1304处强度为二的超光谱。

另选地，系统可以如下形式循环：

i.在1302处强度为一的红色；

ii.在1302处强度为一的蓝色；

iii.在1302处强度为一的绿色；

iv.在1302处强度为一的超光谱；

v.在1304处强度为二的红色；

vi.在1304处强度为二的蓝色；

vii.在1304处强度为二的绿色；以及

viii.在1304处强度为二的超光谱。

在此类实施方案中，第一图像可从强度一值导出，并且第二图像可从强度二值导出，然后在1310处而不是在其组成部件处组合或处理为完整图像数据集。

在本发明的范围内可以设想，可以任何顺序使用任何数量的发射分区。如图13中所示，“n”用作表示任何数量的电磁分区的变量，并且“m”用作表示“n”分区的任何水平的强度。此类系统可以如下形式循环：

i.在1306处强度为m的n；

ii.强度为m+1的n+1；

iii.强度为m+2的n+2；以及

iv.在1308处强度为m+j的n+i。

因此，可使用任何序列化循环图案来产生所需图像校正，其中“i”和“j”为成像系统的操作范围内的附加值。

图14示出了要由控制器和/或单色图像信号处理器(ISP)实现的过程流程1400，用于生成其上叠层有超光谱数据的RGB图像的视频流。图像信号处理器(ISP)链可被组装以用于从在G-R-G-B-超光谱光脉冲方案的存在下产生的原始传感器数据生成sRGB图像序列的目的。在过程流程1400中，第一阶段涉及进行校正(参见图14中在1402处从传感器接收数据，在1404处重新排序，以及在1406处传感器校正)以考虑传感器技术中最适合在原始数据域中工作的任何非理想因素。在下一阶段，缓冲多个帧(例如，绿色帧1408a、红色-蓝色帧1408b和超光谱帧1408c)，因为每个最终帧从多个原始帧导出数据。在1264处的帧重建通过对来自当前帧和两个缓冲帧(参见1408a、1408b和/或1408c)的数据进行采样来继续。重建过程在线性RGB色彩空间中产生包括超光谱图像数据的全色帧。在该示例中，在1422处转换为YCbCr空间之前，应用1268处的白平衡系数和1420处的颜色校正矩阵，以用于1424处的后续边缘增强。在1424处边缘增强之后，在1426处将图像转换回线性RGB以用于在1428处进行缩放(如果适用的话)。最后，在1430处应用γ传递函数以在1432处将数据转换成sRGB域。

图15是颜色融合硬件1500的示例。颜色融合硬件1500利用存储器写入器1502将R-G-B-G-超光谱视频数据流存储在存储器1504中，并且在1505处将视频数据流转换为并行RGB+超光谱视频数据流。输入侧上的位宽度可为例如每种颜色12位。该示例的输出宽度将为每个像素至少36位。其他实施方案可具有不同的初始位宽度和3倍于输出宽度的数。存储器写入器1502框将RGBG-超光谱视频流作为其输入，并将每个帧写入其正确的帧存储器1504(存储器写入器触发与使激光源运行的脉冲发生器相同的脉冲发生器(参见1510))。存储器1504可将曝光帧数据存储在图案诸如所示图案中，即：红色、绿色1、蓝色、绿色2、超光谱，然后再次以红色开始返回。存储器读取器1506一次读取三个帧以构造RGB像素。每个像素是单个颜色分量的位宽度的三倍。在1510处，存储器读取器1506还触发激光脉冲发生器。在一个实施方案中，存储器读取器1506等待直到已写入红色帧、绿色1帧和蓝色帧，然后继续将其并行读出，同时写入器继续写入绿色2、超光谱并开始返回红色。当红色完成时，读取器开始从蓝色、绿色2、超光谱和红色读取。该图案无限期地继续。

图16是用于传感器校正过程的过程流程1600的示意图。过程流程1600可用于如本文所讨论的颜色和超光谱脉冲系统中。过程流程1600可用于抵消CMOS图像传感器中的非理想因素，诸如固定图案噪声(FPN)和行噪声。固定图案噪声是感测元件的偏移中的色散。通常，FPN中的大多数是像素间色散，其源于从光电二极管到光电二极管的暗电流的随机变化以及其他来源。本文所公开的系统保持对照明源的完全控制，并且这使得能够采集暗数据并用于校正像素和列偏移。在例示的示例中，可使用单个帧缓冲器在没有光的情况下使用例如简单的指数平滑滤波对整个帧进行滑动平均。在常规操作期间，可从每个照明帧中减去该暗平均帧。行噪声是每行内的像素偏移的随机时间变化。因为行噪声是时间性的，所以针对每行和每个帧计算校正。为此，通常在像素阵列中的每行内存在许多光盲(OB)像素。在对光敏像素进行采样之前，必须首先对OB像素进行采样以评估线偏移。然后在行噪声校正过程中减去行偏移。

过程流程1600包括执行顶部去序列化1602和底部去序列化1603。过程流程1600包括在1604处的顶部端口处执行线重排序以及在1605处的底部端口处执行线重排序。在完成线重排序时，可将信息存储在单独的数据库1632、1634或其他存储器装置中。过程流程1600包括在1606处对顶部ADC执行黑箝计算，并且在1607处对底部ADC执行黑箝计算。该信息在先进先出(FIFO)基础上退出过程流程1600。过程流程1600包括在1608处在顶部ADC处执行行噪声校正并且在1609处在底部ADC处执行行噪声校正。过程流程1600包括在1610处执行全行重组并且在1612处执行暗帧累加。该信息可在执行固定图案噪声(FPN)校正之前存储在数据库1630或其他存储装置中。过程流程包括在1614处执行固定图案噪声(FPN)校正并且在1616处执行像素缺陷校正。过程流程1600包括在视频流离开过程流程1600以提供给用户之前在1618处执行可编程数字增益。

图17是图案重建过程的示意图。图17所示的示例性图案包括各自持续T1的持续时间的光的红色脉冲、绿色脉冲、蓝色脉冲和超光谱脉冲。在各种实施方案中，光脉冲可具有相同的持续时间或不同的持续时间。将红色曝光帧、绿色曝光帧、蓝色曝光帧和超光谱曝光帧组合以生成其上叠层有超光谱数据的RGB图像。包括红色曝光帧、绿色曝光帧、蓝色曝光帧和超光谱曝光帧的单个图像帧需要生成4*T1的时间段。图17所示的持续时间仅为示例性的，并且可针对不同的具体实施而变化。在其它实施方案中，可采用不同的脉冲方案。例如，实施方案可以基于每个颜色分量或帧(T1)的定时，并且重建帧具有的周期是输入彩色帧的周期的两倍(2×T1)。序列内的不同帧可具有不同帧周期，并且平均捕获速率可为最终帧速率的任何倍数。

在一个实施方案中，通过改变图像传感器的像素阵列内的像素的像素灵敏度来增加系统的动态范围。一些像素可感测第一灵敏度水平的反射的电磁辐射，其他像素可感测第二灵敏度水平的反射的电磁辐射等。可组合不同的像素灵敏度以增大由图像传感器的像素配置提供的动态范围。在一个实施方案中，相邻像素以不同的灵敏度设置，使得每个循环包括由相对于彼此更敏感和更不敏感的像素产生的数据。当在像素阵列的单个循环中记录多个灵敏度时，动态范围增大。在一个实施方案中，宽动态范围可通过具有多个全局TX来实现，每个TX仅在不同的像素组上击发。例如，在全局模式下，全局TX1信号正在击发像素组1，全局TX2信号正在激发像素组2，全局TXn信号正在激发像素组n等。

图18A示出了像素阵列中两种不同像素灵敏度(双像素灵敏度)的定时示例。在这种情况下，全局TX1信号击发阵列的像素的一半，全局TX2击发像素的另一半。因为全局TX1和全局TX2具有不同的“通”至“断”边缘位置，所以集成光在TX1像素和TX2像素之间是不同的。

图18B示出了用于双像素灵敏度的定时的不同实施方案。在这种情况下，光脉冲被调制两次(脉冲持续时间和/或振幅)。TX1像素对P1脉冲集成，并且TX2像素对P1+P2脉冲集成。分离全局TX信号可以多种方式进行，包括从每行中区分TX行，以及每行发送多个TX行，其中每个TX行寻址不同的像素组。

图19A至图19C示出了脉冲和/或同步或保持恒定的白光发射以及对应的颜色传感器的使用。如在图19A中可见，白光发射器可被配置成能够在对应传感器的消隐周期期间发射光束，以在受控光环境中提供受控光源。光源可发射恒定量值的光束并改变脉冲的持续时间，如图19A中所示，或者可在改变量值的情况下保持脉冲恒定，以实现正确曝光的数据，如图19B所示。图19C中示出的是可以用由传感器控制并与传感器同步的变化电流调制的恒定光源的图形表示。

在一个实施方案中，白光或多光谱光作为脉冲发射，以提供在系统内使用的数据(在图19A至图19C中最佳地示出)。与电磁光谱的分区结合的白光发射可用于强调和不强调场景内的某些方面。此类实施方案可使用如下脉冲模式：

i.绿色脉冲；

ii.红色脉冲；

iii.蓝色脉冲；

iv.超光谱脉冲；

v.绿色脉冲；

vi.红色脉冲；

vii.蓝色脉冲；

viii.超光谱脉冲；

ix.白光(多光谱)脉冲；

x.(重复)

使用比白光循环快至少两倍的图像传感器循环的任何系统都旨在落入本公开的范围内。应当理解，本文设想了电磁光谱的分区的任何组合，无论其来自全电磁光谱的可见光谱还是不可见光谱。

图20A至图20C每个示出了具有多个发射器的光源2000。发射器包括第一发射器2002、第二反射器2004和第三发射器2006。可包括附加的发射器，如下文进一步讨论。发射器2002、2004和2006可包括发射具有不同波长的光的一个或多个激光发射器。例如，第一发射器2002可发射与蓝色激光一致的波长，第二发射器2004可发射与绿色激光一致的波长，并且第三发射器2006可发射与红色激光一致的波长。例如，第一发射器2002可包括一个或多个蓝色激光器，第二发射器2004可包括一个或多个绿色激光器，并且第三发射器2006可包括一个或多个红色激光器。激光器2002、2004、2006朝收集区域2008发射激光束，该收集区域可以是波导、镜片或用于收集光和/或向波导(诸如图2的跳线波导206或内腔波导210)提供光的其他光学部件的位置。

在一个具体实施中，发射器2002、2004和2006发射电磁辐射的超光谱波长。某些超光谱波长可刺穿组织并且使得执业医生能够“透视”前景中的组织以识别位于前景中的组织后面的化学过程、结构、化合物、生物过程等。可特别选择超光谱波长以识别已知具有特定光谱响应的特定疾病、组织状况、生物过程、化学过程、组织类型等。

在已向患者施用有助于识别某些组织、结构、化学反应、生物过程等的试剂或染料的具体实施中，发射器2002、2004和2006可发射用于使试剂或染料发荧光的波长。此类波长可基于施用给患者的试剂或染料来确定。在此类实施方案中，发射器可能需要是高度精确的，以便发射所需波长以使某些试剂或染料发荧光或活化。

在一个具体实施中，发射器2002、2004和2006发射用于标测场景的拓扑以及/或者用于计算场景中对象之间的尺寸和距离的激光扫描图案。在一个实施方案中，内窥镜成像系统与多个工具诸如手术刀、牵开器、夹钳等结合使用。在此类实施方案中，发射器2002、2004和2006中的每一者可发射激光扫描图案，使得激光扫描图案单独地投影到每个工具上。在此类实施方案中，可分析工具中的每一者的激光扫描数据以识别工具和场景中的其他对象之间的距离。

在图20B的实施方案中，发射器2002、2004、2006各自以不同的角度向收集区域2008递送激光。角度的变化可导致电磁能量在输出波导中的位置的变化。例如，如果光在收集区域2008处立即进入纤维束(玻璃或塑料)中，则变化的角度可导致不同量的光进入不同的纤维。例如，角度可导致横跨收集区域2008的强度变化。此外，来自不同发射器的光可不会被均匀地混合，因此一些纤维可接收不同量的不同颜色的光。不同纤维中的光的颜色或强度的变化可导致场景的非最佳照明。例如，递送光或光强度的变化可在场景和所捕获图像处导致。

在一个实施方案中，居间光学元件可放置在纤维束和发射器2002、2004、2006之间，以在进入纤维或其他波导中之前混合不同颜色(波长)的光。示例性居间光学元件包括漫射器、混合棒、一个或多个镜片，或用于混合光使得给定纤维接收每种颜色(波长)的相同量的其它光学部件。例如，纤维束中的每根纤维可具有相同的颜色。该混合可导致每根纤维中的相同的颜色，但是，在一些实施方案中，仍可导致递送到不同纤维的不同的总亮度。在一个实施方案中，居间光学元件也可在收集区域上传播或均匀地传播光，使得每根纤维携带相同总量的光(例如，光可能在顶帽式轮廓中散开)。漫射器或混合棒可导致光损失。

尽管收集区域2008在图20A中表示为物理部件，但收集区域2008可以简单地为递送来自发射器2002、2004和2006的光的区域。在一些情况下，收集区域2008可包括光学部件，诸如漫射器、混合棒、透镜，或处于发射器2002、2004、2006和输出波导之间的任何其他居间光学部件。

图20C示出了具有以相同或基本上相同的角度向收集区域2008提供光的发射器2002、2004、2006的光源2000的实施方案。光以基本上垂直于收集区域2008的角度提供。光源2000包括多个二向色镜，该多个二向色镜包括第一二向色镜2010、第二二向色镜2012和第三二向色镜2014。二向色镜2010、2012、2014包括反射第一波长的光但透射第二波长(或对其透明)的光的镜。例如，第三二向色镜2014可反射由第三发射器提供的蓝色激光，而对第一发射器2002和第二发射器2004各自提供的红光和绿光透明。第二二向色镜2012可对来自第一发射器2002的红光透明，但对来自第二发射器2004的绿光是反射的。如果包括其它颜色或波长，则可选择二向色镜以反射对应于至少一个发射器的光并且对其它发射器透明。例如，第三二向色镜2014反射来自第三发射器2006的光，但对其“后面”的发射器诸如第一发射器2002和第二发射器2004透明。在其中存在数十或数百个发射器的实施方案中，每个二向色镜可反射对应发射器和其前面的发射器，同时对其后面的发射器透明。这可允许数十或数百个发射器以基本上相同的角度将电磁能量发射到收集区域2008。

因为这些二向色镜允许其他波长透射或穿过，这些波长中的每个波长可从相同的角度和/或以相同的中心点或焦点到达收集区域2008。从相同的角度和/或相同的焦点/中心点提供光可显著改善在收集区域2008处的接收和颜色混合。例如，特定纤维可接收不同的颜色，这些颜色的比例与它们由发射器2002、2004、2006和镜2010、2012、2014透射/反射的比例相同。与图20B的实施方案相比，可在收集区域处显著改善光混合。在一个实施方案中，本文所讨论的任何光学部件可在收集区域2008处使用，以在向纤维或纤维束提供光之前收集光。

图20C示出了具有也以相同或大致相同的角度向收集区域2008提供光的发射器2002、2004、2006的光源2000的实施方案。例如，入射在收集区域2008上的光从垂直偏移。角度2016指示从垂直偏移的角度。在一个实施方案中，激光发射器2002、2004、2006可具有高斯横截面强度轮廓。如前所述，纤维之间的光能量的改善的分布可通过形成更平坦或顶帽形的强度轮廓来实现。在一个实施方案中，随着角度2016的增大，横跨收集区域2008的强度接近顶帽式轮廓。例如，通过增大角度2016直到轮廓足够平坦，顶帽式轮廓甚至可近似为非平坦输出光束。顶帽式轮廓也可使用一个或多个透镜、漫射器、混合棒，或处于发射器2002、2004、2006和输出波导、纤维或光纤束之间的任何其他居间光学部件来实现。

图21是示出了在输出处经由漫射器2104输出的单根光纤2102的示意图。在一个实施方案中，光纤2102具有500微米的直径、0.65的数值孔径，并且在没有漫射器2104的情况下发射约70度或80度的光锥2106。在有漫射器2104的情况下，光锥2106可具有约110度或120度的角度。光锥2106可以是所有光到达并且均匀分布的地方的大部分。漫射器2104可允许由图像传感器观察到的场景的电磁能量的更均匀分布。

在一个实施方案中，内腔波导210包括约500微米的单个塑料或玻璃光纤。塑料纤维的成本较低，但通过耦接、漫射或其他损耗其宽度可允许纤维将足够量的光传携带到场景。例如，较小的纤维可能不能携带与较大纤维一样多的光或功率。内腔波导210可包括单根或多根光纤。内腔波导210可直接从光源或经由跳线波导接收光。漫射器可用于加宽光输出206以获得图像传感器214或其他光学部件的期望视场。

虽然在图20A至图20C中示出了三个发射器，但是在一些实施方案中可使用数量从一个到数百个或更多个不等的发射器。发射器可具有它们发射的不同波长或光谱的光，并且这些光可用于连续覆盖电磁光谱的所需部分(例如，可见光谱以及红外光谱和紫外光谱)。发射器可被配置成能够发射可见光诸如红光、绿光和蓝光，并且还可被配置成能够发射电磁辐射的超光谱发射、用于使试剂发荧光的荧光激发波长和/或用于计算场景中对象之间的参数和距离的激光标测图案。

图22示出了被分成二十个不同子光谱的电磁光谱2200的一部分。子光谱的数量仅为示例性的。在至少一个实施方案中，光谱2200可被分成数百个子光谱，每个子光谱具有小波带。光谱可从红外光谱2202延伸，穿过可见光谱2204，并且进入紫外光谱2206。子光谱各自具有覆盖光谱2200的一部分的波带2208。每个波带可由上波长和下波长限定。

超光谱成像包括来自跨电磁光谱2200的成像信息。电磁辐射的超光谱脉冲可包括跨越电磁光谱2200的一个或多个部分或整个电磁频谱2200的多个子脉冲。电磁辐射的超光谱脉冲可包括电磁辐射的单个波长分区。所得超光谱曝光帧包括在电磁辐射的超光谱脉冲之后由像素阵列感测到的信息。因此，超光谱曝光帧可包括用于电磁光谱2200的任何合适分区的数据，并且可包括用于电磁光谱2200的多个分区的多个曝光帧。在一个实施方案中，超光谱曝光帧包括多个超光谱曝光帧，使得组合的超光谱曝光帧包括用于整个电磁光谱2200的数据。

在一个实施方案中，至少一个发射器(诸如激光发射器)包括在光源(诸如光源202、2000)中以提供对整个光谱2200的完整且连续的覆盖。例如，用于提供对所示子光谱的覆盖的光源可包括至少20个不同的发射器，每个子光谱至少有一个发射器。在一个实施方案中，每个发射器覆盖了覆盖40纳米的光谱。例如，一个发射器可发射500nm至540nm的波带内的光，而另一个发射器可发射540nm至580nm的波带内的光。在另一个实施方案中，发射器可覆盖其它尺寸的波带，这取决于可用发射器的类型或成像需要。例如，多个发射器可包括覆盖500nm至540nm的波带的第一发射器、覆盖540nm至640nm的波带的第二发射器，以及覆盖640nm至650nm的波带的第三发射器。每个发射器可覆盖范围从远红外、中红外、近红外、可见光、近紫外和/或远紫外的电磁光谱的不同片段。在一些情况下，可包括相同类型或波长的多个发射器以提供用于成像的足够输出功率。特定波带所需的发射器数量可取决于单色传感器对波带的灵敏度和/或该波带中发射器的功率输出能力。

可选择由发射器提供的波带宽度和覆盖率以提供光谱的任何所需组合。例如，使用非常小的波带宽度(例如，10nm或更小)的光谱的连续覆盖可允许高度选择性的超光谱和/或荧光成像。该波带宽度可允许选择性地发射一种或多种特定荧光试剂的激发波长。另外，波带宽度可允许选择性地发射超光谱电磁辐射的某些部分，以用于识别特定结构、化学过程、组织、生物过程等。因为波长来自可被选择性激活的发射器，所以可实现在检查期间使一种或多种特定荧光试剂发荧光的极端灵活性。另外，可实现通过超光谱成像来识别一个或多个对象或过程的极端灵活性。因此，更多荧光和/或超光谱信息可在更少的时间内并且在单次检查内实现，这原本需要多次检查、由于染料的施用或污渍而延迟等。

图23是示出了用于生成图像的发射和读出的定时图2300的示意图。实线表示用于捕获一系列曝光帧2304-2314的读出(峰2302)和消隐周期(谷)。一系列曝光帧2304-2314可包括可用于生成可叠层在RGB视频流上的激光扫描、超光谱和/或荧光数据的一系列重复曝光帧。在一个实施方案中，单个图像帧包括来自多个曝光帧的信息，其中一个曝光帧包括红色图像数据，另一个曝光帧包括绿色图像数据，并且另一个曝光帧包括蓝色图像数据。另外，单个图像帧可包括超光谱图像数据、荧光图像数据和激光扫描数据中的一者或多者。组合该多个曝光帧以产生单个图像帧。单个图像帧是具有超光谱成像数据的RGB图像。该系列曝光帧包括第一曝光帧2304、第二曝光帧2306、第三曝光帧2308、第四曝光帧2310、第五曝光帧2312和第N曝光帧2326。

另外，超光谱图像数据、荧光图像数据和激光扫描数据可组合使用以识别关键组织或结构并且还测量那些关键组织或结构的尺寸。例如，可将超光谱图像数据提供给对应的系统以识别身体中的某些关键结构，诸如神经、输尿管、血管、癌组织等。关键结构的位置和标识可从对应的系统接收，并且还可用于使用激光扫描数据生成关键结构的拓扑。例如，对应的系统基于超光谱成像数据来确定癌性肿瘤的位置。因为癌性肿瘤的位置基于超光谱成像数据是已知的，所以可基于激光扫描数据来计算癌性肿瘤的拓扑和距离。当基于荧光成像数据识别癌性肿瘤或其他结构时，该示例也可适用。

在一个实施方案中，基于电磁能量的至少一个脉冲生成每个曝光帧。电磁能量脉冲被图像传感器反射并检测，并且随后在后续读出(2302)中读出。因此，每个消隐周期和读出导致用于特定电磁能量光谱的曝光帧。例如，第一曝光帧2304可基于第一一个或多个脉冲2316的光谱生成，第二曝光帧2306可基于第二一个或多个脉冲2318的光谱生成，第三曝光帧2308可基于第三一个或多个脉冲2320的光谱生成，第四曝光帧2310可基于第四一个或多个脉冲2322的光谱生成，第五曝光帧2312可基于第五一个或多个脉冲2324的光谱生成，并且第N曝光帧2326可基于第N个一个或多个脉冲2326的光谱生成。

脉冲2316至2326可包括来自单个发射器或来自两个或更多个发射器的组合的能量。例如，可选择包括在单个读出周期中或多个曝光帧2304-2314内的光谱以用于对特定组织或状况的期望检查或检测。根据一个实施方案，一个或多个脉冲可包括用于生成RGB或黑白图像的可见光谱光，同时发射一个或多个附加脉冲以感测对电磁辐射的超光谱波长的光谱响应。例如，脉冲2316可包括红光，脉冲2318可包括蓝光，并且脉冲2320可包括绿光，同时剩余脉冲2322-2326可包括用于检测特定组织类型、使试剂发荧光和/或标测场景的拓扑的波长和光谱。又如，单个读出周期的脉冲包括由可用于检测特定组织类型的多个不同发射器生成的光谱(例如，电磁光谱的不同片段)。例如，如果波长的组合导致像素具有超过或低于阈值的值，则该像素可被分类为对应于特定类型的组织。每个帧还可用于缩小存在于该像素(例如，以及图像中的每个像素)处的组织的类型，以基于组织的光谱响应和/或组织处是否存在荧光试剂来提供组织和/或组织的状态(患病/健康)的非常特定的分类。

多个帧2304至2314被示出为具有不同长度的读出周期以及具有不同长度或强度的脉冲。消隐周期、脉冲长度或强度等可基于单色传感器对特定波长的灵敏度、发射器的功率输出能力和/或波导的携带能力来选择。

在一个实施方案中，双图像传感器可用于获得三维图像或视频馈送。三维检查可允许对检查区域的三维结构的改善的理解以及对该区域内的不同组织或物质类型的标测。

在一个示例性具体实施中，向患者提供荧光试剂，并且该荧光试剂被配置成能够附着到癌细胞。已知荧光试剂在被电磁辐射的特定分区辐射时发荧光。荧光试剂的弛豫波长也是已知的。在示例性具体实施中，利用如本文所讨论的内窥镜成像系统对患者进行成像。内窥镜成像系统脉冲红色、绿色和蓝色波长的光的分区，以生成患者身体内部的RGB视频流。另外，内窥镜成像系统脉冲施用给患者的荧光试剂的电磁辐射激发波长。在示例中，患者具有癌细胞，并且荧光试剂附着到癌细胞。当内窥镜成像系统脉冲荧光试剂的激发波长时，荧光试剂将发荧光并发射弛豫波长。如果癌细胞存在于由内窥镜成像系统成像的场景中，则荧光试剂也将存在于场景中，并且由于激发波长的发射而在发荧光之后发射其弛豫波长。内窥镜成像系统感测荧光试剂的弛豫波长，从而感测场景中荧光试剂的存在。因为已知荧光试剂附着到癌细胞，所以荧光试剂的存在还指示场景内癌细胞的存在。内窥镜成像系统从而识别场景内癌细胞的位置。内窥镜成像系统还可发射激光扫描脉冲方案以用于生成场景的拓扑并计算场景内对象的尺寸。癌细胞的位置(如由荧光成像数据所识别)可与基于激光扫描数据计算的拓扑和尺寸信息组合。因此，可识别癌细胞的精确位置、大小、尺寸和拓扑。可将该信息提供给执业医生以帮助切除癌细胞。另外，可将该信息提供给机器人外科系统，以使得外科系统能够切除癌细胞。

在另外的示例性具体实施中，利用内窥镜成像系统对患者进行成像，以识别关于患者组织病理的定量诊断信息。在该示例中，患者疑似或已知患有可利用超光谱成像跟踪以观察疾病在患者组织中的进展的疾病。内窥镜成像系统脉冲红色、绿色和蓝色波长的光的分区，以生成患者身体内部的RGB视频流。另外，内窥镜成像系统脉冲一个或多个超光谱波长的光，这允许系统“透视”一些组织并生成受疾病影响的组织的成像。内窥镜成像系统感测反射的超光谱电磁辐射以生成患病组织的超光谱成像数据，从而识别患者体内患病组织的位置。内窥镜成像系统还可发射激光扫描脉冲方案以用于生成场景的拓扑并计算场景内对象的尺寸。患病组织的位置(由超光谱成像数据识别)可与利用激光扫描数据计算的拓扑和尺寸信息组合。因此，可识别患病组织的精确位置、大小、尺寸和拓扑。可将该信息提供给执业医生以帮助切除、成像或研究患病组织。另外，可将该信息提供给机器人外科系统，以使得外科系统能够切除患病组织。

图24A和图24B分别示出根据本公开的教导和原理的单片传感器2400的具体实施的透视图和侧视图，该单片传感器具有多个像素阵列用于产生三维图像。此类具体实施可以是三维图像捕获所期望的，其中在使用期间两个像素阵列2402和2404可被偏移。在另一个具体实施中，第一像素阵列2402和第二像素阵列2404可专用于接收预先确定的波长范围的电磁辐射，其中该第一像素阵列专用于与该第二像素阵列不同波长范围的电磁辐射。

图25A和图25B分别示出了构建在多个基板上的成像传感器2500的具体实施的透视图和侧视图。如图所示，形成该像素阵列的多个像素列2504位于第一基板2502上并且多个电路列2508位于第二基板2506上。图中还示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信。在一个具体实施中，图像传感器可具有与全部或大部分支撑电路分开的像素阵列，而其可能以其它方式被制造成它的像素阵列和支撑电路处于单个、单片基板/芯片上。本公开可使用至少两个基板/芯片，这些基板/芯片将使用三维堆叠技术被堆叠在一起。两个基板/芯片中的第一个2502可使用图像CMOS工艺加工。第一基板/芯片2502可仅仅由像素阵列构成，或可由被有限电路围绕的像素阵列构成。第二或后续基板/芯片2506可使用任何工艺加工，而不是必须来自图像CMOS工艺。第二基板/芯片2506可以是但不限于，为了将各种和多个功能集成到基板/芯片上非常有限空间或面积中的高密度数字工艺、或为了集成例如精确模拟功能的混合模式或模拟工艺、或为了实现无线能力的RF工艺、或为了集成MEMS装置的MEMS(微电子机械系统)。图像CMOS基板/芯片2502可使用任何三维技术与第二或后续基板/芯片2506堆叠。第二基板/芯片2506可支撑将另外在第一图像CMOS芯片2502中实现(如果在单片基板/芯片上实现)为外围电路的电路的绝大部分或大部分，并且因此当保持像素阵列大小恒定并尽最大可能优化时增加了整个系统面积。两个基板/芯片之间的电连接可通过互联器完成，这些互联器可以是接合引线、凸耳和/或TSV(硅通孔)。

图26A和图26B分别示出了具有多个像素阵列用于产生三维图像的成像传感器2600的具体实施的透视图和侧视图。三维图像传感器可被构建在多个基板上并且可包括多个像素阵列和其他相关联的电路，其中形成第一像素阵列的多个素列2604a和形成第二像素阵列的多个像素列2604b分别位于相应的基板2602a和2602b上，并且多个电路列2608a和2608b位于单独的基板2606上。还示出了像素列与相关联的或对应的电路列之间的电连接和通信。

该多个像素阵列可同时感测信息，并且可将来自该多个像素阵列的信息组合以生成三维图像。在一个实施方案中，内窥镜成像系统包括可被部署以生成三维成像的两个或更多个像素阵列。内窥镜成像系统可包括用于在像素阵列的消隐周期期间发射电磁辐射脉冲的发射器。像素阵列可被同步，使得对于该两个或更多个像素阵列，同时读取光学黑色像素(即，发生消隐周期)。发射器可发射用于对该两个或更多个像素阵列中的每一者进行充电的电磁辐射脉冲。该两个或更多个像素阵列可同时读取其相应的带电像素，使得该两个或更多个像素阵列的读出周期同时或大致同时发生。在一个实施方案中，内窥镜成像系统包括多个发射器，每个发射器与多个像素阵列中的一个或多个像素阵列单独同步。来自多个像素阵列的信息可组合以生成三维图像帧和视频流。

应当理解，本公开的教导和原理可用于可重复使用的装置平台、有限使用的装置平台、可重新设置使用的装置平台或单次使用/一次性的装置平台，而不脱离本公开的范围。应当理解，在可重复使用的装置平台中，最终使用人负责该装置的清洁和消毒。在有限使用的装置平台中，在变得不能操作之前，装置可被使用一些规定量的次数。典型的新装置在交付前已经过无菌处理，如果要用作其它用途，应在其它使用之前由最终用户进行清洗和消毒。在可重新设置使用的装置平台中，第三方可重新处理装置(例如，清洁、包装和消毒)单次使用的装置，以比新单元更低的成本用于另外使用。在单次使用/一次性的装置平台中，提供无菌装置至手术室并且在被处置掉之前只能使用一次。

实施例

以下实施例涉及另外的实施方案的优选特征：

实施例1是一种用于在缺光环境中进行成像的系统。所述系统包括发射器和图像传感器，所述发射器用于发射电磁辐射脉冲，并且所述图像传感器包括用于感测反射的电磁辐射的像素阵列。所述系统包括控制器，所述控制器包括与所述图像传感器和所述发射器电通信的处理器，其中所述控制器在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时。所述系统使得由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下中的一者或多者：具有从约513nm至约545nm的波长的电磁辐射、具有从约565nm至约585nm的波长的电磁辐射、或具有从约900nm至约1000nm的波长的电磁辐射。

实施例2是根据实施例1所述的系统，其中，所述图像传感器被配置成能够生成多个曝光帧，其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲，并且产生与每个电磁辐射脉冲在时间上对应的数据集以生成对应于所述多个曝光帧的多个数据集。

实施例3是根据实施例1至2中任一项所述的系统，其中，所述图像传感器被配置成能够在读出帧期间从所述像素阵列读取对应于所述多个曝光帧中的每一个曝光帧的每个数据集，所述读出帧对应于读取所述像素阵列中的每个像素所需的持续时间，并且其中至少第一曝光帧与所述读出帧重叠。

实施例4是根据实施例1至3中任一项所述的系统，其中，将所述多个曝光帧和所述多个数据集组合以形成图像帧。

实施例5是根据实施例1至4中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分包括绿色波长的电磁辐射、红色波长的电磁辐射和蓝色波长的电磁辐射。

实施例6是根据实施例1至5中任一项所述的系统，其中，所述发射器被配置成能够在脉冲持续时间期间发射具有短于所述脉冲持续时间的子持续时间的多个电磁辐射子脉冲。

实施例7是根据实施例1至6中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲以两个或多个波长同时发射的电磁辐射。

实施例8是根据实施例1至7中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的脉冲产生由所述图像传感器生成的曝光帧，其中所述系统还包括用于将两个或更多个曝光帧显示为叠层图像的显示器。

实施例9是根据实施例1至8中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分产生由所述图像传感器生成的超光谱曝光帧，并且其中所述控制器还被配置成能够向对应系统提供所述超光谱曝光帧，所述对应系统基于所述超光谱曝光帧来确定关键组织结构在场景内的位置。

实施例10是根据实施例1至9中任一项所述的系统，其中，所述控制器还被配置成能够：从所述对应系统接收所述关键组织结构的所述位置；生成包括所述关键组织结构的所述位置的叠层帧；以及将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述关键组织结构在所述场景内的所述位置。

实施例11是根据实施例1至10中任一项所述的系统，其中，所述图像传感器的所述消隐周期对应于所述像素阵列的最后一行的读出和所述像素阵列的下一个读出循环的开始之间的时间。

实施例12是根据实施例1至11中任一项所述的系统，其中，所述控制器还被配置成能够基于阈值来调节由所述发射器发射的所述电磁辐射脉冲的序列，其中所述阈值确定缺光环境中场景的适当照明。

实施例13是根据实施例1至12中任一项所述的系统，其中，由所述发射器发射的两个或更多个电磁辐射脉冲产生由所述像素阵列感测到以生成图像帧的反射的电磁辐射的两个或更多个实例。

实施例14是根据实施例1至13中任一项所述的系统，其中，所述图像帧分配有用于在显示器上使用的可见颜色，其中所述可见颜色是8位或16位或n位。

实施例15是根据实施例1至14中任一项所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的至少一个电磁辐射脉冲产生由所述图像传感器生成的超光谱曝光帧，并且其中所述控制器还被配置成能够向对应系统提供所述超光谱曝光帧，所述对应系统基于所述超光谱曝光帧来识别身体中的一个或多个关键结构。

实施例16是根据实施例1至15中任一项所述的系统，其中，所述身体中的所述一个或多个关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。

实施例17是根据实施例1至16中任一项所述的系统，其中，所述图像传感器包括第一图像传感器和第二图像传感器，使得所述图像传感器能够生成三维图像。

实施例18是根据实施例1至17中任一项所述的系统，其中，所述发射器被配置成能够重复发射足以生成包括多个图像帧的视频流的电磁辐射脉冲的序列，其中所述视频流中的每个图像帧包括来自多个曝光帧的数据，每个曝光帧对应于电磁辐射脉冲。

实施例19是根据实施例1至18中任一项所述的系统，其中，由所述图像传感器感测到的所述反射的电磁辐射产生被组合以用于生成图像帧的多个曝光帧，其中所述图像帧包括：包括亮度数据的亮度帧、包括色度数据的色度帧和包括超光谱数据的超光谱帧。

实施例20是根据实施例1至19中任一项所述的系统，其中，所述像素阵列包括具有多个像素灵敏度的像素，其中所述多个像素灵敏度包括长曝光和短曝光。

实施例21是根据实施例1至20中任一项所述的系统，其中，所述图像传感器被配置成能够生成长曝光像素数据和短曝光像素数据的超光谱帧。

实施例22是根据实施例1到21中任一项所述的系统，其中，所述发射器包括多个光源，所述多个光源各自发射所述电磁光谱的一部分的脉冲。

实施例23是根据实施例1至22中任一项所述的系统，其中，所述电磁辐射脉冲以不同波长的电磁辐射的模式发射，并且其中所述发射器重复所述不同波长的电磁辐射的模式。

实施例24是根据实施例1至23中任一项所述的系统，其中，所述电磁辐射脉冲包括：红色波长的电磁辐射；绿色波长的电磁辐射；蓝色波长的电磁辐射；具有从约513nm至约545nm的波长的电磁辐射；具有从约565nm至约585nm的波长的电磁辐射；以及具有从约900nm至约1000nm的波长的电磁辐射。

实施例25是根据实施例1至24中任一项所述的系统，其中，所述电磁辐射脉冲的至少一部分包括红色波长、绿色波长、蓝色波长和超光谱波长，使得由所述像素阵列感测到的对应于所述红色波长、所述绿色波长、所述蓝色波长和所述超光谱波长中的每一者的反射的电磁辐射能够被处理以生成红绿蓝(RGB)图像，所述红绿蓝(RGB)图像包括超光谱成像数据的叠层。

应当理解，本文所公开的各种特征在本领域中提供了显著优势和进步。下列权利要求为那些特征中的一些的示例。

在上述本公开具体实施方式中，出于简化本公开的目的，将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图：受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反，创新方面未能体现上文公开的单个实施例的所有特征。

应当理解，上述布置方式、实施例和实施方案的任何特征可在包括从所公开的布置方式、实施例和实施方案中的任一者获得的特征的组合的单个实施方案中组合。

应当理解，上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下，本领域的技术人员可以设计许多修改和另选设置，并且所附权利要求书旨在涵盖这些修改和设置。

因此，当本公开以图示显示并且以特殊性和细节进行上述描述时，对于本领域的普通技术人员而言，在不脱离本文所述原则和理念的前提下，显而易见可进行大量修改，这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

为了举例说明和描述的目的，已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外，应当指出的是，任何或所有前述另选的具体实施可以任何期望的组合使用，以形成本公开的另外的混合的具体实施。

另外，虽然已描述和说明了本公开的特定具体实施，但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。

Claims (25)

1.一种系统，包括：

发射器，所述发射器用于发射电磁辐射脉冲；

图像传感器，所述图像传感器包括用于感测反射的电磁辐射的像素阵列；和

控制器，所述控制器包括与所述图像传感器和所述发射器电通信的处理器；

其中所述控制器在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时；并且

其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下中的一者或多者：

具有从约513nm至约545nm的波长的电磁辐射；

具有从约565nm至约585nm的波长的电磁辐射；或者

具有从约900nm至约1000nm的波长的电磁辐射。

2.根据权利要求1所述的系统，其中，所述图像传感器被配置成能够生成多个曝光帧，其中所述多个曝光帧中的每个曝光帧对应于由所述发射器发射的电磁辐射脉冲，并且产生与每个电磁辐射脉冲在时间上对应的数据集以生成对应于所述多个曝光帧的多个数据集。

3.根据权利要求2所述的系统，其中，所述图像传感器被配置成能够在所述像素阵列的读出周期期间感测所述多个曝光帧中的每个曝光帧，其中所述读出周期是读取所述像素阵列中的有效像素的持续时间，并且其中所述消隐周期的一部分与下一后续读出周期的一部分重叠。

4.根据权利要求3所述的系统，其中，将所述多个曝光帧组合以形成图像帧。

5.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分包括绿色波长的电磁辐射、红色波长的电磁辐射和蓝色波长的电磁辐射。

6.根据权利要求1所述的系统，其中，所述发射器被配置成能够在脉冲持续时间期间发射具有短于所述脉冲持续时间的子持续时间的多个电磁辐射子脉冲。

7.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲以两个或多个波长同时发射的电磁辐射。

8.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲中的至少一个电磁辐射脉冲产生由所述图像传感器生成的曝光帧，其中所述系统还包括用于将两个或更多个曝光帧显示为图像帧的显示器。

9.根据权利要求1所述的系统，其中，由所述发射器发射的所述电磁辐射脉冲的至少一部分产生由所述图像传感器生成的超光谱曝光帧，并且其中所述控制器还被配置成能够向对应系统提供所述超光谱曝光帧，所述对应系统基于所述超光谱曝光帧来确定关键组织结构在场景内的位置。

10.根据权利要求9所述的系统，其中，所述控制器还被配置成能够：

从所述对应系统接收所述关键组织结构的所述位置；

生成包括所述关键组织结构的所述位置的叠层帧；以及

将所述叠层帧与描绘所述场景的彩色图像帧组合，以指示所述关键组织结构在所述场景内的所述位置。

11.根据权利要求1所述的系统，其中，所述图像传感器的所述消隐周期对应于所述像素阵列中的有效像素的最后一行的读出和所述像素阵列中的有效像素的下一后续读出的开始之间的时间。

12.根据权利要求1所述的系统，其中，所述控制器还被配置成能够基于阈值来调节由所述发射器发射的所述电磁辐射脉冲的序列，其中所述阈值确定缺光环境中场景的适当照明。

13.根据权利要求1所述的系统，其中，由所述发射器发射的两个或更多个电磁辐射脉冲产生反射的电磁辐射的两个或更多个实例，所述两个或更多个实例由所述像素阵列感测到以生成两个或更多个曝光帧，所述两个或更多个曝光帧被组合以形成图像帧。

14.根据权利要求13所述的系统，其中，所述图像帧分配有用于在显示器上使用的可见颜色，其中所述可见颜色是8位或16位或n位。

15.根据权利要求1所述的系统，其中，由所述发射器发射的所述多个电磁辐射脉冲中的至少一个电磁辐射脉冲产生由所述图像传感器生成的超光谱曝光帧，并且其中所述控制器还被配置成能够向对应系统提供所述超光谱曝光帧，所述对应系统基于所述超光谱曝光帧来识别身体中的一个或多个关键结构。

16.根据权利要求15所述的系统，其中，所述身体中的所述一个或多个关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。

17.根据权利要求1所述的系统，其中，所述图像传感器包括第一图像传感器和第二图像传感器，使得所述图像传感器能够生成三维图像。

18.根据权利要求1所述的系统，其中，所述发射器被配置成能够重复发射足以生成包括多个图像帧的视频流的电磁辐射脉冲的序列，其中所述视频流中的每个图像帧包括来自多个曝光帧的数据，其中所述曝光帧中的每个曝光帧对应于电磁辐射脉冲。

19.根据权利要求1所述的系统，其中，由所述图像传感器感测到的所述反射的电磁辐射产生被组合以用于生成图像帧的多个曝光帧，其中所述图像帧包括：包括亮度数据的亮度帧、包括色度数据的色度帧和包括超光谱数据的超光谱帧。

20.根据权利要求1所述的系统，其中，所述像素阵列包括具有多个像素灵敏度的像素，其中所述多个像素灵敏度包括长曝光和短曝光。

21.根据权利要求20所述的系统，其中，所述图像传感器被配置成能够生成长曝光像素数据和短曝光像素数据的超光谱帧。

22.根据权利要求1所述的系统，其中，所述发射器包括多个光源，所述多个光源各自发射所述电磁光谱的一部分的脉冲。

23.根据权利要求1所述的系统，其中，所述电磁辐射脉冲以不同波长的电磁辐射的模式发射，并且其中所述发射器重复所述不同波长的电磁辐射的模式。

24.根据权利要求1所述的系统，其中，所述电磁辐射脉冲包括：

红色波长的电磁辐射；

绿色波长的电磁辐射；

蓝色波长的电磁辐射；

具有从约513nm至约545nm的波长的电磁辐射；

具有从约565nm至约585nm的波长的电磁辐射；以及

具有从约900nm至约1000nm的波长的电磁辐射。

25.根据权利要求1所述的系统，其中，所述电磁辐射脉冲的至少一部分包括红色波长、绿色波长、蓝色波长和超光谱波长，使得由所述像素阵列感测到的对应于所述红色波长、所述绿色波长、所述蓝色波长和所述超光谱波长中的每一者的反射的电磁辐射能够被处理以生成红绿蓝(RGB)图像，所述红绿蓝(RGB)图像包括超光谱成像数据的叠层。

Images