CN104619237A - 光不足环境中的ycbcr脉冲调制的照明方案 - Google Patents

Abstract

本公开涉及用于在具有由受控光源发射的亮度和色度的光不足环境中生成图像的方法、系统以及计算机程序产品。

Description

光不足环境中的YCBCR脉冲调制的照明方案

相关申请的交叉引用

本专利申请要求下列权益：于2012年7月26日提交的美国临时申请No.61/676,289、于2013年3月15日提交的美国临时申请No.61/790,487、于2013年3月15日提交的美国临时申请No.61/790,719、以及于2013年3月15日提交的美国临时申请No.61/791,473，通过引用方式将它们全部内容并入本文中，包括但不限于此后特定显示的那些部分，通过引用方式做出的并入除下列情形之外：如果上述所引用的申请的任何部分与本申请不一致，则本申请取代所述上述引用的申请。

背景技术

技术进步已经为医疗应用提供了成像能力的进步。由于组成内窥镜的组件的发展，因而享有了一些最有益进步的一个领域是内窥镜外科程序。

本公开大体上涉及与创建具有来自受控光源的色度和亮度脉冲的视频流相关的电磁感测以及传感器。将在接下来的说明书中提出本公开的特征和益处，并且本公开的特征和益处部分地通过说明书显而易见，或者可以在没有过度的实验的情形下通过本公开的实践而被获知。可以利用仪器以及此处特别指出的结合来实现和获得本公开的特征和益处。

附图说明

参考下面附图来描述本公开的非限制性和非穷尽性的实施方式，其中，除非特别指定，则相同的参考数字指代贯穿多种视图的相同部分。参考接下来的说明书和说明书附图将更好地理解本公开的益处。

图1图示了根据本公开的原理和教导的像素阵列的操作的图解表示；

图2图示了根据本公开的原理和教导的用于多个帧的像素阵列的图解表示；

图3A图示了根据本公开的原理和教导的色度帧和亮度帧的操作顺序的实施例的示意图；

图3B图示了根据本公开的原理和教导的色度帧和亮度帧的操作顺序的实施 例的示意图；

图3C图示了根据本公开的原理和教导的色度帧和亮度帧的操作顺序的实施例的示意图；

图4图示了根据本公开的原理和教导的传感器和发射器调制的实施例；

图5图示了根据本公开的原理和教导的传感器和发射器图案的实施例；

图6A图示了根据本公开的原理和教导的传感器和发射器图案的实施例；

图6B图示了根据本公开的原理和教导的传感器和发射器图案的实施例；

图7图示了根据本公开的原理和教导的具有不同像素敏感度的像素的像素阵列的操作的图解表示；

图8图示了根据本公开的原理和教导的具有不同像素敏感度的像素的像素阵列的操作的图解表示；

图9图示了根据本公开的原理和教导的像素阵列的操作的流程图；

图10图示了根据本公开的原理和教导的像素阵列的操作的流程图；

图11图示了根据本公开的原理和教导的像素阵列的操作的流程图；

图12A图示了根据本公开的原理和教导的像素阵列的操作的图解表示；

图12B图示了根据本公开的原理和教导的像素阵列的操作的图解表示；

图13图示了根据本公开的原理和教导的支持的硬件的实施例；

图14A和图14B图示了根据本公开的原理和教导的具有用于产生三维图像的多个像素阵列的实施方式；

图15A和图15B分别图示了建立在多个基板上的成像传感器的实施方式的透视图和侧视图，其中，形成像素阵列的多个像素列位于第一基板上并且多个电路列位于第二基板上并且示出了一个像素列和与其关联或相应的电路列之间的电连接和通信；以及

图16A和图16B分别图示了具有用于产生三维图像的多个像素阵列的成像传感器的实施方式的透视图和侧视图，其中，多个像素阵列和图像传感器被建立在多个基板上。

具体实施方式

本公开涉及针对可以主要适用于医疗应用的数字成像的方法、系统以及基于计算机的产品。在本公开接下来的描述中，参考了形成本公开一部分的说明 书附图，其中，经由说明指定的并且本公开可以在其中被实践的实施方式来示出说明书附图。应该了解的是，在不背离本发明保护范围的情形下，其他实施方式可以被使用并且结构变化可以被做出。

当彩色图像传输被要求与较老的单色阴极射线管(CRT)兼容时，基于亮度-色度的颜色空间追溯到彩色电视机时代。亮度分量对应于图像数据的亮度方面(颜色未知)。颜色信息被承载在剩余的两个信道中。图像数据分成亮度分量和色度分量在当今数字成像系统中仍然是一个重要的过程，因为其与人类视觉系统紧密地相关。

人类视网膜包含两个基本感光体细胞类型的阵列；杆体细胞(rod)和锥体细胞(cone)。杆体细胞提供亮度信息，并且与相比，杆体细胞的总空间密度比椎体细胞大大约因子-20。锥体细胞更不敏感并且存在三个基本类型，从而在三个不同波长处具有峰值响应。峰值在绿色区域中的杆体细胞的光谱响应是计算亮度颜色空间转换系数的基础。由于杆体细胞具有更大的密度，因此与任何色度分量相比，图像表示的空间分辨率对于亮度分量更重要。相机设计师和图像处理工程师以多种方式、比如通过空间上对色度信道进行过滤以减少噪音以及通过向亮度数据提供更大的相对系统带宽，来寻求解释这个事实。

在描述本公开的术语时，将根据下面所述的限定使用以下术语。

必须注意的是，如在该说明书和所附权利要求中所使用的那样，除非上下文中清楚地做出相反指示之处，否则单数形式的“一”、“一个”及“该”也包括复数所指对象。

如本文中所使用的那样，术语“包括”、“包含”、“特征在于”以及其语法等同体是不排除额外的、未叙述的元件或方法步骤的包含型的或开放型的术语。

如本文中所使用的那样，短语“由……组成”以及其语法等同体排除在权利要求书中没有指定的任何元件或步骤。

如本文中所使用的那样，短语“本质由……组成”以及其语法等同体将权利要求书的范围限制为指定的物质或步骤以及那些不会本质上影响所要求的公开的基础和新颖性特点或特征的物质或步骤。

如本文中所使用的那样，术语“近端”应当广泛地指代最接近原点的部分的概念。

如本文中所使用的那样，术语“远端”应当通常指代近端的相反，并且因 此取决于上下文而指代离原点更远的部分或者最远的部分的概念。

现在参考说明书附图，图1图示了由传统CMOS传感器捕捉的单一帧的基本时序。共同未决申请美国专利申请序列号13/952,518，名称为“CONTINUOUS VIDEO IN A LIGHT DEFICIENT ENVIRONMENT”通过这个引用结合到本公开中，如同在此全部提出一样。应该理解的是，x方向对应于时间并且对角线表示内部指针的活动，该内部指针每次一行地读出每帧的数据。相同的指针负责为下一个曝光周期重置每行像素。用于每行的净积分时间是等同的，但是，由于有规则的重置以及读取进程而致使它们在时间上彼此交错。因此，对于在其中相邻帧需要代表不同的光的组成的任意方案而言，使每行保持一致的唯一选项是对两个读出周期之间使光被脉冲调制。更具体而言，最大可用周期对应于消隐时间加上在其期间光学黑体或者光学隐蔽(OB)的行在帧的开始处或结束处被提供服务的任意时间的总和。

一种示例照明顺序为四个帧(R-G-B-G)的重复图案。对于贝尔图案的滤色片而言，这与色度相比提供了更大的亮度细节。在相机系统控制下，并且借由特别指定的具有高速读出的CMOS传感器，来通过利用处于高速的激光或发光二极管对场景进行选通以实现这个方法。主要益处在于：与传统的拜耳相机或3-传感器相机相比，传感器可以以显著更少像素来实现相同空间分辨率。因此，可以减少由像素阵列所占据的物理空间。实际的脉冲周期在重复图案内可以不同，如在图2中所图示的。这对于比如向需要更多光能的分量或者具有更弱的源的分量分配更多的时间是有用的。只要平均捕捉的帧频为所需要的最终系统帧频的整数倍，则数据可以被适当简单地缓冲到信号处理链中。

通过结合所有这些方法而允许将CMOS传感器芯片面积减少至一定程度的便利对于小直径(～3-10mm)内窥镜检查特别具有吸引力。特别地，其允许传感器在其中位于限制空间的远端中的内窥镜设计，从而显著地降低了光学部分的复杂性以及成本，同时提供了高清晰度视频。这种方法的结果在于：重构每个最终的全色图像，并且该结果需要通过在时间上的三个独立快照对数据进行融合。由于目标的边缘看上去位于每个捕捉到分量内的稍微不同的位置处，因此相对于内窥镜的参考光帧而言，场景内的任何运动总体上将降低感知的分辨率。在本公开中，描述了减少这个问题的手段，即利用了以下事实：相比于色度信息而言，空间分辨率对于亮度信息更重要。

这个方法的本质在于，代替了在每帧期间的单色光的发射，三个波长的结合被用于提供在单一图像内的所有亮度信息。色度信息来源于具有比如、像Y-Cb-Y-Cr的重复图案的独立的帧。虽然可以通过明智地选择脉冲比来提供纯的亮度数据，但这并不适用于色度。然而，在本公开中对于这一点提出了解决办法。

在实施例中，如在图3A中图示的，内窥镜系统300a可以包括具有统一(uniform)像素的像素阵列302a，并且系统300a可以被操作为接收Y(亮度脉冲)304a、Cb(色度蓝色)306a脉冲和(色度红色)308a脉冲。

在实施例中，如在图3B中图示的，内窥镜系统300b可以包括具有统一像素的像素阵列302b，并且系统可以被操作为接收Y(亮度脉冲)304b、λY+Cb(调制的色度蓝色)306b脉冲和δY+Cr(调制的色度红色)308b脉冲。

在实施例中，如在图3C中图示的，内窥镜系统300c可以包括具有方格图案的(交替的)像素的像素阵列302c，并且系统可以被操作为接收Y(亮度脉冲)304c、λY+Cb(调制的色度蓝色)306c脉冲和δY+Cr(调制的色度红色)308c脉冲。在亮度帧内，两个曝光周期用于延伸动态范围的目的(YL和YS，对应于长曝光和短曝光)。

图4图示了在4-帧周期内、在三个波长的脉冲混合和单色CMOS传感器的读出周期之间的总体上的计时关系。

本质上，存在在相机快速控制下的三个单色脉冲光源和单色CMOS图像传感器的指定设计，以能够赋予60赫兹或更大的高最终渐进式的视频码率。单色红帧、单色绿帧及单色蓝帧的周期顺序(比如具有R-G-B-G图案)被捕捉并且被组合到图像信号处理器链(ISP)的sRGB图像中。光脉冲和传感器读出计时关系在图5中被示出。为了在相同帧内提供纯的亮度信息，利用光能一致地对所有三个源被脉冲调制，该光能是根据从RGB空间转换至YCbCr的颜色变换系数(按照ITU-R BT.709高清晰度标准)进行调节的：

$\left.\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}R\\ G\\ B\end{array}\right]\left[\begin{array}{ccc}0.183& 0.614& 0.062\\ -0.101& -0.339& 0.439\\ 0.439& -0.399& -0.040\end{array}\right]$

应该理解的是，其他颜色空间转换标准可以由本公开来实施，其中包括但不限于ITU-R BT.709高清晰度标准、ITU-R BT.601标准以及ITU-R BT.2020标准。

如果在照明区域中执行白平衡，则除白平衡调制之外来施加这种调制。

为了完成全色图像需要还应该提供色度的两个分量。然而，针对亮度而被施加的相同算法由于带符号而不能被直接应用于色度图像，如一些RGB系数是负的事实所反映的那样。对于此的解决方案是增加所有最终脉冲能量变为正的足够幅度的亮度的程度。只要ISP中的颜色融合过程意识到色度帧的成分，则可以通过从相邻帧减去合适量的亮度来对色度帧进行解码。脉冲能量通过以下来给定：

Y＝0.183·R+0.614·G+0.062·B

Cb＝λ·Y-0.101·R-0.339·G+0.439·B

Cr＝δ·Y+0.439·R-0.399·G-0.040·B

其中，

$\mathrm{\λ}\≥\frac{0.339}{0.614}=0.552$

$\mathrm{\δ}\≥\frac{0.399}{0.614}=0.650$

用于总体情形的计时被显示在图6A中。结果是，如果因子λ等于0.552，则红色分量和绿色分量都被严格地取消，在其中，Cb信息可以被提供纯蓝光。相似地，设置δ＝0.650抵偿了用于变成纯红色的Cr的蓝色分量和绿色分量。这个特别示例在图6B中被图示，图6B还将λ和δ描述为1/2⁸的整数倍。这对于数字帧重建(参见后面的讨论)是一种便捷的近似。

参考图7，图示了针对这个过程的总体计时图表。由在图像传感器内的两个内部信号(在图中被描述为TX1和TX2)来控制两种像素的曝光周期。实际上，当延伸亮度帧的动态范围时可以同时来做这个，这是最需要的，因为在一帧一帧的基础上可以对两个积分时间进行调节(参见图3a至3c)。益处在于：如果所有数据来源于两帧对三帧，则颜色运动人工因素就不是一个问题。当然，存在后续的用于色度数据的空间分辨率的损失，但是针对早前讨论的理由，对于图像质量而言那是可以忽略的后果。

单色宽动态范围阵列的内在特征是：具有长积分时间的像素必须对由短积分时间像素所看到的光的超集进行积分。共同未决申请的美国专利申请号13/952,564，名称为“WIDE DYNAMIC RANGE USING MONOCHROMATIC SENSOR”，通过这个引用结合到本公开中，就如同在此全部提出一样。针对在 亮度帧中的规则的宽动态范围操作而言，那是可期望的。对于色度帧而言，意味着脉冲必须结合曝光周期来进行控制以便比如从长曝光的开始来提供λY+Cb并且在短像素被打开的点处切换到δY+Cr(两个像素类型都具有它们在相同时间处被传送的指示)。在颜色融合期间，这将会被解释。图8示出了用于这个解决方案的指定的时序图。

典型的ISP包括首先顾及任意必要的传感器以及光学校正(比如有缺陷像素消除、透镜遮蔽等)，随后继而；顾及白平衡，去马赛克/颜色融合以及颜色校正。

在最终施加伽马值以将数据放置在标准sRBG空间中之前，也许典型地存在在诸如YCbCr或HSL的可选颜色空间中执行的一些操作(边缘增强)和/或调节(比如饱和)。图9描述了基本的ISP核心，其适合于R-G-B-G的脉冲方案。在这个示例中，数据被转换到YCbCr以便在亮度平面中施加边缘增强并且进行色度的滤波，随后被转换回到线性RGB。

在Y-Cb-Y-Cr脉冲方案的情形下，图像数据已经在遵从颜色融合的YCbCr空间中了。因此，在这个情形中，在转换回到线性RGB以执行颜色校正之前，有意义地是去预先执行基于亮度和色度的操作。参见图10。

由于不存在空间内插，因此颜色融合过程比去马赛克更直接，其正是贝尔图案所需要的。尽管为了拥有可用于每个像素的所有必要信息，但需要帧的缓冲，如在图11中所表示的。图12A显示了用于Y-Cb-Y-Cr图案的流水线数据的总体情况，其通过每两个未加工的捕捉到的图像来产生一个全色图像。这通过使用每个色度样本两次来实现。在图12B中，示出了提供60Hz最终视频的120Hz帧捕捉率的指定示例。

每个像素的线性Y、Cb和Cr分量可以这样来计算：

Y_i＝2^m-4+(x_i，n-1-K)

$\left\{\begin{array}{c}{\mathrm{Cb}}_i=2^{m-1}+(x_{i,n}-K)-\mathrm{\λ}\·(x_{i,n-1}-K)\\ {\mathrm{Cr}}_i=2^{m-1}+(x_{i,n-2}-K)-\mathrm{\δ}\·(x_{i,n-1}-K)\end{array}\right\}$ 当n＝′Cb′帧时

$\left\{\begin{array}{c}{\mathrm{Cb}}_i=2^{m-1}+(x_{i,n-2}-K)-\mathrm{\λ}\·(x_{i,n-1}-K)\\ {\mathrm{Cr}}_i=2^{m-1}+(x_{i,n}-K)-\mathrm{\δ}\·(x_{i,n-1}-K)\end{array}\right\}$ 当n＝′Cr′帧时

其中，x_i,n为帧n中的像素i的输入数据，m为ISP的流水线位宽度，并且K为在输入处相对颜色融合块的ISP黑色偏置水平(如果可用的话)。由于色度被 施加了标号，因此其常规地集中在数字动态范围(2^m-1)的50％处。

如早前描述的，如果两个曝光被用于在相同帧中来提供两个色度分量，则两种像素被分割为两个缓冲区。随后通过使用诸如线性内插来填充空像素。在这个点处，一个缓冲区包括δY+Cr数据的全图像而另一个缓冲区包含δY+Cr+λY+Cb。δY+Cr缓冲区被从第二缓冲区减去以给定λY+Cb。随后针对于每一个，将来自Y帧的亮度数据的合适比例减去。

本公开的实施方式可以包括或利用指定用途或一般用途的计算机，例如该计算机包括诸如一个或多个处理器和系统存储器的计算机硬件，在以下将进行详细的讨论。在本公开保护范围内的实施方式还可以包括用于执行或存储计算机可执行的指令和/或数据结构的物理介质或其他计算机可读介质。这种计算机可读介质可以是通过一般用途和指定用途的计算机来访问的任意其他可用介质。存储计算机可执行的指令的计算机可读介质为计算机存储介质(装置)。执行计算机可执行的指令的计算机可读介质为传输介质。因此，经由示例但并非是限定的，本公开的实施方式可以包括至少两个明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM、ROM、EEPROM，CD-ROM、(比如基于RAM的)固态驱动器(“SSDs”)、闪存、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或者其他磁存储装置，或者可以用于存储以计算机可执行的指令或数据结构的形式的期望的程序代码手段的任意其他介质以及可以通过一般用途和指定用途的计算机来访问的任意其他介质。

“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传送电子数据的一个或多个数据链。在实施方式中，传感器和相机控制单元被连接成网络以便彼此通信以及与通过它们连接到的网络连接到它们的其他组件进行通信。当信息通过网络或另一通信连接(有线地或无线地或者有线或无线的结合)被传送或提供至计算机时，计算机适当地将这种连接视为传输媒介。传输介质可以包括网络和/或数据链，该数据链可以被用于执行以计算机可执行的指令或数据结构的形式的期望的程序代码手段以及该数据链可以通过一般用途和指定用途的计算机进行访问。上述的组合还应该被包括在计算机可读介质的范围中。

在图13中可以看到多种计算机系统组件以及以计算机可执行的指令或数据 结构的形式的程序代码手段，该指令或数据结构可以从传输介质自动传送到计算机存储介质(装置)(反之亦然)。例如，通过网络或者数据链接收到的计算机可执行的指令或数据结构可以在网络接口模块(比如“NIC”)内的RAM中被缓冲，并且随后最终传送到计算机系统RAM和/或传送到在计算机系统处的非易失性计算机存储介质(装置)。RAM还可以包括固态驱动器(基于实时内存层状存储的SSD或PCIx，比如融合IO)。因此，应该理解的是，计算机存储介质(装置)可以被包括在还(或者甚至主要地)利用传输介质的计算机系统组件中。

当在处理器中被执行时，计算机可执行的指令包括例如、使一般用途计算机、指定用途计算机或者指定用途处理装置来执行一定功能或多组功能的指令和数据。例如，计算机可执行的指令可以为诸如汇编语言或甚至源代码的二进制指令或中间格式指令。虽然已经用针对结构特征和/或方法方案的语言对主题进行了描述，但应该了解的是，此处限定的主题无需对上述所描述的特征或方案进行限定。相反，上述特征和方案作为示例被公开了。

本领域技术人员应该理解的是，可以在具有一些类型的计算机系统构造的网络计算环境中对本公开进行实践，该计算机系统构造包括个人计算机、台式计算机、便携式计算机、消息处理器、控制单元、相机控制单元、手持装置、手机、多个处理器系统、基于微处理器或者可编程的消费电子产品、网络个人计算机、小型计算机、大型计算机、移动电话、掌上电脑(PDAs)、图形输入板、寻呼机、路由器、交换机、等多种存储装置。应该注意的是，上述计算装置的任意一个可以由砖形物位置和研钵位置来提供或者被提供在砖形物位置和研钵位置中。本公开可以经由网络链接(通过有线数据链接、无线数据链接或者通过有线数据链接和无线数据链接的结合)的本地计算机系统和远程计算机系统在其中都执行工作的分布式系统环境中进行实践。在分布式系统环境中，程序模块均可以位于本地存储器存储装置和远程存储器存储装置中。

此外，适当的时候，此处描述的功能可以在硬件、软件、固件、数字组件或者模拟组件的其中一个或多个中来执行。例如，一个或多个专用集成电路(ASIC)或现场可编程门阵列可以被编程为执行此处所描述的系统和程序中的一个或多个。贯穿接下来的说明书，特定术语被用于指代特定的系统组件。如本领域技术人员所了解的，组件可以由不同的名称来指代。这个文献并不试图 对名称上不同的组件进行区分而是对功能上不同的组件之间进行区分。

图13为说明示例性计算装置100的框图。计算装置100可以被用于执行那些诸如在此处讨论的多种程序。计算装置100可以作为服务器、客户端，或者任意其他的计算实体。计算装置可以执行如此处所讨论的多种监视功能，并且可以执行一个或多个应用程序诸如此处所讨论的应用程序。计算装置100可以为多种类型的计算装置，比如台式计算机、笔记本式计算机、服务器计算机、手持计算机、相机控制单元、平板电脑等中的任何一个。

计算装置100包括一个或多个处理器102,，一个或多个存储器装置104、一个或多个接口106，一个或多个大容量存储装置108、一个或多个输入/输出(I/O)装置110，以及显示装置130，其中所有这些被耦接到总线112。处理器102包括执行存储在存储器装置104和/或大容量存储装置108中的指令的一个或多个处理器或控制器。处理器102还可以包括多种类型的计算机可读介质(比如高速缓冲存储器)。

存储器存储装置104包括多种计算机可读介质、比如易失性存储器(诸如随机存取存储器(RAM)114)和/或非易失性存储器(诸如只读存储器(ROM)116)。存储器存储装置104还可以包括可重写ROM，比如闪存。

大容量存储装置108包括多种计算机可读介质，比如磁带、磁盘、光盘、固态存储器(比如闪存)等等。如图13所示，特定的大容量存储装置为硬盘驱动器124。多种驱动器还可以被包括在大容量存储装置108中以使得能够从多种计算机可读介质进行读取和/或写到多种计算机可读介质。大容量存储装置108包括可移除介质126和/或非可移除介质。

I/O装置110包括使数据和/或其他信息被输入到计算装置100或者被从计算装置100得到的多种装置。示例性I/O装置110包括数字成像装置、电磁传感器以及发射器、指针控制装置、键盘、辅助键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、电荷耦合装置(CCD)、或者其他图像捕捉装置等。

显示装置130包括能够向计算装置100的一个或多个用户显示信息的任意类型的装置。显示装置130的示例包括监视器、显示终端、视频投影装置等。

一个或多个接口106包括使计算装置100与其他系统、装置或计算环境相互作用的多种接口。示例性接口106可以包括任意数量不同的网络接口120(比 如本地网(LAN)、广域网(WAN)、无线网络以及因特网)。其他接口包括用户接口118和外围装置接口122。接口106还可以包括一个或多个用户接口元件118。接口106还可以包括一个或多个外围接口诸如用于打印机、定点设备(鼠标、跟踪板等)、键盘等的接口。

总线112使处理器102、存储器装置104、接口106、大容量存储装置108和I/O装置彼此通信以及与耦接到总线112的其他装置或组件通信。总线112代表一个或多个若干类型的总线结构、比如系统总线、PCI总线、IEEE1394总线、USB总线等。

为了说明的目的，程序和其他可执行程序组件在此处以离散块进行显示，虽然应该理解的是这种程序和组件可以在不同时间处驻留在计算装置100的不同的存储组件中，并且由处理器102执行。可选地，此处描述的系统和程序可以被实施在硬件，硬件、软件、和/或固件的组合中。例如，一个或多个特定用途集成电路(ASIC)可以被编程为执行此处描述的一个或多个系统和程序。

图14A和图14B分别说明了单片传感器2900的实施方式的透视图和侧视图，其中，单片传感器2900具有用于产生根据本公开的教导和原理的三维图像的多个像素阵列。这种实施方式也许对于三维图像捕捉是期望的，其中，两个像素阵列2902和2904在使用期间可以是偏置的。在另一实施方式中，第一像素阵列2902和第二像素阵列2904可以被专用于接收预定范围的电磁辐射的波长，其中相比于第二像素阵列，第一像素阵列被专用于不同范围的电磁辐射的波长。

图15A和图15B分别说明了建立在多个基板上的成像传感器3000的实施方式的透视图和侧视图。如所说明的，形成像素阵列的多个像素列3004位于第一基板3002上并且多个电路列3008位于第二基板3006上。还是如在图中所说明的是一列像素和与其相关或对应的电路列之间的电连接和通信，在一个实施方式中，可以在单一的单片基板/芯片上另外制造有其像素阵列和支持电路的图像传感器可以具有与所有或大部分支持电路分隔开的像素阵列。本公开可以使用可通过三维堆叠技术将其堆叠在一起的至少两个基板/芯片。可以通过使用图像CMOS过程对两个基板/芯片的第一个3002进行处理。第一基板/芯片3002可以由专有的像素阵列或由限制电路包围的像素阵列构成。可以使用任意过程对第二或后续的基板/芯片3006进行处理，并且基板/芯片3006并不必来自图像 CMOS处理。第二基板/芯片3006可以，但不限于、为高密度数字处理以便在基板/芯片非常有限的空间或区域中集成多种或多个功能，或者可以为混合模式或模拟过程以便例如集成精确的模拟功能，或者为RF过程以便实施无线功能，或者为微电子机械系统(MEMS)以便集成MEMS装置。可以通过使用三维技术利用第二或后续的基板/芯片3006对图像CMOS基板/芯片3002进行堆叠。第二基板/芯片3006可以支撑大多数或大部分电路，其作为外围电路被另外实施在第一图像CMOS芯片3002中(如果被实施在单片基板/芯片上的话)，并且因此增加了全局系统区域同时使像素阵列尺寸保持不变以及尽可能优化到最大程度。两个基板/芯片之间的电连接可以通过可以为引线键合、块和/或硅通孔(TSV)的互连件3003和3005来实现。

图16A和图16B分别说明了具有用于产生三维图像的多个像素阵列的成像传感器3100的实施方式的透视图和侧视图。三维图像传感器可以被建立在多个基板上并且可以包括多个像素阵列和其他相关的电路，其中，形成第一像素阵列的多个像素列3104a和形成第二像素阵列的多个像素列3104b分别位于各自的基板3102a和3102b上，并且多个电路列3108a和3108b位于独立的基板3106上。还说明了像素的列与相关或相应的电路列之间的电连接和通信。

应该理解的是，在不背离本公开的保护范围的情形下，本公开的教导和原理可以被应用在可重复使用的装置平台中、限制使用的装置平台中、再次使用的装置平台中、或者单次使用/一次性使用的装置平台中。应该了解的是，在重复使用的装置平台中，终端用户对装置的清洁和消毒负责。在限制使用的装置平台中，装置在变成不可操作之前可以被使用一些指定次数。在额外使用之前利用需要终端用户进行清洁以及消毒的额外使用来对典型的新装置消毒地传送。在再次使用的装置平台中，相比于新单元，第三方可以以更低成本对用于额外使用的单次使用装置进行再处理(比如清洁、打包、消毒)。在单次使用/一次性使用的装置平台中，装置被消毒提供至手术室并且在被处理前仅使用一次。

此外，本公开的教导和原理可以包括任意的以及所有的电磁能的波长，该电磁能包括诸如红外线(IR)、紫外线(UV)以及X射线的可见光和非可见光光谱。

在实施例中，在环境光不足环境中与内窥镜一起使用的数字成像的方法可 以包括：激励发射器发射多个电磁辐射脉冲从而在光不足环境中致使照明，其中，所述脉冲包括处于具有电磁光谱的第一部分的第一波长范围内的第一脉冲，其中所述脉冲包括处于具有电磁光谱的第二部分的第二波长范围内的第二脉冲，其中所述脉冲包括处于具有电磁光谱的第三部分的第三波长范围内的第三脉冲；以预定间隔对所述多个脉冲进行脉冲调制(pulse)；使用像素阵列感测来自所述脉冲的反射的电磁辐射以创建多个图像帧，其中所述像素阵列以与所述激光发射器的脉冲间隔对应的间隔进行读取；并且通过结合多个图像帧来创建图像流从而形成视频流。在实施例中，所述第一脉冲包括色度红色。在实施例中，所述第二脉冲包括色度蓝色。在实施例中，第三脉冲包括亮度脉冲。在实施例中，所述亮度脉冲通过对红色脉冲、蓝色脉冲和绿色脉冲进行脉冲调制来创建。在这样的实施例中，相对于蓝色脉冲和绿色脉冲来调制红色脉冲以使得红色脉冲具有正的色度值。在实施例中，相对于红色脉冲和绿色脉冲来调制所述蓝色脉冲以使得蓝色脉冲具有正的色度值。在实施例中，相对于蓝色脉冲和红色脉冲来调制绿色脉冲以使得绿色脉冲具有正的色度值。在实施例中，所述方法还包括将所述多个脉冲调制了一个值来使得每个脉冲的色度值是正的。在实施例中，所述方法还包括将脉冲调制值从图像流构建期间移除。在这样的实施例中，调制过程包括向多个脉冲添加亮度值。在实施例中，用于调制的亮度值为(1/2)⁸的倍数的整数。在实施例中，用于调制0.552的亮度值抵消了红色色度和绿色色度。在实施例中，用于调制0.650的亮度值抵消了蓝色色度和绿色色度。在实施例中，方法还包括降低噪音同时创建图像帧流。在实施例中，方法还包括调节白平衡同时创建图像帧流。在实施例中，所述第三脉冲为是第一脉冲和第二脉冲的两倍频繁的脉冲的亮度脉冲。在实施例中，所述亮度脉冲由像素阵列内的长曝光脉冲和短曝光脉冲来感测。在实施例中，方法还包括感测由多个像素阵列产生的数据并且将所述数据结合到三维图像流中。

要明白，本文所公开的各个特征在本领域中提供了显著优势和进步。下面的权利要求为那些特征中的一些的示例。

在本公开的前面详细描述中，出于简化本公开的目的，本公开的各种特征被一起集合在单个实施例中。本公开的方法不被解释为反映意图使所要求的公开需要比每个权利要求中所目前地记载的特征更多的特征。相反，创造性的方案包括比单个前文所公开的实施方式的全部特征更少的特征。

要理解，上述设置仅仅是对本公开的原理的示例性应用。本领域的那些技术人员可以在不脱离本公开的精神和范围的情况下设计多种改进和可替换的设置，并且本公开的范围和所附权利要求旨在涵盖这些改进和设置。

因此，尽管已经在附图中示出了并且在上文利用特征和细节描述了对本文的公开，但是对于本领域普通技术人员来说，在不脱离本文中阐述的原理和概念的情况下，显然可以进行多种改进(包括但不限于尺寸、材料、形状、形式、功能和延伸方式、组装和使用上的变化)。

此外，在适当情况下，本文所描述功能可以在下面的一个或多个中执行：硬件、软件、固件、数字组件或模拟组件。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文描述的一个或多个系统和程序。某些术语可以在下面的说明书和权利要求的全文中使用以指代具体系统组件。如本领域技术人员会明白的，组件可以通过不同名字来指代。该文献并不想要在名字上不同，但是在功能上没有不同的组件之间进行区分。

Claims (52)

1.一种用于在环境光不足环境中的数字成像的系统，包括：

成像传感器，其包括用于感测电磁辐射的像素阵列；

发射器，其构造为发射所述电磁辐射脉冲；

控制单元，其包括处理器，并且其中所述控制单元与所述成像传感器和所述发射器电通信；以及

其中，所述控制器构造为使所述发射器和所述成像传感器同步以产生多个图像帧；以及

其中，所述多个图像帧包括具有亮度图像数据的亮度帧和具有被结合以形成彩色图像的色度数据的色度帧。

2.根据权利要求1所述的系统，其中，所述发射器包括多个源，每个源发射电磁光谱的一部分的脉冲。

3.根据权利要求2所述的系统，其中，所述多个源构造为被同时激励。

4.根据权利要求2所述的系统，其中，所述多个源构造为产生预定间隔的脉冲。

5.根据权利要求1所述的系统，其中，所述脉冲被调节为通过匹配颜色空间转换系数来在亮度帧期间提供亮度信息。

6.根据权利要求1所述的系统，其中，所述脉冲被调节为通过匹配颜色空间转换系数来在色度帧期间提供色度信息。

7.根据权利要求6所述的系统，其中，所述色度信息为蓝色。

8.根据权利要求6所述的系统，其中，所述色度信息为红色。

9.根据权利要求1所述的系统，其中，所述发射器产生亮度、色度蓝色、亮度、色度红色的脉冲调制图案。

10.根据权利要求1所述的系统，其中，所述发射器产生亮度、与色度红色结合的色度蓝色、亮度、与色度红色结合的色度蓝色的脉冲调制图案。

11.根据权利要求1所述的系统，其中，所述控制器构造为使用色度帧一次以上来重建合成的帧。

12.根据权利要求1所述的系统，其中，亮度系数由图像信号处理器被添加到色度帧，并且其中所述亮度系数为(1/2)ⁿ的倍数的整数。

13.根据权利要求1所述的系统，其中，图像传感器包括被构造为被独立读取的统一像素。

14.根据权利要求13所述的系统，其中，在多个持续时间之后可以读取所述统一像素，其中所述多个持续时间产生长曝光和短曝光。

15.根据权利要求13所述的系统，其中，成像传感器为单色传感器。

16.根据权利要求1所述的系统，其中，图像传感器包括具有多个像素敏感度的像素。

17.根据权利要求16所述的系统，其中，所述像素敏感度包括长曝光和短曝光。

18.根据权利要求17所述的系统，其中，所述图像传感器构造为产生序列帧，所述序列帧包括：

长曝光像素数据和短曝光像素数据的亮度帧，

长曝光像素数据和短曝光像素数据的红色色度帧，以及

长曝光像素数据和短曝光像素数据的蓝色色度帧。

19.根据权利要求18所述的系统，其中，亮度波长在图案中被两倍于红色色度波长和蓝色色度波长表示。

20.根据权利要求1所述的系统，其中，由所述发射器发射的电磁辐射脉冲具有对人类不可见的波长。

21.根据权利要求2所述的系统，其中，多个电磁波长包括对人类可见的波长和对人类不可见的波长。

22.根据权利要求1所述的系统，其中，以不同幅度发射多个电磁波长。

23.根据权利要求22所述的系统，其中，所述不同幅度对应于不同波长的成像传感器的敏感度。

24.根据权利要求1所述的系统，其中，还包括内窥镜，所述内窥镜用于接近具有附接到所述内窥镜的手持件的环境光不足环境，并且其中通过操纵所述手持件来机动所述内窥镜。

25.根据权利要求24所述的系统，其中，所述成像传感器被布置在所述内窥镜内在所述内窥镜相对于手持件的远端部分处。

26.根据权利要求24所述的系统，其中，所述成像传感器被布置在所述手持件内。

27.根据权利要求24所述的系统，其中，电磁辐射脉冲经由光纤从发射器传送至内窥镜的尖端。

28.根据权利要求1所述的系统，其中，所述发射器包括发光二极管。

29.根据权利要求1所述的系统，其中，所述像素阵列包括多个像素子集，其中，所述多个像素子集的每个具有不同的敏感度。

30.根据权利要求1所述的系统，其中，通过单独的全局曝光周期来实现不同像素子集的敏感度的变化。

31.根据权利要求1所述的系统，其中，所述发射器为激光器。

32.在环境光不足环境中与内窥镜一起使用的数字成像的方法，包括：

激励发射器发射电磁辐射波长的脉冲从而在光不足环境中致使照明；

其中，所述脉冲处于包括电磁光谱的一部分的波长范围内；

以预定间隔对所述发射器进行脉冲调制；

以像素阵列感测来自所述脉冲的反射的电磁辐射；

其中，以与所述发射器的脉冲间隔相对应的感测间隔来激励所述像素阵列；并且

使发射器和成像传感器同步以产生多个图像帧，其中，所述多个图像帧包括具有亮度图像数据的亮度帧和具有被结合以形成彩色图像的色度数据的色度帧。

33.根据权利要求32所述的方法，其中，所述发射器包括多个源，每个源发射电磁光谱的一部分的脉冲。

34.根据权利要求33所述的方法，还包括同时激励多个源。

35.根据权利要求34所述的方法，还包括以预定间隔对多个源进行脉冲调制。

36.根据权利要求32所述的方法，还包括通过匹配颜色空间转换系数来调节脉冲以在亮度帧期间提供亮度信息。

37.根据权利要求32所述的方法，其中，还包括调节脉冲以在色度帧期间提供色度信息来匹配颜色空间转换系数。

38.根据权利要求37所述的方法，其中，所述色度信息为蓝色。

39.根据权利要求37所述的方法，其中，所述色度信息为红色。

40.根据权利要求32所述的方法，还包括对发射器进行脉冲调制以产生亮度、色度蓝色、亮度、色度红色的脉冲调制图案。

41.根据权利要求32所述的方法，还包括对发射器进行脉冲调制以产生亮度、与色度红色结合的色度蓝色、亮度、与色度红色结合的色度蓝色的脉冲调制图案。

42.根据权利要求32所述的方法，其中，所述控制器构造为使用色度帧一次以上来重建合成的帧。

43.根据权利要求32所述的方法，还包括由图像信号处理器进行的使用亮度系数来对色度帧的补偿，并且其中所述亮度系数为(1/2)ⁿ的倍数的整数。

44.根据权利要求32所述的方法，其中，图像传感器包括构造为被独立读取的统一像素。

45.根据权利要求44所述的方法，其中，在多个帧持续时间处从图像传感器读取数据，并且多个帧持续时间产生长曝光和短曝光。

46.根据权利要求45所述的方法，其中，所述图像传感器构造为产生序列帧，所述序列帧包括：

长曝光像素数据和短曝光像素数据的亮度帧，

长曝光像素数据和短曝光像素数据的红色色度帧，以及

长曝光像素数据和短曝光像素数据的蓝色色度帧。

47.根据权利要求46所述的方法，其中，还包括感测亮度波长，其在图案中两倍于红色色度波长和蓝色色度波长表示。

48.根据权利要求32所述的方法，其中，由所述发射器发射的电磁辐射脉冲具有对人类不可见的波长。

49.根据权利要求33所述的方法，其中，多个电磁波长包括对人类可见的波长和对人类不可见的波长。

50.根据权利要求32所述的方法，其中，激励发射器以便以不同幅度发射多个电磁波长。

51.根据权利要求50所述的方法，其中，不同幅度对应于不同波长的成像传感器的敏感度。

52.根据权利要求32所述的方法，其中，还包括以对应于所述感测间隔的预定的消隐间隔来消隐所述像素阵列。