CN104488259B - 使用单色传感器的宽动态范围 - Google Patents

使用单色传感器的宽动态范围 Download PDF

Info

Publication number
CN104488259B
CN104488259B CN201380039025.6A CN201380039025A CN104488259B CN 104488259 B CN104488259 B CN 104488259B CN 201380039025 A CN201380039025 A CN 201380039025A CN 104488259 B CN104488259 B CN 104488259B
Authority
CN
China
Prior art keywords
pulse
pixel
frame
brightness
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380039025.6A
Other languages
English (en)
Other versions
CN104488259A (zh
Inventor
洛朗·布朗卡尔
约翰·理查森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Depp Iing Dis products
Original Assignee
Depp Iing Dis Products
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Depp Iing Dis Products filed Critical Depp Iing Dis Products
Publication of CN104488259A publication Critical patent/CN104488259A/zh
Application granted granted Critical
Publication of CN104488259B publication Critical patent/CN104488259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Abstract

本公开涉及在光不足环境中用于图像内的宽动态范围的方法、系统和计算机程序产品。

Description

使用单色传感器的宽动态范围
交叉引用
本申请请求于2012年7月26日提交的美国临时专利申请No.61/676,289，和于2013年3月15日提交的美国临时专利申请No.61/790,719，以及于2013年3月15日提交的美国临时专利申请No.61/790,487的权益，这些申请在此通过引用方式以其全部内容并入本文中，包括但不限于在下文中具体出现的那些部分，通过参考形成的该合并带有以下例外：在上述参考的申请的任意部分与本申请不一致的情况下，本申请取代所述的上述参考申请。
背景技术
技术的进步提供医学用途的成像能力的进步。因为组成内窥镜的组件上的进步，享受最有益的进步中的一些的领域是内窥镜外科手术的领域。
该公开一般涉及与增强视频流的帧中的增加的动态范围有关的电磁感测和传感器。本公开的特征和优点将在后面的说明中阐述，并且其中的部分将从该说明中显而易见，或者在没有过度实验的情况下通过本公开的实践而学习本公开的特征和优点。本公开的特征和优点将通过在所附权利要求中具体指出的手段和结合来实现和获得。
附图说明
参考以下附图来描述本公开的非限制和非唯一的实施方式，其中在整体的各个视图中，除非另外指示，相同的数字设计相同的部分。本公开的优点关于以下说明和附图会变得更好理解，其中：
图1示出根据本公开的原理和教导的帧序列图案的实施方式；
图2示出根据本公开的原理和教导的帧序列图案的实施方式；
图3示出根据本公开的原理和教导的帧序列图案的实施方式；
图4示出根据本公开的原理和教导的帧序列图案的实施方式；
图5示出根据本公开的原理和教导的像素的实施方式的示意表示；
图6示出根据本公开的原理和教导的共享像素构造的实施方式的示意表示；
图7示出根据本公开的原理和教导的共享像素构造的实施方式的示意表示；
图8示出根据本公开的原理和教导的具有多个像素的像素阵列的实施方式的示意表示，这些像素具有不同的敏感度；
图9示出根据本公开的原理和教导的像素阵列的操作的图解表示；
图10示出根据本公开的原理和教导的像素阵列的操作的图解表示；
图11示出根据本公开的原理和教导的像素阵列的操作的图解表示；
图12示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解表示；
图13示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解表示；
图14示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解表示；
图15示出根据本公开的原理和教导的、随着时间推移的像素阵列的操作的图解表示；
图16示出根据本公开的原理和教导的、随着时间推移的具有多个曝光敏感度的像素阵列的操作的图解表示；
图17示出根据本公开的原理和教导的图像传感器的实施方式的流程图；
图18示出根据本公开的原理和教导的具有多个像素敏感度的传感器的曝光响应的图解表示；
图19示出根据本公开的原理和教导的在长时间曝光信号上加权的融合的图解表示；
图20示出根据本公开的原理和教导的用于数据压缩的传递函数的实施方式的图解表示；
图21示出根据本公开的原理和教导的用于数据压缩的实施方式的图解表示；
图22示出根据本公开的原理和教导的帧序列图案的实施方式；
图23示出根据本公开的原理和教导的帧序列图案的实施方式；
图24示出根据本公开的原理和教导的帧序列图案的实施方式；
图25示出根据本公开的原理和教导的硬件的实施方式；
图26A和图26B示出根据本公开的原理和教导的具有用于产生三维图像的多个像素阵列的实施方式；
图27A和图27B分别示出在多个基板上建立的图像传感器的实施方式的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上并且多个电路列位于第二基板上并且显示一个像素列与其关联或对应的电路列之间的电连接和通信；和
图28A和28B分别示出具有用于产生三维图像的多个像素阵列的图像传感器的实施方式的透视图和侧视图，其中多个像素阵列和图像传感器建立在多个基板上。
具体实施方式
本公开涉及用于首先适合于医学应用的数字成像的方法、系统和基于产品的计算机。在本公开的下列说明书中，对于形成说明书的一部分的附图进行参考，并且在附图通过其中实践本公开的示例特定实施方式的方式来显示。应当理解的是，可以利用其它实施方式并且在没有偏离本公开的情况下可以形成结构上的改变。
如本文所使用的，发射器是一种能够产生和发送电磁脉冲的设备。发射器的各种实施方式可以适配为发射脉冲并且具有来自整个电磁频谱内的频率范围或非常特定的频率。脉冲可以包括来自可见范围和不可见范围的波长。发射器可以被循环地打开和关闭以产生脉冲或利用快门机构可以产生脉冲。发射器可以具有可变功率输出水平或可以利用二级设备例如光圈或过滤器来控制。发射器可以发射宽频谱或全频谱电磁辐射，该全频谱电磁辐射可以通过颜色过滤或快门来产生脉冲。发射器可以包括单独作用或一致作用的多个电磁源。
动态范围(Dynamic range，DR)可以为数字相机系统例如在内窥镜或其它应用中使用的那些相机的最重要的特征中的一种。其管理系统利用亮度的宽范围来获取场景的能力。当系统的响应被调节至容纳明亮的区域，在场景的弱光区域内的细节和太小的DR会在噪声中损失。相反，如果调节系统以带来弱光细节，那么在明亮区域中的信息可能损失，因为信号超过饱和度水平。DR可以限定为最大的允许信号Smax和最小的可分辨信号之间的比例。后者常规地等同于总体读取噪声σR，该噪声源自传感器内的模拟读出过程：
通常，Smax可以由像素的充电容量(即满阱)来指示。已发明了许多用于人工地延伸DR的方法，包括例如在相同帧内的双重曝光，利用不同曝光的不同帧，对数响应像素，双重响应像素和其它。它们中的每个有自己的好处，缺点和限制。在双重曝光方法的情况下，DR延伸可以等于曝光时间比率(Tlong/Tshort)，因此：
DR的这种延伸可以典型地被称为宽或高动态范围(WDR，WiDy或HDR)。在这个系统中，场景的照明可以利用单色快速光脉冲提供，其可以被同步至图像传感器获取的帧。每个帧可以接受光的单个波长或例如三个波长的结合。因为可以逐帧地实现颜色调制，所以传感器可以是单色的，这样具有对于空间分辨的重要优点。本文中描述的双重曝光的特别方法开发以下事实：阵列在为对于两次曝光的可能最细粒度和理想空间分割设置而提供中是单色的；阵列是棋盘模式的。
最终，可以以特定帧速率生成全彩色帧的最终视频序列。这不可避免为比步骤速率更低的速率，因为从不同的获取得出不同的分量。
各种可能的棋盘实施方式涉及利用三个可用单色，红色、绿色和蓝色源中的一个而滤波每个帧。对于细节而言，绿色信息可能比蓝色和红色更有用，这是因为在光谱的绿色区域中被人眼感知的亮度达到最高点。由于这个原因，流行拜耳(Bayer)模式颜色过滤器承担红色或蓝色的两倍之多的对于绿色光的检测的像素。对于单色帧排序，因此有利的是采用四个帧的重复顺序，其中四个中的两个为绿色，即G-R-G-B。关于动态范围，绿色数据可以更重要，这是因为在人体视网膜中的柱状细胞在弱光水平处可以更敏感。因此，双重曝光可以单独应用于绿色帧。最基本的实施方式可以在绿色帧上短将一半像素适配为时间曝光，另一半可以以对于每个绿色帧相同的方法而适配为长时间曝光。
现参考图1，示出会在连续绿色帧上交替哪个具体像素101子集适配为长时间曝光和哪个适配为短时间曝光的有益实施方式。这个具体实施方式示出在图1中，其中下标L和S分别指示图中关于绿色(G)、红色(R)和蓝色(B)的帧或其它表示的颜色方案的长时间和短时间曝光。如图1和图2中所示出的，短时间曝光像素由103指示，而长时间曝光像素由105指示。这种方法可以提供对于观察分辨度的优点，因为针对给定曝光，内插的位置不断地从帧到帧而与实际像素实例交换位置。
应当理解的是，利用脉冲的单色光源的其它方法是可能的。序列号为No.13、952,518，名称为“Continuous Video In a Light Deficient Environmnt”的共同待决美国专利申请以参考方式并入本公开中如同其在本文中被完全陈述。一个具体有益的方法可以是通过对和合适脉冲能量比例同样的红色、绿色和蓝色源产生脉冲而提供纯亮度(Y)信息。通过在每种情况下添加足够的亮度色度红色(Cr)和色度蓝色(Cb)信息可以提供在可替选帧上，以使得所有脉冲能量为正。图像处理链可以提取真实颜色空间中的数据，只要其得知所应用的比例。在这种环境中，双重曝光可以应用在其中为最被需要的亮度帧上，如图2中所指示的。
双重曝光抽样的应用可以不限于绿色或亮度帧，并且如果场景中的环境保证曝光，那么如图3中所示出的，另一个实施方式具有为红色和蓝色帧而应用的独立双重曝光量。图4显示用于亮度-色度光脉冲的等同情况。
图5显示常规未共享像素500的电路图，该常规未共享像素500具有对于有助于低噪声，有关的双重采样必要的四个晶体管。如所显示的，有对于操作像素500而要求的5个服务线。可以在两个或多个相邻像素500之间分享四个晶体管中的三个，这增加了光电二极管的可用区域。随着像素尺寸可以减少，维持量子效率越来越难，这是因为光电二极管占据更小比例的区域。共享可以为由传感器制造者通常可以使用的方法，尤其对于小像素设备而言。晶体管共享所承担的另一个好处为每个像素所要求的平均线路的减少。
图6描述带有双向垂直共享的阵列的单元晶元。因为可以共享三个晶体管，所以对于两个像素而言总共有5个晶体管，即，每个像素2.5个晶体管。关于线路布线，每个像素对总共需要六条线路。它们中的四个可以水平来布线，而它们中的两个可以竖直布线，导致在每个维度中每个像素边沿两条路线。这可以与具有每个像素边沿三个水平线路和两个竖直线路的未共享的情况相反。
该方法可以水平地，而不是竖直地对像素进行配对。这个关于线路布线简单性而言一般更不太有利，这是因为现在四个水平线路在单个像素边沿中配合。见图7。然而，有两个重要优点，这比这个布线缺点更有价值。
第一个益处为仅要求网络电路的一半以服务每列。这有助于减少总体芯片面积，因为列电路为芯片空间的主要耗费者。如图8中所示出的，单个列电路可以服务四列像素，而不是两列，这就是竖直双向共享的情况。
第二个益处为水平共享提供每行两个单独TX信号。这开启在单行内的两个独立曝光的可能，这在奇数列和偶数列之间交替，如图8中所显示的那样。双曝光的棋盘设置可以通过在交替的行上切换TX1和TX2奇数/偶数列关联而成为可能。图8指示对于一个实施方式而言这个是如何通过将“交结(twist)”插入每两行的TX1/TX2布线中而完成的。这种奇数-偶数曝光模式的形式仅对于单色传感器的情况可用。颜色传感器具有带有不同颜色过滤器的相邻像素，因此奇数/偶数曝光调制仅在改变白平衡中有效，在增加动态范围中没有效。
在其它实施方式中，从行到行的TX1/TX2分配的切换可以借由在阵列的一侧处行驱动电路的两个可替选风格来完成，或通过在奇数和偶数行中不同地制作TX1/TX2布线而完成。
先参考图9，描绘有带有全帧积分的滚动快门CMOS传感器的一般计时情况。在图中，随着读取和复位指示器滚动通过像素行，对角线表示读取和复位点的动作。这个周期包括光学黑体或光学盲(OB)行902(前部行和后部行)可以被读取的时间(例如，在读出帧906期间)，消隐时间908和可以发出不为物理像素数据的任意其它数据的时间(即，服务线时间)。
在逐帧的基础上调制光颜色的理念可以使得传感器为单色的，并且因此具有比例如基于Bayer的等同物更高的分辨度。坏处可能是读取多个帧以为了产生单个全色图像。但是，如果传感器能够被相应地更快速地读出的话，这个坏处可以被消除，并且恢复帧速率。
图10和图11示出两种可替选方式的计时，其中阵列中的像素的多个集合可以积分不同程度的光。曝光调制可能受两个全局TX脉冲，全局TX1和全局TX2影响。当与光脉冲边沿结合时，它们有效地创建两个全局快门。
在积分周期的结尾处，滚动指示器提供另一个TX脉冲，以为了传输用于读出的信号。为了描述性目的，主要强调具有不同曝光的两个像素集是棋盘模式(如上文所述的)的情况。然而，应当注意，本公开的范围想要覆盖带有更大数量的像素类型(即，曝光)和带有可替选物理像素类型设置的情况。空间模式取决于像素集的数量，像素布局、像素阵列设置和连接至外围电路的像素阵列连接。
为了避免混淆，滚动TX信号此处可以称为TX1和TX2，然而全局TX信号可以被称作全局TX1和全局TX2。在阵列中，全局脉冲同时影响在阵列中的所有附接的像素。非全局脉冲可以经由滚动指示器而应用。
熟知CMOS图像传感器的那些人当注意，全局快门的方法没有当利用连续照明而被使用时与全局快门关联的问题。在那种情况下，针对重要时段，信号可以存储在漏浮置扩散节点上，然而对于本文中描述的利用脉冲的照明的两个方法而言，可以利用光电二极管存储光电信号。
注意，像素可以被保持复位，只要相似的传输(TX)和复位(RST)晶体管被保持(即，在图中的高状态)。在那种状态下，光电二极管中的任何电流都被排出至电源。
当TX晶体管关闭(在图中为低)时，积分周期开始。现参考图10，当全局TX1、全局TX2和全局RST都为高的时候，所有像素可以保持在复位模式中并且可以因此被清空。当全局TX2降低时，附接至TX2的阵列中的所有像素开始积分。当P2光脉冲发生时，其对应的光电电荷可以由TX2像素来积分。然而，因为全局RST和全局TX1信号仍然为高，所以由TX1像素中的P2脉冲创建的光电电荷可以刚好被排出。当全局TX1降低时，TX1像素开始积分。在那个点处，TX2像素会完全积分P2脉冲和TX1像素。当P1光脉冲发生时，可以由TX1和TX2像素两者来积分。因此，在顺序的结尾，TX1像素会有仅由P1光脉冲导致的净光电电荷，然而TX2像素会积分两个光脉冲。
图11可以为对于可替选双重照明实施方式而言的相似计时图。在两个TX晶体管可能被关闭的周期期间，单个光脉冲保持打开，以代替产生两个独立的不连续的光脉冲。积分的光可以与TX下降沿和光脉冲下降沿之间的时间成比例，因此不同的像素响应可以通过错开全局TX1和全局TX2下降来实现。对于所显示的实例，TX1像素积分光脉冲生成的光的1/3，然而TX2像素积分全局脉冲能量的2/3。
在进一步实施方式中，利用图10和图11计时的混合可以实现双重照明。在单个光脉冲的上升沿之前，全局TX2信号会返回到其低状态，这会使得TX2像素结合光脉冲的整体能量。
在这个情况下，双重曝光可以由关于图10和图11描述的不同计时来实现，其中更大量的照明可以通过在相同消隐时间期间增加光脉冲的数量来实现。
图12显示为了存在受控制的被脉冲的照明中的内窥镜成像的目的，显示最小区域定制传感器的实施方式的内部计时。每个帧周期可以包括四个不同阶段，这个会被优化以为了单色光脉冲和多个像素照明。在阶段1和阶段3期间，数据会从传感器发布，数据可以不是来自物理像素的信号采样。而是，它们可以是关注芯片到相机系统的同步性和用于数据锁定的数据。这些“服务行”周期可以用于内部和外部监视，并且用于行内的非像素数据的一定类型的编码。这种内部监视可以包括传感器温度，加上一定电压和电流。外部监视可以包括手用件按钮动作例如来自内窥镜的角度的测量。阶段2可以关注传感器滚动读出(内部计时和同步)，而阶段4可以用于传感器配置的目的。在配置阶段期间，传感器输出数据线可以被保留以接受进入的配置命令。因此，相机控制器可以与阶段4周期同步。阶段4还可以是全局遮蔽阶段的两倍，在全局遮蔽期间，图10和图11中描绘的参考可以被执行。对于这个原因，阶段4还可以与光脉冲系统同步。
注意，脉冲宽度和全局信号(全局TX1，全局TX2和全局RST)的计时是完全可编程的，并且对于给定帧类型，阶段4是仅有的具有可变长度的阶段。这使得可用脉冲时间被调节以匹配可用光功率。单独波长源可以例如关于最大可用光功率、量子效率和响应时间显著地改变。重要的是，最终帧速率是平均获取速率的合适的倍数。除此外，帧类型的重复模式内的任何改变可以通过图像信号处理(Image Signal Processing，ISP)链内的适当缓存来考虑。图13示出带有接收四个允许的最大光调制的四个不同帧长度和四个不同消隐时间的4个帧循环的实例。
图14显示图2中示出的帧顺序的计时图，其是基于Y-Cb-Y-Cr模式的。在亮度帧，即帧#1和帧#3期间，所有三个源可以被排除。利用单个波长脉冲，凭借照明的精密调节混合，帧#2和帧#4能够分别提供Cb和Cr信息。
对于动态范围增强的另一个方法可以通过信号的空间合并(binning)来提供。具有单色传感器的另一个优点可以是相邻像素被合并在一起。在空间分辨度的代价上，合并使得信号的更大达到范围成为可能，并且因此使得更大DR成为可能。
其中合并精确发生，致使在延伸DR中的合并的有效性。两个相邻像素的合并(双向合并)作为实例。如果在数字领域完成合并，那么信号的附加的因子2(6dB)可以被实现。但是，可以有两个逻辑样本，每个贡献相等数量的读取噪声，噪声总计为噪声增强的因子√2(3dB)。因此，来自在链中晚于读取噪声的点处的两个像素的数据的合并总计3dB。但是，如果在电荷领域执行合并，即在之前描述的像素水平处，那么可以实现的附加的DB可以为5dB，这是因为在信号的总计之后发生读取噪声的添加。
之前描述的双向共享架构仅提供电荷领域中的双向合并的方法。TX1和TX2信号的同时发生脉冲导致同时被传输至共享浮置扩散的两个光电信号。当每行被随后读出时，与未合并的情况相比，具有相同噪声的两倍电荷范围，并且因此为另外DR的6dB。
实施方式可以包括双重曝光控制。对于这种类型的动态范围(DR)增强(即，双重曝光)的最佳有效操作的关键是在曝光时间比例上的连续控制。
具体地：首先，根本不应当有动态范围延伸，如果场景不需要的话，即如果场景的动态范围可以在像素的固有动态范围以下的话。其次，如果场景的动态范围可以大于像素，那么增加的动态范围的总量应当仅足够提供带有最小消隐的动态范围。
这样的理由是人工范围延伸总是要付出代价。对于本公开中描述的方法而言，有空间分辨度的代价，这增加了带有增加的曝光量的计算尺。在最大曝光量的限制中，对于高亮度场景区域或者低亮度场景区域而言，有用图像内容的绝大多数仅来自其中一个曝光。在那个极端处，分辨度渐进地接近具有在x和y中然后通过内插扩大尺寸的像素数量的的等同物。在另一个极端处，当比例为单一的，没有DR延伸并且没有处罚。
通常，随机经历改变的照明场景的数字相机例如摄录像机合并连续调节传感器操作条件的方法，以便总是最好地利用可用DR。这个过程可以已知为自动曝光。可以典型地有多个变量，变量可以根据预先限定表格来调节，预先限定表格包括例如积分时间(快门)、逻辑增益、数字增益，光圈等。图15为合并快门时间、逻辑增益和数字增益的系统的假设表格的实例。点亮本身可以通常超出带有用于静态获取的闪光照明的例外的相机的控制。
本公开可以特别地关注对于连续视频光圈而言逐帧完全控制脉冲的红色、绿色和蓝色照明的总量的相机系统。
在这种脉冲的照明系统的情况下，场景亮度可以在相机或成像设备的控制下。因此，整体光脉冲能量有效地取代快门。因为，更多的光电信号导致更高的SNR，所以对于像素的选择的中央区域的分布的被选百分比而言，可以增加光能量直到在ISP链内达到期望数字信号水平。模拟增益可以被保持在最小设定处，该最小设定可以被视为以下增益：在该增益处，像素信号容量(很充分)的分布的底部可以刚好在ADC的上部横杆以上，(利用传感器至传感器变化的一些偶然性)。最大光脉冲能量可以通过帧的有效部分的持续期间和例如通过激光二极管或LED电流提供的最大电磁能量来限制。仅当可以达到那个限制时，限制可以是应用的任意增益。对于R-G-B-G脉冲顺序情况而言，可以通过单独监视和控制三种帧类型(以便最大化所有光子通量)和为了白平衡的目的在ISP中数字调谐颜色中的两种来获得最好的整体SNR。对于白平衡的可替选方法可以为调制有关R、G和B脉冲能量。这种方法既有在噪声比例(SNR)上的更低最终信号，但是仍然消除对于大于单一的任何数字白平衡增益的需要，这会增强噪声的感知。
对于控制曝光时间比例(并且因此的DR延伸的范围)而言，对于在棋盘模式存在的像素的两种风格而言独，WDR统计可以独立地集中。这个也可以对于红色、绿色和蓝色帧而言独立地被选择性地完成。对于图像区域而言的矫正黑色信号的两个对应柱状图可以被构建。如之前所提到的，通过将分布的被选择百分比(PL)与目标信号水平(SL例如数字DR的50％)进行比较可以使用柱状图中的一个来以控制脉冲能量水平。这些型1像素的曝光时间TL可以保持在最大处。此处，下标L指示长时间曝光。通过比较分布的另一个被选择百分比PS，其中PS<PL，并且通过将其与不同信号水平SS进行比较，其中SS>SL，其中另一个柱状图用于监视场景的DR。下标S指示短时间曝光。SS通常可以被调谐靠近至数字DR的顶部。如果PS≤SS，那么这些型2像素的曝光时间TS可以保持在最大处。如果PS>SS，那么TS可以被降低直到PS＝SS。见图16。关于多少曝光时间比例被允许增加，可能存在预先限定的限制(E)，因为在一定点处，由于DR增强超过益处而造成图像质量降级。PL、PS、SL、SS和E的值可以根据不同的应用而被调谐并且被存储为工厂预设。曝光时间TL和TS可以针对每种帧类型、针对WDR融合过程(在下文中讨论)和颜色融合ISP阶段的使用而被记录。在针对白平衡的目的来调制红色、绿色和蓝色脉冲能量的情况下，在红色和蓝色帧上的曝光时间可以由绿色帧来管理，绿色帧可以唯一地用于收集WDR统计。
对于Y-Cb-Y-Cr照明而言，对于具体的帧类型，三种相对脉冲能量保持不变。利用还将WDR独立应用到色度帧上，WDR控制为了亮度帧而被应用为基线。关于R-G-B-G方案，柱状图还在原始矫正的黑色帧数据上被构建。再一次，对于每帧类型而言的曝光时间可以针对WDR融合和针对颜色融合而记录。
实施方式可以包括在ISP中进行的宽动态范围数据。图17显示带Y-Cb-Y-Cr脉冲方案的棋盘WDR的基本ISP设置。重要的是WDR融合在暗帧减法之后，以便平均黑色补偿被调节为零，并且数据可以标记。高度期望的是，使得FPN被移除。融合过程的目的可以为在颜色融合前，对于每帧而将两个分开的曝光的数据结合成单个图像。第一步涉及将棋盘模式的两个组件分开成两个分开的缓冲并且通过内插填充在间隙中。可以仅要求一个普通内核，因为每个空像素见到相同的局部环境，(除了在图像的边缘附近的像素)。通过简单线性内插，在棋盘模式中填充的合适卷积内核为：
在内插之后，每个像素位置有两个样本。图18显示会产生12dB的附加DR的曝光量4的亮度-信号关系。增益可以应用到短时间曝光样本上，该增益可以等于曝光-时间比例，TL/TS。这要求对于比例的每个因子2而言增加一个额外比特。融合自身涉及得到两个样本的加权和：
其中，xS和xL可以分别为(标记)短时间曝光信号和长时间曝光信号。γ因子可以为长时间曝光信号xL的函数，并且可以根据两个阈值τ1和τ2来设置。低于xL＝τ1，γ＝0.0，高于γ＝τ2，γ＝1.0。见图19，其中，τ1和τ2之间的γ的线性实例行为和方形实例行为被画出。τ2的值可以设置为xL的最大可能值例如或刚好小于其的值。更低的阈值τ1的目的可以为限制来自短时间的样本的读取噪声的影响，该短时间的实例具有应用至短时间的样本的增益因子TL/TS。可以设定为适当地高的常数以容纳最大比例E，但是更有益的是使得随着TL/TS而线性改变；
在缝合过程之后，图像数据比原始的长时间实例和短时间实例占据数字动态方位的更多比特数量，因此在下一阶段之前需要使得比特计算减少回至ISP管路长度。如果ISP管路长度可以为n比特，那么融合的图像具有m比特，其中(m-n)可以为曝光时间比例的以2为底的对数，四舍五入至下一个整数。可以首先对数据进行尺寸化，以便最大可能值确切地映射至2m-1。对于在1和2之间的允许曝光时间比例的积分而言，这可以例如通过倍增器的查找表的规定来完成以达到2的下一个准确幂。这个方法假设2间隔的每个幂内的允许的曝光时间比例的级数可以总是相同的。为返回至n比特，可以应用分段线性传递函数，其强调在低端的数据，见图20。这防止在低端的兴趣信息通过压缩而丢失。可替选地，使用预先限定查找表可以将平滑对数传递函数应用至数据，类似于伽马函数。对于这种选择，查找表需要具有足够的项目以覆盖最大融合线性位计数(mmax)。在应用LUT之前，已经尺寸化至2的确切幂的(即，m)的融合的数据会进一步向上移动mmax比特。
对于融合和压缩的，简单的、虽然没有那么多变的整体方法可以为将最终的DR划分为2个部分例如底部60％和顶部40％，以分别线性地将长时间的实例和短时间的实例映射至它们。在输入领域中，交叉会例如发生在xL的最大值处。见图21。
脉冲的照明内窥镜系统内的相同帧中的2个或更多曝光周期的规定可以用于将每个最终全色图像的获取帧的数量从3减至2。这有对于抑制可以与这种系统关联的可能的颜色运动伪影的明显移除。
对于单色脉冲方法，红色和蓝色数据可以结合在相同帧中，同时提供如图22显示的绿色像素的全分辨帧。这可以凭借改变光内容来完成，同时短时间曝光像素开始与它们的信号积分。见图23。这限制色度的可用动态范围，但是DR可以对于颜色信息不像对于亮度那么这种，这是因为人体视网膜中的锥细胞感受器远不如杆状细胞敏感。还有减少色度的空间分辨度的结果，但是这还不是问题，因为眼睛对于亮度有更好的分辨度并且色度可以在ISP内经常被空间上地过滤以减少噪声。事实上，可以对于亮度帧而对WDR进行练习，同时曝光时间的二重性可以用于结合单个帧中的其它两个通道。
单色WDR阵列的固有属性可以为具有长时间的积分时间的像素可以通过短时间的积分时间像素积分所见光的超集。对于亮度帧中的常规WDRy操作而言，那是期望的。对于色度帧而言，意味着在于曝光期间的连接中控制进行脉冲，以便例如提供来自长时间曝光的开始的λY+Cb，并且切换至在短时间的像素被打开(两个像素类型都具有同时传输的它们的电荷)的点处的δY+Cr。λ和δ为可以用于将所有脉冲能量带至正值的两个可调谐因子。
在ISP中的颜色重建中，像素的两种风格被分中两个缓存器中。使用例如线性内插，填充空的像素。在这个点处，一个缓存会包括δY+Cr数据和其他的完整图像；δY+Cr+λY+Cb。δY+Cr缓存会从第二缓存中减去以给出λY+Cb。来自Y帧的亮度数据的合适比例对于每个而言会被减掉。
图24描绘对于结合的色度帧而言，关于相关传感器技术的光脉冲的计时。此处，混合的亮度的比例可以被精密地调谐以减少每个色度调节至单个波长技术方案。
本公开的实施方式可以包括或利用特别目的或普通目的计算机，该计算机包括计算机硬件，诸如例如一个或多个处理器和系统存储器，如下文更加详细地描述的那样。在本公开的范围内的实施方式可以包括物理和其它计算机可读介质，用于装载或存储计算机可执行指令和/或数据结构。这种计算机可读介质可以为能够由普通目的或特别目的计算机系统访问的任意可用介质。存储计算机可执行指令的计算机可读介质可以为计算机存储介质(设备)。装载计算机可执行指令的计算机可读介质可以为传输介质。因此，通过实例和非限制性的方式，本公开的实施方式可以包括至少两种明显不同种类的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPOM、CD-ROM、固态硬盘(“SSD”)(例如基于RAM)、闪存、磁盘存储器或其它磁性存储设备，或可以用于以计算机可执行指令或数据结构的形式存储期望程序编码装置的任意其它介质，并且计算机可执行指令或数据结构可以由普通目的或特别目的计算机访问。
“网络”可以限定为使得计算机系统和/或模块和/或其它电子设备之间的电子数据的传输成为可能的一个或多个数据链接。在实施方式中，传感器和相机控制单元可以被网络化以为了相互通信，并且与在组件所连接的网络上连接的该组件进行通信。当在网络或与计算机另一个通信连接(或硬线连接的，无线连接的或硬线或无线的结合的连接)上传输或提供数据时，计算机恰当地将连接视为传输介质。传输介质可以包括网络和/或数据链接，该网络和/或数据链接可以用于承载计算机可执行指令或数据结构形式的期望程序编码装置，并且可以由普通目的或特别目的计算机来访问。上述结合还应当被包括在计算机可读介质中。
而且，在达到各种计算机系统组件的情况下，计算机可读指令或数据结构形式的程序编码装置可以从传输介质自动地传输至计算机存储介质(设备)(或反之亦然)。例如，在网络上或数据链接上接受的计算机可读指令或数据结构可以在网络接口模块(例如，NIC)中的RAM中缓存，然后可以被最终传输至计算机系统RAM和/或至在计算机系统处的不易失计算机存储介质(设备)。RAM还可以包括基于固态硬盘(基于分层存储例如FusionIO的实时存储器SSD或PCIx)。因此，应当理解计算机存储介质(设备)可以包括在还(甚至首先)利用传输介质的计算机系统中。
计算机可执行指令包括例如当在处理执行时引起普通目的计算机，特别目的计算机，或特别目的处理设备以执行一定功能或功能群定的指令和数据。计算机可执行指令可以为例如二级制、中间格式指令例如组件语言，或设置源代码。尽管针对结构特征和/或方法行动的语言来描述，但是应当理解在所附权利要求中限定的主题并不不要限定为所描述的特征或上文描述的动作。更确切地，所描述的特征和动作可以公开为实施权利要求的实例形式。
本领域技术人员会理解该公开可以在带有许多类型的计算机系统配置的网络计算环境中实践，计算机系统配置包括个人计算机，台式计算机，笔记本计算机、消息处理器、控制单元、相机控制单元、手持设备、手持件、多处理系统、基于微型处理器或可编程客户电子，网络PC、微型计算机、主帧计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机和各种存储设备等。应当注意，任何上文提到的计算设备设备可以通过实体位置来通过或在实体位置中放置。本公开还可以在分布式系统环境中实践，在分布式系统环境中，可以通过网络链接(或者通过硬线数据链接，无线数据链接，或通过硬线和无线数据链接的结合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备两者中。
而且，其中本文描述的合适的功能可以以下的一个或多个中执行：硬件、软件、固件、数字组件或逻辑组件。例如，一个或多个专用集成电路或场可编程门阵列可以被编程以执行本文描述的一个或多个系统和程序。一定术语可以在整个以下说明书和权利要求中使用以涉及具体系统组件。如本领域技术人员会理解的，通过不同名字来涉及组件。这个文件并不想要在名字上不同，但是在功能上没有不同的组件之间进行区分。
图25为示出实例计算机设备100的框图。计算机设备100可以用于执行各种程序例如在本文中讨论的那些。计算机设备100可以用作服务器、客户端或任何其它计算实体。计算机设备可以执行如本文中讨论的各种监视功能，并且可以执行一个或多个应用程序例如本文中讨论的应用程序。基选集设备100可以为任何广泛的各种计算机设备的例如台式计算机、笔记本计算机、服务器计算机、手持计算机、相机控制单元和平板电脑等。
计算设备100包括一个或多个处理器102、一个或多个存储器设备104、一个或多个接口106、一个或多个大容量存储设备108、一个或多个输入/输出(I/O)设备110和显示设备130，它们中的所有耦合至总线112。处理器102包括执行存储在存储器设备104中和/或在大存储设备108中的指令的一个或多个处理器或控制器。处理器102可以包括各种计算机可读介质例如高速缓存器、
存储器设备104包括各种计算机可读机制例如易失性存储器(例如，随机存取存储器(RAM)114)和/或非易失性存储器(例如，只读存储器(ROM)16)。存储器设备104还可以包括可重写ROM例如闪存。
大存储设备108包括各种计算机可读介质例如磁带、磁盘、光盘和固态存储器(例如，闪存存储器)等等。如图25中所显示的，具体大存储设备为硬盘驱动124。各种驱动还可以包括在大存储设备108中以使得读取和写入各种计算机可读介质读取成为可能。大存储设备108可以包括可移除介质126和/或不可移动介质。
I/O设备110包括允许数据和/或其它信息输入到计算设备100或从计算设备100取得数据和/或其它信息的各种设备。实例I/O设备110包括数字成像设备，电磁传感器和发射器，光标控制设备、键盘、按键盘、微型电话、监视器或其它图像获取设备等。
显示设备120包括能够过显示信息给计算设备100的一个或多个用户的任意种类的设备。显示设备130的实例包括监视器、显示终端和视频投射设备等。
接口106包括允许计算设备100与其它系统、设备或计算环境互动的各种接口。实例接口106可以包括任意数量的不同网络接口120例如至局域网(LAN)的、至广域网(WAN)、无线网络和互联网的接口。其它接口包括用户接口118和外围设备接口122。接口106还可以包括一个或多个用户接口元件118。接口106还可以包括一个或多个外围接口例如用于打印机、定点设备(鼠标，跟踪板等)和键盘等。
总线112允许处理器102、存储器设备104、接口106，大容量存储设备108和I/O设备1100相互通信，并且和耦合至总线112的其它设备或组件通信。总线112代表多种类型总线结构的一种或多种例如系统总线、PCI总线、IEEE1394总线和USB总线等。
为了示出的目的，程序和其它可执行程序组件可以在本文中显示为分立框，尽管应当理解在不同的时间，这种程序和组件可以贮存在计算机设备100的不同存储组件中，并且可以由处理器102来执行。可替选地，本文中描述的系统和程序可以在硬件、或硬件、软件和/或固件的结合中实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文描述的系统和程序中的一个或多个。
图26A和图26B分别示出根据本发明的教导和原理的具有多个像素阵列的单片传感器2900的实施方式的透视图和侧视图，该多个像素阵列用于产生三维图像。这种实施方式对于三维图像获取是期望的，其中，在使用期间两个像素阵列2902和2904被偏移。在另一个实施方式中，第一像素阵列2902和第二像素阵列2904可以专用于接收电磁辐射的波长的预定范围，其中第一像素专用于与第二像素阵列相比的波长电磁辐射的不同范围。
图27A和图27B分别示出在多个基板上建立的图像传感器3000的实施方式的透视图和侧视图。如所示出的，形成像素阵列的多个像素列3004位于第一基板3002上，而多个电路列3008位于第二基板3006上。在图中还示出的是一列像素与其关联或对应的电路列之间的电连接和通信。在一个实施方式中，否则可以利用在单个单片基板/芯片上的图像传感器的像素列和支持制造的图像传感器具有与所有或主要支持电路分离的像素阵列。本公开可以使用至少两个基板/芯片，使用堆叠技术，至少两个基板/芯片会被堆叠在一起。使用图像CMOS过程，可以处理两个基板/芯片中的一个3002。第一基板/芯片3002可以被包括排外地包括在像素阵列中或被包括在由有限电路包围的像素阵列中。第二或随后的基板/芯片3006可以示出任意过程来处理，并且并不必须来自图像CMOS过程。第二基板/芯片3006可以为，但不限于高密度数字处理，以为了在基板/芯片上非常有限的空间或区域中积分各种和多个功能；或者可以为，但不限于混合模式或逻辑过程，以为了积分例如准确的逻辑功能；或可以为，但不限于RF过程，以为了实施无线容量；或可以为，但不限于MEMS(微型电机系统)，以为了积分MEMS设备。使用任意三维技术，可以将图像CMOS基板/芯片3002与第二或随后的基板/芯片3006堆叠。第二基板/芯片3006可以支持大部分或主要电路，该大部分或主要电路否则在第一图像CMOS芯片3002被实现为外围电路并且因此虽然保持像素阵列不变但是增加整体系统区域并且优化至可能的最全范围。两个基本/芯片之间的电连接可以通过互连3003和3005来完成，电连接可以为线键合、隆起或TSV(通过硅的孔)。
图28A和图28B分别示出具有多个像素阵列的成像传感器3100的实施方式的透视图和侧视图，该成像传感器用于产生三维图像。三维图像可以建立在多个基板上并且可以包括多个像素阵列和其它关联电路，其中形成第一像素阵列的多个像素列3104a和形成第二像素阵列的多个像素列3102b分别位于相应基板3102a和3102b上，并且多个电路列3108a和3108b位于相应基板3106上。还示出的为像素列与关联或对应电路列之间的电连接和通信。
应当理解，本公开的教导和原理可以用在可重复使用设备平台中，有限使用设备平台中，重复可用使用设备平台中或单一使用/一次性设备平台中，而没有偏离本公开的范围。应当理解，在可重复使用设备平台中，最终用户可以负责设备的清洁和杀菌。在有限使用设备平台中，设备可以在一些特定量时间之后才不可操作。对于要求最终用户在另外使用前进行清洁和消毒的附加用途，典型的新设备是无菌递送的。在重复可用使用设备平台上，第三方可以重复处理设备(例如清洁、封装和杀菌)单一使用设备用于与新单元相比的更低成本处的另外使用。在单一使用/一次性设备平台中，无菌提供设备至操作室并且在丢弃前仅使用一次设备。
此外，本公开的教导和原理可以包括电磁能量的任意和所有波长，包括可见频谱和不可见频谱例如红外(IR)、紫外线(UV)和X射线。
应当理解，本文中公开的各种特征提供本领域中重要的优点和进步。以下实施方式可以为那些特征中的一些的实例。
在本公开的之前的详细说明中，为了精简本公开的目的，本公开的各种特征一起组合在单个实施方式中。本公开的这个方法并不解释为反映所要求的本公开要求更多特征的意图，而是表达性地记载在每个权利要求中。而发明方案在于少于之前公开的单一实施方式的所有特征。
应当理解，上文描述的设置可以仅为本公开的原理的应用的示例。各种修改和可替选设置可以在没有超出本公开的精神和范围的情况下由本领域的技术人员来设计，并且所附权利要求想要覆盖这种修改和设备。
因此，虽然本公开显示在图中并且利用特殊性和细节而在上文中描述，对于本领域技术人员显而易见的是，包括但不限于尺寸、材料、形状、形式、操作的功能和方法、组件和使用的各种变形可以得到，而没有超出本文提出的原理和概念。
而且，其中合适的本文中描述的功能可以在以下的一种或多种中执行：硬件、软件、固件、数字组件或逻辑组件。例如一个或多个专用集成电路(ASIC)可以被编程以执行本文中描述的一个或多个系统和程序。一定术语可以在以下整个说明和权利要求中使用以涉及具体系统组件。正如本领域技术人员会理解的，组件可以称为不同的名字。本文件并不想要区分在名字上不同，在功能上相同的组件之间。
之前的说明为了示出和描述的目的而被呈现。并不想要穷尽并且限制本公开以所公开的准确实现。在上文教导的启示下，许多变型和改变是可能的。而且，应当注意任意和所有的前面提到的可替选实施方式可以用在任何期望的结合中以形成本公开的附加混合实施方式。
而且，尽管已经描述和示出本公开的特别实施方式，但是本公开并不限于所描述和示出的部分的特别形式和设备。本公开的范围由在此所附权利要求、在这里和不同申请中提交的任何将来的权利要求，以及它们的等同来限定。

Claims (29)

1.一种用于在光线不足的环境中数字成像的系统，包括：
发射器，其发射电磁辐射的不同波长的多个脉冲以用于在场景中提供照明；
CMOS图像传感器，其对于电磁脉冲敏感并且从电磁脉冲创建图像数据；
其中，所述CMOS图像传感器包括不同像素的多个子集；
其中，所述CMOS图像传感器的像素中的每个像素包括传输门晶体管；
其中，一个像素子集中的每个传输门晶体管通过TX信号电连接在一起；
其中，TX信号提供每个像素子集的传输门晶体管(TX)的全局操作；
存储器，其包括用于控制所述发射器促使所述发射器脉冲发射所述电磁辐射的不同波长的多个脉冲以用于与所述图像传感器中的所述不同像素的子集对应的多个曝光从而为所述图像传感器照明场景的指令；
其中，所述存储器还包括在不读取脉冲敏感像素的图像传感器帧周期的预先限定部分期间对要被发射的脉冲进行协调的指令；并且
其中，处理器包括所述多个曝光以扩展动态范围。
2.根据权利要求1所述的系统，其中，所述发射机包括激光。
3.根据权利要求1所述的系统，其中，所述发射机包括发光二极管。
4.根据权利要求1所述的系统，其中，图像传感器为单色传感器。
5.根据权利要求4所述的系统，其中，像素的多个子集以棋盘模式设置。
6.根据权利要求1所述的系统，其中，两个像素共享浮置扩散。
7.根据权利要求1所述的系统，其中，四个像素共享浮置扩散。
8.根据权利要求5所述的系统，其中，两个像素在双向像素共享的水平方向上共享浮置扩散，其中TX信号包括TX1信号和TX2信号。
9.根据权利要求8所述的系统，其中，TX1信号在奇数行上附接位于双向像素共享的左侧上的像素的传输门晶体管(TX)和在偶数行上附接位于双向像素共享的右侧上的像素的传输门晶体管(TX)，并且TX2信号在奇数行上附接位于双向像素共享的右侧上的像素的传输门晶体管(TX)和在偶数行上附接位于双向像素共享的左侧上的的像素的传输门晶体管(TX)。
10.根据权利要求9所述的系统，其中，TX1信号和TX2信号的全局操作在读取脉冲敏感像素的图像传感器帧周期的预先限定部分期间执行。
11.根据权利要求1所述的系统，其中，所述图像传感器不包括拜耳模式。
12.一种在环境光不足的环境中用于内窥镜的数字成像方法，包括：
利用电磁辐射的不同波长的多个脉冲来对所述环境进行脉冲发射以用于将照明提供给场景；
利用CMOS图像传感器的像素阵列感测反射的电磁辐射的多个不同曝光；
从对应于反射的电磁辐射的多个不同曝光的所述像素阵列接收图像数据；
从所述图像数据创建多个曝光的帧，其中每个曝光的帧对应于不同曝光；
在不读取脉冲敏感像素的图像传感器的帧读出周期的预先限定部分期间发射电磁辐射的脉冲；
从多个曝光的帧创建单个显示帧；和
通过按顺序将使用多个不同曝光而得到的多个显示帧拼接而创建图像流，以提供增加的动态范围。
13.根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以红色、绿色、蓝色和绿色的模式而被脉冲发射。
14.根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以亮度、色度蓝、亮度和色度红的模式而被脉冲发射。
15.根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以四次循环模式而被脉冲发射。
16.根据权利要求12所述的方法，其中，脉冲发射的电磁辐射以三次循环模式而被脉冲发射。
17.根据权利要求12所述的方法，其中，脉冲发射的电磁辐射包括在红、绿和蓝颜色空间以及亮度、色谱红色和色谱蓝色颜色空间中的脉冲。
18.根据权利要求12所述的方法，包括在像素阵列操作的充电期间进行水平合并。
19.根据权利要求12所述的方法，还包括改变帧曝光周期的模式。
20.根据权利要求12所述的方法，还包括通过将位于相对场景是偏移的多个基板上的多个像素阵列的图像帧拼接而创建三维图像流。
21.根据权利要求12所述的方法，其中，像素阵列设置于第一基板上并且支持电路远程设置于第二基板上。
22.根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模式是与短时间暴光的绿色结合的长时间曝光的绿色、然后蓝色、然后与短时间曝光的绿色结合的长时间曝光的绿色、然后红色的循环。
23.根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模式是与短时间曝光的绿色结合的长时间曝光的绿色、然后与短时间曝光的蓝色结合的长时间曝光的蓝色、然后与短时间曝光的绿色结合的长时间曝光的绿色、然后与短时间曝光的红色结合的长时间曝光的红色的循环。
24.根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模式是与短时间曝光的亮度结合的长时间曝光的亮度、然后色度蓝色、然后与短时间曝光的亮度结合的长时间曝光的亮度、然后色度红色的循环。
25.根据权利要求12所述的方法，还包括脉冲激发发射器以产生这样一种模式，该模式是与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时间曝光的色度蓝色结合的长时间曝光的色度蓝色、然后与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时间曝光的色度红色结合的长时间曝光的色度红色的循环。
26.根据权利要求12所述的方法，还包括脉冲激发发射器以产生在相同帧内具有色度蓝色和色度红色的模式。
27.根据权利要求12所述的方法，还包括脉冲激发发射器以产生在相同帧内具有蓝色和红色的模式。
28.一种在环境光不足的环境中用于内窥镜的数字成像方法，包括：
利用电磁辐射的不同波长的多个脉冲来对所述环境进行脉冲发射以用于将照明提供给场景；
利用CMOS图像传感器的像素阵列感测反射的电磁辐射的多个不同曝光；
从对应于反射的电磁辐射的多个不同曝光的所述像素阵列接收图像数据；
从所述图像数据创建多个曝光的帧，其中每个曝光的帧对应于不同曝光；
在不读取脉冲敏感像素的图像传感器的帧读出周期的预先限定部分期间发射电磁辐射的脉冲；
通过按顺序将使用多个不同曝光而得到的多个显示帧拼接来创建图像流，以提供增加的动态范围；和
脉冲激发发射器以产生这样一种模式，该模式是与短时间曝光的亮度结合的长时间曝光的亮度、然后色度蓝色、然后与短时间曝光的亮度结合的长时间曝光的亮度、然后色度红色的循环。
29.一种在环境光不足的环境中用于内窥镜的数字成像方法，包括：
利用电磁辐射的不同波长的多个脉冲来对所述环境进行脉冲发射以用于将照明提供给场景；
利用CMOS图像传感器的像素阵列感测反射的电磁辐射的多个不同曝光；
从对应于反射的电磁辐射的多个不同曝光的所述像素阵列接收图像数据；
从所述图像数据创建多个曝光的帧，其中每个曝光的帧对应于不同曝光；
在不读取脉冲敏感像素的图像传感器的帧读出周期的预先限定部分期间发射电磁辐射的脉冲；
通过按顺序将使用多个不同曝光而得到的多个显示帧拼接来创建图像流，以提供增加的动态范围；和
脉冲激发发射器以产生这样一种模式，该模式是与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时间曝光的色度蓝色结合的长时间曝光的色度蓝色、然后与短时间曝光的亮度结合的长时间曝光的亮度、然后与短时间曝光的色度红色结合的长时间曝光的色度红色的循环。
CN201380039025.6A 2012-07-26 2013-07-26 使用单色传感器的宽动态范围 Active CN104488259B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261676289P 2012-07-26 2012-07-26
US61/676,289 2012-07-26
US201361790719P 2013-03-15 2013-03-15
US201361790487P 2013-03-15 2013-03-15
US61/790,487 2013-03-15
US61/790,719 2013-03-15
PCT/US2013/052424 WO2014018949A2 (en) 2012-07-26 2013-07-26 Wide dynamic range using monochromatic sensor

Publications (2)

Publication Number Publication Date
CN104488259A CN104488259A (zh) 2015-04-01
CN104488259B true CN104488259B (zh) 2018-07-06

Family

ID=49997992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039025.6A Active CN104488259B (zh) 2012-07-26 2013-07-26 使用单色传感器的宽动态范围

Country Status (13)

Country Link
US (6) US9509917B2 (zh)
EP (1) EP2878123B1 (zh)
JP (1) JP6254159B2 (zh)
KR (1) KR102118310B1 (zh)
CN (1) CN104488259B (zh)
AU (1) AU2013295566B2 (zh)
BR (1) BR112015001381A8 (zh)
CA (1) CA2878513A1 (zh)
HK (1) HK1207778A1 (zh)
IL (1) IL236895B (zh)
IN (1) IN2015MN00020A (zh)
MX (1) MX346062B (zh)
WO (1) WO2014018949A2 (zh)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX346062B (es) 2012-07-26 2017-03-06 Depuy Synthes Products Inc Amplio rango dinamico utilizando sensor monocromatico.
EP2877080B1 (en) 2012-07-26 2020-07-22 DePuy Synthes Products, Inc. Ycbcr pulsed illumination scheme in a light deficient environment
JP6526560B2 (ja) 2012-07-26 2019-06-05 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境での連続的なビデオ
US8786732B2 (en) 2012-10-31 2014-07-22 Pixon Imaging, Inc. Device and method for extending dynamic range in an image sensor
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
EP2967294B1 (en) 2013-03-15 2020-07-29 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
EP2967301B1 (en) 2013-03-15 2021-11-03 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
CA2907116A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
JP5863709B2 (ja) * 2013-06-04 2016-02-17 富士フイルム株式会社 内視鏡システム
WO2015136963A1 (ja) * 2014-03-12 2015-09-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN114191114A (zh) 2014-03-21 2022-03-18 德普伊新特斯产品公司 用于成像传感器的卡缘连接器
WO2015165528A1 (en) * 2014-04-30 2015-11-05 Siemens Aktiengesellschaft Method and a device for generating a high quality image using pixel shifted low resolution images
JP5942053B1 (ja) * 2014-07-07 2016-06-29 オリンパス株式会社 内視鏡システム
US9531979B2 (en) * 2014-12-30 2016-12-27 Stmicroelectronics (Grenoble 2) Sas IC image sensor device with twisted pixel lines and related methods
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
US11672562B2 (en) 2015-09-04 2023-06-13 Medos International Sarl Multi-shield spinal access system
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
CN113143355A (zh) 2015-09-04 2021-07-23 美多斯国际有限公司 多护罩脊柱进入系统
US11439380B2 (en) 2015-09-04 2022-09-13 Medos International Sarl Surgical instrument connectors and related methods
US11744447B2 (en) 2015-09-04 2023-09-05 Medos International Surgical visualization systems and related methods
US9871965B2 (en) 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
US9936150B2 (en) * 2016-03-17 2018-04-03 Semiconductor Components Industries, Llc Image sensors with a rolling shutter scanning mode and high dynamic range
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
EP3562376A4 (en) 2016-12-27 2020-11-11 DePuy Synthes Products, Inc. SYSTEMS, METHODS AND DEVICES FOR PROVIDING LIGHTING IN AN ENDOSCOPIC IMAGING ENVIRONMENT
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
RU2633758C1 (ru) * 2017-01-31 2017-10-18 Вячеслав Михайлович Смелков Телевизионная камера повышенной чувствительности для панорамного компьютерного наблюдения
CN110381804B (zh) * 2017-03-10 2022-05-17 索尼奥林巴斯医疗解决方案公司 内窥镜设备
US10009551B1 (en) * 2017-03-29 2018-06-26 Amazon Technologies, Inc. Image processing for merging images of a scene captured with differing camera parameters
CN112236071A (zh) 2018-02-21 2021-01-15 美多斯国际有限公司 外科可视化系统和相关方法
JP6982677B2 (ja) * 2018-02-28 2021-12-17 オリンパス株式会社 被検体観察システム、内視鏡用光源装置、被検体観察システムの作動方法、被検体観察システムの作動プログラム
JP6728268B2 (ja) * 2018-04-26 2020-07-22 キヤノン株式会社 撮像装置、撮像システム、および、移動体
US10334189B1 (en) * 2018-06-06 2019-06-25 Smartsens Technology (Cayman) Co., Ltd. HDR pixel array with double diagonal binning
CN112585955A (zh) * 2018-08-22 2021-03-30 吉加焦特技术公司 分体式读出图像传感器
US11323643B2 (en) * 2018-09-12 2022-05-03 Dolby Laboratories Licensing Corporation CMOS sensor architecture for temporal dithered sampling
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11218645B2 (en) * 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11012599B2 (en) * 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11937784B2 (en) * 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11712155B2 (en) 2019-06-20 2023-08-01 Cilag GmbH Intenational Fluorescence videostroboscopy of vocal cords
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11147436B2 (en) 2019-06-20 2021-10-19 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11674848B2 (en) * 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11589819B2 (en) 2019-06-20 2023-02-28 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a laser mapping imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11213194B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral, fluorescence, and laser mapping imaging
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200403624A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11337596B2 (en) * 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US20200404131A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Hyperspectral and fluorescence imaging with topology laser scanning in a light deficient environment
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11622094B2 (en) * 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11240426B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Pulsed illumination in a hyperspectral, fluorescence, and laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11071443B2 (en) 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11096565B2 (en) 2019-06-20 2021-08-24 Cilag Gmbh International Driving light emissions according to a jitter specification in a hyperspectral, fluorescence, and laser mapping imaging system
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
KR20220127304A (ko) 2020-02-17 2022-09-19 가부시키가이샤 니콘 촬상 소자 및 촬상 장치
KR102345485B1 (ko) * 2020-07-02 2022-01-03 재단법인대구경북과학기술원 초분광 카메라의 동적 비닝 조절 장치 및 그 방법
AU2021349199A1 (en) * 2020-09-25 2023-04-06 Boston Scientific Scimed, Inc. Color extrapolation from monochrome image sensor
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
CN112563738B (zh) * 2020-11-02 2022-02-11 中山大学 包含周期性漏波结构的圆极化天线及其制造方法
US20230017411A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with source and pixel level image modulation for multispectral imaging
US20230025061A1 (en) 2021-07-22 2023-01-26 Cilag Gmbh International Surgical data system and management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN101116324A (zh) * 2005-02-03 2008-01-30 索尼爱立信移动通讯股份有限公司 用于从多次曝光中创建高动态范围图片的方法和装置
CN102122388A (zh) * 2010-01-11 2011-07-13 三星电子株式会社 用于获得高动态范围图像的设备和方法

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57164031A (en) 1981-04-01 1982-10-08 Olympus Optical Co Light source apparatus for endoscope
JPH0210308A (ja) 1988-06-29 1990-01-16 Toshiba Corp 内視鏡装置
US5196938A (en) 1989-11-20 1993-03-23 Eastman Kodak Company Solid state fast frame recorder having independently selectable frame rate and exposure
JP3164609B2 (ja) 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
US5241170A (en) 1992-02-19 1993-08-31 Itt Corporation Fiber optic imaging device and methods
US6021172A (en) 1994-01-28 2000-02-01 California Institute Of Technology Active pixel sensor having intra-pixel charge transfer with analog-to-digital converter
US5748234A (en) 1994-09-13 1998-05-05 Intel Corporation Video processing system and method
US5784099A (en) 1994-09-13 1998-07-21 Intel Corporation Video camera and method for generating time varying video images in response to a capture signal
US5550595A (en) 1994-12-16 1996-08-27 Intel Corporation Apparatus and method for motion estimation with enhanced camera interface
US5880777A (en) * 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
US6278490B1 (en) * 1996-05-23 2001-08-21 Olympus Optical Co., Ltd. Exposure control for an image pickup apparatus that uses an electronic flash
US6088058A (en) * 1997-05-29 2000-07-11 Foveon, Inc. Capacitive coupled bipolar active pixel imager having overflow protection and electronic shutter
US6677992B1 (en) * 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
US6982740B2 (en) 1997-11-24 2006-01-03 Micro-Medical Devices, Inc. Reduced area imaging devices utilizing selected charge integration periods
US8063963B2 (en) * 1998-02-09 2011-11-22 On Semiconductor Image Sensor Imaging device having a pixel structure with high dynamic range read-out signal
TW400657B (en) 1998-06-09 2000-08-01 United Microelectronics Corp The manufacture method of CMOS sensor device
WO2000001686A1 (en) 1998-07-06 2000-01-13 Eastman Chemical Company Method of producing vitamin e
US6485414B1 (en) 1998-07-13 2002-11-26 Ceramoptec Industries, Inc. Color video diagnostic system for mini-endoscopes
US6879340B1 (en) 1998-08-19 2005-04-12 Micron Technology Inc. CMOS imager with integrated non-volatile memory
WO2000069324A1 (fr) 1999-05-18 2000-11-23 Olympus Optical Co., Ltd. Endoscope
DE29910795U1 (de) 1999-06-21 1999-09-02 Wolf Gmbh Richard Elektronisches Endoskop
WO2001011343A1 (en) 1999-08-06 2001-02-15 Cambridge Research & Instrumentation Inc. Spectral imaging system
US6464633B1 (en) * 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
US6272269B1 (en) 1999-11-16 2001-08-07 Dn Labs Inc. Optical fiber/waveguide illumination system
US20010030744A1 (en) 1999-12-27 2001-10-18 Og Technologies, Inc. Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
EP1169624A4 (en) * 2000-02-15 2008-02-20 Varian Australia METHOD AND APPARATUS FOR SPECTROCHEMICAL ANALYSIS
US20010040632A1 (en) 2000-05-09 2001-11-15 Yang David Xiao Dong Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6961461B2 (en) 2000-05-17 2005-11-01 Tidal Photonics, Inc. Apparatus and method for measurement, encoding and displaying of object color for digital imaging
AU1320502A (en) * 2000-10-12 2002-04-22 Reveo Inc Digital light processing based 3d projection system and method
US6967725B2 (en) 2000-10-13 2005-11-22 Lucent Technologies Inc. System and method for optical scanning
US7050094B2 (en) 2000-10-26 2006-05-23 Micron Technology, Inc. Wide dynamic range operation for CMOS sensor with freeze-frame shutter
JP4608766B2 (ja) 2000-11-27 2011-01-12 ソニー株式会社 固体撮像素子の駆動方法、及びカメラ
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US7184084B2 (en) 2001-02-26 2007-02-27 Florida Atlantic University Method and apparatus for image sensing with CCD
US7102682B2 (en) 2001-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Exposure control in a digital camera
JP4390096B2 (ja) 2001-07-06 2009-12-24 富士フイルム株式会社 内視鏡装置
WO2003007592A1 (fr) 2001-07-12 2003-01-23 Do Labs Procede et systeme pour corriger les aberrations chromatiques d'une image couleur realisee au moyen d'un systeme optique
CA2453423C (fr) 2001-07-12 2014-10-14 Vision Iq Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images
US7106377B2 (en) 2001-07-25 2006-09-12 Hewlett-Packard Development Company, L.P. Image capturing device capable of single pixel exposure duration control
US6921920B2 (en) 2001-08-31 2005-07-26 Smith & Nephew, Inc. Solid-state light source
US6692431B2 (en) 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US6899675B2 (en) 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
US7545434B2 (en) 2002-02-04 2009-06-09 Hewlett-Packard Development Company, L.P. Video camera with variable image capture rate and related methodology
DE10214809A1 (de) 2002-04-04 2003-10-23 Wolf Gmbh Richard Festkörpervideokamera und Helligkeitsregelung dafür
US7794394B2 (en) 2002-05-22 2010-09-14 Beth Israel Deaconess Medical Center Device for wavelength-selective imaging
JP2004126721A (ja) * 2002-09-30 2004-04-22 Casio Comput Co Ltd 画像読取装置及びその駆動制御方法
JP2006523074A (ja) * 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
US7189226B2 (en) 2003-07-28 2007-03-13 Synergetics, Inc. Coaxial illuminated laser endoscopic probe and active numerical aperture control
CA2581668A1 (en) 2003-09-26 2005-04-07 Tidal Photonics, Inc Apparatus and methods relating to expanded dynamic range imaging endoscope systems
EP1709474A4 (en) 2003-09-26 2010-01-06 Tidal Photonics Inc APPARATUS AND METHODS RELATING TO COLOR IMAGING ENDOSCOPE SYSTEMS
KR20050032438A (ko) 2003-10-01 2005-04-07 동부아남반도체 주식회사 Ｃｍｏｓ 이미지 센서 및 그 제조 방법
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
WO2005101852A1 (ja) 2004-04-16 2005-10-27 Iwane Laboratories, Ltd. ハイライト抑制画像撮影装置
KR100596751B1 (ko) * 2004-04-28 2006-07-04 매그나칩 반도체 유한회사 칩스케일 이미지 센서 및 그 제조방법
US7164465B2 (en) * 2004-07-13 2007-01-16 Anvik Corporation Versatile maskless lithography system with multiple resolutions
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US8556806B2 (en) 2004-09-24 2013-10-15 Vivid Medical, Inc. Wavelength multiplexing endoscope
EP1641249A1 (en) * 2004-09-27 2006-03-29 STMicroelectronics Limited Improvements in or relating to image sensors
US7616231B2 (en) * 2005-01-06 2009-11-10 Goodrich Corporation CMOS active pixel sensor with improved dynamic range and method of operation for object motion detection
JP4687139B2 (ja) * 2005-02-23 2011-05-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7522341B2 (en) 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
US8152718B2 (en) 2006-02-07 2012-04-10 Boston Scientific Scimed, Inc. Medical device light source
JP4487944B2 (ja) * 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
JP4899149B2 (ja) * 2006-02-13 2012-03-21 株式会社ジェイエイアイコーポレーション 面順次方式カラーカメラシステム
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US7830434B2 (en) 2006-08-16 2010-11-09 Intematix Corporation Semiconductor color image sensor responsive at shorter wavelengths
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US8101903B2 (en) 2007-01-23 2012-01-24 Micron Technology, Inc. Method, apparatus and system providing holographic layer as micro-lens and color filter array in an imager
KR100823173B1 (ko) * 2007-02-16 2008-04-21 삼성전자주식회사 씨모스 이미지 센서
US7760258B2 (en) * 2007-03-07 2010-07-20 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
JP4984981B2 (ja) * 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7813538B2 (en) 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
GB0709026D0 (en) 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
JP2009033316A (ja) * 2007-07-25 2009-02-12 Nikon Corp 固体撮像装置及びこれを用いた電子カメラ
US7920193B2 (en) * 2007-10-23 2011-04-05 Aptina Imaging Corporation Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
US7791009B2 (en) 2007-11-27 2010-09-07 University Of Washington Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber
TW200930066A (en) 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
US8144226B2 (en) 2008-01-04 2012-03-27 AltaSens, Inc Two-by-two pixel structure in an imaging system-on-chip
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置，其訊號處理方法，及電子設備
DE102008018718B4 (de) * 2008-04-14 2010-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung
EP3876510A1 (en) * 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20100165087A1 (en) 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
GB2467118A (en) 2009-01-19 2010-07-28 Sony Espana Sa Video conferencing image compensation apparatus to compensate for the effect of illumination by the display of the scene in front of the display
JP2010194291A (ja) * 2009-01-30 2010-09-09 Fujifilm Corp 内視鏡装置及びその駆動方法
US20100201497A1 (en) 2009-02-11 2010-08-12 Nika Jones Electronic Tracking of Packages
JP2010278655A (ja) * 2009-05-27 2010-12-09 Fujifilm Corp 固体撮像素子、撮像装置、撮像方法
US8537241B2 (en) 2009-05-28 2013-09-17 Pixim, Inc. Image sensor with sensitivity control and sensitivity based wide dynamic range
WO2011019358A1 (en) 2009-08-14 2011-02-17 Hewlett-Packard Development Company, L.P. Reducing temporal aliasing
US8605177B2 (en) * 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
JP2011114558A (ja) * 2009-11-26 2011-06-09 Fujifilm Corp 撮像装置及び撮像方法
TWI410877B (zh) * 2009-12-22 2013-10-01 Teco Image Sys Co Ltd 接觸式影像掃描裝置及其掃描控制方法
KR20110082224A (ko) * 2010-01-11 2011-07-19 삼성전자주식회사 마스크리스 노광 장치 및 그 프레임 데이터 처리 방법
US8444272B2 (en) 2010-01-25 2013-05-21 Corning Incorporated Multi-projector system using multiplexed illumination
JP5393554B2 (ja) 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5438571B2 (ja) 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
US20120004508A1 (en) 2010-07-02 2012-01-05 Mcdowall Ian Surgical illuminator with dual spectrum fluorescence
WO2012021212A1 (en) 2010-08-10 2012-02-16 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
JP4657379B1 (ja) 2010-09-01 2011-03-23 株式会社ナックイメージテクノロジー 高速度ビデオカメラ
US8681343B2 (en) * 2010-10-31 2014-03-25 Camtek Ltd. Three dimensional inspection and metrology based on short pulses of light
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses
JP2013090116A (ja) 2011-10-18 2013-05-13 Olympus Corp 固体撮像装置および内視鏡装置
EP3088918A3 (en) * 2012-03-27 2017-01-18 Koninklijke Philips N.V. Conventional imaging with an imaging system having photon counting detectors
MX346062B (es) 2012-07-26 2017-03-06 Depuy Synthes Products Inc Amplio rango dinamico utilizando sensor monocromatico.
US20140160476A1 (en) * 2012-12-07 2014-06-12 Massachusetts Institute Of Technology Method and Apparatus for Performing Spectral Classification
FR3003112B1 (fr) * 2013-03-05 2015-04-10 Commissariat Energie Atomique Procede et systeme d'acquisition d'image
EP2967296B1 (en) * 2013-03-15 2024-02-28 DePuy Synthes Products, Inc. Comprehensive fixed pattern noise cancellation
US9153473B2 (en) * 2013-09-20 2015-10-06 Globalfoundries Singapore Pte. Ltd. Wafer processing
US9584745B2 (en) * 2013-11-11 2017-02-28 Semiconductor Components Industries, Llc Image sensors with N-row parallel readout capability
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor
US10321037B2 (en) * 2016-10-27 2019-06-11 Raytheon Company Active pushbroom scanning system and method
JP6981997B2 (ja) * 2016-11-29 2021-12-17 ヌヴォトンテクノロジージャパン株式会社 距離測定装置
CN111565620A (zh) * 2017-12-27 2020-08-21 爱惜康有限责任公司 缺光环境中的荧光成像
US20190200906A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging
JP7063681B2 (ja) * 2018-03-29 2022-05-09 住友化学株式会社 異物検査装置及び異物検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799057A (zh) * 2003-04-29 2006-07-05 微软公司 用于生成高动态范围视频的系统和过程
CN101116324A (zh) * 2005-02-03 2008-01-30 索尼爱立信移动通讯股份有限公司 用于从多次曝光中创建高动态范围图片的方法和装置
CN102122388A (zh) * 2010-01-11 2011-07-13 三星电子株式会社 用于获得高动态范围图像的设备和方法

Also Published As

Publication number Publication date
MX346062B (es) 2017-03-06
EP2878123B1 (en) 2017-12-20
CN104488259A (zh) 2015-04-01
KR102118310B1 (ko) 2020-06-04
AU2013295566B2 (en) 2017-07-27
EP2878123A2 (en) 2015-06-03
US10165195B2 (en) 2018-12-25
US11082627B2 (en) 2021-08-03
US20170214841A1 (en) 2017-07-27
MX2015001196A (es) 2016-01-22
US10742895B2 (en) 2020-08-11
AU2013295566A1 (en) 2015-03-05
IL236895B (en) 2018-06-28
WO2014018949A3 (en) 2014-05-08
US11751757B2 (en) 2023-09-12
JP2015532797A (ja) 2015-11-12
US20140160260A1 (en) 2014-06-12
JP6254159B2 (ja) 2017-12-27
US20190149713A1 (en) 2019-05-16
HK1207778A1 (zh) 2016-02-05
US9621817B2 (en) 2017-04-11
EP2878123A4 (en) 2015-12-30
IN2015MN00020A (zh) 2015-10-16
US9509917B2 (en) 2016-11-29
US20200358945A1 (en) 2020-11-12
US20210360142A1 (en) 2021-11-18
KR20150037958A (ko) 2015-04-08
BR112015001381A8 (pt) 2019-07-30
BR112015001381A2 (pt) 2017-07-04
WO2014018949A2 (en) 2014-01-30
US20170078548A1 (en) 2017-03-16
CA2878513A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
CN104488259B (zh) 使用单色传感器的宽动态范围
US10785461B2 (en) YCbCr pulsed illumination scheme in a light deficient environment
CN104486986B (zh) 光不足环境中的连续视频
CN107534738A (zh) 用于生成数字图像的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207778

Country of ref document: HK

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161031

Address after: Massachusetts

Applicant after: Depp Iing Dis products

Address before: American Utah

Applicant before: Olive Medical Corp.

GR01 Patent grant
GR01 Patent grant