CN105814883B - 具有带有用于电子电路的间隙的新型成像传感器的扫描成像系统 - Google Patents
具有带有用于电子电路的间隙的新型成像传感器的扫描成像系统 Download PDFInfo
- Publication number
- CN105814883B CN105814883B CN201480068591.4A CN201480068591A CN105814883B CN 105814883 B CN105814883 B CN 105814883B CN 201480068591 A CN201480068591 A CN 201480068591A CN 105814883 B CN105814883 B CN 105814883B
- Authority
- CN
- China
- Prior art keywords
- pixel
- imaging sensor
- gap
- imaging system
- photosensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 200
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 43
- 230000036211 photosensitivity Effects 0.000 claims description 42
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000007170 pathology Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 27
- 238000000034 method Methods 0.000 description 7
- 239000002184 metal Substances 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Microscoopes, Condenser (AREA)
Abstract
呈现了一种成像传感器,包括具有用于电子电路的间隙的XY坐标系中的2D像素阵列。另外,提供了用于利用这样的传感器对样品的斜截面成像的扫描成像系统。特别地,当成像传感器处于倾斜配置中时,该传感器具有特定优点。传感器允许最大化传感器的光敏区域中的像素的光活性部分,其造成最大化的填充因数。另外,这造成非常光敏感的传感器并且因而可以避免微透镜。成像传感器的一个或多个间隙还促进更快的读出,因为可以在间隙内在成像传感器上定位更多电路。
Description
技术领域
本发明涉及对样品进行成像的领域,并且有利地应用在数字病理学的领域中。
特别地,本发明涉及包括像素的2D阵列的成像传感器、用于对样品的斜截面成像的扫描成像系统,以及成像传感器在数字扫描显微镜中的用途。
背景技术
数字扫描显微镜通常制作放置在显微镜载玻片中的组织样品之类的样品的数字图像。这典型地通过在整个显微镜载玻片之上扫描样品并且将不同图像跨度缝合在一起和/或通过叠加在不同波长处测量的图像来完成。图1示意性地表示这样的显微镜载玻片的横截面100。包括玻璃载玻片101、盖玻片102和用于固定和封闭样品104(比如例如生物组织层)的安装介质103。例如,从WO 2001/084209得知,数字扫描显微镜可以包括2D线传感器,还已知为线扫描相机或线性阵列传感器。这样的传感器仅包括感测像素的一条线,换言之,感测像素的一行。还已知的是,相比于其它类型的传感器,比如2D阵列传感器,例如,1D线传感器能够提供更好的连续机械扫描操作、更少的缝合问题,并且可以允许使用所谓的时间延迟积分(TDI)线传感器。
另外,当前的成像传感器设计提供包括光敏部分(即光电二极管)的光活性像素,并且还包括非光敏部分,比如多个电荷到电压转换器(CVC)嵌入在像素自身中,造成较低填充因数。这意味着像素典型地具有用于CVC的四个晶体管(全局快门)中的三个晶体管(滚动快门),并且需要用于寻址和读出的竖直和水平金属线二者。然而,像素的这样的非光敏部分减小像素的填充因数,其在低光条件期间特别有害。结果得到的常规传感器中的像素的低光敏性典型地通过应用微透镜来克服。这样的微透镜试图有效地将更少量的光聚焦到成像传感器的像素上,使得附带损失最小化。此外,当前可用的成像传感器针对读出感兴趣的区(ROI)中的相对低速度而提供,因为仅有限数目的读出电子器件可以提供在给定像素大小的有限空间内。
发明内容
本发明的发明人已经认识到,使用微透镜在成像传感器关于光学路径倾斜时不是特别合适,而这种情况时常被应用,尤其是在数字病理学中。而且,本发明的发明人已经发现,利用倾斜传感器对样品进行扫描和成像造成Z方向上的过采样,使得成像传感器的仅特定区域需要用于图像捕获。发明人发现,有利的方式是将像素的读出电子器件重定位在不需要作为光敏区的传感器位置/区处——当使用在倾斜配置中时。因此,本发明提出成像传感器的像素线之间的特定非光敏间隙。因而,像素的填充因数的显著增加通过本发明可实现。这导致成像传感器的增加的低光敏性,并且因此可以实现改进的图像质量。而且,本发明的成像传感器促进更快的读出,因为总的来说,可以在一个或多个间隙内的成像传感器上定位更多的电路,该间隙是成像传感器的非光敏区域,结果造成更快的成像传感器。
本发明的目的可以被视为提供一种包括改进的成像传感器的扫描成像系统。
本发明的目的通过独立权利要求的主题来解决。本发明另外的实施例和优点合并在从属权利要求中。
所描述的实施例类似地关于具有改进的成像传感器的扫描成像系统以及扫描成像系统的用途。
根据本发明的示例性实施例,提供了具有沿Z方向的光轴并且包括包含正交XY坐标系中的2D像素阵列的成像传感器的扫描成像系统,Z方向垂直于Y方向。成像传感器的2D像素阵列包括包含多个像素的第一像素线。第一像素线沿所述XY坐标系的Y方向延伸。另外,第二像素线由成像传感器包括,所述第二线包括多个像素。同样第二像素线沿Y方向延伸。2D像素阵列还包括第一与第二像素线之间的第一非光敏间隙。第一像素线的一些或全部像素和/或第二像素线的一些或全部像素的读出电子器件定位在第一非光敏间隙中。另外,成像传感器的每一个像素包括光电二极管,成像传感器包括沿X方向的读出线,其配置成读出和寻址相应光电二极管,并且成像传感器绕作为旋转轴的Y轴倾斜。
换言之,呈现了具有新型成像传感器配置或设计的扫描成像系统,其中第一和第二像素线通过填充有成像传感器的逻辑和连接电路的非光敏间隙而分离。例如,一些或全部像素的电荷到电压转换器(CVC)可以定位在间隙中,该间隙为非光活性区,而不是将CVC定位在成像传感器的光活性区中。相比于常规像素601,根据本发明的这样的无CVC像素配置可以从图6中的示例性像素示例600归纳出来。本发明的成像传感器可以包括具有示出为示例像素600的类型的像素或者还可以完全由其构成。在任何情况中,本发明的成像传感器包括沿Y方向并且介于像素线之间的一个或多个间隙,这允许远离像素线移动读出电子器件(作为例如CVC)并且将其移动到所述非光敏间隙中。
当然,本发明的成像传感器可以具有众多像素线,如果期望的话,它们还可以连续且邻近地定位以构建像素线的块,并且还可以具有众多间隙。间隙典型地分离至少两个像素线或者分离两个像素线的块。图4示出具有若干像素线的块和其间的非敏感间隙的实施例。以上提到的第一和第二像素线然后可以是不同块的部分。这样的块可以由控制模块使用和控制以实施时间延迟积分(TDI)的已知技术。
本发明的成像传感器相比于相同大小的常规二维传感器的改进和由该新型成像传感器实现的分辨率至少是双重的。首先,本发明的成像传感器允许最大化成像传感器的光敏区域中的像素的光活性部分,这对应于填充因数的最大化。这允许没有微透镜的非常光敏感的成像传感器并且具有其中成像传感器倾斜的配置中的有利应用。避免微透镜对于放置在光学路径中倾斜的成像传感器是重要的,因为微透镜的倾斜并不是关于通过微透镜的光传播而最优的。其次,成像传感器的一个或多个间隙允许更快的读出,因为更多电路可以在间隙内的成像传感器上。不仅像素的CVC可以放置在那里,而且增加读出速度的其它附加组件也可以放置在那里。这允许更快的成像传感器并且因而允许更快的图像生成。因而,本发明利用非光敏空间,其可以在Y方向上在成像传感器的整个表面(breath)之上延伸并且可以在X轴上在至少一个像素宽度之上延伸。这些空间(即间隙)位于光敏线之间,例如第一与第二像素线之间。
如将从以下的各种解释变得明显并且利用以下的各种解释进行阐述的,第一和第二像素线可以是TDI块的部分,即沿Y方向邻近的或邻近定位的像素线的块,在该配置中这样的TDI块通过不包括光电二极管的间隙分离。那些间隙用于集成CVC、成像传感器的像素的逻辑和/或连接电路。应当指出的是,在本发明的上下文中,术语2D像素阵列不应当理解为完全覆盖有光敏像素的表面。依照图4中所示的示例性实施例,本发明的多得多的2D像素阵列提供光敏像素线并且包括用于集成光敏像素的所述读出电子器件的区(即非光敏间隙)。这从以下的本发明的不同实施例变得明显并且利用以下的本发明的不同实施例进行阐述。
而且,本发明的成像传感器当然还可以包括全部沿Y方向延伸的第三、第四、第五和甚至更多的像素线,并且还可以包括介于那些像素线之间的第二、第三、第四和甚至更多的非光敏间隙。另外,多个像素线可以连续定位使得它们构建沿X和Y方向延伸的连续表面并且构成像素块,如图3和4中所示。在倾斜配置中,所述非光敏区域(即间隙)可能不需要用于成像而不通过提供成像区域之间的间隙降低图像中质量。因此,本发明在成像传感器例如应用在倾斜配置中的扫描成像系统中时具有特别的优点。
根据本发明的另一示例性实施例,成像传感器的倾斜角度在优选地大约60°的范围中。
在此,倾斜角度意味着X方向与Z方向之间的角度。扫描成像系统可以对样品的斜截面进行成像。根据本发明的另一示例性实施例,在单独像素中,读出线升高到光电二极管上方。
读出线可以配置为金属线或成像传感器的芯片上的导线,并且它们可以升高到光电二极管上方。在实践中,在成像传感器上,光电二极管是最低的部分,并且所有电子器件和连接线可以升高。因此,在光不直接来自上方的情况中,如具有本文所描述的倾斜传感器配置的情况,升高的部分在光电二极管上投下阴影,因而减少所捕获的光的量,因而降低图像质量。由于在本发明的该示例性实施例的成像传感器中,相比于常规成像传感器的像素,在像素中需要更少的读出线,因此仅具有竖直读出线是可能的。这样的竖直读出线沿大体垂直于Y方向的X方向行进。由于本发明可以提供仅平行于X轴的读出线,因此不存在通过绕成像传感器的Y轴旋转而关于光轴倾斜传感器时的缺点。这意味着光垂直于成像传感器的Y轴落在成像传感器上,但是以关于X轴的例如60°的角度。这可以容易地从例如图3归纳出来。由于在本文所描述的该实施例中读出线平行于成像传感器的X轴行进,因此这些读出线不投下阴影并且因而不降低图像质量,这是相比于使用像素601的现有技术成像传感器的重要优点。利用如在图6中所示的常规2D成像传感器的像素601中使用的水平和竖直读出线605-608二者,这将是不可能的并且将总是存在处于倾斜配置中的光电二极管上的阴影。结果,本文之前所描述的本发明的示例性实施例还增加光敏性和图像质量。根据本发明的另一示例性实施例,成像传感器是自聚焦传感器。可以提供控制模块,其控制成像传感器实施自聚焦。这可以避免对比如例如聚焦映射之类的其它聚焦构件的需要。
根据本发明的另一示例性实施例,第一非光敏间隙具有至少一个成像传感器像素宽度的宽度。在图400中利用参考标记420示出像素宽度。如果成像传感器具有多个非光敏间隙,参见例如图3,所有间隙可以具有所述至少一个成像传感器像素宽度的宽度。在许多应用中,更大宽度对于提供用于像素的光电二极管的读出电子器件的集成的足够空间是有用的。例如,像素宽度的四倍、五倍或六倍可以是适当的间隙宽度。在该上下文中,应当指出的是,宽度沿2像素阵列的XY坐标系的X方向限定。根据本发明的示例性实施例,提供相比于像素线的光敏块(即TDI块)的宽度的成像传感器间隙的最优宽度并且将在稍后对此详细解释。
根据本发明的另一示例性实施例,以下组件中的至少一个定位在第一或另外的非光敏间隙中。第一和第二像素线中的至少一个的像素的电流电压转换器、成像传感器的逻辑和成像传感器的连接电路可以定位在本发明的成像传感器的光敏间隙内。根据本发明的另一示例性实施例,多个电荷电压转换器与成像传感器的每一个光电二极管相关联,并且每一个电荷电压转换器定位在成像传感器的第一非光敏间隙中或成像传感器的另外的非光敏间隙中。
例如可以从图6归纳出来的,本发明的像素设计提供包括光电二极管的像素。相比于现有技术像素601,连接到本发明的像素的光电二极管的电荷电压转换器不是像素自身的部分,而是在成像传感器的一个间隙中稍微远离地定位。在该上下文中,应当指出的是,本发明的成像传感器的像素的读出线典型地升高到光电二极管上方。在实践中,在成像传感器中,光电二极管是最低的部分,并且图6的所示读出线603和604升高。因此,本文使用本发明的成像传感器的像素600包括光电二极管602这一术语。应当指出的是,在本发明的上下文中,这样的另外的非光敏间隙可以平行和/或在沿Y方向的2D像素阵列的完整宽度之上提供。因此,根据另一示例性实施例,第一非光敏间隙沿Y方向延伸。根据本发明的另一示例性实施例,成像传感器包括多个非光敏间隙,其每一个在2D像素阵列的整个宽度之上沿Y方向延伸。
根据本发明的另一示例性实施例,成像传感器的每一个像素包括仅两个读出线。两个读出线可以平行或者大体平行于尤其在图3中限定的X轴。
根据本发明的另一示例性实施例,第一像素线是包括沿Y方向延伸的若干邻近像素线的第一块的部分。另外,第二像素线是包括沿Y方向延伸的若干邻近线的第二块的部分。另外,第一和第二块通过沿Y方向延伸的非光敏间隙从彼此分离。
在示例性实施例中,成像传感器在X方向上包括128个这样的块。当然,技术人员还可以应用多个邻近像素线的更多或更少的块。
特别地,这样的像素线块可以用作时间延迟积分(TDI)块。TDI块可以被视为具有沿Y方向延伸的线和沿X方向延伸的列的2D像素阵列。TDI动作沿列发生。该TDI动作可以是常规CCD式TDI,其中电荷与对象关于成像传感器的运动同步地沿列转移。可替换地,可以使用数字域中的TDI,其中像素电荷首先转换成数字号码,并且然后与对象关于成像传感器的运动同步地转移到数字域中。该数字TDI可以发生在成像传感器自身上或者在诸如FPGA之类的计算单元或计算机中在“片外”发生。两个TDI方面都是本发明的部分。将在图4的上下文中解释根据本发明的这样的实施例的使用TDI的更加详细的示例。
根据本发明的另一示例性实施例,提供控制模块,其配置成依照TDI的原理控制成像传感器,例如依照之前限定的两个TDI过程。根据本发明的另一示例性实施例,除第一和第二块之外,成像传感器还包括另外的沿Y方向延伸的若干邻近像素线的块。每一个块包括n个邻近的像素线,其中n是整数并且其中以下关系适用:2≤n≤8,特别地n=4。
根据本发明的另一示例性实施例,像素线之间或块之间的成像传感器的每一个非光敏间隙具有至少m个成像传感器像素宽度的宽度,其中m是整数。另外,以下关系适用:8≤m≤20,特别地m=13。
本发明的发明人发现,存在关于从像素取出读出电子器件的折衷。将读出电子器件移动得过于远离像素的光敏部分可能造成由于长线中的噪声和耦合所致的图像质量的降级。然而,在像素中具有读出电子器件造成像素的光敏部分大小(即填充因数)的减小,这也造成图像质量中的降级。当使用成像传感器作为倾斜三维和/或自动聚焦传感器时,在此公开的范围是填充因数、像素的光敏区域与读出电子器件之间的距离和深度分辨率之间的最优值。特别地,发现使用TDI块之间的13像素宽间隙和4个TDI像素线提供考虑到之前描述的折衷的最优组合。然而,根据该示例性实施例,TDI块的行数可以在2和8之间变化并且所述TDI块之间的间隙宽度可以在8和20个像素之间变化。
根据本发明的另一示例性实施例,成像传感器不包括微透镜。避免微透镜对于放置在例如扫描图像系统或数字扫描显微镜的光学路径中倾斜的成像传感器是重要的。将读出电子器件、成像传感器的逻辑和连接电路移动到像素的光活性线之间的间隙中增加或最大化填充因数,使得在低光条件期间,不需要复杂且易出错的微透镜。
根据本发明的另一示例性实施例,成像传感器的每一个非光敏间隙具有至少1个成像传感器像素宽度的宽度。
根据本发明的另一示例性实施例,扫描成像系统是用于对样品进行成像的数字扫描显微镜。
根据本发明的另一示例性实施例,呈现根据之前和随后描述的实施例中任一个的成像传感器的用途,其中成像传感器用于生成病理学样品的图像。
可以将本发明的主旨视为提供一种成像传感器,其包括光敏像素线之间的间隙,所述间隙不是光敏的并且包括像素的读出电子器件。而且,呈现了基本上包括单个管芯上的多个TDI线传感器、覆盖与倾斜路径中所使用的常规二维成像传感器相同的面积的新型成像传感器设计。在实施例中,成像传感器包括单个管芯上的多个TDI线传感器的组合。其特征在于TDI线传感器通过填充有成像传感器的逻辑和连接电路的间隙分离。本文所提出的原理可以特别地应用在具有用于电子电路(特别地比如关联到光电二极管的CVC)的所述间隙的自聚焦传感器中。
本发明的这些和其它特征将从以下描述的实施例变得明显,并且将参照以下描述的实施例进行阐述。
附图说明
将在以下附图中描述本发明的示例性实施例。
图1示意性地示出显微镜载玻片的横截面。
图2示意性地示出根据本发明的实施例的扫描显微镜。
图3示出根据本发明的示例性实施例的对象空间中的成像传感器的投影。
图4示意性地示出根据本发明的示例性实施例的使用TDI原理的成像传感器。
图5示意性地示出根据本发明的示例性实施例的具有成像传感器的设置。
图6示意性地示出现有技术像素与本发明的示例性实施例的成像传感器的像素之间的比较。
具体实施方式
在下文中,借助于成像传感器来提供本发明的另一示例性、非限制性实施例,在以下表格中以全面的细节来对其进行描述。其中,将间隙描述为“间隙区”并且将其称为“像素间距”,其为13个像素宽的间隙,如之前所描述的。像素是矩形的,因为它们在Y方向上为5.56微米长并且在X方向上为6.42微米,如可以从以下表格看到的。
参数 | 典型值 | 单位 |
像素大小y | 5.56 | um |
像素大小x | 6.42 | um |
像素间距x(TDI) | 6.42 | um |
像素间距x(间隙区) | 83.46(13像素) | um |
x方向上的像素数目(每TDI块) | 4 | |
y方向上的像素数目 | 4096 | |
x方向上的TDI块的数目 | 128 | |
暗的和测试像素x的数目(每TDI块) | 4 | |
暗的和测试像素x的数目(总体) | 513 | |
暗的和测试像素y的数目(每载玻片) | 32 | |
暗的和测试像素y的数目 | 64 | |
每条线的有效像素的总数目 | 4096 | |
矩阵上的像素的总数目 | 4096×513 | |
DSNU | 1% | |
PRNU | 2% | |
几何填充因素 | 79% | |
ADC分辨率 | 9位,没有遗失代码,单调 | |
满阱容量 | 60 | ke- |
总QE | 47% | |
没有TDI的SNR线性(超过读取噪声的饱和) | 54 | dB |
电气读取噪声RMS | 1 | DN |
根据本发明的另一示例性实施例,在图2内示出扫描显微镜200。该扫描成像系统布置用于对样品(例如未示出的组织层)进行成像,样品可以放置在玻璃载玻片201与盖玻片202之间。本发明的成像传感器和本发明的成像系统允许特别地并不完美平坦和/或体积样品的快速图像获取。特别地,用于数字病理学的数字载玻片扫描仪可以利用本发明。成像路径P可以包括显微镜物镜206,其可以包括一个或多个透镜203、204和205、用于阻挡来自组织样品的未经散射反射的光的孔207、镜筒透镜208和根据本发明的成像传感器209。成像传感器209包括在本文中还可以被称为像素矩阵的2D像素阵列。例如,成像传感器是CMOS成像传感器,而且其它种类的传感器可以与本发明一起使用。如可以从图2看到的,成像传感器209关于显微镜物镜的光轴o倾斜。成像传感器209可以是自聚焦成像传感器,如本文所解释的。系统200还包括用于控制扫描仪的操作过程和特别地用于对样品进行成像的扫描过程的控制模块。控制模块典型地包括处理器,诸如例如FPGA(现场可编程门阵列)或DCP(数字信号处理器)。应当指出的是,光轴O可以平行于在以下的图3中限定的轴Z 309。
图3示出成像传感器311的投影300。而且,同样成像传感器311可以是自聚焦成像传感器。图3示出成像传感器311包括分别包括沿利用轴308示出的Y方向行进的多个平行像素线的若干TDI块304、310。TDI块304和310通过非光敏间隙305c分离,其中定位所述块中的至少一个的像素的读出电子器件。如果期望的话,TDI块304和310二者的读出电子器件可以定位在间隙305c中。然而,还可能的是,块310的像素的读出电子器件定位在非光敏间隙305c中并且块304的像素的读出电子器件定位在非光敏间隙305a中。显然,可能的是提供作为不包括电荷到电压转换器和/或逻辑和/或连接电路的像素线的TDI块304和310。后面的组件完全由成像传感器311的所述非光敏间隙包括,使得实现填充因数的最大化,其中实现适当的低光敏性。应当指出的是,TDI块304和310仅被示意性地图示,使得在此并未详细描绘多个邻近像素线。构成TDI块的这样的单独像素线可以从以下的图4归纳出来。而且仅在图3内示意性地绘制间隙305a,305b和305c。301指代玻璃载玻片并且302指代盖玻片并且利用303示出组织样品。而且,利用箭头306来描绘扫描方向,并且可以容易地归纳出来,扫描方向306大体垂直于限定成像传感器311的2D像素阵列的Y方向308。X方向307也在图3中示出。
图3的成像传感器具有相比于相同大小和分辨率的常规2D成像传感器的双重改进。提供成像传感器的光敏区域中的像素的光活性部分的最大化,使得填充因数最大化。这允许没有微透镜的灵敏传感器。避免微透镜对于放置在例如扫描成像显微镜的光学路径中倾斜的成像传感器是重要的。另外,间隙305a,305b和305c允许更快的读出,因为更多电路可以在间隙中的成像传感器上,从而允许更快的成像传感器。
图4示意性地示出根据本发明的示例性实施例的成像传感器400。成像传感器包括2D像素阵列421。2D像素阵列包括第一像素线410,其包括多个像素,例如像素415、416、417。如可以从图4归纳出来的,第一像素线410沿Y方向422从阵列的左端延伸到阵列的右端,因而其在阵列的整个表面之上延伸。Y方向垂直于X方向423。2D像素阵列还包括第二像素线411,其包括多个像素,利用参考标记示例性地示出像素418和419。同样第二线411也沿Y方向422延伸。另外,提供第一与第二像素线之间的第一非光敏间隙402。如可以从图4归纳出来的,该间隙也沿Y方向延伸。而且,第一线的像素和/或第二线的像素的读出电子器件412和413定位在第一非光敏间隙402内。图4的像素407至411可以具有图6中所示的像素600的类型。显然,本文所描述的成像传感器的所有实施例可以包括在此具有如图6中的601所示类型的像素。当然,比如例如FPGA之类的组件可以由成像传感器包括。
第一非光敏间隙402具有至少一个成像传感器像素宽度420的宽度。在该实施例中,间隙宽度为一个成像传感器像素的宽度420的近似五倍。同样第二非光敏间隙403具有这样的宽度。而且,如可以从图4归纳出来的,若干邻近像素线407至410的第一块405由成像传感器400包括。该第一块405可以根据本发明作为TDI块来控制。第一非光敏间隙402包括读出电子器件412、413,诸如像素线410或线411的电流电压转换器,并且还可以包括成像传感器400的逻辑和/或成像传感器400的连接电路。同样第二非光敏间隙403包括第二TDI块404和第三TDI块406的像素的这样的读出电子器件414。如之前已经描述的,还可以提供成像传感器400使得TDI块的读出电子器件被完全提供在沿所示X方向423的所述TDI块以下或以上的邻近间隙内。如将从图6的上下文中给出的解释明显的并且将利用该解释来阐述的,由此可能的是提供完全包括光电二极管但是自身不包括读出电子器件的TDI块,因为读出电子器件被移动到相邻间隙。在另一示例性实施例中,成像传感器具有像素线的128个这样的块404、405和406并且具有127或128个间隙。
TDI块可以被视为2D像素阵列,其中线/行沿Y方向延伸,并且列沿X方向延伸。TDI动作沿列发生。该TDI动作可以是常规CCD式TDI,其中电荷与对象关于成像传感器的运动同步地沿列转移。可替换地,可以实施数字域中的TDI,其中像素电荷首先转换成数字号码,并且然后与对象关于成像传感器的运动同步地转移在数字域中。该“数字”TDI可以发生在成像传感器自身上或者在诸如FPGA之类的计算单元或计算机中在“片外”发生。本发明的系统还可以包括控制成像传感器的读出使得所期望的TDI过程发生的控制模块。
使用根据这样的实施例的TDI的更加详细的示例在图4的上下文中解释。在图4中,在像素矩阵中指定四个TDI级(例如407、408、409、410)的三个块404、405和406。要指出的是,TDI块意指为总体像素矩阵的子阵列,其充当功能TDI单元。本领域技术人员将以显而易见的方式导出根据这样的实施例的TDI传感器可以如何操作。在本文中将通过非限制性示例的方式描述一些实施例。它们中的全部适用于两个主要的成像传感器类型(即CCD和CMOS成像传感器)二者。对于CCD成像传感器,TDI动作典型地在模拟域中执行,通过将电荷从一个像素集合拷贝到另一像素集合。对于CMOS成像传感器,TDI动作典型地在数字域中执行,通过向另一像素集合的数字值添加一个像素集合的数字值。然而,数字和模拟TDI二者可以应用于CCD和CMOS中的任一个。
在下文中,将TDI动作描述为像素值转移,其被理解为模拟电荷转移,如果采用模拟TDI的话,并且其被理解为像素值转移,如果采用数字TDI的话。
转回到图4的示例,进一步关于显微镜载玻片将成像传感器移动到扫描定位而同时转移像素值。在图4的示例中,将假定TDI动作向上起作用,并且样品关于成像传感器的平移也向上做出。像素线或级410(级优选地包括完整的像素线)以针对每一次曝光的0像素值开始,并且在每一次曝光之后来自级407的像素值构成块405中的最终图像。当跟随完整TDI循环期间的样品图像的单个线时,本领域中已知的过程如下:在时间t=0处的曝光期间,样品图像由成像传感器捕获。在t=1处的下一曝光处,平移样品,使得在级410上在t=0处投影的样品图像的部分现在投影在级409上。在曝光t=0与t=1之间,将级410中的像素值拷贝到级409。在t=1处的曝光期间,由级409上的曝光引起的像素值被添加到已经存在的值,其由t=0处级410处的曝光引起。级409中的值现在是由t=0处级410的曝光引起的像素值和t=1处级409的曝光引起的像素值之和。在曝光t=1与t=2之间,将级409中的像素值拷贝到级408。在t=2处的曝光期间,将由级408上的曝光引起的像素值添加到已经存在的值,其由t=0处级410处的曝光加上t=1处级409处的曝光引起。级408中的值现在是由t=0处级410的曝光引起的像素值和t=1处级409的曝光和t=2处级408的曝光引起的像素值之和。在t=2和t=3之间,将级408中的像素值拷贝到级407。在t=3处的曝光期间,将由级407上的曝光引起的像素值添加到已经存在的值,其由t=0处级410处的曝光加上t=1处级409处的曝光和t=2处级408处的曝光引起。级407中的值现在是由t=0处级410的曝光引起的像素值和t=1处级409的曝光和t=2处级408的曝光以及t=3处级407的曝光引起的像素值之和。由于样品的图像在相同方向上在成像传感器之上平移,并且与TDI动作速度相同,因此在该示例中,已经进行样品上的相同区域的四次相等曝光。这等同于四倍长的曝光时段而不减缓样品的平移并且不引入附加运动模糊。以上描述也适用于任何其它块,诸如块404和406或本发明的成像传感器的任何另外的块。
要指出的是,在这样的实施例中,TDI块的四级可以能够在相同焦点处捕获相同区域的图像。
相应地,每一个TDI块的级可以使得它们通过近似相同的距离与样品分离。
例如通过参照回以上描述的第一详述实现方式,四级可以用于每一个块。因此,每一个TDI块可以由以具有与像素大小相同的大小的间距靠近彼此定位的四个像素线构成。在此要指出的是,间距可以是指两个相邻像素中心之间的距离。本发明的每一个实施例中的每一个TDI块可以通过大于间距的非光敏间隙距离间隔开。间隙距离确定成像传感器的深度定位的Z分辨率。可以有利的是具有相对大的间隙,而同时使每一个TDI块的各个像素更加靠近在一起。以此方式,可以获得相对大的Z范围而不使用过多像素,因为每一个TDI级的各个级更靠近在一起。作为结果,它们在类似深度处获得并且因而减少由于一个或多个级的失焦所致的图像柔化。
根据本发明的另一示例性实施例,图5示出具有包括通过非光敏间隙506分离的第一像素线508和第二像素线509的成像传感器501的设置500。第一TDI块502、第二TDI块503、第三TDI块505和第128个TDI块504分别包括四个像素线。将针对像素线的中断516示出为比在此在图5中所示的长得多的像素线。如之前已经描述的,像素线可以包括数千个像素,例如4000或更多像素。
图5还示出定位在成像传感器上并且因而是成像传感器的部分的两个TDI引擎510,513。这样的TDI引擎配置成实施已知的和本文提到的TDI过程中的任一个。以此方式,TDI在芯片上完成。同样其它实施例由本发明包括,其中TDI过程离片例如由外部计算机实施。八个输入和输出抽头511和514是用于将成像传感器连接到数据总线的标准管脚。可选地,24个输入和输出抽头512、515可以使用在用户期望更高带宽的情况中。
根据本发明的另一示例性实施例,图6示出包括光电二极管602的像素600。另外,竖直读出线603和604在图6中示出,然而,其升高到光电二极管602上方。与此相对,现有技术像素601被示出在图6的左手侧上,其包括四个读出线605、606、607和608。现有技术像素601需要水平和竖直读出线。而且,可以从像素601归纳出来,光敏区域609仅仅是像素的表面部分,而需要大量表面以用于读出电子器件610的使用,比如多个CVC。在常规像素601中,像素电子器件典型地嵌入在像素自身中,造成低填充因数。这意味着像素具有四个晶体管(全局快门)中的三个晶体管(滚动快门)以用于CVC,并且需要用于寻址和读出的竖直和水平金属线二者。所有这些元件从像素的光活性区域609取走空间,造成像素601相比于使用在本发明的像素600的更低填充因数。
因此,根据本发明提供了新的成像传感器像素布局。TDI块(在此未示出)之间的间隙区然后可以包含所有读出电子器件,例如将光电二极管的电荷转换成成比例电压的CVC。这意味着像素600自身仅具有竖直金属线603和604以用于读出和寻址。因此仅竖直金属线从光活性区域取出,造成高填充因数。仅存在竖直线这一事实是附加优点,因为例如在图2的成像系统中的本发明的成像传感器的倾斜是沿水平方向,即绕Y轴旋转,这意味着金属线不在光电二极管上投下阴影。图6的所期望的多个像素600可以用于构成本发明的像素线。例如,多个像素600可以用于构建图4中的成像传感器400或图3中的成像传感器的像素块404、405和406。
本领域技术人员在实践所要求保护的发明时,通过研究附图、公开内容和随附权利要求,可以理解和实现对所公开的实施例的其它变型。在权利要求中,词语“包括”不排除其它元件或步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以履行权利要求中叙述的若干项或步骤的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实不指示这些措施的组合不能用于获益。权利要求中的任何参考标记不应当解释为限制权利要求的范围。
Claims (16)
1.一种扫描成像系统,具有沿Z方向的光轴并且包括包含正交XY坐标系中的2D像素阵列的成像传感器(400),Z方向垂直于Y方向,2D像素阵列包括
包含多个像素(415,416)的第一像素线(410),
其中第一像素线沿Y方向延伸,
包含多个像素(418,419)的第二像素线(411),
其中第二像素线沿Y方向延伸,
其中成像传感器的每一个像素包括光电二极管并且包括沿X方向的读出线(603,604),
其中在单个像素中,读出线升高到光电二极管上方,
第一与第二像素线之间的第一非光敏间隙(402),
其中第一像素线的像素或第二像素线的像素的读出电子器件(412,413)定位在第一非光敏间隙(402)中,
并且
其中成像传感器绕作为旋转轴的Y轴倾斜。
2.根据权利要求1的扫描成像系统,其中第一像素线的像素和第二像素线的像素的读出电子器件(412,413)定位在第一非光敏间隙(402)中。
3.根据权利要求1或2的扫描成像系统,其中成像传感器的倾斜角度大约60°。
4.根据权利要求1或2的扫描成像系统,
其中第一非光敏间隙沿Y方向延伸。
5.根据权利要求1或2的扫描成像系统,
其中以下组件中的至少一个定位在成像传感器的第一非光敏间隙中或另外的非光敏间隙中:
第一和第二像素线中的至少一个的像素的电流电压转换器、
成像传感器的逻辑,以及
成像传感器的连接电路。
6.根据权利要求1或2的扫描成像系统,
其中多个电荷电压转换器(412)与成像传感器的每一个光电二极管相关联,并且
其中每一个电荷电压转换器定位在成像传感器的第一非光敏间隙中或成像传感器的另外的非光敏间隙中。
7.根据权利要求1或2的扫描成像系统,
其中成像传感器的每一个像素包括仅两个读出线(603,604)。
8.根据权利要求1或2的扫描成像系统,
其中第一像素线是包括沿Y方向延伸的若干邻近像素线的第一块(304,405)的部分,
其中第二像素线是包括沿Y方向延伸的若干邻近像素线的第二块(310,404)的部分,并且
其中第一和第二块通过沿Y方向延伸的非光敏间隙(311,402)从彼此分离。
9.根据权利要求8的扫描成像系统,
其中成像传感器包括另外的块(406),
其中相邻块通过沿Y方向延伸的非光敏间隙(311,402)从彼此分离,
其中每一个块包括n个邻近像素线,并且其中n是整数,并且
其中2≤n≤8。
10.根据权利要求9的扫描成像系统,其中n=4。
11.根据权利要求8的扫描成像系统,
其中成像传感器的每一个非光敏间隙具有至少m个成像传感器像素宽度的宽度,并且其中m是整数,并且
其中8≤m≤20。
12.根据权利要求11的扫描成像系统,其中m=13。
13.根据权利要求1或2的扫描成像系统,
其中成像传感器不包括微透镜。
14.根据权利要求1或2的扫描成像系统,
其中每一个非光敏间隙具有至少1个成像传感器像素宽度(420)的宽度。
15.根据权利要求1或2的扫描成像系统,
其中扫描成像系统是用于对样品进行成像的数字扫描显微镜。
16.前述权利要求1至15中之一的扫描成像系统用于生成病理学样品的图像的用途。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13197416.4 | 2013-12-16 | ||
EP13197416 | 2013-12-16 | ||
PCT/EP2014/077661 WO2015091300A1 (en) | 2013-12-16 | 2014-12-15 | Scanning imaging system with a novel imaging sensor with gaps for electronic circuitry |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105814883A CN105814883A (zh) | 2016-07-27 |
CN105814883B true CN105814883B (zh) | 2019-06-18 |
Family
ID=49765389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480068591.4A Active CN105814883B (zh) | 2013-12-16 | 2014-12-15 | 具有带有用于电子电路的间隙的新型成像传感器的扫描成像系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10091445B2 (zh) |
EP (2) | EP3264745B1 (zh) |
JP (2) | JP6203962B2 (zh) |
CN (1) | CN105814883B (zh) |
WO (1) | WO2015091300A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018195659A1 (en) * | 2017-04-24 | 2018-11-01 | Dixon A E | Scanning microscope for 3d imaging using msia |
CN108521825B (zh) * | 2017-04-26 | 2022-03-29 | 深圳市柔宇科技股份有限公司 | 控制方法、控制装置和光学检测设备 |
ES2928577T3 (es) * | 2017-09-29 | 2022-11-21 | Leica Biosystems Imaging Inc | Barrido en Z fijo bidimensional y tridimensional |
CN108594418B (zh) * | 2018-03-29 | 2021-02-05 | 暨南大学 | 一种基于阵列单像素探测器的光场显微成像系统及其方法 |
WO2019232211A1 (en) * | 2018-05-31 | 2019-12-05 | Raytheon Company | Programmable digital tdi eo/ir scanning focal plane array with multiple selectable tdi sub-banks |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024948A (ja) * | 1999-07-08 | 2001-01-26 | Canon Inc | 固体撮像装置及びそれを用いた撮像システム |
CN102687056A (zh) * | 2009-12-30 | 2012-09-19 | 皇家飞利浦电子股份有限公司 | 用于显微镜检查的传感器 |
CN102870406A (zh) * | 2010-05-04 | 2013-01-09 | E2V半导体公司 | 能够模拟和数字求和的刷卡机线性图像传感器及对应方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2735632B1 (fr) | 1995-06-14 | 1997-07-11 | Commissariat Energie Atomique | Dispositif et procede de numerisation pour detecteurs photosensibles et procede de lecture d'une matrice de detecteurs photoniques |
US5646427A (en) * | 1995-08-23 | 1997-07-08 | Dalsa, Inc. | Integrated circuit defect tolerant architecture |
JPH09247388A (ja) * | 1996-03-11 | 1997-09-19 | Fuji Xerox Co Ltd | 画像読取装置 |
JP4497577B2 (ja) * | 1999-04-05 | 2010-07-07 | キヤノン株式会社 | マルチビーム光走査装置 |
FI111759B (fi) * | 2000-03-14 | 2003-09-15 | Planmed Oy | Anturijärjestelmä ja menetelmä digitaalisessa röntgenkuvantamisessa |
JP4721380B2 (ja) | 2000-04-14 | 2011-07-13 | キヤノン株式会社 | 固体撮像装置および撮像システム |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
DE10127284A1 (de) * | 2001-06-05 | 2002-12-12 | Zeiss Carl Jena Gmbh | Autofokussiereinrichtung für ein optisches Gerät |
GB2383487B (en) | 2001-12-18 | 2006-09-27 | Fairfield Imaging Ltd | Method and apparatus for acquiring digital microscope images |
US6831688B2 (en) * | 2002-04-08 | 2004-12-14 | Recon/Optical, Inc. | Multispectral or hyperspectral imaging system and method for tactical reconnaissance |
US7130115B2 (en) | 2002-09-23 | 2006-10-31 | Dhetrix, Inc. | Multi-mode scanning imaging system |
JP2010135464A (ja) | 2008-12-03 | 2010-06-17 | Konica Minolta Business Technologies Inc | 固体撮像素子及び撮像装置 |
JP2010212288A (ja) | 2009-03-06 | 2010-09-24 | Renesas Electronics Corp | 撮像装置 |
EP2715321A4 (en) * | 2011-05-25 | 2014-10-29 | Huron Technologies Internat Inc | 3D DISEASE GLEITSCANNER |
EP2758825B1 (en) * | 2011-09-21 | 2016-05-18 | Huron Technologies International Inc. | Slide scanner with a tilted image plane |
-
2014
- 2014-12-15 US US15/104,597 patent/US10091445B2/en active Active
- 2014-12-15 CN CN201480068591.4A patent/CN105814883B/zh active Active
- 2014-12-15 EP EP17181271.2A patent/EP3264745B1/en active Active
- 2014-12-15 WO PCT/EP2014/077661 patent/WO2015091300A1/en active Application Filing
- 2014-12-15 JP JP2016536224A patent/JP6203962B2/ja active Active
- 2014-12-15 EP EP14811918.3A patent/EP3085075B1/en active Active
-
2017
- 2017-08-30 JP JP2017165617A patent/JP6541275B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024948A (ja) * | 1999-07-08 | 2001-01-26 | Canon Inc | 固体撮像装置及びそれを用いた撮像システム |
CN102687056A (zh) * | 2009-12-30 | 2012-09-19 | 皇家飞利浦电子股份有限公司 | 用于显微镜检查的传感器 |
CN102870406A (zh) * | 2010-05-04 | 2013-01-09 | E2V半导体公司 | 能够模拟和数字求和的刷卡机线性图像传感器及对应方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2017500796A (ja) | 2017-01-05 |
EP3085075B1 (en) | 2017-08-30 |
EP3264745B1 (en) | 2019-07-17 |
JP6203962B2 (ja) | 2017-09-27 |
JP2017216745A (ja) | 2017-12-07 |
CN105814883A (zh) | 2016-07-27 |
US20160373678A1 (en) | 2016-12-22 |
JP6541275B2 (ja) | 2019-07-10 |
WO2015091300A1 (en) | 2015-06-25 |
EP3085075A1 (en) | 2016-10-26 |
EP3264745A1 (en) | 2018-01-03 |
US10091445B2 (en) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105814883B (zh) | 具有带有用于电子电路的间隙的新型成像传感器的扫描成像系统 | |
CN206758436U (zh) | 像素阵列 | |
KR101733443B1 (ko) | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 | |
US9088729B2 (en) | Imaging apparatus and method of controlling same | |
CN207338378U (zh) | 图像传感器 | |
US10027908B2 (en) | Image sensor unit and imaging apparatus | |
US8908054B1 (en) | Optics apparatus for hands-free focus | |
US10082663B2 (en) | Method for simultaneous capture of image data at multiple depths of a sample | |
CN109981939A (zh) | 成像系统 | |
CN109716750B (zh) | 平面数字图像传感器 | |
CN108810430A (zh) | 一种成像系统及其形成方法 | |
BR112014028169A2 (pt) | aparelho e método para aumentar a resolução de um detector imagético criogenicamente resfriado e lacrado a vácuo | |
US10048485B2 (en) | Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium | |
CN116017120A (zh) | Tdi相机、超分辨率图像的获取方法 | |
CN118247240A (zh) | 一种基于线扫描光场相机的工业检测方法、系统和设备 | |
Yamada et al. | Small Capturing system of Three-dimensional image Using Compound Optics | |
Yamada et al. | Small 3D image capturing system by TOMBO | |
Yamada et al. | Three dimensional measurement of cancer by compound eye system | |
JP2001320735A (ja) | 立体情報取得装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |