CN103688205A - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN103688205A CN103688205A CN201280036063.1A CN201280036063A CN103688205A CN 103688205 A CN103688205 A CN 103688205A CN 201280036063 A CN201280036063 A CN 201280036063A CN 103688205 A CN103688205 A CN 103688205A
- Authority
- CN
- China
- Prior art keywords
- sample
- focal position
- image
- camera
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 87
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 17
- 238000005286 illumination Methods 0.000 description 15
- 239000006059 cover glass Substances 0.000 description 13
- 210000003128 head Anatomy 0.000 description 13
- 238000013519 translation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004304 visual acuity Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
Abstract
一种摄像装置包括:测量部,被配置为测量对象物的表面形状;摄像部,被配置为通过摄像元件取得在摄像光学系统的像面上的对象物的不同区域的图像;焦点位置检测单元,被配置为检测对象物的焦点位置,在所述焦点位置处,对象物的焦点位置检测点被聚焦在像面上;以及焦点位置确定单元,被配置为基于焦点位置检测单元的检测和测量部的测量,确定在与焦点位置检测点不同的点处的对象物的焦点位置。摄像部基于焦点位置确定单元的确定、在图像被聚焦在摄像元件上的同时摄取不同区域的图像。
Description
技术领域
本发明涉及取得对象物(object)的图像的摄像装置,例如数字显微镜。
背景技术
近些年来,已经关注这样的摄像装置:其获取整个样本的外形信息以及细胞组织的细节作为计算机化图像,并将计算机化图像显示在监视器上以供观察。
这种类型的摄像装置的特征在于,对象物的尺寸相比于观察对象物必需的物镜的分辨率(<1μm)较大(几毫米到几十毫米)。因此,为了形成具有高分辨率和宽广视场(field of view)的图像,有必要通过将由具有狭窄视场但具有高分辨率的物镜摄取的对象物不同部分的图像进行合并来取得一个整体图像。
然而,当对于对象物的各部分测量散焦并进行聚焦时,花费很多时间来取得一个整体图像。因此,PTL1公开了在保持样本(对象物)的载玻片的三个以上的点处进行聚焦以取得载玻片的倾斜,并且,通过计算来推定这三个以上的点以外的点处的焦点位置。PTL2公开了事先取得其中存在样本的区域,测量该区域中三个基准点处的焦点位置,并根据包括这三个点的平面方程来计算任意位置处的焦点位置。
在PTL1和PTL2中,包括对象物的表面上的三个点的平面方程根据这三个点处的焦点位置取得。然而,实际样本的表面不总是平坦的。为此原因,通过PTL1和PTL2中所描述的方法取得的图像可能由于任意位置处的焦点位置大大偏离实际焦点位置而是模糊的,或者,可能由于再次进行聚焦而花费更多的时间。
引用列表
专利文献
PTL1日本专利No.4332905
PTL2日本专利特开No.2004-191959
发明内容
根据本发明一方面的摄像装置包括:测量部,被配置为测量对象物的表面形状;摄像部,被配置为取得由多个摄像元件在摄像光学系统的像面上形成的对象物的不同区域的图像;焦点位置检测单元,被配置为检测对象物的焦点位置,在该焦点位置处,对象物的焦点位置检测点被聚焦在所述像面上;以及焦点位置确定单元,被配置为基于焦点位置检测单元的检测结果和测量部的测量结果来确定在与对象物的焦点位置检测点不同的点处的对象物的焦点位置。摄像部基于焦点位置确定单元的确定结果、在图像被聚焦在所述多个摄像元件上的状态下摄取对象物的不同区域的图像。
附图说明
图1示出根据第一和第二实施例的摄像装置的整体构造。
图2示出样本部。
图3示出样本位置、摄像区域和照相机样本基准点之间的关系。
图4A和4B示出夏克哈特曼(Shack-Hartmann)波前传感器。
图5A和5B示出夏克哈特曼波前传感器中的成像点的位置。
图6示出样本位置、摄像区域和传感器样本基准点之间的关系。
图7示出传感器样本基准点和不同点处的表面形状数据。
图8A和8B示出像面上的样本图像。
图9A、9B和9C示出聚焦传感器单元的结构以及聚焦的原理。
图10A、10B和10C示出照明光和散射光的光路。
图11示出取得焦点位置所采用的照明方法。
图12示出根据焦点位置的摄像元件的高度调节。
图13A到13H示出通过多个摄像操作获取整体图像。
图14示出样本聚焦过程。
图15A和15B示出照相机样本基准点、倾斜检测点以及聚焦传感器之间的关系。
图16示出样本聚焦过程。
图17示出根据第三实施例的摄像装置的总体构造。
图18示出样本聚焦过程。
图19示出包括多个聚焦传感器的摄像部。
图20示出根据第四实施例的摄像装置的总体构造。
图21示出样本聚焦过程。
具体实施方式
下面将介绍根据本发明的实施例的摄像装置。
第一实施例
图1示意性地示出根据本发明第一实施例的摄像装置1。参照图1,摄像装置1包括:主摄像系统10,其用作以高分辨率和宽广视场摄取图像的摄像部;以及,测量光学系统20,其用作对将要观察的样本的表面形状和位置进行测量的测量部。
主摄像系统10包括:照明光学系统100,其将来自光源单元110的光引导到其上放置样本225的被照射面;摄像光学系统300,其形成样本225的图像;以及,摄像元件单元400,其中,多个摄像元件430被布置在摄像光学系统300的像面上。测量光学系统20包括:位置测量设备510,其测量样本台210的位置;光源520,其照亮样本225;半反射镜530;照相机540,其测量样本225的位置;以及,照相机传感器550,其测量样本225的表面形状。例如,样本225被放置在载玻片和盖玻片(载玻片和盖玻片没有示出;有时不使用盖玻片)之间以形成准备好的玻片220。准备好的玻片220被放置在样本台210上,并由样本台210在主摄像系统10和测量光学系统20之间传送。
下面,摄像光学系统300的光轴被称为Z方向,且与摄像光学系统300的光轴垂直的平面被称为XY平面。
将按照图14的用于在准备好的玻片220放置在样本台210上之后取得样本的整体图像的过程,详细介绍这些结构。
首先,样本225被放置在能用测量光学系统20对样本225进行测量的位置处(步骤101)。
然后,测量光学系统20测量样本225的尺寸、摄像区域、摄像位置(样本基准点)以及表面形状(步骤102)。
照相机540通过使用经由半反射镜530从光源520施加的光的透过光来摄取样本225的图像,以识别样本225在样本台210上的位置。由此测量样本225的尺寸、摄像区域、摄像位置等。照相机传感器550是夏克哈特曼波前传感器,并测量样本225的表面形状。已经知道,当盖玻片被放置在样本225上时,样本225的表面形状随着盖玻片的表面形状而变化。为此原因,当盖波片被放置在样本225上时,可将盖玻片的表面形状测量为样本225的表面形状。
样本台210可在Z、X和Y方向上改变准备好的玻片220的位置或关于Z方向倾斜准备好的玻片220的位置,并被驱动以使得样本225与被照射面一致。图2示出(在样本台210上的)准备好的玻片220和样本225的位置、将由照相机540拍摄的区域540a、主摄像操作中的摄像区域400a以及样本基准点BP0。主摄像操作中的摄像区域400a、样本基准点BP0以及样本225的表面形状由处理单元610确定。摄像区域400a由样本225的尺寸、形状和位置以及能由摄像光学系统300拍摄的区域确定。
如图3所示,样本基准点BP0指示如从照相机540看到的样本的代表性位置,并在摄像区域400a被确定后被确定为所拍摄图像的坐标(a0,b0)。例如,在主摄像系统10的基准点被设置在摄像光学系统300的光轴中心处的情况下,当在测量光学系统20中确定的摄像区域400a与主摄像系统10的摄像区域对准时,在与摄像光学系统300的光轴中心对应的位置处确定样本基准点BP0。为此原因,样本基准点BP0根据主摄像系统10中的预定基准点(主基准点)的位置来确定。
根据三个点—即,在装置的组装期间事先取得的“台位置(由位置测量设备510测得)”、“图像坐标”和“主摄像系统中的基准位置(主基准点)”—之间的位置关系数据来计算台驱动量,以使得主基准点和样本基准点BP0彼此一致。
以这种方式,确定主摄像操作中的摄像区域400a、样本的表面形状以及样本的位置(样本基准点BP0)。
接着,将给出对于用照相机传感器550测量样本225或盖玻片的表面形状的方法的介绍。如上面所介绍的,照相机传感器550是夏克哈特曼波前传感器,并且如图4A和4B所示那样包括摄像元件551和微透镜阵列552。照相机传感器550接收来自由光源520和半反射镜530照亮的盖玻片或样本225的反射光。此时,照相机传感器550的微透镜阵列552上的入射光在摄像元件551上形成多个点像。当来自样本225或盖玻片的反射光理想且不畸变时,点像以等间隔排列,如图4A所示。相反,当样本225的表面的一部分畸变时,来自该部分的反射光聚焦在与理想点像位置不对准的位置上,如图4B所示。
当样本225或盖玻片的表面理想地是平坦的时,由黑色圆圈所示的成像点规则地排列在摄像元件551上,如图5A所示。相反,当样本225的表面(对象物的表面)部分地畸变时,成像点不与由白色圆圈所示的理想成像点对准,如图5B所示。理想成像点和实际成像点之间的差异指示样本225或盖玻片的表面相对于理想平坦表面的倾斜。为此原因,样本或盖玻片的表面的Z方向上的不规则可通过联系测量点处的差异来识别,并可获取样本225或盖玻片的表面形状。以这种方式,获取关于样本225的表面上的多个不同点处的、与摄像光学系统300的光轴正交的方向(X方向,Y方向)上的位置以及与光轴平行的方向(Z方向)上的位置的信息。
图6示出有关样本位置中的摄像元件551、成像点位置、样本基准点BP1以及将要由照相机传感器550观察的区域550a的关系。样本基准点BP1代表如从照相机传感器550看到的样本的代表性位置。下面,为了与用作从照相机540看到的样本的代表性位置的样本基准点BP0进行区分,将样本基准点BP0称作照相机样本基准点BP0,并将样本基准点BP1称作传感器样本基准点BP1。
类似于照相机样本基准点BP0,传感器样本基准点BP1被确定为使得主摄像系统10中的摄像区域与由测量光学系统20确定的摄像区域400a一致。也就是说,在摄像区域400a中照相机样本基准点BP0所对应的位置处确定传感器样本基准点BP1。为此原因,传感器样本基准点BP1通过确定照相机样本基准点BP0而被唯一地确定。
这里,传感器样本基准点BP1的坐标被取作(a1,b1)。此时,例如,如图7所示,传感器样本基准点BP1用数据(Xa1b1,Ya1b1,Za1b1)=(0,0,0)表示。与传感器样本基准点BP1不同的点用有关相对于传感器样本基准点BP1的散焦量(Xxy,Yxy,Zxy)的数据表示。这里,小写字母x和y表示表面形状数据中的单元(cell)的列和行。以这种方式,测量并获取样本225的表面形状。
接下来,为了摄取样本225的图像,对样本台210进行驱动,以使得照相机样本基准点BP0与主基准点一致(步骤103)。
再次参照图1,下面将介绍主摄像系统10的细节。照明光学系统100通过光学整合器单元120对从光源单元110发射的光进行重叠,并以均匀照度照亮样本225的整个表面。光源单元110发射用于照亮样本225的光束,并且例如由一个或更多个卤素灯泡、氙气灯泡或LED构成。摄像光学系统300以宽广的视场并以高分辨率在像面上形成被照亮的样本225的图像。图8A所示的样本225的图像被摄像光学系统300形成为图8B中虚线所示的图像225A。
摄像元件单元400包括摄像台410、电路板420、摄像元件430以及聚焦传感器440。如图8B所示,摄像元件430以与摄像台410上的摄像光学系统300的像面对准的方式间隔布置在电路板420上。聚焦传感器440是检测样本225的焦点位置检测点的焦点位置检测单元。聚焦传感器440被设置在电路板420上,并用作用于对准主摄像系统10和测量光学系统20的主基准点。
例如,聚焦传感器440可以是能以高速对均匀照亮的样本的图像的对比度进行处理的二维摄像元件,或者,可以由多个曝光计(actinometer)构成以通过光量来确定焦点位置。这里,将参照图9A-9C给出对于当使用多个曝光计时用于获取焦点位置信息的聚焦传感器440的结构以及所采用的焦点位置获取方法的介绍。如图9A所示,聚焦传感器440通过半棱镜442对来自摄像光学系统300的光312进行分割,并通过光量传感器单元441取得不同位置处的光量。光量传感器单元441中的两个光量传感器的受光面441a和441b具有与将由摄像光学系统300形成的最小斑尺寸基本上相等的尺寸。这将与针孔效应相同的效应给予受光面441a以及441b。另外,两个受光面441a和441b被调节为距摄像光学系统300的像面相等的距离,使得在受光面441a和441b检测到相同光量时摄像光学系统300的像面与样本225的成像位置一致。
在图9B中,纵轴表示根据成像位置变化的入射光的光量。虚线和实线分别代表在两个受光面441a和441b上的入射光的量Ia和Ib。横轴表示成像位置。在图9C中,纵轴表示(Ia-Ib)/(Ia+Ib),且横轴表示成像位置。如图9B所示,光量传感器上入射光的量的曲线具有相同的峰形状。此时,如图9C所示,(Ia-Ib)/(Ia+Ib)在特定的成像位置处是0,这显示聚焦传感器440与样本225的成像位置一致。当(Ia-Ib)/(Ia+Ib)为正值时,带出前聚焦状态,当(Ia-Ib)/(Ia+Ib)为负值时,带出后聚焦状态。因此,成像位置信息可基于由光量传感器单元441中的两个光量传感器接收的光量的差异或比率而被定量测量。
当获取焦点位置信息时,可通过仅仅取得暗视场照明时来自样本225的散射光来增强可靠性。例如,通过将照明光学系统100的数值孔径NA设置为大于摄像光学系统300的数值孔径NA以使照明光不进入摄像光学系统300,可仅仅获取来自样本225的散射光。在这种情况下,图10A用实线示意性地示出照明光,并用虚线示出散射光。可替代地,当使得来自照明光学系统100的照明光严格平行于摄像光学系统300的光轴并在摄像光学系统300或类似物的光瞳面处被光阻挡单元350阻挡时,也可仅仅取得来自样本225的散射光。在这种情况下,图10B用实线示意性地示出照明光,并用虚线示出散射光。
另外,可替代地,如图11所示,准备与照明光学系统100不同的照明光学系统111,并以与可由摄像光学系统300捕获的区域311相比更大的角度倾斜地施加照明光。于是,来自样本部的反射光不被摄像光学系统300捕获,而是可仅仅取得来自样本225的散射光。在这种情况下,图10C用实线示意性地示出照明光,并用虚线示出散射光。
另外,多个摄像元件430中的任意摄像元件可被选择为聚焦传感器而不是仅将传感器用于聚焦,所选择的摄像元件中的特定像素可被设置为主基准点,并可通过使用上面介绍的方法来进行聚焦。
通过上面介绍的结构和方法,用聚焦传感器440来确定焦点位置。
在Z方向上移动样本台210的同时,用聚焦传感器440寻找照相机样本基准点BP0处的样本225的焦点位置(步骤104)。
这里,样本225被放置为使得照相机样本基准点BP0和聚焦传感器单元440相对于摄像光学系统300具有共轭位置关系。有时在不仅聚焦到样本225的表面上而且聚焦到样本225的内部的情况下摄取样本225的图像。因此,焦点位置检测点不仅可被设置在样本225的表面上,而且可被设置在样本225内。
在照相机样本基准点BP0处取得聚焦之后,用测量光学系统20取得的表面形状数据被应用到整个样本225(步骤105)。
首先,使得照相机样本基准点BP0和主基准点具有在摄像光学系统300中的物点和像点之间的聚焦关系。在照相机样本基准点BP0以外的部分中,焦点位置由用作焦点位置确定单元的处理单元610基于聚焦传感器440的检测结果和事先取得的表面形状数据来确定。此时,当传感器样本基准点BP1被设置在摄像区域400a中的照相机样本基准点BP0所对应的位置处时,参考照相机样本基准点BP0处的焦点位置来应用事先取得的表面形状数据。也就是说,使得照相机样本基准点BP0处的焦点位置与用作表面形状数据的基准点的传感器样本基准点BP1对应,并且,与传感器样本基准点BP1的差异(表面形状)作为Z方向上的散焦量被应用,由此确定样本的整个表面的焦点位置。当传感器样本基准点BP1被设置在与和照相机样本基准点BP0对应的位置不同的位置时,使得表面形状数据中的照相机样本基准点BP0所对应的位置对应于照相机样本基准点BP0处的焦点位置。然后,将表面形状数据应用到样本的整个表面。
通过这样做,可通过少量聚焦操作取得从样本225的表面到内部的焦点位置。然而,对于摄像部侧的散焦量,考虑摄像光学系统300的光学(横向)倍率β。例如,假设摄像光学系统奇数次形成图像,并在样本上的任意点(Xxy,Yxy)处设置相对于传感器样本基准点BP1的散焦zxy。在这种情况下,在像面侧,在XY平面上的点(-Xxy×β,-Yxy×β)处应用散焦Zxy×β2。
当整个表面实际上被聚焦时,样本台210和摄像元件430之间的相对位置被改变为使得样本台210与摄像元件430具有共轭关系(步骤106)。例如,如图12所示,摄像元件430被结构化为在Z方向上被驱动并且绕X和Y轴可旋转。摄像元件430根据考虑表面形状和倍率β确定的焦点位置而受到驱动,使得能够在样本225对焦(in focus)的情况下进行成像。为了使得整个样本的散焦量最小化,样本台210可在Z方向上受到驱动并且关于X和Y轴被倾斜。
通过上面介绍的过程,对整个表面进行聚焦并取得图像。由于多个摄像元件430被分离地布置在第一实施例的摄像部中,所以不能在一个摄像操作中摄取样本的整体图像。为此原因,有必要通过在相对于与摄像光学系统300的光轴方向垂直的平面移动样本225和摄像元件单元400的同时进行摄像操作并对所取得的独立图像进行合并来形成样本的整体图像。
下面将给出对于当将整个样本摄取为一个图像时在样本225和样本台210的移动与摄像光学系统300和摄像元件单元400之间的关系的介绍。图13A-13H示出这样的情况:其中,多个摄像元件430以网格图案布置,在三次在XY平面上平移样本部200的同时摄取图像,并对所摄取的图像进行合并。图13A-13D示出当在与摄像光学系统300的光轴垂直的方向上平移样本台210以填充摄像元件430之间的间隙的同时摄取图像时摄像元件430与样本图像225A之间的关系。
当第一摄像操作在图13A的位置处进行时,样本225的图像225A的仅其中设置摄像元件的区域(阴影部分)被分离地摄取,如图13E所示。接着,当样本台210被平移并在图13B的位置处进行第二摄像操作时,取得包括前面摄取的图像的图13F的阴影部分的图像。当样本台210被进一步平移并在图13C的位置处进行第三摄像操作时,取得包括前面摄取的图像的图13G的阴影部分的图像。当样本台210被进一步平移并移到图13D的位置并且图像被摄取时,所摄取的图像叠加在通过前三次摄像操作取得的图像上,故能够形成摄像区域的整体图像,如图13H所示。
以这种方式,取得样本的整体图像。为了取得对焦图像,在四个摄像操作的每一个中,通过图14的步骤104到106来进行聚焦。
借助上面介绍的方法,通过使用具有宽广视场和多个摄像元件的光学系统,形成对焦且高分辨率的整体图像。
根据上面介绍的方法,可以更为准确地确定任意位置处的对象物的焦点位置,并在较短时间内取得对象物的整体图像。
第二实施例
在第一实施例中,测量样本225的表面形状,并将照相机样本基准点BP0与主基准点对准。在照相机样本基准点BP0处确定摄像光学系统的焦点位置,并随着表面形状的波动驱动摄像元件或类似物,使得还在除点BP0以外的多个点处确定焦点位置,并取得样本的对焦整体图像。
然而,如果准备好的玻片220在从测量光学系统20到主摄像系统10的运送期间由于冲击等而倾斜,则需要校正倾斜。在这种情况下,可通过根据由三个以上聚焦传感器测量的焦点位置计算样本225的倾斜并且通过样本台210对倾斜进行校正来取得样本的对焦整体图像,其中,三个以上聚焦传感器以不在一直线上对齐的方式被布置在摄像元件单元400中。
将按照图16所示的聚焦过程介绍在这种情况下采用的聚焦方法。这里,跳过对于与第一实施例的摄像过程中那些步骤相同的步骤的介绍,仅仅介绍用于对样本225进行聚焦的步骤。
三个基准点中的一个用作作为整个样本的焦点位置的基准的照相机样本基准点BP0,其他基准点用作倾斜检测点TP(图15A)。首先,在Z方向上驱动样本台210,并通过聚焦传感器440来获取照相机样本基准点BP0和倾斜检测点TP处的焦点位置(步骤201)。
接着,计算当确定照相机样本基准点BP0处的焦点位置时在照相机样本基准点BP0处的焦点位置与在倾斜检测点TP处的焦点位置(Z方向)之间的差异(步骤202)。
接着,根据事先由测量光学系统20测量的表面形状计算照相机样本基准点BP0和倾斜检测点TP处的焦点位置(Z方向)之间的差异(步骤203)。
比较步骤202和步骤203之间的焦点位置差异(步骤204)。当比较结果在预定范围内时,不通过样本台210进行倾斜校正,并完成聚焦。当比较结果在预定范围外时,计算倾斜量(步骤205)。
根据在步骤205中计算的倾斜量来驱动样本台210以便对倾斜进行校正,使得照相机样本基准点BP0和倾斜检测点TP之间的焦点位置(Z方向)差异落在预定范围内(步骤206)。
通过上面介绍的步骤,测量样本225的表面形状,调节照相机样本基准点BP0处的焦点位置,根据表面形状(波动)计算散焦量,并通过驱动样本部200来校正倾斜,因此能够取得样本的对焦整体图像。当倾斜较大时,过程可从步骤206返回到步骤201,并可重复相同的步骤。
这允许更为准确的聚焦。
第三实施例
在第一实施例和第二实施例中,摄像光学系统和测量光学系统的光轴不同。例如,如图17所示,摄像光学系统的光轴可用半反射镜或类似物分割,且光学系统的光轴可部分地彼此一致。在这种情况下,用来自测量光学系统中的光源520的光照亮样本225,且样本225的图像被照相机540摄取。同样,样本225的表面形状用照相机550测量。
这种情况下采用的聚焦方法将按照图18所示聚焦过程来介绍。首先,样本台210被放置在将用主摄像系统10测量的位置处(步骤301),并且,用测量光学系统20测量放置在样本台210上的样本225的尺寸、摄像区域400a、照相机样本基准点BP0以及表面形状(步骤302)。
接着,在XY平面上驱动样本台210以调节样本225的摄像区域,使得照相机样本基准点BP0和聚焦传感器(主基准点)相对于摄像光学系统300具有共轭位置关系(步骤303)。
然后,在Z方向上驱动样本台210的同时用聚焦传感器寻找照相机样本基准点BP0处的焦点位置(步骤304)。此时,样本225被放置为使得照相机样本基准点BP0和聚焦传感器相对于摄像光学系统300具有共轭位置关系。
如第一实施例的步骤105中所描述的,在照相机样本基准点BP0处取得聚焦之后,在主基准点和用作表面形状数据基准点的传感器样本基准点BP1对准的同时,将由测量光学系统20取得的表面形状数据应用到整个样本(步骤305)。
为了对整个样本聚焦,改变样本台与摄像元件之间的相对位置,使得样本台和摄像元件具有共轭位置关系(步骤306)。
在步骤304到306中,类似于第二实施例,可用多个聚焦传感器进行倾斜检测操作。
上面的方法允许以短的时间准确地形成样本的整体图像。
第四实施例
在第一到第三实施例中,用夏克哈特曼波前传感器测量样本的表面形状,在主摄像系统中的基准点处调节聚焦,并基于测量得到的表面形状间接确定整个样本的焦点位置。
如图19所示,多个聚焦传感器440可被设置在摄像元件单元400中的摄像元件430之间,并可仅用聚焦传感器440测量焦点位置。这种情况下采用的聚焦方法将参照示出整体构造图的图20和示出聚焦过程的图21来介绍。
首先,将样本台210放置在将要用主摄像系统10测量的位置处(步骤401),并用测量光学系统20测量样本225的尺寸、摄像区域400a、照相机样本基准点BP0以及表面形状(步骤402)。
接着,在Z方向上驱动样本台210以便调节摄像区域,使得照相机样本基准点BP0和聚焦传感器440(主基准点)相对于摄像光学系统300具有共轭位置关系(步骤403)。
然后,在摄像光学系统300的Z方向上驱动样本台210的同时寻找照相机样本基准点BP0处的样本225的焦点位置,且焦点位置还用放置在不与照相机样本基准点BP0共轭的位置处的聚焦传感器440来测量(步骤404)。
然后,可根据在多个点处测量的焦点位置计算包括不设置聚焦传感器440的部分在内的整个表面的焦点位置(步骤405)。
为了将计算得到的焦点位置应用到整个表面的焦点位置,改变样本与摄像元件之间的相对位置,使得样本与摄像元件具有共轭位置关系(步骤406)。
在步骤404中,为了准确找到焦点位置,可通过在样本台210在XY平面内受到驱动时用聚焦传感器计算焦点位置以增大焦点位置测量点的数量,增大对整个表面聚焦的精度。
在上面介绍的实施例中,本发明的摄像装置被应用到显微镜。尽管在实施例中采用将施加到样本的光的透过光聚焦到像面上的透过型光学系统,然而可采用落射型照明(epi-illumination)光学系统。
尽管已经介绍了某些实施例,然而通过在如第一实施例和第二实施例中的测量光学系统和主摄像系统中并行(同时)地进行操作,可在短时间内摄取多个样本的图像。也就是说,测量光学系统测量第一样本的表面形状,同时,主摄像系统摄取第二样本的图像。
当摄像装置摄取少量样本的图像时,通过如第三实施例和第四实施例中那样将主摄像系统和测量光学系统的光轴部分地对准来使其紧凑化。
尽管已经参照示例性实施例介绍了本发明,但应理解,本发明不限于所公开的示例性实施例。所附权利要求的范围将与最宽广的解释一致,以便涵盖所有这些修改和等同结构以及功能。
本申请要求2011年7月25日提交的日本专利申请No.2011-162157的权益,其整体通过引用结合于此。
Claims (4)
1.一种摄像装置,包括:
测量部,被配置为测量对象物的表面形状;
摄像部,被配置为取得由多个摄像元件在摄像光学系统的像面上形成的对象物的不同区域的图像;
焦点位置检测单元,被配置为检测对象物的焦点位置,在所述焦点位置处,对象物的焦点位置检测点被聚焦在所述像面上;以及
焦点位置确定单元,被配置为基于焦点位置检测单元的检测结果和测量部的测量结果来确定在与对象物的焦点位置检测点不同的点处的对象物的焦点位置,
其中,摄像部基于焦点位置确定单元的确定结果、在图像被聚焦在所述多个摄像元件上的状态下摄取对象物的不同区域的图像。
2.根据权利要求1所述的摄像装置,
其中,测量部获取与对象物的表面上的多个不同点处的在与摄像光学系统的光轴正交的方向上的位置以及在所述光轴的方向上的位置有关的信息,且
其中,焦点位置确定单元通过参考焦点位置检测点处的焦点位置对所述信息进行校正来确定在与焦点位置检测点不同的点处的对象物的焦点位置。
3.根据权利要求1所述的摄像装置,其中,并行进行测量部中的对于用作对象物的第一样本的表面形状测量以及摄像部中的对于与第一样本不同的第二样本的摄像。
4.根据权利要求1所述的摄像装置,其中,测量部用夏克哈特曼波前传感器测量对象物的表面形状。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-162157 | 2011-07-25 | ||
JP2011162157A JP5854680B2 (ja) | 2011-07-25 | 2011-07-25 | 撮像装置 |
PCT/JP2012/068046 WO2013015143A1 (en) | 2011-07-25 | 2012-07-10 | Image pickup apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103688205A true CN103688205A (zh) | 2014-03-26 |
Family
ID=47600994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280036063.1A Pending CN103688205A (zh) | 2011-07-25 | 2012-07-10 | 摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140160267A1 (zh) |
JP (1) | JP5854680B2 (zh) |
CN (1) | CN103688205A (zh) |
WO (1) | WO2013015143A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106027858A (zh) * | 2015-03-31 | 2016-10-12 | 希森美康株式会社 | 细胞摄像装置和细胞摄像方法 |
CN107144516A (zh) * | 2016-03-01 | 2017-09-08 | 株式会社思可林集团 | 一种拍摄装置 |
CN109313352A (zh) * | 2016-06-15 | 2019-02-05 | Q-莱纳公司 | 样品的基于图像的分析 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9360662B2 (en) * | 2011-10-20 | 2016-06-07 | Samsung Electronics Co., Ltd. | Optical measurement system and method for measuring critical dimension of nanostructure |
US9322640B2 (en) * | 2012-08-07 | 2016-04-26 | Samsing Electronics Co., Ltd. | Optical measuring system and method of measuring critical size |
DE102013006994A1 (de) * | 2013-04-19 | 2014-10-23 | Carl Zeiss Microscopy Gmbh | Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop |
US9842256B2 (en) * | 2013-07-17 | 2017-12-12 | International Business Machines Corporation | Detection of astronomical objects |
FR3013128B1 (fr) * | 2013-11-13 | 2016-01-01 | Univ Aix Marseille | Dispositif et methode de mise au point tridimensionnelle pour microscope |
CN104198164B (zh) * | 2014-09-19 | 2017-02-15 | 中国科学院光电技术研究所 | 一种基于哈特曼波前检测原理的检焦方法 |
US10341567B2 (en) * | 2016-03-16 | 2019-07-02 | Ricoh Imaging Company, Ltd. | Photographing apparatus |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11231228A (ja) * | 1998-02-12 | 1999-08-27 | Nikon Corp | 顕微鏡システム |
US5956141A (en) * | 1996-09-13 | 1999-09-21 | Olympus Optical Co., Ltd. | Focus adjusting method and shape measuring device and interference microscope using said focus adjusting method |
JP2004191959A (ja) * | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
JP2007171582A (ja) * | 2005-12-22 | 2007-07-05 | Sysmex Corp | 標本撮像装置及びこれを備える標本分析装置 |
CN101090665A (zh) * | 2004-12-28 | 2007-12-19 | 索尼株式会社 | 生物显像装置 |
CN201050978Y (zh) * | 2007-06-15 | 2008-04-23 | 西安普瑞光学仪器有限公司 | 白光干涉测量样品表面形状精细分布的装置 |
US20090231689A1 (en) * | 2007-05-04 | 2009-09-17 | Aperio Technologies, Inc. | Rapid Microscope Scanner for Volume Image Acquisition |
CN101652626A (zh) * | 2007-04-05 | 2010-02-17 | 株式会社尼康 | 形状测定装置及形状测定方法 |
CN201540400U (zh) * | 2009-11-19 | 2010-08-04 | 福州福特科光电有限公司 | 光纤熔接机的显微成像光路的调节结构 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3329018B2 (ja) * | 1993-08-25 | 2002-09-30 | 株式会社島津製作所 | 赤外顕微鏡 |
US6055054A (en) * | 1997-05-05 | 2000-04-25 | Beaty; Elwin M. | Three dimensional inspection system |
US7064824B2 (en) * | 2003-04-13 | 2006-06-20 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High spatial resoulution imaging and modification of structures |
JP2006039315A (ja) * | 2004-07-28 | 2006-02-09 | Hamamatsu Photonics Kk | 自動焦点装置及びそれを用いた顕微鏡装置 |
JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
US20070031056A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of focusing in automated microscope systems |
FR2889774B1 (fr) * | 2005-08-12 | 2009-10-16 | Thales Sa | Source laser a recombinaison coherente de faisceaux |
US7583389B2 (en) * | 2006-04-07 | 2009-09-01 | Amo Wavefront Sciences, Llc | Geometric measurement system and method of measuring a geometric characteristic of an object |
US7768654B2 (en) * | 2006-05-02 | 2010-08-03 | California Institute Of Technology | On-chip phase microscope/beam profiler based on differential interference contrast and/or surface plasmon assisted interference |
EP2045888B1 (en) * | 2006-07-20 | 2018-11-21 | Nikon Corporation | Optical fiber amplifier, light source device, exposure device, object inspection device, and treatment device |
EP2081071A4 (en) * | 2006-11-30 | 2012-01-25 | Nikon Corp | IMAGING DEVICE AND MICROSCOPE |
EP2947418A1 (en) * | 2008-01-08 | 2015-11-25 | AMO WaveFront Sciences, LLC | Systems and methods for measuring surface shape |
US8325349B2 (en) * | 2008-03-04 | 2012-12-04 | California Institute Of Technology | Focal plane adjustment by back propagation in optofluidic microscope devices |
US8294903B2 (en) * | 2008-09-30 | 2012-10-23 | Panasonic Corporation | Surface shape measurement apparatus and method |
JP5368261B2 (ja) * | 2008-11-06 | 2013-12-18 | ギガフォトン株式会社 | 極端紫外光源装置、極端紫外光源装置の制御方法 |
JP5712342B2 (ja) * | 2008-11-27 | 2015-05-07 | ナノフォトン株式会社 | 光学顕微鏡、及びスペクトル測定方法 |
JP5395507B2 (ja) * | 2009-05-21 | 2014-01-22 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム |
EP2353736A1 (en) * | 2010-01-29 | 2011-08-10 | 3M Innovative Properties Company | Continuous process for forming a multilayer film and multilayer film prepared by such method |
FR2967791B1 (fr) * | 2010-11-22 | 2012-11-16 | Ecole Polytech | Procede et systeme de calibration d'un modulateur optique spatial dans un microscope optique |
JP5829030B2 (ja) * | 2011-03-23 | 2015-12-09 | オリンパス株式会社 | 顕微鏡 |
WO2013010151A1 (en) * | 2011-07-14 | 2013-01-17 | Howard Hughes Medical Institute | Microscopy with adaptive optics |
US8593622B1 (en) * | 2012-06-22 | 2013-11-26 | Raytheon Company | Serially addressed sub-pupil screen for in situ electro-optical sensor wavefront measurement |
-
2011
- 2011-07-25 JP JP2011162157A patent/JP5854680B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-10 CN CN201280036063.1A patent/CN103688205A/zh active Pending
- 2012-07-10 WO PCT/JP2012/068046 patent/WO2013015143A1/en active Application Filing
- 2012-07-10 US US14/234,516 patent/US20140160267A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956141A (en) * | 1996-09-13 | 1999-09-21 | Olympus Optical Co., Ltd. | Focus adjusting method and shape measuring device and interference microscope using said focus adjusting method |
JPH11231228A (ja) * | 1998-02-12 | 1999-08-27 | Nikon Corp | 顕微鏡システム |
JP2004191959A (ja) * | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
CN101090665A (zh) * | 2004-12-28 | 2007-12-19 | 索尼株式会社 | 生物显像装置 |
JP2007171582A (ja) * | 2005-12-22 | 2007-07-05 | Sysmex Corp | 標本撮像装置及びこれを備える標本分析装置 |
CN101652626A (zh) * | 2007-04-05 | 2010-02-17 | 株式会社尼康 | 形状测定装置及形状测定方法 |
US20090231689A1 (en) * | 2007-05-04 | 2009-09-17 | Aperio Technologies, Inc. | Rapid Microscope Scanner for Volume Image Acquisition |
CN201050978Y (zh) * | 2007-06-15 | 2008-04-23 | 西安普瑞光学仪器有限公司 | 白光干涉测量样品表面形状精细分布的装置 |
CN201540400U (zh) * | 2009-11-19 | 2010-08-04 | 福州福特科光电有限公司 | 光纤熔接机的显微成像光路的调节结构 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106027858A (zh) * | 2015-03-31 | 2016-10-12 | 希森美康株式会社 | 细胞摄像装置和细胞摄像方法 |
CN106027858B (zh) * | 2015-03-31 | 2019-07-05 | 希森美康株式会社 | 细胞摄像装置和细胞摄像方法 |
CN107144516A (zh) * | 2016-03-01 | 2017-09-08 | 株式会社思可林集团 | 一种拍摄装置 |
CN107144516B (zh) * | 2016-03-01 | 2019-12-13 | 株式会社思可林集团 | 一种拍摄装置 |
CN109313352A (zh) * | 2016-06-15 | 2019-02-05 | Q-莱纳公司 | 样品的基于图像的分析 |
US11455719B2 (en) | 2016-06-15 | 2022-09-27 | Q-Linea Ab | Image based analysis of samples |
Also Published As
Publication number | Publication date |
---|---|
WO2013015143A1 (en) | 2013-01-31 |
JP2013025251A (ja) | 2013-02-04 |
JP5854680B2 (ja) | 2016-02-09 |
US20140160267A1 (en) | 2014-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103688205A (zh) | 摄像装置 | |
CN110389021B (zh) | 透镜图像产生系统及屈光能力和厚度确定与缺陷检测方法 | |
CN102822666A (zh) | 检查装置、三维形状测定装置、构造物的制造方法 | |
CN114323571B (zh) | 一种光电瞄准系统多光轴一致性检测方法 | |
KR20110010749A (ko) | 관찰 장치 및 관찰 방법 | |
CN110823531B (zh) | 一种数字化光具座 | |
JP3990177B2 (ja) | 顕微鏡装置 | |
JP2015108582A (ja) | 3次元計測方法と装置 | |
CN108200424B (zh) | 一种用于多个tdi ccd探测器视轴对中的调试方法及系统 | |
US20200393233A1 (en) | Method and system for measuring geometric parameters of through holes | |
KR101447857B1 (ko) | 렌즈 모듈 이물 검사 시스템 | |
CN106461382B (zh) | 五轴光学检测系统 | |
JP3992182B2 (ja) | 顕微鏡装置 | |
CN110873639B (zh) | 一种光学检测装置 | |
JP2001166202A (ja) | 焦点検出方法及び焦点検出装置 | |
CN110907470A (zh) | 滤光片检测设备及滤光片检测方法 | |
KR100790706B1 (ko) | 렌즈 초점 거리 측정 장치 | |
JP2003295063A (ja) | 顕微鏡装置 | |
JP2012093116A (ja) | レンズ検査装置及びチャート板 | |
JP2014089257A (ja) | レンズチルト検出装置およびレンズチルト検出方法、並びに、レンズチルト検出装置を用いたカメラモジュール組み立て方法 | |
KR101351000B1 (ko) | 복수 개의 검사 모드를 가지는 인라인 카메라 검사 장치 | |
CN114199766B (zh) | 一种表面缺陷检测装置及检测方法 | |
KR20080023183A (ko) | 기판 표면 에러를 광학적으로 검출하기 위한 장치 | |
JP5356187B2 (ja) | レンズの球欠高さ測定方法および装置 | |
JP2013130687A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140326 |