CN105308492B - 光观察装置、用于其的摄像装置以及光观察方法 - Google Patents

光观察装置、用于其的摄像装置以及光观察方法 Download PDF

Info

Publication number
CN105308492B
CN105308492B CN201480031595.5A CN201480031595A CN105308492B CN 105308492 B CN105308492 B CN 105308492B CN 201480031595 A CN201480031595 A CN 201480031595A CN 105308492 B CN105308492 B CN 105308492B
Authority
CN
China
Prior art keywords
pixel column
light
column groups
rolling
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480031595.5A
Other languages
English (en)
Other versions
CN105308492A (zh
Inventor
伊东克秀
井上贵之
龟山卓生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN105308492A publication Critical patent/CN105308492A/zh
Application granted granted Critical
Publication of CN105308492B publication Critical patent/CN105308492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Abstract

光观察装置(1)具备分割观察对象物(A)的观察光的光分割光学系统(12)、对被分割的光进行成像的成像透镜(13)、被配置于被成像的2个光学图像的成像位置并且在包含于对应于一方的光学图像的成像位置的区域(48a)的像素列组(47a)和包含于对应于另一方的光学图像的成像位置的区域(48b)的像素列组(47b)中能够独立地滚动读出的摄像装置(8)、独立地控制像素列组(47a)和像素列组(47b)中的滚动读出的控制部(9)，控制部(9)以像素列组(47a)中的滚动读出的方向和像素列组(47b)中的滚动读出的方向成为相同的方式进行控制。

Description

光观察装置、用于其的摄像装置以及光观察方法
技术领域
本发明涉及用于观察对象物的光学图像的光观察装置、用于该光观察装置的摄像装置以及光观察方法。
背景技术
在生命科学等的技术领域中，对来自试样的观察光(例如荧光等)对应于波长进行分光，并对其结果被分光的多个光学图像进行观察。例如，在下述非专利文献1中公开有使用1个照相机的双屏显示的显微镜检查技术，在该技术中能够由被安装于显微镜主体的外部的光分割组件来对观察光进行分光，并使用照相机来对被分光的2个观察光进行摄像。另外，在下述专利文献1以及下述专利文献2中公开有在双屏显示的检查技术中所使用的光分割光学系统。
现有技术文献
专利文献
专利文献1：美国专利第5,926,283号公报
专利文献2：美国专利第7,667,761号公报
非专利文献
非专利文献1：K.kinosita,Jr.et al.,“DualviewMicroscopy with a SingleCamra:Real-Time Imaging of Molecular Orientaionsand Calcium”,The Journal ofCell Biology,Volume 115,Number 1,October 1991,pp67-73
发明内容
发明所要解决的技术问题
然而，在上述的现有的显微镜检查技术中，因为由1个照相机来观察2种光学图像，所以在使用CMOS照相机等的采用了滚动读出方式的照相机的情况下，会有2种光学图像的特定的部位上的摄像时机彼此不同的情况，其结果，会处于将试样作为对象的2种光学图像的比较观察变得困难的趋势。
因此，本发明是有鉴于这样的技术问题而完成的发明，其目的在于，提供一种即使在采用滚动读出方式的情况下也容易进行对象物的2种光学图像的比较观察的光观察装置、用于其的摄像装置以及光观察方法。
解决问题的技术手段
为了解决上述技术问题，本发明的一个实施方式所涉及的光观察装置，其特征在于，具备：光分割光学系统，从外部接受对象物的观察光并将观察光分割成第1以及第2光；成像透镜，接受第1以及第2光并分别对第1以及第2光进行成像而形成第1以及第2光学图像；摄像元件，被配置于第1以及第2光学图像的成像位置并且通过排列多列包含多个像素的像素列而构成，在包含于对应于第1光学图像的成像位置的第1区域的多列像素列中的第1像素列组和包含于对应于第2光学图像的成像位置的第2区域的多列像素列中的第2像素列组中能够独立地进行滚动读出；控制部，控制包含于第1区域的第1像素列组和包含于第2区域的第2像素列组中的滚动读出；控制部以第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相同的方式进行控制。
或者，本发明的其他实施方式的光观察方法是使用具有通过排列多列包含多个像素的像素列而构成的第1像素列组、以及邻接于第1像素列组并通过排列多列包含多个像素的像素列而构成的第2像素列组并且能够分别滚动读出第1像素列组和第2像素列组的摄像装置的光观察方法，在该光观察方法中，从外部将对象物的观察光分割成第1以及第2光，对第1光进行成像并以入射到第1像素列组的方式形成第1光学图像，对第2光进行成像并以入射到第2像素列组的方式形成第2光学图像，以第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相同的方式进行控制。
根据这样的光观察装置或者光观察方法，对象物的观察光被分割成第1以及第2光，被分割的第1以及第2光被成像而形成第1以及第2光学图像，第1光学图像由包含于摄像元件的第1区域的第1像素列组而被受光，第2光学图像由包含于摄像元件的第2区域的第2像素列组而被受光。于是，第1以及第2光学图像的检测信号分别从第1以及第2像素列组被独立地滚动读出，第1像素列组中的滚动读出的方向与第2像素列组中的滚动读出方向被设为相同。由此，因为在第1光学图像的检测图像与第2光学图像的检测图像之间容易使在对象物的同一部位上的曝光时机一致，所以能够将2个光学图像的各部位的曝光条件进行均匀化。其结果，能够容易进行使用了2个光学图像的检测图像的比较观察。
再有，本发明的一个实施方式所涉及的摄像装置，其特征在于，是用于从外部将对象物的观察光分割成第1以及第2光并且同时地对基于第1以及第2光生成的第1以及第2光学图像进行摄像的光观察装置的摄像装置，具备：第1像素列组，通过排列多列包含多个像素的像素列而构成；第2像素列组，邻接于第1像素列组并且通过排列多列包含多个像素的像素列而构成；第1信号读出电路，处理来自第1像素列组的信号读出；第2信号读出电路，与第1信号读出电路独立地处理来自第2像素列组的信号读出；第1信号读出电路通过滚动读出来处理第1像素列组中的信号读出，并且以滚动读出的方向成为多列像素列的并列方向上的一个方向的方式进行设定，第2信号读出电路通过滚动读出来处理第2像素列组中的信号读出，并且以滚动读出的方向成为多列像素列的并列方向上的一个方向的方式进行设定。
根据该摄像装置，基于从对象物的观察光进行分割的第1光被形成的第1光学图像能够由包含于摄像装置的第1区域的第1像素列组而被受光。与此同时，基于从对象物的观察光进行分割的第2光被形成的第2光学图像能够由包含于摄像装置的第2区域的第2像素列组而被受光。于是，第1以及第2光学图像的检测信号分别由第1以及第2信号读出电路而从第1以及第2像素列组被独立地滚动读出，第1像素列组中的滚动读出的方向与第2像素列组中的滚动读出的方向被设为相同。由此，因为在第1光学图像的检测图像与第2光学图像的检测图像之间容易使在对象物的同一个部位上的曝光时机一致，所以能够将2个光学图像的各部位的曝光条件进行均匀化。其结果，能够容易进行使用了2个光学图像的检测图像的比较观察。
发明的效果
根据本发明，即使是在采用滚动读出方式的情况下也容易进行对象物的2种光学图像的比较观察。
附图说明
图1是本发明的一个实施方式的光观察装置1的概略结构图。
图2是表示图1的光分割光学装置7的结构的一个例子的透视图。
图3是表示图1的摄像装置8的结构的方块图。
图4是概念性地表示由图1的控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。
图5是概念性地表示由图1的控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。
图6是表示本发明的实施方式所涉及的光观察方法的顺序的流程图。
图7(a)是概念性地表示在双视图模式(double view mode)下的使用时由控制部9进行控制的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
图8(a)是概念性地表示在单视图模式(single view mode)下的使用时由控制部9进行控制的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
图9是概念性地表示由本发明的变形例所涉及的控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。
图10是概念性地表示由本发明的变形例所涉及的控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。
图11(a)是概念性地表示本发明的变形例中的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
图12(a)是概念性地表示比较例中的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
图13(a)是概念性地表示现有例中的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
图14(a)是概念性地表示比较例中的受光面41上的滚动读出的方向的图，(b)是表示对应于其的受光面41上的各个像素列46中的曝光时机的图。
具体实施方式
以下，参照附图，对本发明的光观察装置以及用于其的摄像装置的实施方式进行详细的说明。还有，在附图的说明中将相同的符号标注于相同的要素，省略重复的说明。另外，各个附图是为了说明用而制作的图，以特别强调说明的对象部位的方式进行描绘。因此，图面中的各个构件的尺寸比例并不一定与实物相一致。
图1是本发明的一个实施方式的光观察装置1的概略结构图。本实施方式的光观察装置1是以波长成分分割观察对象物A的观察光并对被分割的2个波长成分的光学图像进行摄像并进行输出的装置。如同图所示，光观察装置1包含搭载观察对象物A的工作台2、射出照射于观察对象物A的照明光l的光源3、对从光源3射出的照明光l进行聚光的准直透镜4、对对应于照明光l的照射而从观察对象物A产生的荧光、反射光等的观察光B1进行聚光的物镜5、从光源3朝着工作台2上的观察对象物A反射照明光l并且透过来自观察对象物A的观察光B1的分束器6、将观察光B1分割成2个并作为2个光学图像进行输出的光分割光学装置7、被配置于由光分割光学装置7进行分割的2个光学图像的成像位置的摄像装置(摄像元件)8、控制摄像装置8的动作的控制部9而构成。在该光分割光学装置7，内置有孔径光阑10、准直透镜11、光分割光学系统12以及成像透镜13。
图2是表示光分割光学装置7的结构的一个例子的透视图。如同图所示，光分割光学装置7在框体22内内置有准直透镜11、成像透镜13、包含前段分色镜25a、后段分色镜25b、前段镜26a、后段镜26b以及修正透镜27的光分割光学系统12而构成。再有，在框体22的一端侧的端面，设置有具有圆形状的开口的孔径光阑10。该孔径光阑10具有能够可变地设定其开口的内径的光圈调整机构15。以下，对光分割光学装置7的各个构成要素的结构进行说明。
该光分割光学装置7以透过分束器6的观察光B1从孔径光阑10能够入射到内部的方式被配置。然后，通过孔径光阑10的观察光B1由准直透镜11而被转换成平行光并沿着准直透镜11的光轴L1被输出。
前段分色镜25a以及后段分色镜25b以能够从框体22的内部的光轴L1上进行装卸的方式被配置。即，这些分色镜25a,25b被一体化并且以能够从框体22内的观察光B1的光路上进行装卸的方式被构成。还有，分色镜25a,25b也可以与后面所述的前段镜26a、后段镜26b以及修正透镜27一起被一体化并且能够被装卸。该前段分色镜25a对从准直透镜11输出的平行光进行分光并在沿着光轴L1的方向上使被分光的第1分割光B2透过。同时，前段分色镜25a对平行光进行分光并在相对于光轴L1垂直的方向上使被分光的第2分割光B3反射。
后段分色镜25b通过进一步使透过了前段分色镜25a的第1分割光B2透过，从而朝着被配置于框体22的另一端侧的成像透镜13输出第1分割光B2。同时，后段分色镜25b反射在由前段分色镜25a进行反射之后经由前段镜26a、修正透镜27以及后段镜26b的第2分割光B3，并朝着成像透镜13输出该第2分割光B3。
前段镜26a在平行于光轴L1的方向上反射从前段分色镜25a输出的第2分割光B3。后段镜26b沿着与光轴L1相交叉的方向朝后段分色镜25b的受光面反射经由前段镜26a的第2分割光B3。修正透镜27被配置于前段镜26a与后段镜26b之间，并且具有进行第2分割光B3的倍率修正或色修正的功能。
成像透镜13以其光轴L2成为平行于光轴L1的方式被支撑，并且以就这样保持光轴L2相对于光轴L1平行的状态不变并在垂直于光轴L1的方向上能够移动的方式被构成。成像透镜13经由分色镜25a,25b而接受从观察光B1被分割的第1以及第2分割光B2,B3，使这些分光B2,B3作为被分离的第1以及第2光学图像而成像于被配置于外部的照相机装置30内的摄像装置8上。此时，通过恰当地调整孔径光阑10的内径、后段分色镜25b或者后段镜26b的角度以及位置、成像透镜13的位置，从而能够在摄像装置8的受光面的被分割为二个的区域对第1以及第2的光学图像进行受光。另一方面，成像透镜13在分色镜25a,25b被拆除的时候仅经由准直透镜11来接受观察光B1，使该观察光B1作为单一的光学图像成像于照相机装置30内的摄像装置8上。此时，通过恰当地调整孔径光阑10的内径和成像透镜13的位置，从而能够在摄像装置8的受光面整体的更加宽的区域对单一的光学图像进行受光。
还有，在光分割光学装置7，也可以设置有检测前段分色镜25a以及后段分色镜25b被装卸的情况并将其检测信号输出至控制部9的开关元件、传感器元件等的检测机构14。另外，也可以将带通滤波器等的波长滤波器配置于经由分色镜25a,25b从观察光B1被分割的第1以及第2分割光B2,B3的光路上。
这样的结构的光分割光学装置7能够兼用于由照相机装置30以单一的光学图像对观察光进行观察的观察模式(以下称之为“单视图模式”)、以及由照相机装置30将观察光分离成2个光学图像并进行观察的观察模式(以下称之为“双视图模式”)的双方。
接着，参照图3，对摄像装置8的详细结构进行说明。如同图所示，摄像装置8具有沿着其受光面41被排列成二维状的多个像素电路42。该像素电路42由将光转换成电荷的光电二极管43、将蓄积于光电二极管43的电荷转换成电信号的放大器44、规定从放大器输出的电信号的读出时机的开关45构成。这样的多个像素电路42沿着受光面41在一个方向(图3的左右方向)上以规定的间隔并以规定个数进行排列而构成像素列46。于是，像素列46构成沿着受光面41在垂直于一个方向的方向(图3的上下方向)上被排列多个并邻接的2个像素列组47a,47b。即，2个像素列组47a,47b分别包含横跨受光面41的中央部来进行配置的多列像素列46中、在中央部将受光面41分割为二个的区域48a,48b内的像素列46。该受光面41的区域48a,48b分别对应于从光分割光学装置7输出的第1以及第2光学图像的成像位置。
再有，摄像装置8在每2个像素列组47a,47b分别具有能够滚动读出的电路结构。具体来说，在包含于区域48a的各个像素电路42的放大器44的输出，连接有包含CDS放大器49a和A/D转换器50a的串联电路，这些串联电路按照像素列46中的像素电路42的排列数被设置并横跨包含于像素列组47a的多列像素列46而沿着像素列46的排列方向被共同地连接。然后，在这些串联电路，共同地连接有数字信号输出电路(信号读出电路)51a。通过这样的结构，由构成包含于像素列组47a的像素列46的像素电路42而被检测出的光学图像的检测信号在每列像素列46上作为数字信号由数字信号输出电路51a而被按顺序读出。
同样，在包含于区域48b的各个像素电路42的放大器44的输出，连接有包含CDS放大器49b和A/D转换器50b的串联电路，这些串联电路横跨包含于像素列组47b的多列像素列46并沿着像素列46的排列方向被共同地连接。然后，在这些串联电路，共同地连接有数字信号输出电路(信号读出电路)51b。通过这样的结构，由构成包含于像素列组47b的像素列46的像素电路42而被检测出的光学图像的检测信号在每列像素列46上作为数字信号由数字信号输出电路51b而被按顺序读出。
另外，在摄像装置8，进一步设置有规定像素电路42中的曝光时机以及信号读出时机的扫描电路52。该扫描电路52在每列像素列46上规定像素电路42的由开关45得到的电信号的读出时机。即，扫描电路5以在每列像素列46按照沿着受光面41的规定的方向的顺序进行来自像素电路42的电信号的读出、所谓以滚动读出进行的方式规定读出时机。在此，扫描电路52以在包含于区域48a的像素列组47a和包含于区域48b的像素列组47b中独立地进行滚动读出的方式规定读出时机。再有，扫描电路52接受来自控制部9的指示信号，并且以在包含于区域48a的像素列组47a和包含于区域48b的像素列组47b中能够独立地设定沿着受光面41的滚动读出的方向的方式被构成。
返回到图1，控制部9被连接于摄像装置8，并且以独立地控制摄像装置8中的来自像素列组47a的滚动读出的方向和摄像装置8中的来自像素列组47b的滚动读出的方向的方式生成指示信号。该控制部9可以是被连接于照相机装置30的外部的计算机末端等的控制装置，也可以是被搭载于摄像装置8上的控制电路。具体来说，控制部9在光分割光学装置7被设定成双视图模式的时候，即在包含前段分色镜25a以及后段分色镜25b的光分割光学系统12(图2)被配置于观察光B1的光路上的时候如以下所述进行控制。具体来说，以像素列组47a中的滚动读出的方向和像素列组47b中的滚动读出的方向在像素列46的并列方向上成为同一方向的方式进行控制。图4是概念性地表示由控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。这样，在像素列组47a中滚动读出的方向被控制成从区域48a的相对于区域48b成相反侧的端部朝着区域48a与区域48b的边界的方向(图4的下方向)，在像素列组47b中滚动读出的方向被控制成从区域48b与区域48a的边界朝着区域48b的相对于区域48a成相反侧的端部的方向(图4的下方向)。
另外，控制部9在光分割光学装置7被设定成单视图模式的时候，即在包含前段分色镜25a以及后段分色镜25b的光分割光学系统12(图2)从观察光B1的光路上被拆除而脱离的时候，如以下所述进行控制。具体来说，以像素列组47a中的滚动读出的方向和像素列组47b中的滚动读出的方向在像素列46的并列方向上成为相反的方向的方式进行控制。图5是概念性地表示由控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。这样，在像素列组47a中滚动读出的方向被控制成从区域48a与区域48b的边界朝着区域48a的相对于区域48b成相反侧的端部的方向(图4的上方向)，在像素列组47b中滚动读出的方向被控制成从区域48b与区域48a的边界朝着区域48b的相对于区域48a成相反侧的端部的方向(图4的下方向)。
在此，控制部9也可以在检测前段分色镜25a以及后段分色镜25b被装卸的情况的检测机构被设置于光分割光学装置7的情况下如以下所述以切换读出模式的方式进行控制。即，控制部9在检测到包含前段分色镜25a以及后段分色镜25b的光分割光学系统12被配置于光路上的情况的时候，以自动地切换到图4所示那样的像素列组47a,47b中的滚动读出的方向成为同一方向的第1读出模式的方式进行控制。另一方面，控制部9在检测到光分割光学系统12从光路上脱离的情况的时候，以自动地切换到图5所述那样的像素列组47a,47b中的滚动读出的方向成为相反方向的第2读出模式的方式进行控制。还有，在检测机构没有被设置于光分割光学装置7的情况下，控制部9对应于观察者的选择也可以切换读出模式。
接着，对使用了光观察装置1的本实施方式所涉及的光观察方法的顺序进行详细的说明。图6是表示光观察方法的顺序的流程图。
如果开始观察处理的话，则首先为了决定滚动读出方向，观察者选择观察模式(S0)。具体来说，观察者使用在控制部9的显示部所显示的选择画面来选择单视图模式或者双视图模式。在双视图模式的情况下，观察光B1被光分割光学系统12分割成第1分割光B2和第2分割光B3(S11)。之后，第1分割光B2和第2分割光B3被成像，并且形成对应于第1分割光B2的第1光学图像和对应于第2分割光B3的第2光学图像(S21)。以像素列组47a位于形成第1光学图像的位置并且像素列组47b位于形成第2光学图像的位置的方式配置摄像装置8。在单视图模式的情况下，选择滚动读出的方向在像素列组47a和像素列组47b中成为相同的第1读出模式，第1光学图像以及第2光学图像以第1读出模式被摄像(S31)。基于所获得的图像数据制作对应于第1光学图像的第1图像和对应于第2光学图像的第2图像，并且显示于控制部9的显示部(S4)。
另一方面，在选择单视图模式的情况下，观察光B1被成像并且形成光学图像(S22)。在单视图模式的情况下，选择滚动读出的方向在像素列组47a和像素列组47b中成为相反方向的第2读出模式，光学图像以第2读出模式被摄像(S32)。基于由摄像获得的图像数据制作对应于光学图像的图像，并且显示于控制部9的显示部(S4)。
根据以上所说明的光观察装置1、用于该光观察装置1的摄像装置8以及光观察方法，观察对象物A的观察光被光分割光学系统12分割成第1以及第2分割光，被分割的第1以及第2分割光被成像透镜13成像并形成第1以及第2光学图像，第1光学图像由包含于摄像装置8的区域48a的像素列组47a而被受光，第2光学图像由包含于摄像装置8的区域48b的像素列组47b而被受光。于是，第1以及第2光学图像的检测信号分别由控制部9的控制而从像素列组47a,47b被独立地滚动读出，像素列组47a中的滚动读出的方向和像素列组47b中的滚动读出的方向被设为相同。由此，因为在第1光学图像的检测图像与第2光学图像的检测图像之间容易使在观察对象物A的同一部位上的曝光时机一致，所以能够将2个光学图像的各部位的曝光条件进行均匀化。其结果，能够容易进行使用了2个光学图像的检测图像的比较观察。
在图7(a)中概念性地表示在双视图模式下的使用时由控制部9进行控制的受光面41上的滚动读出的方向，对应于此，在图7(b)中表示在双视图模式下的使用时的受光面41上的各个像素列46中的曝光时机。如同图所示，通过滚动读出的方向在区域48a和区域48b中被设定为同一，从而包含于区域48a的多列像素列46的曝光期间TA1以从区域48a的端部朝着受光面41的中央部仅以规定期间按顺序延迟的方式被设定，并且包含于区域48b的多列像素列46的曝光期间TB1以从受光面41的中央部朝着区域48b的端部仅以规定期间按顺序延迟的方式被设定。其结果，对应于检测图像的相同部位的像素列46的曝光期间TA1,TB1在区域48a,48b之间变得容易一致。由此，在观察对象物A移动的情况下或在观察光由于荧光试剂的退色等而发生变化的情况下，能够正确地比较第1光学图像的检测图像和第2光学图像的检测图像。
在此，控制部9对于读出模式能够切换第1读出模式和第2读出模式。另外，数字信号输出电路51a,51b以及扫描电路52以由控制部9的控制而从第1读出模式和第2读出模式中选择读出模式的方式进行工作。由此，能够对在双视图模式下的使用时的2个光学图像的各个部位的曝光条件进行均匀化。另一方面，在以单视图模式进行使用的情况下，能够防止发生单一的光学图像的检测图像中的线状的明暗差。其结果，即使是在以单视图模式和双视图模式进行共用的情况下，也能够进行高精度下的光学图像的观察。
在图8(a)中概念性地表示在单视图模式下的使用时由控制部9进行控制的受光面41上的滚动读出的方向，对应于此，在图8(b)中表示在单视图模式下的使用时的受光面41上的各个像素列46中的曝光时机。如同图所示，通过在区域48a和区域48b中相反地设定滚动读出的方向，从而包含于区域48a的多列像素列46的曝光期间TA2以从受光面41的中央部朝着区域48a的端部仅以规定期间按顺序延迟的方式被设定，并且包含于区域48b的多列像素列46的曝光期间TB2以从受光面41的中央部朝着区域48b的端部仅以规定期间按顺序延迟的方式被设定。其结果，在检测图像上在中央部邻接的像素列46的曝光期间TA2,TB2在区域48a,48b之间变得容易一致。由此，能够防止发生单一的光学图像的检测图像中的区域48a与区域48b的边界上的线状的明暗差。
相对于此，在图12中表示以在单视图模式使用时像素列组47a,47b中的滚动读出的方向成为同一方向的第1读出模式来进行设定的情况下的受光面41上的各个像素列46中的曝光时机。如果如以上所述进行设定的话，则因为对应于检测图像的中央部的邻接的2个像素列46的曝光期间TA3,TB3在区域48a,48b之间成为不一致而不优选。在此情况下，在单一的光学图像的检测图像中在区域48a与区域48b的边界上的线状的明暗差变得容易产生。
再有，在图13中表示使用了现有的滚动读出方式的摄像装置的情况下的受光面41上的各个像素列46中的曝光时机。这样的情况下，通过在受光面41整体上在一个方向上执行滚动读出，从而多列像素列46的曝光期间T4以从受光面41的一端部朝着另一端部仅以规定期间按顺序延迟的方式被设定。其结果，在以双视图模式进行使用的情况下对应于2个检测图像的相同部位的像素列46的曝光期间T4容易变得不一致。由此，在观察对象物A移动的情况下或在观察光由于荧光试剂的退色等而发生变化的情况下，第1光学图像的检测图像和第2光学图像的检测图像的曝光条件不同，不能够正确地比较它们。
另外，在图14中表示在双视图模式使用时以第2读出模式进行设定的情况下的受光面41上的各个像素列46中的曝光时机。在该情况下，对应于检测图像的相同部位的像素列46的曝光期间TA5,TB5在区域48a,48b之间变得不一致。由此，第1光学图像的检测图像和第2光学图像的检测图像的曝光条件不同，不能够正确地比较它们。
还有，本发明并不限定于上述的实施方式。
例如，光观察装置1的控制部9所设定的第1以及第2读出模式能够如以下所述进行变更。
图9以及图10是概念性地表示由本发明的变形例所涉及的控制部9进行控制的受光面41上的像素列组47a,47b中的滚动读出的方向的图。如图9所示，在双视图模式使用时，像素列组47a,47b中的滚动读出的方向也可以均被设定成与图4所表示的方向相反的方向。另外，如图10所示，在单视图模式使用时，像素列组47a,47b中的滚动读出的方向也可以均被设定成与图5所表示的方向相反的方向。
另外，控制部9可以以能够对每个像素列组47a,47b独立地改变曝光时间的方式进行构成，也可以以能够对每个像素列组47a,47b将曝光时间控制为不同的时间的方式进行构成。在图11中表示本发明的变形例中的受光面41上的各个像素列46中的曝光时机。如同图所示，控制部9能够控制每个像素列组47a,47b上的滚动读出的方向并且能够将各个像素列组47a,47b的曝光期间TA6,TB6的长度设定成不同的时间。在此情况下，各个像素列46的信号读出的开始时机被设定成刚过了各个像素列的曝光期间TA6,TB6之后，信号读出的开始时机以在各个区域48a,48b之间同步的方式被控制。即，对应于检测图像的同一部位的区域48a,48b内的2个像素列46的信号读出的时机以互相同步的方式被控制。
在现有的双视图模式下的观察光的摄像中，分别对不同的波长区域的光学图像进行摄像，但是，在各个光学图像的光强度有较大差别的情况下，以它们成为相同程度的方式通过减光滤波器等。在图11所表示的本实施方式中，因为在2个光学图像之间能够独立地设定曝光时间所以通过使光强度大的一方的光学图像的曝光时间比另一方短，从而即使不使用减光滤波器也能够将作为检测图像被检测出的光强度设为相同程度。再有，通过使2个区域48a,48b内的2个像素列46的信号读出的时机同步，从而能够在2个光学图像的检测图像之间可靠地使在观察对象物的同一部位上的曝光时机一致，并且能够进一步将2个光学图像的各个部位的曝光条件均匀化。
另外，构成光观察装置1的光分割光学装置7的结构并不限定于图2所表示的结构，也可以使用在美国专利第5,926,283号公报或美国专利第7，676，761号公报等中所记载的光分割光学系统、在文献“K.Kinosita,Jr.et al.,‘DualViewMicroscopy with a SingleCamra:Real-Time Imaging of Molecular Orientaionsand Calcium’,The Journal ofCell Biology,Volume 115,Number 1,October 1991,pp67-73”中所记载的光学系统等的现有结构的光分割光学装置。另外，光分割光学系统12并不限定于包含分色镜的结构。
在此，在上述光观察装置中，优选，控制部以能够切换第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相同那样的第1读出模式、以及第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相反方向那样的第2读出模式的方式进行控制。另外，在上述光观察方法中，优选，选择第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相同那样的第1读出模式、以及第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相反方向那样的第2读出模式。如果采用该结构的话，则在由摄像元件同时地对2个光学图像进行摄像的情况下通过切换到第1读出模式，从而能够对2个光学图像的各个部位的曝光条件进行均匀化。另一方面，在由摄像元件对单一的光学图像进行摄像的情况下通过切换到第2读出模式，从而能够防止发生单一的光学图像的检测图像中的线状的明暗差。其结果，即使是在以对2个光学图像进行摄像的观察模式和对单一的光学图像进行摄像的观察模式进行共用的情况下也能够进行光学图像的高精度下的观察。
另外，还优选光分割光学系统以能够从观察光的光路上进行装卸的方式进行构成，控制部以在光分割光学系统被配置于光路上的时候切换到第1读出模式并且在光分割光学系统从光路上脱离的时候切换到第2读出模式的方式进行控制。在此情况下，因为以对应于光分割光学系统的装卸切换第1以及第2读出模式的方式进行控制，所以在以对2个光学图像进行摄像的观察模式和对单一的光学图像进行摄像的观察模式进行共用的情况下容易进行光学图像的高精度下的观察。
再有，还优选控制部能够分别可变地控制第1像素列组中的滚动读出的曝光时间和第2像素列组中的滚动读出的曝光时间。这样的话，则能够自由地设定对第1光学图像进行摄像的时候的灵敏度和对第2光学图像进行摄像的时候的灵敏度，并且能够提高2个光学图像的摄像条件的自由度。
再有，还优选控制部将第1像素列组中的滚动读出的曝光时间和第2像素列组中的滚动读出的曝光时间控制为不同的时间。这样的话，则能够以使对第1光学图像进行摄像的时候的灵敏度和对第2光学图像进行摄像的时候的灵敏度不同的方式进行设定，并且能够提高2个光学图像的摄像条件的自由度。
再有，还优选控制部以第1像素列组中的滚动读出的开始时机和第2像素列组中的滚动读出的开始时机进行同步的方式进行控制。根据这样的结构，能够在第1光学图像的检测图像与第2光学图像的检测图像之间可靠地使在对象物的同一部位上的曝光时机一致，并且能够进一步对2个光学图像的各个部位的曝光条件进行均匀化。
在此，在上述摄像装置中，还优选第1以及第2信号读出电路切换第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相同那样的第1读出模式、以及第1像素列组中的滚动读出的方向和第2像素列组中的滚动读出的方向在多列像素列的并列方向上成为相反方向那样的第2读出模式。如果采用该结构，则在由摄像元件同时地对2个光学图像进行摄像的情况下切换到第1读出模式，从而能够对2个光学图像的各个部位的曝光条件进行均匀化。另一方面，在由摄像元件对单一的光学图像进行摄像的情况下切换到第2读出模式，从而能够防止发生单一的光学图像的检测图像中的线状的明暗差。其结果，即使是在以对2个光学图像进行摄像的观察模式和对单一的光学图像进行摄像的观察模式进行共用的情况下也能够进行光学图像的高精度下的观察。
产业上的利用可能性
本发明以用于观察对象物的光学图像的光观察装置、用于该光观察装置的摄像装置以及光观察方法为使用用途，即使是在采用了滚动读出方式的情况下也容易进行对象物的2种光学图像的比较。
符号的说明
1…光观察装置、7…光分割光学装置、8…摄像装置、9…控制部、12…光分割光学系统、13…成像透镜、42…像素电路、46…各个像素列、47a…第1像素列组、47b…第2像素列组、48a…第1区域、48b…第2区域、51a…数字信号输出电路(第1信号读出电路)、51b…数字信号输出电路(第2信号读出电路)、A…观察对象物、B1…观察光、B2…第1分割光、B3…第2分割光。

Claims (6)

1.一种光观察装置，其特征在于：
具备：
光分割光学系统，从外部接受对象物的观察光并将所述观察光分割成第1以及第2光；
成像透镜，接受所述第1以及第2光并分别对所述第1以及第2光进行成像而形成第1以及第2光学图像；
摄像元件，被配置于所述第1以及第2光学图像的成像位置并且通过排列多列包含多个像素的像素列而构成，在包含于对应于所述第1光学图像的成像位置的第1区域的所述多列像素列中的第1像素列组和包含于对应于所述第2光学图像的成像位置的第2区域的所述多列像素列中的第2像素列组中能够独立地进行滚动读出；以及
控制部，控制包含于所述第1区域的所述第1像素列组和包含于所述第2区域的所述第2像素列组中的滚动读出，
所述控制部以所述第1像素列组中的滚动读出的方向和所述第2像素列组中的滚动读出的方向在所述多列像素列的并列方向上成为相同的方式进行控制，
所述控制部以能够切换所述第1像素列组中的滚动读出的方向和所述第2像素列组中的滚动读出的方向在所述多列像素列的并列方向上成为相同的第1读出模式、以及所述第1像素列组中的滚动读出的方向和所述第2像素列组中的滚动读出的方向在所述多列像素列的并列方向上成为相反方向的第2读出模式的方式进行控制，
所述光分割光学系统以能够从所述观察光的光路上进行装卸的方式进行构成，
所述控制部以在所述光分割光学系统被配置于所述光路上的时候切换到所述第1读出模式并且在所述光分割光学系统从所述光路上脱离的时候切换到所述第2读出模式的方式进行控制。
2.如权利要求1所述的光观察装置，其特征在于：
所述控制部以分别能够改变所述第1像素列组中的滚动读出的曝光时间和所述第2像素列组中的滚动读出的曝光时间的方式进行控制。
3.如权利要求1或2所述的光观察装置，其特征在于：
所述控制部将所述第1像素列组中的滚动读出的曝光时间和所述第2像素列组中的滚动读出的曝光时间控制为不同的时间。
4.如权利要求1或2所述的光观察装置，其特征在于：
所述控制部以所述第1像素列组中的滚动读出的开始时机和所述第2像素列组中的滚动读出的开始时机进行同步的方式进行控制。
5.如权利要求3所述的光观察装置，其特征在于：
所述控制部以所述第1像素列组中的滚动读出的开始时机和所述第2像素列组中的滚动读出的开始时机进行同步的方式进行控制。
6.一种光观察方法，其特征在于：
是使用具有通过排列多列包含多个像素的像素列而构成的第1像素列组、以及邻接于所述第1像素列组并且通过排列多列包含多个像素的像素列而构成的第2像素列组并且能够分别对所述第1像素列组和所述第2像素列组进行滚动读出的摄像装置的光观察方法，
在所述光观察方法中，
在选择了第1观察模式的情况下，将来自外部的对象物的观察光分割成第1以及第2光，
对所述第1光进行成像并以入射到所述第1像素列组的方式形成第1光学图像，
对所述第2光进行成像并以入射到所述第2像素列组的方式形成第2光学图像，
在选择了第2观察模式的情况下，以将所述观察光作为单一的光学图像进行成像并入射到摄像元件上的方式形成，
在选择了所述第1观察模式的情况下，选择所述第1像素列组中的滚动读出的方向和所述第2像素列组中的滚动读出的方向在所述多列像素列的并列方向上成为相同的第1读出模式，在所述第1读出模式下对所述第1光学图像以及所述第2光学图像进行摄像，
在选择了所述第2观察模式的情况下，选择所述第1像素列组中的滚动读出的方向和所述第2像素列组中的滚动读出的方向在所述多列像素列的并列方向上成为相反方向的第2读出模式，在所述第2读出模式下对所述单一的光学图像进行摄像。
CN201480031595.5A 2013-06-03 2014-02-14 光观察装置、用于其的摄像装置以及光观察方法 Active CN105308492B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-116917 2013-06-03
JP2013116917A JP6261883B2 (ja) 2013-06-03 2013-06-03 光観察装置、それに用いる撮像装置、及び光観察方法
PCT/JP2014/053533 WO2014196224A1 (ja) 2013-06-03 2014-02-14 光観察装置、それに用いる撮像装置、及び光観察方法

Publications (2)

Publication Number Publication Date
CN105308492A CN105308492A (zh) 2016-02-03
CN105308492B true CN105308492B (zh) 2019-04-19

Family

ID=52007880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480031595.5A Active CN105308492B (zh) 2013-06-03 2014-02-14 光观察装置、用于其的摄像装置以及光观察方法

Country Status (6)

Country Link
US (2) US9995920B2 (zh)
JP (1) JP6261883B2 (zh)
CN (1) CN105308492B (zh)
DE (1) DE112014002654T5 (zh)
GB (1) GB2530941B (zh)
WO (1) WO2014196224A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6285112B2 (ja) * 2013-06-03 2018-02-28 浜松ホトニクス株式会社 光分割装置
FR3090875B1 (fr) 2018-12-22 2020-12-11 Commissariat Energie Atomique Procédé d'observation d'un échantillon dans deux bandes spectrales, et selon deux grandissements.
US20230061667A1 (en) * 2020-02-13 2023-03-02 Hamamatsu Photonics K.K. Imaging unit and measurement device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1615009A1 (en) * 2004-07-06 2006-01-11 Cairn Research Limited Optical imaging device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115065A (en) * 1995-11-07 2000-09-05 California Institute Of Technology Image sensor producing at least two integration times from each sensing pixel
AU731476C (en) 1997-07-12 2001-12-06 Roper Scientific, Inc. Multi-spectral two-dimensional imaging spectrometer
US6689998B1 (en) * 2000-07-05 2004-02-10 Psc Scanning, Inc. Apparatus for optical distancing autofocus and imaging and method of using the same
JP3703385B2 (ja) 2000-10-19 2005-10-05 キヤノン株式会社 撮像装置
JP4979893B2 (ja) * 2005-03-23 2012-07-18 ソニー株式会社 物理量分布検知装置並びに物理情報取得方法および物理情報取得装置
JP2008103992A (ja) * 2006-10-19 2008-05-01 Matsushita Electric Ind Co Ltd 固体撮像装置
US7995124B2 (en) * 2007-09-14 2011-08-09 Omnivision Technologies, Inc. Image sensor apparatus and method for improved dynamic range with multiple readout circuit paths
JP2010098516A (ja) * 2008-10-16 2010-04-30 Sony Corp 撮像素子およびその制御方法並びにカメラ
JP5271838B2 (ja) * 2009-07-30 2013-08-21 浜松ホトニクス株式会社 点滅信号検出装置
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012182657A (ja) * 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013121027A (ja) * 2011-12-07 2013-06-17 Sony Corp 固体撮像素子およびその駆動方法、カメラシステム
JPWO2013084839A1 (ja) * 2011-12-09 2015-04-27 ソニー株式会社 撮像装置、電子機器、輝尽発光検出スキャナーおよび撮像方法
JP2014147006A (ja) * 2013-01-30 2014-08-14 Sony Corp 固体撮像装置および固体撮像装置の駆動方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1615009A1 (en) * 2004-07-06 2006-01-11 Cairn Research Limited Optical imaging device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dual-view microscopy with a single camera real time imaging of molecular orientations and calcium;Kazuhiko Kinosita等;《The Journal of Cell Biology》;19910131;第115卷(第1期);第67-73页

Also Published As

Publication number Publication date
GB2530941A (en) 2016-04-06
JP6261883B2 (ja) 2018-01-17
GB2530941B (en) 2020-09-09
DE112014002654T5 (de) 2016-03-24
JP2014235333A (ja) 2014-12-15
US9995920B2 (en) 2018-06-12
GB201521983D0 (en) 2016-01-27
WO2014196224A1 (ja) 2014-12-11
US20180329195A1 (en) 2018-11-15
US10684459B2 (en) 2020-06-16
US20160103311A1 (en) 2016-04-14
CN105308492A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
US8908026B2 (en) Imaging method and microscope device
US9088729B2 (en) Imaging apparatus and method of controlling same
CN102053359B (zh) 显微镜装置以及显微镜观察方法
CN101971072B (zh) 图像传感器和焦点检测装置
US9632301B2 (en) Slide scanner with a tilted image
JP5806504B2 (ja) 撮像装置およびこれを備える顕微鏡システム
US20100302364A1 (en) Three dimensional shape measurement apparatus and method
US9041930B1 (en) Digital pathology system
CN102313980A (zh) 信息处理装置、镜台波动校正方法和程序
JP5532459B2 (ja) 顕微鏡システム
JP2008020498A (ja) 自動焦点検出装置
KR20200041983A (ko) 실시간 오토포커스 포커싱 알고리즘
CN105308492B (zh) 光观察装置、用于其的摄像装置以及光观察方法
Martins et al. R2OBBIE-3D, a fast robotic high-resolution system for quantitative phenotyping of surface geometry and colour-texture
CN104992446A (zh) 非线性光照自适应的图像拼接方法及其实现系统
WO2013183233A1 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
WO2015107872A1 (en) Image acquisition apparatus and control method thereof
US20130162801A1 (en) Microscope
JP2018036660A (ja) 光観察装置、及びそれに用いる撮像装置
US20230232124A1 (en) High-speed imaging apparatus and imaging method
JP2001016493A (ja) 多画角カメラ装置
US8917397B2 (en) Microscope illumination and calibration apparatus
Baron Visual Examination and Photography in Failure Analysis
WO2019106730A1 (ja) 顕微鏡システム
KR20220083702A (ko) 서브픽셀 라인 스캐닝

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant