CN105007392B - 图像形成装置、图像形成方法、图像形成系统 - Google Patents
图像形成装置、图像形成方法、图像形成系统 Download PDFInfo
- Publication number
- CN105007392B CN105007392B CN201510142669.9A CN201510142669A CN105007392B CN 105007392 B CN105007392 B CN 105007392B CN 201510142669 A CN201510142669 A CN 201510142669A CN 105007392 B CN105007392 B CN 105007392B
- Authority
- CN
- China
- Prior art keywords
- light
- illumination
- image
- sample
- sample slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 13
- 238000005286 illumination Methods 0.000 claims abstract description 212
- 238000003384 imaging method Methods 0.000 claims abstract description 111
- 230000007246 mechanism Effects 0.000 claims description 26
- 230000005855 radiation Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 230000000149 penetrating effect Effects 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 description 31
- 239000011521 glass Substances 0.000 description 19
- 238000004806 packaging method and process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 239000000758 substrate Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 239000012120 mounting media Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010827 pathological analysis Methods 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 239000002609 medium Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000000399 optical microscopy Methods 0.000 description 3
- 230000001144 postural effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000005622 photoelectricity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 206010057855 Hypotelorism of orbit Diseases 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 210000004276 hyalin Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
本发明涉及图像形成装置、图像形成方法、图像形成系统。图像形成装置具备:拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;以及照明系统,其以样本切片为基准从多个不同的照射方向依次出射照明光,所述照明系统用照明光照射样本切片,放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光。从多个不同的照射方向依次用作为照明光的第一光照射样本切片,在其照射中通过图像传感器来取得多个第一颜色图像。从多个不同的照射方向的一部分方向,用第二光照射样本切片,在其照射中通过图像传感器来取得至少一个第二颜色图像。根据多个第一颜色图像以及至少一个第二颜色图像,生成高分辨率图像。
Description
技术领域
本公开涉及图像形成装置、图像形成方法、图像形成系统。
背景技术
在病理诊断中,以疾病的确定诊断、病变扩散的判定等为目的,从体内的器官、肿瘤切取组织,并进行观察。此时,所切取的组织切片薄切成数微米的厚度以能够在显微镜下进行观察,制成被玻璃夹住的状态下的病理载片(标本)。病理诊断是在判定肿瘤的良性、恶性时等必须进行的检查,因此在病理诊断时制成的标本的数量在各医院的每个医院每日少说也有数百片左右。病理标本与放射线图像等不同,难以以电子数据的形式进行保存。因此,通常半永久性地保存标本本身,以使能够在以后对所制成的标本进行确认。
以往,为了观察生物体组织等的微观构造而使用了显微镜。显微镜利用透镜对透过了观察对象的光或者反射后的光进行放大。观察者注视通过放大后的光形成的像。若使用借助照相机来拍摄显微镜图像并将其显示于显示器的数字显微镜,则能够实现多人同时观察、远程观察等。照相机置于显微镜的成像点,并拍摄由显微镜的透镜放大后的像。
专利文献1公开了一种通过CIS(Contact Image Sensing:接触式图像传感)方式来观察微观结构(构造)的技术。在CIS方式的情况下,将观察对象直接载置于图像传感器并进行拍摄。由于不使用由透镜进行的像的放大,所以图像传感器的像素尺寸决定分辨率。即,像素尺寸越小,能够越详细地拍摄微观构造。
现有专利文献
专利文献1:日本特开平4-316478号公报
发明内容
如上所述,对于通过以往的CIS方式进行的拍摄而言,无法实现超过由图像传感器的像素尺寸所决定的分辨率的分辨率。
本公开的非限定性且例示性的一技术方案是能够实现超过由图像传感器的像素尺寸所决定的分辨率的分辨率的图像形成装置。
从本说明书及附图中可知晓本公开的一技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到,无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
本公开的一技术方案所涉及的图像形成装置具备:拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;照明系统,其以所述样本切片为基准从多个不同的照射方向依次出射照明光,用所述照明光照射所述样本切片,该照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光;控制单元,其与所述拍摄单元以及所述照明系统连接,控制所述拍摄单元以及所述照明系统;以及图像处理单元,其从所述图像传感器取得多个图像的数据,将所述多个图像进行合成,生成与所述多个图像各自相比分辨率更高的所述样本切片的高分辨率图像,所述控制单元从所述多个不同的照射方向,依次用作为所述照明光的所述第一光照射所述样本切片,在其照射中通过所述图像传感器取得多个第一颜色图像,并且,从所述多个不同的照射方向的一部分方向,用作为所述照明光的所述第二光照射所述样本切片,在其照射中通过所述图像传感器来取得至少一个第二颜色图像,所述图像处理单元根据所述多个第一颜色图像以及所述至少一个第二颜色图像,生成所述高分辨率图像。
此外,这些总括性或者具体的技术方案可以由系统、方法、集成电路、计算机程序或者计算机可读取的记录介质来实现,也可以由装置、系统、方法、集成电路、计算机程序以及计算机可读取的记录介质的任意的组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开,能够不使用透镜而实现显微镜,因此能够实现省空间和低成本。
附图说明
图1是表示制作病理诊断用的显微镜用标本A01的方法的一个例子的图。
图2是示意性地表示利用显微镜进行观察的状态下的显微镜用标本A01的剖面的图。
图3是对CIS方式的观察方法的原理进行说明的图。
图4是表示本公开的第一实施方式所涉及的显微镜用标本的例示性的制作方法的图。
图5是示意性地表示第一实施方式的具备图像传感器B01以及封装件12的显微镜用标本11的剖面结构的一个例子的图。
图6是示意性地表示显微镜用标本11以及插槽C03的剖面结构的一个例子的图。
图7是示意性地表示显微镜用标本11以及插槽C03的剖面结构的一个例子的图。
图8是表示第一实施方式所涉及的图像形成装置的构成例的图。
图9是表示第一实施方式的图像形成装置所具备的照明系统的一个例子的俯视图。
图10是表示图9所示的照明系统与图像传感器的关系的立体图。
图11是表示图9所示的照明系统的更加详细的结构的俯视图。
图12是表示第一实施方式的图像形成装置所具备的照明系统的另一例子的俯视图。
图13是表示图12所示的照明系统与图像传感器的关系的立体图。
图14A是表示第一实施方式的图像形成装置的动作的一个例子的图。
图14B是表示第一实施方式的图像形成装置的动作的一个例子的图。
图14C是表示第一实施方式的图像形成装置的动作的一个例子的图。
图15A是表示第一实施方式的图像形成装置的动作的另一例子的图。
图15B是表示第一实施方式的图像形成装置的动作的另一例子的图。
图16A是示意性地表示在第一实施方式中通过图像传感器取得被来自某一角度的照明光照射的被拍摄体的像的动作的剖视图。
图16B是表示一个像素所占的光电二极管(PD)的面积比率的例子的俯视图。
图17A是示意性地表示通过图16A所示的动作取得的像的像素的配置的俯视图。
图17B是示意性地表示在图16A所示的照射状态下取得的生物体图像I01的图。
图18是示意性地表示在第一实施方式中通过图像传感器取得被来自另一角度的照明光照射的被拍摄体的像的动作的剖视图。
图19A是示意性地表示通过图18所示的动作取得的像的像素的配置的俯视图。
图19B是示意性地表示在图18所示的照射状态下取得的生物体图像K01的图。
图20是示意性地表示在第一实施方式中通过图像传感器取得被来自又一角度的照明光照射的被拍摄体的像的动作的剖视图。
图21A是示意性地表示通过图20所示的动作取得的像的像素的配置的俯视图。
图21B是示意性地表示在图20所示的照射状态下取得的生物体图像L01的图。
图22是示意性地表示在第一实施方式中通过图像传感器取得被来自又一角度的照明光照射的被拍摄体的像的动作的剖视图。
图23A是示意性地表示通过图22所示的动作取得的像的像素的配置的俯视图。
图23B是示意性地表示在图22所示的照射状态下取得的生物体图像M01的图。
图24A是示意性地表示第一实施方式中的构成例的框图。
图24B是表示合成图像的生成过程的一个例子的图。
图25A是表示比较例的图像的图。
图25B是表示通过第一实施方式的图像处理得到的高分辨率图像的一个例子的图。
图25C是表示比较例的图像的图。
图26是表示第一实施方式中的动作的一个例子的时序图。
图27是表示本公开的第二实施方式所涉及的图像形成系统的构成例的概略图。
图28是表示具有使插槽C03的姿势变化的照射角度调整机构C10的照明系统C09的例子的概略图。
图29是表示具有对照明光向样本切片入射的角度进行调整的照明角度调整单元的照明系统C09的结构的一个例子的概略图。
图30是表示具有对照明光向样本切片入射的角度进行调整的照明角度调整单元的照明系统C09的结构的另一例子的概略图。
具体实施方式
显微镜在医疗领域中用于细胞观察。通过观察细胞的形态等,能够辨别是否患病,在患病的情况下,也能够诊断其良性和恶性的程度。在被称为病理诊断的诊断中,将从患者身上采集到的检体薄切成能够对细胞进行观察的4μm左右的厚度。另外,由于细胞是透明的,并且显微镜像的对比度低,所以实施染色,以使得容易观察细胞的构造。
首先,参照图1,对制作病理诊断用的显微镜用标本A01的方法的一个例子进行说明。
如图1所示,薄切的切片A02载置于载玻片(透明片)A03。载玻片A03典型而言具有厚度为1mm、长边方向的长度为76mm、短边方向的长度为26mm的尺寸。切片A02通过连同载玻片A03一起浸于染色液A04而被染色。当染色液附着于切片A02时,切片A02就成为样本切片(以下,有时称为“染色切片A05”)。为了进行染色切片A05的保护以及固定,将封固剂A06施于载玻片A03上。之后,通过载置盖玻片A07,完成显微镜用标本A01。
图2是示意性地表示在利用显微镜来观察的状态下的显微镜用标本A01的剖面的图。
如图2所示,在载玻片A03上载置有染色切片A05。盖玻片A07经由封固剂A06而固定于载玻片A03。染色切片A05在被封固剂A06包围的状态下,位于盖玻片A07与载玻片A03之间。
在将显微镜用标本A01放置于光学显微镜来观察的情况下,从显微镜用标本A01的下侧照射从光源G01出射的照明光G02。照明光G02透过载玻片A03、染色切片A05、封固剂A06以及盖玻片A07,入射到显微镜的物镜G03。
在通过这样的光学显微镜进行显微镜用标本A01的观察时,存在倍率的设定、观察区域的设定需要时间这一问题。
接下来,参照图3对CIS方式的观察方法的原理进行说明。
图3所示的显微镜用标本E01具备图像传感器B01来代替盖玻片A07。该显微镜用标本E01具备:透明片(这里是载玻片)A03;经由封固剂A06而固定在载玻片A03上的图像传感器B01;以及被封固剂A06包围的状态的染色切片(被拍摄体)A05。作为图像传感器B01,能够采用使多个光电转换单元在拍摄面内排列为行及列状的固体拍摄元件。
光电转换单元典型而言是形成于半导体层或者半导体基板的光电二极管。光电转换单元接收入射光而生成电荷。二维图像传感器的分辨率取决于拍摄面上的光电转换单元的排列间距或者排列密度。近年来,光电转换单元的排列间距缩短至可见光的波长程度。图像传感器B01的典型例是CCD(Charge Coupled Device)图像传感器、或者MOS(Metal OxideSemiconductor)型图像传感器。
在拍摄时,照明光G02经过载玻片A03、染色切片A05、封固剂A06而到达显微镜用标本E01上的图像传感器B01。图像传感器B01与未图示的电路电连接,执行拍摄动作。图像传感器B01取得染色切片A05的像,输出与染色切片A05的透光率分布(浓度分布)对应的图像信号。由此,得到染色切片A05的像。
根据这样的CIS方式的观察方法,在进行拍摄的元件与染色切片A05(被拍摄体)之间不存在透镜等光学系统。但是,由于在图像传感器B01的拍摄面高密度地配置有微小的光电转换单元(光电二极管),所以能够取得表示染色切片A05的细微的构造的图像。以下,对分辨率进行简单的说明。
上述光学显微镜的分辨率由两个点分辨率来定义。根据瑞利准则,由下面的式(1)来表示两个点光源的分辨率δ。
式(1)
这里,λ是光的波长,NA是物镜的数值孔径。
例如在物镜的NA为0.25、λ为555nm时,根据式(1)可知分辨率δ为1.35μm。为了通过CIS方式来实现与该分辨率δ相当的分辨率,将所使用的图像传感器的像素间距设定为1.35μm即可。假设在欲以该分辨率的2倍分辨率来进行拍摄的情况下,使图像传感器的像素间距减小为一半的约0.6μm即可。但是,使图像传感器的像素构造进一步微细化却很难,并且会导致制造成本的上升。
在本公开的实施方式中,对于图像传感器,从多个照射方向照射被拍摄体,借助通过了比像素尺寸更小的区域的光来取得多个图像,将这些图像进行合成来提高分辨率。
一般而言,为了取得彩色图像,使用具备彩色马赛克式滤光器的彩色用图像传感器。然而,在这种图像传感器上,同一颜色的像素的排列周期有所扩大,因此分辨率会降低。为了避免这种分辨率的降低,使用不具备彩色马赛克式滤光器的单色用图像传感器,并且在以时间顺序向样本切片照射不同颜色的光例如红色(R)、绿色(G)以及蓝色(B)的光作为照明光的同时,在各个颜色的光的照明下进行拍摄即可。由此,例如得到红色(R)图像、绿色(G)图像、以及蓝色(B)图像。能够用它们来合成彩色图像。
然而,若针对多个照射方向的全部方向,均要取得例如红色(R)、绿色(G)、以及蓝色(B)用的图像,则拍摄次数增加,并且所取得的图像的数据量变得庞大。在本公开的实施方式中,通过采用以下说明的结构,能够抑制这种数据量的增加,并且能够取得分辨率高的图像。
本公开的一技术方案的概要如下。
本公开的图像形成装置在一实施方式中,具备:拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;照明系统,其以样本切片为基准从多个不同的照射方向依次出射照明光,用照明光照射样本切片;控制单元,其与拍摄单元以及照明系统连接,控制拍摄单元以及照明系统;以及图像处理单元,其从图像传感器取得多个图像的数据,将多个图像进行合成,生成与多个图像各自相比分辨率更高的样本切片的高分辨率图像。照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光。控制单元从多个不同的照射方向,依次用作为照明光的第一光照射样本切片,在其照射中通过图像传感器取得多个第一颜色图像。另外,从多个不同的照射方向的一部分方向,用作为照明光的第二光照射样本切片,在其照射中通过图像传感器来取得至少一个第二颜色图像。图像处理单元根据多个第一颜色图像以及至少一个第二颜色图像,生成高分辨率图像。
在一实施方式中,拍摄单元以能够拆装的方式支承具有样本切片和图像传感器的显微镜用标本,在支承显微镜用标本的状态下与图像传感器电连接。
在一实施方式中,照明系统用从至少四个不同的照射方向出射的第一光来照射样本切片。图像传感器在用第一光对样本切片进行照射时,分别取得样本切片的不同部分的像即至少四个不同的第一颜色图像,图像处理单元根据至少四个不同的第一颜色图像,生成样本切片的高分辨率图像。
在一实施方式中,照明系统放射在第三波长带域具有峰值的第三光。控制单元从多个不同的照射方向的一部分方向,用作为照明光的第三光照射样本切片,在其照射中通过图像传感器来取得至少一个第三颜色图像。
在一实施方式中,第一光是具有495nm以上且570nm以下的波长的光。第二光是具有620nm以上且750nm以下的波长的光或者是具有450nm以上且小于495nm的波长的光。
在一实施方式中,第一光是具有495nm以上且570nm以下的波长的光。第二光是具有620nm以上且750nm以下的波长的光。第三光是具有450nm以上且小于495nm的波长的光。
在一实施方式中,照明系统具有依次移动到与多个不同的照射方向对应的多个不同的位置并出射照明光的光源。
在一实施方式中,照明系统具有配置于与多个不同的照射方向对应的多个不同的位置、并依次出射照明光的多个光源。
在一实施方式中,照明系统具有使样本切片以及图像传感器的位置和方向的至少一方变化的机构。
一个实施方式所涉及的图像形成装置具备对照明光向样本切片入射的角度进行调整的照明角度调整单元。照明角度调整单元对照明光相对于样本切片的入射角度进行调整,以使照明系统从多个不同的照射方向依次出射的照明光透过样本切片的不同部分而入射到图像传感器的光电转换单元。
本公开的图像形成方法在一实施方式中,包括:以样本切片为基准从多个不同的照射方向依次出射照明光,用照明光照射样本切片的步骤;通过配置在透过了样本切片的光所入射的位置的图像传感器,取得与多个不同的照射方向对应而不同的多个图像的步骤;以及将多个图像进行合成,生成与多个图像各自相比分辨率更高的样本切片的高分辨率图像的步骤。用照明光照射样本切片的步骤包括:用在第一波长带域具有峰值的第一光从多个不同的照射方向照射样本切片的步骤;以及用在第二波长带域具有峰值的第二光从多个不同的照射方向的一部分方向照射样本切片的步骤。取得多个图像的步骤包括:从多个不同的照射方向,依次用作为照明光的第一光照射样本切片,在其照射中取得多个第一颜色图像的步骤;以及从多个不同的照射方向的一部分方向,用作为照明光的第二光照射样本切片,在其照射中取得至少一个第二颜色图像的步骤。
本公开的图像形成系统在一实施方式中,具备:拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;照明系统,其以样本切片为基准从多个不同的照射方向依次出射照明光,用照明光照射样本切片;以及计算机。照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光。计算机执行:从多个不同的照射方向,依次用作为照明光的第一光照射样本切片,在其照射中通过图像传感器来取得多个第一颜色图像的步骤;从多个不同的照射方向的一部分方向,用作为照明光的第二光照射样本切片,在其照射中通过图像传感器来取得至少一个第二颜色图像的步骤;以及根据多个第一颜色图像以及至少一个第二颜色图像,生成具有比各第一颜色图像的分辨率高的分辨率的高分辨率图像。
本公开的图像形成方法中,从所述第一方向照射在第一波长带域具有峰值的第一光,取得表示从所述第一方向照射所述第一光的第一方向数据,通过图像传感器接收所述第一光透过了试料的第一部分的光,所述图像传感器输出第一图像数据,从所述第一方向照射在第二波长带域具有峰值的第二光,取得表示从所述第一方向照射所述第二光的第二方向数据,通过所述图像传感器接收所述第二光透过了所述第一部分的光,所述图像传感器输出第二图像数据,从第二方向照射所述第一光,取得表示从所述第二方向照射所述第一光的第三方向数据,通过所述图像传感器接收所述第一光透过了所述试料的第二部分的光,所述图像传感器输出第三图像数据,根据所述第一数据、所述第二数据、所述第三数据、所述第一方向数据、所述第二方向数据、所述第三方向数据,生成第一图像,从所述第二方向不照射所述第二光。
本公开所涉及的图像形成装置的实施方式具备拍摄单元,该拍摄单元以能够拆装的方式支承包括样本切片和配置为供透过了该样本切片的光入射的图像传感器的显微镜用标本。在此应当注意的方面在于,显微镜用标本本身具备图像传感器。也可以将这样的显微镜用标本称为“电子显微镜用标本”。拍摄单元在支承这样的显微镜用标本的状态下与图像传感器电连接。
本公开所涉及的图像形成装置的实施方式具备照明系统,该照明系统以上述的显微镜用标本的样本切片为基准从多个不同的照射方向依次出射照明光,用照明光照射样本切片。该照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光。另外,该照明系统也可以放射在第三波长带域具有峰值的第三光。第一光例如可以是具有495nm以上且570nm以下的波长的光。第二光以及第三光分别可以是具有620nm以上且750nm以下的波长的光以及具有450nm以上且小于495nm的波长的光。此外,为了便于说明,有时将具有495nm以上且570nm以下的波长的光记为“绿色的光”,将具有620nm以上且750nm以下的波长的光记为“红色的光”,将具有450nm以上且小于495nm的波长的光记述为“蓝色的光”。
该照明系统只要具有使向样本切片入射的照明光的角度(照射角度)变化的功能,其具体结构可以是任意的。照明系统为了使“照射角度”变化,可以具备使光源移动的机构、以及使样本切片移动的机构(例如测角机构)的一方或者两方。
本公开所涉及的图像形成装置还具备控制单元与图像处理单元。控制单元与拍摄单元以及照明系统连接,控制拍摄单元以及照明系统。图像处理单元从支承于拍摄单元的显微镜用标本的图像传感器取得多个图像的数据,将多个图像进行合成,生成与多个图像各自相比分辨率更高的样本切片的高分辨率图像。
上述的控制单元从多个不同的照射方向,依次用作为照明光的第一光照射样本切片,在其照射中通过图像传感器来取得多个第一颜色图像。另外,控制单元从多个不同的照射方向的一部分方向,用作为照明光的第二光照射样本切片,在其照射中通过图像传感器来取得至少一个第二颜色图像。在一个具体例中,第一颜色图像可以是用绿色的光作为照明光来照射试料而取得的图像,第二颜色图像可以是利用红色的光作为照明光来照射试料而取得的图像。样本切片大多被染色为特定的颜色,并且在通过两种不同原色的混合而显示的彩色图像中也能够包含十分有益的信息。
此外,控制单元也可以在照明系统能够放射第三光的情况下,从多个不同的照射方向的一部分方向用作为照明光的第三光照射样本切片,在其照射中通过图像传感器来取得至少一个第三颜色图像。通过三种不同原色的混合而显示的彩色图像能够以较高的程度再现以人眼感知的图像的颜色信息,因此适用于由医生等进行的诊断。
本公开的图像处理单元根据多个第一颜色图像以及至少一个第二颜色图像,生成具有比各第一颜色图像的分辨率高的分辨率的图像。由后述可知,通过将从多个不同的照射方向依次用作为照明光的第一光照射样本切片、并在其照射中通过图像传感器而取得的多个第一颜色图像进行合成而生成的图像是分辨率相对较高的图像。另一方面,通过从多个不同的照射方向的一部分方向用作为照明光的第二光照射样本切片、并在其照射中通过图像传感器而取得的至少一个第二颜色图像是分辨率相对较低的图像。着眼于即使三个原色中的一部分的颜色的图像的分辨率较低、也能够生成分辨率较高的合成图像的情况,完成了本公开所涉及的图像处理单元。
以下,参照附图对本公开的实施方式进行详细的说明。
此外,以下说明的实施方式均表示总括性或者具体的例子。以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置、位置以及连接方式、步骤、步骤的顺序等均是一个例子,并不是限定本公开的意思。另外,对于以下的实施方式的构成要素中的未记载于表示最上位概念的独立权利要求的构成要素,作为任意的构成要素来进行说明。
此外,这些总括性或者具体的方式可以由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以由系统、方法、集成电路、计算机程序或者记录介质的任意的组合来实现。
(实施方式1)
首先,参照图4对本公开的实施方式所涉及的显微镜用标本的例示性的制作方法进行说明。
如图4所示,薄切的切片A02载置于载玻片(透明片)A03。切片A02连同载玻片A03一起浸于染色液A04而被染色。当染色液附着于切片A02时,切片A02成为染色切片A05。为了实现染色切片A05的保护以及固定,将封固剂A06施于载玻片A03上。之后,取代图1所示的盖玻片A07,载置图像传感器B01。此外,在图4所示的例子中,对于图像传感器B01,从其背面侧连接有封装件12。这样,完成显微镜用标本11。
图5是示意性地表示具备图像传感器B01以及封装件12的显微镜用标本11的剖面结构的一个例子的图。在图示的例子中,图像传感器B01收容在封装件12内。图像传感器B01与封装件12通过线状的电极(接合线)F01而电连接。图像传感器B01与封装件12的电连接不限定于图5所示的例子,电极F01也无需具有线状的形状。图示的封装件12具有形成将图像传感器B01收容的空间的底面以及壁面(侧壁)。图像传感器B01以及封装件12的结构本身可以与公知的图像传感器封装件的结构相同。此外,在图5所示的例子中,载玻片A03的宽度(在附图中为水平方向的尺寸)比封装件12的宽度小。当然,载玻片A03的宽度也可以比封装件12的宽度大。
图6是示意性地表示本公开的实施方式中能够使用的显微镜用标本11、以及以能够拆装的方式支承该显微镜用标本11的拍摄单元的一部分的图。在后面对拍摄单元整体的结构进行叙述。该拍摄单元具备装填显微镜用标本11的插槽C03。插槽C03与电路基板C05电连接。插槽C03与电路基板C05的电连接例如能够通过设置于插槽C03的背面的多个端子与电路基板C05上的配线或者电极焊盘接触来实现。电路基板C05只要具有公知的结构即可,例如可以是多层印刷配线基板。插槽C03能够通过将公知的电子部件安装于电路基板的各种方法而安装于电路基板C05。在封装件12的内表面,设置有用于将图像传感器B01与外部电路电连接的端子13。插槽C03具有配置成与封装件12的端子13电连接的多个端子C04。
图7示意性地表示显微镜用标本11装填于插槽C03的状态下的一个例子。显微镜用标本11借助插槽C03或者其他机构,暂时相对于插槽C03固定。插槽C03的端子C04通过装填而经由封装件12的端子13与图像传感器B01电连接。插槽C03的结构不限定于这样的例子。插槽C03与图像传感器B01之间的电连接也不限定于本例。
在图7所示的状态下,用来自上方的照明光照射显微镜用标本11,透过了染色切片A05的照明光入射到图像传感器B01。这样,执行多次所需的拍摄。若针对拍摄对象的显微镜用标本11的拍摄结束,则将该显微镜用标本11从插槽C03取下。向插槽C03装填作为下个拍摄对象的另一显微镜用标本11。
图8是示意性地表示本实施方式所涉及的图像形成装置10的结构的一个例子的图。
图8所示的图像形成装置10具备使光经由装填于插槽C03的显微镜用标本11的载玻片A03而入射到图像传感器B01的照明系统C09。在后面对照明系统C09的结构以及动作进行叙述。在图8所示的例子中,照明系统C09位于被拍摄单元90支承的显微镜用标本11的上方。然而,本公开的实施方式并不限定于这样的例子。照明系统C09与显微镜用标本11的上下关系也可以反转,连结两者的线也可以从垂直方向倾斜。
在图示的例子中,图像形成装置10具备控制装置(计算机)C06。计算机C06可以是处理器等搭载于装置的电路,也可以是独立的装置。换言之,计算机C06可以是与拍摄单元90以及/或者照明系统C09分开的装置。在图8所例示的结构中,计算机C06具备控制单元120、图像处理单元140、以及存储器145。控制单元120通过控制装填于插槽C03的状态下的显微镜用标本11的图像传感器B01以及照明系统C09,使图像传感器B01进行显微镜用标本11中的染色切片的拍摄。
如参照图7进行的说明,对于封装件12而言,若装填于插槽C03,则与插槽C03电连接。插槽C03经由图7所示的电路基板C05与图8所示的计算机C06连接。
对于通过拍摄得到的图像数据,实施由图像处理单元140进行的合成以及像素插补的处理。通过这些处理,生成提高了分辨率的染色切片的图像。所生成的图像例如能够显示于显示器C07,并能够保存在存储器145或者数据库148中。
图9是示意性地表示本公开的实施方式中能够使用的照明系统C09中的光源构件的配置例的俯视图。在图9所示的例子中,25个光源构件20排列成行及列状(矩阵状)。这里,光源构件20的5行以及5列的排列(5×5排列)形成于照明系统C09的光出射侧面。
如图10所示,利用具备排列成矩阵状的光源构件20的照明系统C09,能够使照明光从不同角度入射到显微镜用标本中的图像传感器B01。从光源构件20放射的照明光对于图像传感器B01而言实际上是平行光。例如,在照明系统C09具备至少四个光源构件20的情况下,能够从至少四个不同的方向,依次使照明光入射到显微镜用标本内的图像传感器B01。此外,照明系统C09中的各光源构件20也可以是LED等发光元件与彩色滤光片组合而成的元件。另外,在各个光源构件20也可以设置有用于调整光线的扩散度的光学元件、反射镜等。
在本实施方式中,如图11所示,位于照明系统C09的光出射侧面的中央的光源构件20a能够由分别在不同的波长带域具有峰值的三个LED芯片20G、20R、20B构成。三个LED芯片20G、20R、20B分别放射在第一波长带域具有峰值的第一光、在第二波长带域具有峰值的第二光、以及在第三波长带域具有峰值的第三光。在本实施方式中,第一光、第二光以及第三光分别是绿色、红色、以及蓝色的光。此外,光源构件20a也可以无需由多个LED芯片构成,而是单一的白色LED芯片。另外,光源构件20a也可以是放电管,还可以是激光元件。
在本实施方式中,位于中央的光源构件20a以外的24个光源构件20b放射第一光、在本例中放射绿色的光。光源构件20b典型而言具有LED芯片20G。
具有这种结构的照明系统C09能够以装填于插槽C03的状态的显微镜用标本11的样本切片为基准,用从不同的25个照射方向出射的照明光,依次照射样本切片。该照明系统C09能够从不同的25个照射方向出射在第一波长带域具有峰值的第一光(在本例中为绿色的光)。在本例中,照明系统C09从一个照射方向出射在第二波长带域具有峰值的第二光(在本例中为红色的光)以及在第三波长带域具有峰值的第三光(在本例中为蓝色的光)。
图12表示照明系统C09的另一构成例。在本例中,一个光源构件22进行移动以从多个不同的光源位置24放射光。该能够移动的光源构件22能够选择性或者同时放射在第一波长带域具有峰值的第一光(在本例中为绿色的光)、在第二波长带域具有峰值的第二光(在本例中为红色的光)、以及在第三波长带域具有峰值的第三光(在本例中为蓝色的光)。这样的光源构件22例如可以具备与位于图11所示的照明系统C09的中央的光源构件20a相同的结构。
使光源构件22移动的机构是任意的。例如,通过使用使可动部沿X轴以及Y轴的方向移动的两个步进马达,能够使光源构件22在任意的位置发光。
如图13所示,若能够使光源构件22移动,则能够使照明光从不同角度入射到显微镜用标本的图像传感器B01。从光源构件22放射的照明光对于图像传感器B01而言实际上是平行光。此外,该光源构件22也可以是发光元件与彩色滤光片组合而成的元件。另外,在该光源构件22也可以设置有用于调整光线的扩散度的光学元件、反射镜等。
在应用图12所示的照明系统C09的情况下,例如从中央的光源位置24c,依次向图像传感器B01入射三种颜色不同的照明光。从另一光源位置24向图像传感器B01入射一种颜色的照明光。
本公开的照明系统并不限定于上述的例子。例如,光源构件的个数以及配置布局并不限定于图示的例子。图9所示的固定有多个光源构件的照明系统可以具备至少四个光源构件。
通过使用这样的照明系统C09,能够进行以下说明的动作。
首先,参照图14A。从位于25个光源位置中的最初的光源位置的光源构件20b放射第一光,在用第一光照射显微镜用标本11的同时,通过显微镜用标本11中的图像传感器B01来进行样本切片的拍摄。从图像传感器B01向拍摄单元90读出通过拍摄得到的图像(第一颜色图像)的数据,并将其发送至控制用计算机C06。一边替换发光的光源构件的位置一边重复执行取得第一颜色图像的数据这种动作。
接下来,参照图14B。在本例中,从位于25个光源位置的中央的光源构件20a放射第一光,在用第一光照射显微镜用标本11的同时通过显微镜用标本11中的图像传感器B01来进行样本切片的拍摄。从图像传感器B01向拍摄单元90读出通过拍摄得到的图像(第一颜色图像)的数据,并将其发送至控制用计算机C06。另外,从该光源构件20a放射第二光,在用第二光照射显微镜用标本11的同时通过显微镜用标本11中的图像传感器B01来进行样本切片的拍摄。从图像传感器B01向拍摄单元90读出通过拍摄得到的图像(第二颜色图像)的数据,并将其发送至控制用计算机C06。进而从该光源构件20a放射第三光,在用第三光照射显微镜用标本11的同时通过显微镜用标本11中的图像传感器B01来进行切片试料的拍摄。从图像传感器B01向拍摄单元90读出通过拍摄得到的图像(第三颜色图像)的数据,并将其发送至控制用计算机C06。
接下来,参照图14C。从位于25个光源位置中的最后的光源位置的光源构件20b放射第一光,在用第一光照射显微镜用标本11的同时通过显微镜用标本11中的图像传感器B01来进行样本切片的拍摄。如上所述,从图像传感器B01向拍摄单元90读出通过拍摄得到的图像(第一颜色图像)的数据,并将其发送至控制用计算机C06。
此外,光源构件20的发光顺序是任意的。也可以使位于中央的光源构件20a最先发光,取得第一颜色图像、第二颜色图像以及第三颜色图像。在使位于中央的光源构件20a发光的状态下取得第一颜色图像后,无需连续地取得第二颜色图像以及第三颜色图像。另外,进行三种颜色的发光的光源构件20a的位置也无需是照明系统C09的中央,进行三种颜色的发光的光源构件的个数也并不限定于一个。
接下来,参照图15A以及图15B,对以能够移动的方式支承一个或者多个光源构件的实施方式进行说明。
在本实施方式中,使光源构件22移动到多个光源位置,并依次用来自各光源位置的照明光照射显微镜用标本11。在拍摄所需的曝光时间足够短的情况下,也可以使光源构件22不停止而边使其移动边进行拍摄。在本实施方式中,例如,在光源构件22到达显微镜用标本11的正上方时,用波长不同的第一~第三光依次照射显微镜用标本11内的被拍摄体并进行拍摄。在该情况下,若光源构件22在显微镜用标本11的正上方停止,则是有益的。
接下来,进一步详细地对本公开所涉及的图像形成装置以及图像形成方法的实施方式进行说明。
图16A是对切换照明光的照射角度来拍摄放大率为2倍的生物体图像的方法进行说明的图。图16A是表示从染色切片的正上方照射照明光的状态。
光源H01从CIS方式的显微镜用标本E01的正上方照射照明光H02。光源H01设置于相对于显微镜用标本E01的大小而言充分远离的位置。因此,将照明光H02视作平行光。此外,也可以在光路上配置对从光源放射的光进行准直校正而使其成为平行光的光学系统。在该情况下,能够使光源接近显微镜用标本E01。
图示的图像传感器B01具备:半导体基板H03;光电二极管H04;配线层H05;覆盖配线层H05的遮光层H06;以及覆盖半导体基板H03中的光入射的一侧的面的透明层H07。透过了染色切片A05的照明光H02中的入射至光电二极管H04的部分通过光电二极管H04进行光电转换,生成构成图像信号的电荷。图像传感器B01的结构不限定于图示的例子。
图16B是表示图像传感器B01中的一个像素区域的俯视图。如图16B所示,一个像素区域所包含的光电二极管(PD)的面积比一个像素区域的面积小。这里,“一个像素区域的面积”由水平方向的像素间距与垂直方向的像素间距之积来决定。在本例中,光电二极管(PD)的面积相对于一个像素区域的面积的比率(开口率)约为25%。图像传感器B01的拍摄面中的光电二极管(PD)以外的区域被遮光层H06覆盖。在本例中,在图像传感器B01中,未设置用于提高开口率的微透镜阵列。根据本公开的实施方式,开口率越小,能够使分辨率越高。
在图16A所示的照射状态下,分别透过了染色切片A05中的区域H08、区域H09、区域H10的光入射到对应的光电二极管H04。由区域H08的浓度决定处于正下方的光电二极管H04的信号电平。同样地,由区域H09的浓度决定处于其正下方的光电二极管H04的信号电平,由区域H10的浓度决定处于其正下方的光电二极管H04的信号电平。本说明书中的区域的“浓度”是指染色切片上的区域的“光学浓度(OD)”。因此,图示的三个光电二极管H04各自所生成的信号电荷的大小与区域H08、区域H09、区域H10的透光率对应。
另一方面,照明光中的入射至遮光层H06的部分与光电二极管H04的光电转换无关。因此,透过了染色切片A05的光中的入射至遮光层H06的部分不反映于图像传感器B01输出的图像信号。在图16A所示的例子中,透过了区域H11、H12的光不反映于图像信号。
在图16A所示的例子中,附图中与纸面平行的剖面内的光电二极管H04的横向宽度与遮光层H06的横向宽度相等。这里,图像传感器B01是在二维平面内呈行及列状地排列有光电二极管H04的面形状的区域传感器。因此,如图17A所示,染色切片A05中的供照明光向光电二极管H04入射的区域在行及列方向上是离散的。如图16A所示,区域H08、区域H09以及区域H10处于光电二极管H04的正上方。因此,这些区域各自的浓度决定光电二极管H04的信号电平,通过图像传感器B01而检测为生物体图像的像素值。此时,区域H11、区域H12处于遮光层H06的正上方,不反映于生物体图像的像素值。
虽然对区域H08、区域H09以及区域H10进行了说明,但是对于区域I02、区域I03以及区域I04而言也成立。从光源H01照射光而拍摄的生物体图像I01(参照图17B)是由表示区域H08、区域H09及区域H10、区域I02、区域I03以及区域I04的浓度或者透光率的像素值构成的图像。
这里,关注图17A所示的像素I06。照明光H02中的入射到像素I06内的光电二极管H04的部分,是透过了染色切片A05的区域H09、区域H12、区域H14以及区域H17中的区域H09的光。在像素I06中,透过了位于区域H09附近的区域H12、区域H14、区域H17的光均被遮光层H06遮盖。通过使图像传感器B01具有遮光层H06,能够对像素I06的大小的1/4大小的区域(子像素区域)进行拍摄。
在本实施方式中,将放射G色光(典型而言是绿色的光)的G光源、放射B色光(典型而言是蓝色的光)的B光源、以及放射R色光(典型而言是红色的光)的R光源置于光源H01的位置。因此,能够从图16A所示的照射方向,使G色光、B色光、R色光作为照明光H02而依次照射于被拍摄体。这样,在照射各色的照明光H02时进行拍摄,取得三张图像(G图像、B图像、R图像)。
图18表示用来自与图16A所示的照射方向不同的照射方向的照明光照射CIS方式的显微镜用标本E01而拍摄生物体图像的状态。在图18所示的例子中,从光源J01发出的照明光J02,从染色切片A05的右上方入射到染色切片A05。光源J01设置于相对于CIS方式的显微镜用标本E01的大小而言充分远离的位置,因此照明光J02视作平行光。本实施方式中的光源J01是放射G色光的G光源。在以下的说明(图18、图20、图22)中,从与图16A所示的照射方向不同的照射方向照射被拍摄体的照明光是G色光。
在图18所示的照射状态下,分别透过了染色切片A05中的区域H11、区域H12的光,入射到对应的光电二极管H04。区域H11的浓度决定图18中的处于区域H11的左斜下方的光电二极管H04的信号电平。同样地,区域H12的浓度决定图18中的处于区域H12的左斜下方的光电二极管H04的信号电平。换言之,图示的左侧的两个光电二极管H04各自所生成的信号电荷与区域H11、区域H12的透光率对应。
另一方面,照明光中的入射至遮光层H06的部分与光电二极管H04的光电转换无关,不反映于图像传感器B01输出的图像信号。在图18所示的照射状态下,照明光中的透过了区域H08、区域H09、区域H10的部分不反映于图像信号。
图19A所示的区域中的供向光电二极管H04入射的光通过的区域是区域H11、H12、K02、K03,它们在纵向和横向上分散地配置。即,当关注与图19A所示的Y轴垂直的剖面时,无论区域H11、H12、K02、K03中的哪一个,光电二极管H04都位于其左斜下方。而且,各区域的浓度决定光电二极管H04的输出电平,并形成生物体图像的像素值。另一方面,透过了区域H08、区域H09、区域H10等的光入射到遮光层H06,因此不反映于生物体图像的像素值。因此,在使光源J01发光的状态下拍摄的生物体图像K01(参照图19B)是由与区域H11、区域H12、区域K02、区域K03的浓度或者透过率对应的像素值构成的图像。
关注图19A所示的像素K04。在像素K04中,照明光J02中的透过了区域H12的部分入射到光电二极管H04。照明光J02中的透过了像素K04所包含的区域H09、区域H17、区域H14的部分均被遮光层H06遮盖。透过使图像传感器B01具有遮光层H06,能够对像素大小的1/4大小的区域进行拍摄。
图20表示用来自与图16A以及图18所示的照射方向不同的照射方向的照明光照射CIS方式的显微镜用标本E01而拍摄生物体图像的状态。在图20所示的例子中,从沿Y轴方向移动的光源J01发出的照明光J02,从染色切片A05的右上方入射到染色切片A05。光源J01设置于相对于CIS方式的显微镜用标本E01的大小而言充分远离的位置,因此照明光J02视作平行光。
在图18所示的照明状态下,使光源沿X轴方向移动。在图20所示的照明状态下,使光源沿Y轴方向移动。由此,对染色切片的区域H13、区域H14、区域H15进行拍摄。照明光J02中的透过了区域H09、区域I03的部分入射到遮光层H06,因此不被利用于拍摄。
图21A所示的区域中的供向光电二极管H04入射的光通过的区域是区域L02、L03、L04、H13、H14、H15、L05、L06、L07,它们在纵向和横向上分散地配置。上述各区域的浓度决定光电二极管H04的输出电平,并形成生物体图像的像素值。另一方面,透过了区域H08、H09、H10、H11、H12、H17等的光入射到遮光层H06,不反映于生物体图像的像素值。因此,在图20所示的位置使光源J01发光的状态下拍摄的生物体图像L01(参照图21B)是由与区域L02、L03、L04、H13、H14、H15、L05、L06、L07的浓度或者透过率对应的像素值构成的图像。
若关注图21A所示的像素L08,则照明光J02中的透过了区域H14的部分入射到光电二极管H04。照明光J02中的透过了像素L08内的区域H09、区域H17、区域H12的部分被遮光层H06遮盖。透过使图像传感器B01具有遮光层H06,能够对像素大小的1/4大小的区域进行拍摄。
图22表示从光源H01的位置向X轴与Y轴的等分线方向(这里是二等分线的方向)移动的光源J01发出的照明光J02倾斜地入射至染色切片A05的状态。如图22所示,照明光J02中的入射到光电二极管H04的部分通过区域H17以及区域H18。照明光J02中的通过了区域H09以及区域I04的部分被遮光层H06遮盖。
图23A所示的区域中的供向光电二极管H04入射的光通过的区域是区域H16、H17、H18、M02、M03、M04,它们在纵向和横向上分散地配置。上述各区域的浓度决定光电二极管H04的输出电平,并形成生物体图像的像素值。另一方面,透过了区域H08、H09、H10、H11、H12、L03、H14、L06、I04等的光入射到遮光层H06,不反映于生物体图像的像素值。因此,在图22所示的位置使光源J01发光的状态下拍摄的生物体图像M01(参照图23B)是由与区域H16、H17、H18、M02、M03、M04的浓度或者透过率对应的像素值构成的图像。
若关注图23A所示的像素M05,则照明光J02中的入射到光电二极管H04的部分通过区域H17。照明光J02中的通过了像素M05内的区域H09、区域H12、区域H14的部分被遮光层H06遮盖。通过使图像传感器B01具有遮光层H06,能够对与像素大小相比小的区域进行拍摄。因此,开口率越低,则分辨率越高。
根据这样的顺序,例如对于图19A所示的像素K04所包含的区域H09、H12、H14、H17的全部,能够得到与上述各个区域的浓度或者透过率对应的像素值。通过将在照射方向不同的多个照明状态下取得的多个图像进行合成,能够生成具有比上述图像各自的分辨率高的分辨率的高分辨率图像。在本公开的实施方式中,对在G色光的照射下取得的多个G图像执行上述的处理,生成具有比多个G图像各自的分辨率高的分辨率的G图像。通过将该高分辨率的G图像、在R色光的照射下取得的一个以上的R图像、以及在B色光的照射下取得的一个以上的B图像的一方或者两方进行组合,能够形成高分辨率的彩色图像(非单色图像)。
此外,取代通过使发光的光源的位置变化来使照明光的照射角度变化,也可以通过使显微镜用标本的角度以及/或者位置变化来使照明光的照射角度变化。另外,也可以通过使发光的光源的位置以及显微镜用标本的角度的两方变化来使照明光的照射角度变化。
图24A是表示本实施方式的控制单元以及图像处理单元的构成例的框图。
在例示的结构中,拍摄单元90与配置成供透过了样本切片的光入射的图像传感器(未图示)电连接。如上所述,该图像传感器可以安装于显微镜用标本,也可以安装于拍摄单元90。
控制单元120与拍摄单元90以及照明系统C09连接,控制拍摄单元90以及照明系统C09。图24A所例示的结构中的照明系统C09具有放射G色光的G光源、放射B色光的B光源、以及放射R色光的R光源。照明系统C09具有上述的结构。控制单元120也与图像处理单元140连接。图像处理单元140包括G图像合成单元142、B图像插补单元144、以及R图像插补单元146。控制单元120以及图像处理单元140也可以由一个计算机系统来实现。
在本实施方式中,根据控制单元120的工作,从多个不同的照射方向,依次用作为照明光的G色光照射样本切片,在其照射中通过图像传感器来取得多个G图像。将G图像的数据发送至图像处理单元140的G图像合成单元142。另外,从一个方向用作为照明光的B色来照射样本切片,在其照射中通过图像传感器来取得一个B图像。将B图像的数据发送至图像处理单元140的B图像插补单元144。进而,从一个方向用作为照明光的R色光照射样本切片,在其照射中通过图像传感器来取得一个R图像。将R图像的数据发送至图像处理单元140的R图像插补单元146。
G图像合成单元142将多个G图像进行合成,生成具有比各G图像的分辨率高的分辨率的高分辨率图像。例如在一张G图像具有2000×1000个像素数的情况下,通过将四张G图像进行合成,得到具有4000×2000个像素数的高分辨率的G图像。
G图像合成单元142例如使用生物体图像I01(参照图17B)所包含的像素值、生物体图像K01(参照图19B)所包含的像素值、生物体图像L01(参照图21B)所包含的像素值、生物体图像M01(参照图23B)所包含的像素值来生成合成图像。
在G图像合成单元142决定使用各生物体图像所包含的像素值作为合成图像的哪个位置的像素值时,可以使用拍摄各生物体图像时的照明光的位置信息(参照图24B。在图24B中仅示出了一部分的像素)。
控制单元120可以对光源C09指示光源C09的移动方向(从初始位置朝向X轴方向、或者从初始位置朝向Y轴方向、或者从初始值朝向X轴与Y轴的等分线方向)以及移动量(包含正值与负值)。光源C09可以接收该指示而移动。
控制单元120可以对光源C09进行指示以使光源C09位于预先决定的初始位置。在该情况下,可以使移动量为零。光源C09可以接收来自控制单元的指示而移动。
照明光的位置信息可以是控制单元120对光源C09指示的移动方向和移动量、或者初始位置。也可以取代移动量而使用移动量所表示的符号信息(正或负)。
B图像插补单元144对所接收到的B图像的数据进行插补,生成增加了像素数的图像。该像素插补例如是指使原始图像中的各像素值等同于2行×2列的像素。由此,即使像素数增加到4倍,分辨率也不变。例如在一张B图像具有2000×1000个像素数的情况下,通过对该B图像进行像素插补,能得到具有4000×2000个像素数的B图像。如此得到的B图像的分辨率并不增加。像素插补的方法不限定于本例。
R图像插补单元146对所接收到的R色图像的数据进行插补,生成增加了像素数的图像。该像素插补与由B图像插补单元144进行的像素插补相同,是指使原始图像中的各像素值等同于2行×2列的像素。例如在一张R图像具有2000×1000个像素数的情况下,通过对该R图像进行像素插补,能得到具有4000×2000个像素数的R图像。
图像输出单元150接收由G图像合成单元142、B图像插补单元144、以及R图像插补单元146生成的R、G、B的各图像的数据,输出彩色的图像。
图25B表示由本实施方式得到的高分辨率图像的一个例子。另一方面,图25A以及图25C分别表示比较例的高分辨率图像。图25A表示由G图像、R图像以及高分辨率的B图像生成的高分辨率图像,上述高分辨率的B图像是通过将从不同的四个方向依次照射B色光而拍摄的四张图像进行合成而得到的图像,上述G图像是通过对从一个方向照射G色光时所拍摄的一张图像进行像素插补而得到的图像,上述R图像是通过对从一个方向照射R色光时所拍摄的一张图像进行像素插补而得到的图像。
另外,图25C表示由G图像、B图像以及高分辨率的R图像生成的高分辨率图像,上述高分辨率的R图像是通过将从不同的四个方向依次照射R色光而拍摄的四张图像进行合成而得到的图像,上述G图像是通过对从一个方向照射G色光时所拍摄的一张图像进像素插补而得到的图像,上述B图像是通过对从一个方向照射B色光时所拍摄的一张图像进行像素插补而得到的图像。
将图25B所示的图像与图25A所示的图像以及图25C所示的图像进行比较可知:在G图像的分辨率高时,得到整体而言具有高分辨率的合成图像。因此,从更多的不同照射方向照射被拍摄体的光(第一光)的波长包含在绿色的范围(495nm以上且570nm以下)内是有益的。
图26是表示具备图24A所示的结构的装置的动作的一个例子的时间图。在图26所示的例子中,从某个方向使R色光、G色光、B色光依次照射于被拍摄体,在各自的照明时进行拍摄。接下来,从不同方向使G色光依次照射于被拍摄体,在各自的照明时进行拍摄。
将通过拍摄得到的多个G图像发送至G图像合成单元142。将R图像以及B图像分别发送至R图像插补单元146以及B图像插补单元144。由图26可知,与G色光的照明时的拍摄次数相比,抑制了R色光或者B色光的照明时的拍摄次数,因此整体的拍摄次数得以减少。
此外,取得R图像以及B图像的定时是任意的,并不限定于图26所示的例子。另外,G图像的取得张数也不限定于图26所示的例子。并且,也无需为了得到本公开的实施方式的优点而使显微镜用标本为具备上述的结构的“电子显微镜用标本”。
对于由使照明光从不同方向照射于被拍摄体而得到的多个G图像合成高分辨率的图像,能够利用各种超分辨率技术。例如,若使通过拍摄取得的G图像与作为目的的高分辨率的图像关联的运算式(矩阵)是已知的,则通过逆向运算(逆矩阵),能够由拍摄所取得的图像得到合成图像。这样的运算式取决于图像传感器的像素构造与照明光的照射角度,能够通过几何光学来求出,或者能够通过实验或模拟来求出。
(实施方式2)
如参照图8进行的说明,计算机C06也可以是与拍摄单元90以及/或者照明系统C09分开的装置。在图27中概略地示出了具有这种结构的图像形成系统的一个例子。图27所示的图像形成系统100具备拍摄单元90、照明系统C09、以及计算机C08。在图示的结构中,图像形成系统100具有将图像取得装置10A与计算机C08连接的形态。
图像取得装置10A包括拍摄单元90、照明系统C09、以及控制它们的控制单元120。计算机C08包括图像处理单元140和存储器145。图像取得装置10A与计算机C08通过有线或者无线连接。计算机C08可以配置于与图像取得装置10A相同的场所,也可以配置于远离图像取得装置10A的场所。例如,图像取得装置10A与计算机C08也可以经由因特网等网络而连接。计算机C08在这里是独立的装置。然而,计算机C08也可以是处理器等搭载于装置的电路的形态。计算机C08以及上述的计算机C06能够通过通用或专用的计算机(或者通用或专用的处理器)来实现。
图像形成系统100中的动作与上述图像形成装置10大致相同。通过在拍摄单元90装填显微镜用标本11,使显微镜用标本11中的图像传感器B01与拍摄单元90电连接。通过在拍摄单元90装填显微镜用标本11,在透过了样本切片A05(在图27中未图示)的光所入射的位置配置图像传感器B01。显微镜用标本11在图像取得装置10A(或者图像形成装置10)中不是必须的构成要素,这是不言而喻的。
照明系统C09根据控制单元120的控制,以样本切片为基准,从多个不同的照射方向依次出射照明光。此时,根据控制单元120的控制,在第一光的照射下,通过图像传感器B01取得多个第一颜色图像。另外,在第二光的照射下,通过图像传感器B01取得至少一个第二颜色图像。也可以在第三光的照射下进一步取得至少一个第三颜色图像。
将拍摄单元90所取得的被拍摄体(这里是样本切片)的图像信号或者图像数据发送至计算机C08的图像处理单元140。例如,将多张G图像的数据、一张B图像的数据、以及一张R图像的数据发送至图像处理单元140。图像处理单元140执行参照图24A而说明的处理。详细而言,图像处理单元140通过将多张G图像进行合成,生成具有比各G图像的分辨率高的分辨率的高分辨率的G图像。
另外,图像处理单元140执行B图像以及R图像的插补。上述处理所使用的图像数据、以及处理的过程中生成的中间的图像数据能够暂时存储于存储器145。图像处理单元140根据高分辨率化的处理后的G图像、插补处理后的B图像以及R图像,生成具有比各G图像的分辨率高的分辨率的彩色图像。所生成的图像例如显示于显示器C07(参照图8)。所生成的图像也可以保存在存储器145或者数据库148(参照图8)中。记录有由计算机C08执行的上述处理的程序例如存储于存储器145。
此外,在图像形成系统100中,也可以从计算机C08提供控制单元120中的动作的指示(指令)。控制单元120也可以是与拍摄单元90以及照明系统C09、和计算机C08分开的独立的装置。图像处理单元140以及/或者控制单元120的整体或者一部分能够由数字信号处理器(Digital Signal Processor(DSP))、ASIC(Application Specific IntegratedCircuit):专用集成电路、ASSP(Application Specific Standard Produce:专用标准产品)、FPGA(Field Programmable Gate Array:现场可编程门阵列)、微型计算机等来实现。对于图像处理单元140以及控制单元120而言,分别可以是分开的处理器,也可以是它们中的两个以上包含在一个处理器内。存储器145也可以是图像处理单元140以及/或者控制单元120的一部分。
这里,对使照射角度相对于样本切片而变化的方法的例子进行说明。
图28~图30表示能够变更光源构件与插槽C03之间的配置的照明系统的构成例。在图28所例示的结构中,照明系统C09具有使插槽C03的姿势变化的照射角度调整机构C10。在图示的例子中,照射角度调整机构C10包括使插槽C03相对于基准面(典型而言是水平面)的倾斜度变化的测角机构C11。另外,在图示的例子中,照射角度调整机构C10包括使插槽C03相对于基准方位的旋转角度变化的旋转机构C12。本说明书中的“姿势”的变化广泛地包含相对于基准面的倾斜度的变化、相对于基准方位的旋转角度的变化、以及相对于基准点的位置的变化等。
例如通过根据控制单元120的控制来使测角机构C11以及/或者旋转机构C12进行动作,能够使装填于插槽C03的显微镜用标本11的姿势变化。由此,能够使样本切片A05(在图28中未图示)以及图像传感器B01的位置和方向的至少一方变化。例如若固定光源构件而使测角机构C11以及/或者旋转机构C12进行动作,则能够使相对于样本切片的照射角度变化。照射角度调整机构C10还可以具有使插槽C03平行移动的滑动机构。照射角度调整机构C10可以是一个以上的测角机构C11、旋转机构C12以及滑动机构的任意的组合。
图29以及图30表示具有对照明光向样本切片入射的角度进行调整的照明角度调整单元的照明系统C09的构成例。在图29所例示的结构中,照明角度调整单元C13根据控制单元120(在图29中未图示)的控制,对配置于彼此不同的位置的多个光源构件20各自的点亮和熄灭进行切换。由此,能够使照明光从不同角度入射到显微镜用标本11中的图像传感器B01(在图29中未图示)。
在图30所例示的结构中,照明角度调整单元C13通过根据控制单元120(在图30中未图示)的控制,使一个光源构件22沿着例如导轨移动,改变光源构件22的点亮位置。通过这样的结构,也能够使照明光从不同角度入射到显微镜用标本11中的图像传感器B01(在图30中未图示)。通过使照明光从不同角度入射到显微镜用标本11中的图像传感器,能够对照明光相对于样本切片的入射角度进行调整,以使从多个不同的照射方向依次出射的照明光透过样本切片的不同部分而入射到图像传感器的光电转换单元。
作为用于使光源构件22移动的机构,可以应用上述的测角机构C11、旋转机构C12以及滑动机构中的至少一个。上述的各种机构例如能够使用滚珠丝杠与步进马达的组合等公知的机构来实现。
本公开例如能够利用于进行标本的检体管理的检体管理装置。
附图标记的说明
11...显微镜用标本;12...封装件;B01...图像传感器;C03...插槽;10...图像形成装置;100...图像形成系统。
Claims (13)
1.一种图像形成装置,具备:
拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;
照明系统,其以所述样本切片为基准从多个不同的照射方向依次出射照明光,用所述照明光照射所述样本切片,所述照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光;
控制单元,其与所述拍摄单元以及所述照明系统连接,控制所述拍摄单元以及所述照明系统;以及
图像处理单元,其从所述图像传感器取得多个图像的数据,将所述多个图像进行合成,生成与所述多个图像各自相比分辨率更高的所述样本切片的高分辨率图像,
所述控制单元从所述多个不同的照射方向,依次用作为所述照明光的所述第一光照射所述样本切片,在其照射中通过所述图像传感器取得分别与所述多个不同的照射方向中的各照射方向下的所述第一光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的多个第一颜色图像,并且,从所述多个不同的照射方向的一个照射方向,用作为所述照明光的所述第二光照射所述样本切片,在其照射中通过所述图像传感器来取得与所述一个照射方向下的所述第二光透过所述样本切片后入射到所述图像传感器的光对应的一个第二颜色图像,或者,从所述多个不同的照射方向的两个以上的照射方向,依次用作为所述照明光的所述第二光照射所述样本切片,在其照射中通过所述图像传感器来取得分别与所述两个以上的照射方向中的各照射方向下的所述第二光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的两个以上的第二颜色图像,
所述图像处理单元根据所述多个第一颜色图像以及所述一个第二颜色图像或所述两个以上的第二颜色图像,生成所述高分辨率图像。
2.根据权利要求1所述的图像形成装置,
所述拍摄单元以能够拆装的方式支承具有所述样本切片和所述图像传感器的显微镜用标本,在支承所述显微镜用标本的状态下与所述图像传感器电连接。
3.根据权利要求1所述的图像形成装置,
所述照明系统用从至少四个不同的照射方向出射的所述第一光来照射所述样本切片,
所述图像传感器在用所述第一光对所述样本切片进行照射时,分别取得所述样本切片的不同部分的像即至少四个不同的第一颜色图像,
所述图像处理单元根据所述至少四个不同的第一颜色图像,生成所述样本切片的高分辨率图像。
4.根据权利要求1所述的图像形成装置,
所述照明系统放射在第三波长带域具有峰值的第三光,
所述控制单元从所述多个不同的照射方向的一部分方向,用作为所述照明光的所述第三光照射所述样本切片,在其照射中通过所述图像传感器来取得至少一个第三颜色图像。
5.根据权利要求1所述的图像形成装置,
所述第一光是具有495nm以上且570nm以下的波长的光,所述第二光是具有620nm以上且750nm以下的波长的光或者是具有450nm以上且小于495nm的波长的光。
6.根据权利要求4所述的图像形成装置,
所述第一光是具有495nm以上且570nm以下的波长的光,所述第二光是具有620nm以上且750nm以下的波长的光,所述第三光是具有450nm以上且小于495nm的波长的光。
7.根据权利要求1~6中任一项所述的图像形成装置,
所述照明系统具有依次移动到与所述多个不同的照射方向对应的多个不同的位置并出射所述照明光的光源。
8.根据权利要求1~6中任一项所述的图像形成装置,
所述照明系统具有配置于与所述多个不同的照射方向对应的多个不同的位置、并依次出射所述照明光的多个光源。
9.根据权利要求1~6中任一项所述的图像形成装置,
所述照明系统具有使所述样本切片以及所述图像传感器的位置和方向的至少一方变化的机构。
10.根据权利要求1~6中任一项所述的图像形成装置,
具备对所述照明光向所述样本切片入射的角度进行调整的照明角度调整单元,
所述照明角度调整单元对所述照明光相对于所述样本切片的入射角度进行调整,以使所述照明系统从所述多个不同的照射方向依次出射的所述照明光透过所述样本切片的不同部分而入射到所述图像传感器的光电转换单元。
11.一种图像形成方法,包括:
以样本切片为基准从多个不同的照射方向依次出射照明光,用所述照明光照射所述样本切片的步骤;
通过配置在透过了所述样本切片的光所入射的位置的图像传感器,取得与所述多个不同的照射方向对应而不同的多个图像的步骤;以及
将所述多个图像进行合成,生成与所述多个图像各自相比分辨率更高的所述样本切片的高分辨率图像的步骤,
用所述照明光照射所述样本切片的步骤包括:
用在第一波长带域具有峰值的第一光从所述多个不同的照射方向照射所述样本切片的步骤;以及
用在第二波长带域具有峰值的第二光从所述多个不同的照射方向的一部分方向照射所述样本切片的步骤,
取得所述多个图像的步骤包括:
从所述多个不同的照射方向,依次用作为所述照明光的所述第一光照射所述样本切片,在其照射中取得分别与所述多个不同的照射方向中的各照射方向下的所述第一光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的多个第一颜色图像的步骤;以及
从所述多个不同的照射方向的一个照射方向,用作为所述照明光的所述第二光照射所述样本切片,在其照射中取得与所述一个照射方向下的所述第二光透过所述样本切片后入射到所述图像传感器的光对应的一个第二颜色图像,或者,从所述多个不同的照射方向的两个以上的照射方向,依次用作为所述照明光的所述第二光照射所述样本切片,在其照射中取得分别与所述两个以上的照射方向中的各照射方向下的所述第二光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的两个以上的第二颜色图像的步骤。
12.一种图像形成系统,具备:
拍摄单元,其与配置在透过了样本切片的光所入射的位置的图像传感器电连接;
照明系统,其以所述样本切片为基准从多个不同的照射方向依次出射照明光,用所述照明光照射所述样本切片,所述照明系统放射在第一波长带域具有峰值的第一光以及在第二波长带域具有峰值的第二光;以及
计算机,
所述计算机执行:
从所述多个不同的照射方向,依次用作为所述照明光的所述第一光照射所述样本切片,在其照射中通过所述图像传感器来取得分别与所述多个不同的照射方向中的各照射方向下的所述第1光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的多个第一颜色图像的步骤;
从所述多个不同的照射方向的一个照射方向,用作为所述照明光的所述第二光照射所述样本切片,在其照射中通过所述图像传感器来取得与所述一个照射方向下的所述第二光透过所述样本切片后入射到所述图像传感器的光对应的一个第二颜色图像,或者,从所述多个不同的照射方向的两个以上的照射方向,依次用作为所述照明光的所述第二光照射所述样本切片,在其照射中通过所述图像传感器来取得分别与所述两个以上的照射方向中的各照射方向下的所述第2光分别透过所述样本切片的不同区域后入射到所述图像传感器的光对应的两个以上的第二颜色图像的步骤;以及
根据所述多个第一颜色图像以及所述一个第二颜色图像或所述两个以上的第二颜色图像,生成具有比各第一颜色图像的分辨率高的分辨率的高分辨率图像。
13.一种图像形成方法,
从第一方向照射在第一波长带域具有峰值的第一光,
取得表示从所述第一方向照射所述第一光的第一方向数据,
通过图像传感器接收所述第一光透过了试料的第一部分的光,所述图像传感器输出第一图像数据,
从所述第一方向照射在第二波长带域具有峰值的第二光,
取得表示从所述第一方向照射所述第二光的第二方向数据,
通过所述图像传感器接收所述第二光透过了所述第一部分的光,所述图像传感器输出第二图像数据,
从第二方向照射所述第一光,
取得表示从所述第二方向照射所述第一光的第三方向数据,
通过所述图像传感器接收所述第一光透过了所述试料的第二部分的光,所述图像传感器输出第三图像数据,
根据所述第一图像数据、所述第二图像数据、所述第三图像数据、所述第一方向数据、所述第二方向数据、所述第三方向数据,生成第一图像,
从所述第二方向不照射所述第二光。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090909 | 2014-04-25 | ||
JP2014-090909 | 2014-04-25 | ||
JP2014-240338 | 2014-11-27 | ||
JP2014240338A JP6394960B2 (ja) | 2014-04-25 | 2014-11-27 | 画像形成装置および画像形成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105007392A CN105007392A (zh) | 2015-10-28 |
CN105007392B true CN105007392B (zh) | 2019-03-08 |
Family
ID=54334624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510142669.9A Expired - Fee Related CN105007392B (zh) | 2014-04-25 | 2015-03-30 | 图像形成装置、图像形成方法、图像形成系统 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10133047B2 (zh) |
JP (1) | JP6394960B2 (zh) |
CN (1) | CN105007392B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106950687B (zh) * | 2016-01-06 | 2021-01-01 | 松下知识产权经营株式会社 | 图像生成系统以及图像生成方法 |
JP6765057B2 (ja) * | 2016-03-18 | 2020-10-07 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法およびプログラム |
WO2019106945A1 (ja) * | 2017-11-28 | 2019-06-06 | パナソニックIpマネジメント株式会社 | 培養状態判定装置、培養状態判定方法及びプログラム |
CN109376816B (zh) * | 2018-09-11 | 2022-04-01 | 广州金域医学检验中心有限公司 | 一种病理切片质量监控方法及其装置 |
JP7170602B2 (ja) * | 2019-08-27 | 2022-11-14 | 富士フイルム富山化学株式会社 | 学習データ作成装置及び方法、並びに機械学習装置及び方法 |
CN111124567B (zh) * | 2019-12-02 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 目标应用的操作录制方法和装置 |
CN113395595B (zh) * | 2020-03-12 | 2023-03-24 | 平湖莱顿光学仪器制造有限公司 | 一种密度相关的智能二维视频播放方法及其视频装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009128726A (ja) * | 2007-11-26 | 2009-06-11 | Keyence Corp | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
CN103649720A (zh) * | 2011-05-06 | 2014-03-19 | 生物梅里埃公司 | 生物成像方法和系统 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04316478A (ja) | 1991-04-12 | 1992-11-06 | Nec Corp | 生物試料観察装置、システムおよび方法 |
JPH09219867A (ja) * | 1995-11-10 | 1997-08-19 | Techno Media:Kk | カラー静止画撮像装置及び方法 |
JP3303865B2 (ja) * | 1999-11-22 | 2002-07-22 | セイコーエプソン株式会社 | 画像の変化に応じた発光による画像入力 |
US6900888B2 (en) * | 2001-09-13 | 2005-05-31 | Hitachi High-Technologies Corporation | Method and apparatus for inspecting a pattern formed on a substrate |
WO2003038503A1 (fr) * | 2001-11-02 | 2003-05-08 | Olympus Corporation | Microscope de balayage confocal |
GB0211068D0 (en) * | 2002-05-14 | 2002-06-26 | Amersham Biosciences Uk Ltd | Method for assessing biofilms |
JP4266333B2 (ja) * | 2003-09-01 | 2009-05-20 | 株式会社キーエンス | 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラムおよびコンピュータで読み取り可能な記録媒体 |
US7636158B1 (en) * | 2004-09-24 | 2009-12-22 | Romuald Pawluczyk | Optimal coupling of high performance line imaging spectrometer to imaging system |
TW201101476A (en) * | 2005-06-02 | 2011-01-01 | Sony Corp | Semiconductor image sensor module and method of manufacturing the same |
JP4783065B2 (ja) * | 2005-06-07 | 2011-09-28 | 株式会社キーエンス | 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
JP4883751B2 (ja) * | 2005-06-17 | 2012-02-22 | レーザーテック株式会社 | 3次元形状測定装置及び3次元形状測定方法 |
JP2009009403A (ja) * | 2007-06-28 | 2009-01-15 | Canon Inc | 生体認証装置及び生体検知方法 |
US9541374B2 (en) * | 2007-12-31 | 2017-01-10 | Stc.Unm | Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy |
US7986352B2 (en) * | 2008-06-18 | 2011-07-26 | Panasonic Corporation | Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same |
JP2010252277A (ja) * | 2009-04-20 | 2010-11-04 | Panasonic Corp | 固体撮像装置及び電子カメラ |
WO2011053631A1 (en) * | 2009-10-28 | 2011-05-05 | Alentic Microscience Inc. | Microscopy imaging |
US9743020B2 (en) * | 2010-03-23 | 2017-08-22 | California Institute Of Technology | Super resolution optofluidic microscopes for 2D and 3D imaging |
JP2012048026A (ja) * | 2010-08-27 | 2012-03-08 | Sony Corp | 顕微鏡及びフィルタ挿入方法 |
WO2012056920A1 (en) * | 2010-10-29 | 2012-05-03 | Canon Kabushiki Kaisha | Microscope, image acquisition apparatus, and image acquisition system |
EP2661603A4 (en) * | 2011-01-06 | 2014-07-23 | Univ California | Lensless Tomographic Imaging Devices and Methods |
JP5628703B2 (ja) * | 2011-02-22 | 2014-11-19 | Sky株式会社 | 盗難状態判定端末及び盗難状態判定プログラム |
JP5825808B2 (ja) * | 2011-03-18 | 2015-12-02 | キヤノン株式会社 | 撮像装置 |
JP5806504B2 (ja) * | 2011-05-17 | 2015-11-10 | オリンパス株式会社 | 撮像装置およびこれを備える顕微鏡システム |
JP2013003386A (ja) * | 2011-06-17 | 2013-01-07 | Olympus Corp | 撮像装置およびバーチャルスライド装置 |
JP5822067B2 (ja) * | 2011-09-01 | 2015-11-24 | 横河電機株式会社 | 顕微鏡装置 |
KR20140068264A (ko) * | 2011-10-12 | 2014-06-05 | 벤타나 메디컬 시스템즈, 인코포레이티드 | 다초점 간섭 이미지 획득 |
US9229213B2 (en) * | 2013-05-24 | 2016-01-05 | Steven E. Richfield | Coincident focus microscope having superior resolution and contrast in three dimensions |
-
2014
- 2014-11-27 JP JP2014240338A patent/JP6394960B2/ja not_active Expired - Fee Related
-
2015
- 2015-03-30 CN CN201510142669.9A patent/CN105007392B/zh not_active Expired - Fee Related
- 2015-04-09 US US14/682,099 patent/US10133047B2/en not_active Expired - Fee Related
-
2018
- 2018-10-16 US US16/161,545 patent/US20190049710A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009128726A (ja) * | 2007-11-26 | 2009-06-11 | Keyence Corp | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
CN103649720A (zh) * | 2011-05-06 | 2014-03-19 | 生物梅里埃公司 | 生物成像方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US20150309301A1 (en) | 2015-10-29 |
JP6394960B2 (ja) | 2018-09-26 |
US20190049710A1 (en) | 2019-02-14 |
JP2015215330A (ja) | 2015-12-03 |
CN105007392A (zh) | 2015-10-28 |
US10133047B2 (en) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105007392B (zh) | 图像形成装置、图像形成方法、图像形成系统 | |
JP6307770B2 (ja) | 撮像素子 | |
CN103168272B (zh) | 进深推定摄像装置以及摄像元件 | |
US20080165257A1 (en) | Configurable pixel array system and method | |
EP2282344A1 (en) | Improvements in or relating to a sensor and sensor system for a camera | |
TW200903792A (en) | Image sensor | |
JP2012194503A (ja) | 撮像装置 | |
EP3085075B1 (en) | Scanning imaging system with a novel imaging sensor with gaps for electronic circuitry | |
EP3615916A1 (en) | Scanning microscope for 3d imaging using msia | |
US20110249155A1 (en) | Image pickup device | |
Doswald et al. | A 30-frames/s megapixel real-time CMOS image processor | |
US10254527B2 (en) | Observation method using microscopic imaging device | |
JP6004245B1 (ja) | 画像取得装置、画像形成システムおよび画像形成方法 | |
US9778449B2 (en) | Preparation element set, preparation, manufacturing method of preparation, imaging apparatus, and imaging method | |
JP6558609B2 (ja) | コンピュータ | |
US10048485B2 (en) | Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium | |
US9774771B2 (en) | Preparation, transparent plate, method for producing preparation, slide glass, imaging apparatus, imaging method, preparation producing apparatus, and preparation component set | |
Yang et al. | Resolution-enhanced lensless color shadow imaging microscopy based on large field-of-view submicron-pixel imaging sensors | |
JP2018207446A (ja) | 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム | |
JP2020008682A (ja) | 顕微観察装置、顕微観察方法および顕微観察装置の製造方法 | |
WO2022209349A1 (ja) | 観察装置用照明装置、観察装置及び観察システム | |
WO2022209262A1 (ja) | 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム | |
JP2021139927A (ja) | 高速撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190308 |