CN101995652A - 图像获取装置和图像获取方法 - Google Patents
图像获取装置和图像获取方法 Download PDFInfo
- Publication number
- CN101995652A CN101995652A CN2010102506452A CN201010250645A CN101995652A CN 101995652 A CN101995652 A CN 101995652A CN 2010102506452 A CN2010102506452 A CN 2010102506452A CN 201010250645 A CN201010250645 A CN 201010250645A CN 101995652 A CN101995652 A CN 101995652A
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- exposure
- imaging device
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims abstract description 125
- 230000010354 integration Effects 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 14
- 230000001915 proofreading effect Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000000891 luminescent agent Substances 0.000 claims 1
- 230000005284 excitation Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 41
- 239000000523 sample Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 14
- 238000009792 diffusion process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- KPHWPUGNDIVLNH-UHFFFAOYSA-M diclofenac sodium Chemical compound [Na+].[O-]C(=O)CC1=CC=CC=C1NC1=C(Cl)C=CC=C1Cl KPHWPUGNDIVLNH-UHFFFAOYSA-M 0.000 description 10
- 238000004043 dyeing Methods 0.000 description 7
- 239000007850 fluorescent dye Substances 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 229910052736 halogen Inorganic materials 0.000 description 4
- 150000002367 halogens Chemical class 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 102100031798 Protein eva-1 homolog A Human genes 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NALREUIWICQLPS-UHFFFAOYSA-N 7-imino-n,n-dimethylphenothiazin-3-amine;hydrochloride Chemical compound [Cl-].C1=C(N)C=C2SC3=CC(=[N+](C)C)C=CC3=NC2=C1 NALREUIWICQLPS-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0096—Microscopes with photometer devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
Landscapes
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
Abstract
本发明提供了一种图像获取装置及图像获取方法,该图像获取装置包括:成像装置,在其上形成分配给成像区域的小区域的图像;检测部,检测从光源照射在小区域上的光的强度;积分部,对由检测部检测的光的强度进行积分;如果从光源发光的时间点起、通过积分部积分的光的强度的积分值大于预定阈值,则光源控制部停止发光;曝光控制部,在光源发光前开始成像装置的曝光,并且在光源的发光停止后停止成像装置的曝光;以及图像获取部,从成像装置获取小区域的图像作为分割图像。
Description
相关申请的参考
本发明包含于2009年8月17日向日本专利局提交的日本优先权专利申请JP 2009-188776的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及图像获取装置和图像获取方法。例如,本发明优选地应用于组织切片的观察领域。
背景技术
到目前为止,在病理学领域中使用的诸如组织切片等的生物样本被固定在显微镜载片上,并且将预定的染色施加到生物样本上。通常,如果生物样本的保持时间变长,则生物样本自身劣化,并且施加到生物样本上的染色发生褪色等。因此,通过显微镜的生物样本的可见性退化。而且,生物样本有时用于除了诸如医院等机构之外的机构的诊断,这些机构制作生物样本。在该情况下,生物样本通常通过邮件发送和接收,因此传送花费一定时间。
在这些情况下,已经提出了关于将生物样本存储为图像数据的装置的方案(例如,参考日本未审查的专利申请公开第2003-222801号)。
而且,在疾病诊断中,使用通过以预定的放大倍率放大生物样本来产生高精度的生物样本图像。因此,已经提出了以下的关于产生高精度生物样本图像的显微镜装置的方案(例如,参考日本未审查的专利申请公开第2009-63656号)。在该显微镜装置中,包括生物样本的区域被分割为多个小区域,以预定的放大倍率放大小区域,获取小区域的图像,并且将多个被分割出的小图像组合为高精度的生物样本图像。
发明内容
顺便提及,在上述的显微镜装置中,通常,为了不产生大的亮度差异,在获取多个分割图像时的曝光时间分别保持恒定。
然而,即使将恒定电流施加到向生物样本照射光的光源,发光强度也根据光源自身的温度而不同。例如,如图1所示,用于光源的卤素灯在开始发光后由于卤素灯自身的低温而立即输出更高的强度,随着灯温度的升高而降低强度,并且在经过预定时间后进入热平衡状态,输出恒定的强度。
在这种情况下,在显微镜装置中,从光源发射的光的强度随时间而不同,并且因此即使曝光时间保持恒定,对于每个分割图像,成像装置的曝光量也会发生变化。
因此,例如,如图2所示,在显微镜装置中,难以保持分割图像DP的亮度值恒定。因此,在通过连接分割图像DP而产生的生物样本图像SP中,分割图像DP的接合处变得明显。特别地,由于图像在完全不同的时间获取,所以上下分割图像DP之间的接合处变得更加明显。
因此,如图3A所示,通常,在显微镜装置中,为了获取分割图像,在光源开始发光后经过预定的时间达到热平衡状态的时刻Ts时开始成像装置的曝光,并且在经过一定时间后的时刻Te停止曝光。这里,在图3A中,CCD(电荷耦合器件)传感器用作成像装置。利用CCD传感器,可以同时对所有像素开始以及结束曝光。
因此,使用这种方法可以减小多个分割图像之间的亮度差异。然而,这种方法中,需花费时间来直到光源达到热平衡状态,因此成像时间不利地变长。
而且,在使用CMOS(互补金属氧化物半导体)图像传感器作为成像装置的情况下,CMOS图像传感器沿着像素阵列依次为每行开始以及结束曝光,因此,如图3B所示,存在成像时间变得更长的问题。在这点上,如图3B所示,时刻Ts1表示首先开始曝光的行的曝光开始时刻,以及时刻Ts2表示最后开始曝光的行的曝光开始时刻。而且,Te1表示对应于时刻Ts1的行的曝光结束时刻,并且Te2表示对应于时刻Ts2的行的曝光结束时刻。
考虑到上述问题而做出了本发明。期望提出一种图像获取装置和图像获取方法,其能够缩短成像时间期间,并且减小分配给成像对象的小区域的图像之间的亮度差异。
根据本发明的实施方式,提供了一种图像获取装置,包括:成像装置,在其上形成分配给成像区域的小区域的图像;检测部,检测从光源照射到小区域上的光的强度;积分部,对由检测部检测的光的强度进行积分;如果从光源发光的时间点起、通过积分部积分的光的强度的积分值大于预定阈值,则光源控制部停止光源的发光;曝光控制部,在光源发光前开始成像装置的曝光,并且在光源发光停止后停止成像装置的曝光;以及图像获取部,从成像装置获取小区域的图像作为分割图像。
而且,根据本发明的另一实施方式,提供了一种图像获取方法,该方法包括以下步骤:检测从光源照射到分配给成像区域的小区域上的光的强度;对由检测步骤检测的光的强度进行积分;如果从光源发光的时间点起、通过积分步骤积分的光的强度的积分值大于预定阈值,则控制光源以停止光源的发光;控制曝光以在光源发光前开始在其上形成小区域的图像的成像装置的曝光,并且在光源发光停止后停止成像装置的曝光;以及从成像装置获取小区域的图像作为分割图像。
因此,在成像装置曝光时可以从光源发射一定量的光,从而使得当获得多个分割图像时可以保持成像装置的曝光量恒定。
而且,根据本发明的另一实施方式,提供了一种图像获取装置,包括:成像装置,在其上形成分配给成像区域的小区域的图像;检测部,检测从光源照射在小区域上的光的强度;积分部,对由检测部检测的光的强度进行积分;光源控制部,从光源发光使得发光的开始和结束之间的时间间隔恒定;曝光控制部,在通过光源控制部使光源发光前开始成像装置的曝光,并且在通过光源控制部停止光源发光后停止成像装置的曝光;图像获取部,从成像装置获取小区域的图像作为分割图像;校正部,校正分割图像的亮度值使得在获取分割图像时通过积分部积分的光的强度的积分值相同;以及图像生成部,通过组合由校正部校正的分割图像而生成一个图像。
而且,根据本发明的另一实施方式,提供了一种图像获取方法,该方法包括以下步骤:检测从光源照射在分配给成像区域的小区域上的光的强度;对由检测步骤检测的光的强度进行积分;控制光源发光使得发光的开始和结束之间的时间间隔恒定;控制曝光以在通过控制光源的步骤使光源发光前开始成像装置的曝光,并且在通过控制光源的步骤停止光源发光后停止成像装置的曝光;从成像装置获取小区域的图像作为分割图像;校正分割图像的亮度值使得在获取分割图像时通过积分步骤积分的光的强度的积分值相同;以及通过组合由校正步骤校正的分割图像而生成一个图像。
因此,校正分割图像的亮度值,使得在成像装置曝光时从光源发射的光的强度的积分值相同,因此可以减小分割图像之间的亮度差异。
如上所述,通过本发明,在成像装置曝光时可以从光源发射一定量的光,使得在获得多个分割图像时可以保持成像装置的曝光量恒定。因此,可以获得这样的图像获取装置和图像获取方法,其可以缩短成像时间期间,并且可以减小分配给成像对象的小区域的图像之间的亮度差异。
而且,通过本发明,校正了分割图像的亮度值,使得在成像装置曝光时从光源发射的光的强度的积分值相同,从而使得当获得多个分割图像时可以保持成像装置的曝光量恒定。因此,可以获得这样的图像获取装置和图像获取方法,其能够缩短成像时间期间,并且可以减小分配给成像对象的小区域的图像之间的亮度差异。
附图说明
图1是示出了卤素灯的亮度变化的曲线图;
图2是示出了现有技术的生物样本图像的示意图;
图3是示出了现有技术的光强度和曝光时间之间的关系的曲线图;
图4是示出了生物样本图像获取装置的示意图;
图5是示出了根据第一实施方式的光源单元和光源控制部的构造的示意图;
图6是示出了LED的强度变化的曲线图;
图7是示出了控制光源的时序图的示意图;
图8是示出了数据处理部的构造的示意图;
图9是示出了执行根据第一实施方式的生物样本获取处理的CPU的功能构造的示意图;
图10是示出了分配给生物样本的小区域的示意图;
图11是示出了根据第一实施方式的光强度和曝光时间之间的关系的曲线图;
图12是示出了根据第一实施方式的生物样本图像获取处理步骤的流程图;
图13是示出了根据第二实施方式的光源单元和光源控制部的构造的示意图;
图14是示出了执行根据第二实施方式的生物样本获取处理的CPU的功能构造的示意图;
图15是示出了根据第二实施方式的生物样本图像获取处理步骤的流程图;
图16是示出了执行根据另一实施方式的生物样本获取处理的CPU的功能构造的示意图;
图17是示出了根据另一实施方式的生物样本图像获取处理步骤的流程图;
图18是示出了根据另一实施方式的光强度和曝光时间之间的关系(1)的曲线图;以及
图19是示出了根据另一实施方式的光强度和曝光时间之间的关系(2)的曲线图。
具体实施方式
以下将给出执行本发明的方式的描述。在这方面,将以下列顺序给出描述。
1.第一实施方式
2.第二实施方式
3.其他实施方式
1.第一实施方式
1.1生物样本图像获取装置的构造
图4示出了根据本发明实施方式的生物样本图像获取装置1。生物样本图像获取装置1包括显微镜10和数据处理部20。
显微镜10具有可以在其上放置包括诸如组织切片、细胞或染色体等的生物高分子的生物样本SPL的平面,并且具有可在与该平面平行或垂直的方向(在x轴、y轴和z轴方向)上移动的镜台(在下面被称作可移动镜台)11。
在该实施方式中,生物样本SPL通过预定的固定方法固定在显微镜载片SG上,并且根据需要对生物样本SPL染色。染色不仅包括以HE(苏木精-曙红,Hematoxylin-Eosin)染色、吉姆萨染色(Giemsa stain)或巴氏染色(Papanicolaou stain)等为代表的普通染色,还包括诸如FISH(荧光原位杂化,Fluorescence In-Situ Hybridization)、免疫酶技术等的荧光染色。
光学系统12设置在显微镜10中的可移动镜台11的平面的一侧,并且光源单元13设置在可移动镜台11的平面的另一侧。显微镜10可通过改变模式以明视野模式或暗视野模式获取生物样本SPL的图像。
在明视野模式中,光源单元13在光源控制部30(图5)的控制下发光,通过在可移动镜台11上形成的孔将光照射到设置在可移动镜台11的平面的一侧的生物样本SPL上,以作为照明光。
显微镜10通过光学系统12的物镜12A和成像透镜12B以预定的放大倍率放大通过照明光获得的生物样本SPL的图像的一部分。并且显微镜10在CMOS图像传感器14的成像面上形成由物镜12A和成像透镜12B放大的图像。
在这点上,在明视野模式中,在显微镜10中,可以从物镜12A和成像透镜12B之间的光路移除分色镜12C和发射滤光片12D。
顺便提及,在显微镜10的预定位置上设置激发光源系统15和激发滤光片16。在暗视野模式中,在显微镜10中,当激发光源系统15发光时,通过由激发滤光片16仅透射在发射的光中具有用于荧光染色的激发波长的光而产生的激发光被设置在物镜12A和成像透镜12B之间的分色镜12C反射,并被引导至物镜12A。并且,在显微镜10中,激发光通过物镜12A被聚焦在设置在可移动镜台11上的生物样本SPL上。
如果已经对固定在显微镜载片SG上的生物样本SPL施加了荧光染色,则荧光染料通过激发光发光。通过发光而获得的光(在下面也被称作显色光(color development light))经由物镜12A透射通过分色镜12C。显色光通过设置在分色镜12C和成像透镜12B之间的发射滤光片12D到达成像透镜12B。
显微镜10通过物镜12A放大显色光的图像,并且通过发射滤光片12D吸收除显色光以外的光(在下面也被称作其他光)。显微镜10通过成像透镜12B放大失去了其他光的显色光的图像,并且在CMOS图像传感器14的成像面上形成图像。
另一方面,数据处理部20使用CMOS图像传感器14产生生物样本SPL的整体图像(在下面也被称作生物样本图像),并且将图像存储为预定格式的数据(在下面也被称作样本数据)。
以这种方式,生物样本图像获取装置1可以将设置在显微镜载片SG上的生物样本SPL存储为微观状态的图像。因此,与存储显微镜载片SG本身的情况相比较,生物样本图像获取装置1可以长时间存储生物样本SPL而不会劣化诸如固定、染色等的状态。
1.2光源单元和光源控制部的构造
接下来,将使用图5给出光源单元13和控制光源单元13的光源控制部30的描述。
光源单元13的构造包括输出白光的白色LED(发光二极管)13A、将从白色LED 13A发射的光转换为基本平行的光线的聚光器13B、以及测量从白色LED 13A发射的光的强度的光检测器13C。
如图6所示,白色LED 13A具有这样一种特性,即如果施加恒定电流,则由于LED自身的低温使LED在开始发光之后立即输出更高的强度,随着LED温度的升高而降低强度,并且在经过预定时间后进入热平衡状态,输出恒定的强度。
当LED驱动器35向白色LED 13A提供电流时,白色LED 13A发射在一定范围内扩散的光。聚光器13B将从白色LED 13A发射的扩散的光中照射在自身上的光转换为平行光线,并且照射到生物样本SPL上。
光检测器13C设置在从白色LED 13A发射的扩散的光中,不会阻挡照射到聚光器13B的光路、并被照射到从白色LED 13A发射的部分扩散的光的位置上。
并且,当光检测器13C接收到从白色LED 13A发射的部分扩散的光时,光检测器13C检测照射光的强度,并且将根据光强度的光强度信号S1发送至积分器32。
另一方面,光源控制部30(图5)包括系统控制器31、积分器32、比较器33、与(AND)电路34以及LED驱动器35。
系统控制器31具有计算机构造,包括CPU、存储各种程序等的ROM和用作CPU的工作存储器的RAM,其总体控制光源控制部30的各个部分31~35。
当数据处理部20向光源控制部30提供电子闪光指令SS时,光源控制部30根据图7所示的时序图控制射向生物样本SPL的光。
具体地,当数据处理部20向系统控制部31提供电子闪光指令SS时,系统控制部31将复位信号S2发送至积分器32。
而且,系统控制器31将表示预定阈值的阈值信号S4发送至比较器33。
此外,系统控制器31将用于指示白色LED 13A输出光的发光指令S6输出至与电路34。以比白色LED 13A应输出光的时间期间长且比输出下一个复位信号S2的时间期间短的时间期间输出发光指令S6。
当积分器32接收到复位信号S2时,积分器32响应于复位信号S2复位到此刻为止已经积分的积分值。积分器32根据从光检测器13C提供的光强度信号S1从复位的时间点开始积分光强度,并且将表示积分值的积分值信号S3发送至比较器33。
比较器33比较通过从系统控制器31提供的阈值信号S4表示的阈值和通过从积分器32提供的积分值信号S3表示的积分值。如果积分值小于阈值,则比较器33将使白色LED 13A输出光的输出信号S5发送至与电路34。如果积分值不小于阈值,则比较器33不将使白色LED 13A输出光的输出信号S5发送至与电路34。
如果向与电路34提供了来自比较器33的输出信号S5和来自系统控制器31的发光指令信号S6,则与电路34将用于使白色LED13A发光的发光指令信号S7发送至LED驱动器35。
如果与电路34向LED驱动器35提供了发光指令信号S7,则LED驱动器35对白色LED 13A施加恒定电流,使得白色LED 13A发光。
以这种方式,当向光源控制部30提供来自数据处理部20的电子闪光指令SS时,光源控制部30控制白色LED 13A发光直到通过光检测器13C测量的光的强度的积分值达到阈值。
并且,当通过光检测器13C测量的光的强度的积分值达到阈值时,为了使白色LED 13A停止发光,光源控制部30停止向白色LED13A提供电流。
从而,对于在每次从数据处理部20提供电子闪光指令SS时,光源控制部30都可以保持从白色LED 13A通过聚光器13B发射到CMOS图像传感器14上的光量。
顺便提及,系统控制器31被允许获得从与电路34输出的发光指令信号S7,并且基于发光指令信号S7将表示终止向白色LED13A提供电流的发光结束信号输出至数据处理部20。
1.3数据处理部的构造
接下来,将给出数据处理部20的构造的描述。如图8所示,数据处理部20具有其中的各种硬件连接至执行控制的CPU(中央处理单元)21的构造。
具体地,通过总线28连接ROM(只读存储器)22、用于CPU21的工作存储器RAM(随机存取存储器)23、输入根据使用者的操作的指令的操作输入部24、接口部25、显示部26以及存储部27。
ROM 22存储用于执行各种处理的程序。显微镜10(图4)连接至接口部25。
液晶显示器、EL(电致发光)显示器或等离子体显示器等可用于显示部26。而且,以硬盘、半导体存储器或光盘等为代表的磁盘可用于存储部27。可以使用诸如USB(通用串行总线)存储器、CF(压缩闪存卡)存储器等的便携式存储器。
CPU 21将多个存储在ROM 22中的程序中与从操作输入部24给出的指令相对应的程序加载到RAM 23,并且根据所加载的程序适当控制显示部26和存储部27。而且,CPU 21通过接口部25适当控制显微镜10的各个部分。
1.4生物样本图像获取处理的具体内容
当CPU 21接收来自操作输入部24的获取生物样本SPL的图像的指令时,CPU 21将对应于获取的指令的程序加载至RAM 23。
如图9所示,CPU 21根据对应于生物样本SPL的图像的获取指令的程序而用作移动控制部41、曝光控制部42、电子闪光控制部43、图像获取部44、图像生成部45以及数据记录部46。
例如,如图10所示,移动控制部41将生物样本SPL的成像区域(在下面也被称作样本区域)PR分配给多个小区域AR以匹配物镜12A和成像透镜12B的放大倍率。在这点上,图10中,小区域AR没有彼此重叠。然而,部分相邻的区域可能重叠。
移动控制部41移动可移动镜台11,使得通过CMOS图像传感器14成像的区域变为多个小区域AR中例如左上的小区域AR。
在移动控制部41执行移动使得左上小区域AR变为成像区域之后,曝光控制部42使CMOS图像传感器14开始曝光。
在曝光控制部42使CMOS图像传感器14开始曝光之后,优选在开始曝光的时间点,电子闪光控制部43输出电子闪光指令SS至光源控制部30。当通过电子闪光控制部43提供电子闪光指令SS时,如上所述,光源控制部30使白色LED 13A发射一定量的光。
在电子闪光控制部43输出电子闪光指令SS后,系统控制器31提供发光结束信号,优选在提供发光结束信号的时间点,曝光控制部42停止CMOS图像传感器14的曝光。
图像获取部44为每条扫描线依次读出CMOS图像传感器14的每个像素的电信号,并且获得作为结果而获得的小区域AR的生物样本SPL部位的图像作为分割图像。
因此,如图11所示,在CMOS图像传感器14的所有像素的曝光开始之后,曝光控制部42和电子闪光控制部43使白色LED 13A发光。并且,在曝光控制部42和电子闪光控制部43使白色LED 13A发射一定量的光之后,曝光控制部42和电子闪光控制部43停止CMOS图像传感器14的所有像素的曝光。
在这点上,在图11中,时刻Ts3表示首先开始曝光的扫描线的曝光开始时刻,以及时刻Ts4表示最后开始曝光的扫描线的曝光开始时刻。而且,时刻Te3表示对应于时刻Ts3的扫描线的曝光结束时刻,以及时刻Te4表示对应于时刻Ts4的扫描线的曝光结束时刻。
移动控制部41使图像获取部44读出CMOS图像传感器14的电信号,并且同时移动可移动镜台11使得通过CMOS图像传感器14成像的下一区域变为例如左上小区域AR的右边的小区域AR。
曝光控制部42和电子闪光控制部43使CMOS图像传感器14开始曝光,并且将电子闪光指令SS输出至光源控制部30以使白色LED 13A发射一定量的光。从那之后,曝光控制部42和电子闪光控制部43结束CMOS图像传感器14的曝光。而且,图像获取部44从CMOS图像传感器14获取分割图像。
以这种方式,移动控制部41将通过CMOS图像传感器14成像的区域依次从最左上端的小区域AR移动至最右上端。接下来,移动控制部41向下移动一行,并且依次从右端向左端移动。以这种方式,移动控制部41为各行交替地沿相反的方向移动成像区域直到获得对应于所有小区域AR的分割图像。
曝光控制部42、电子闪光控制部43以及图像获取部44以与上述相同的方式运行,并且每当通过移动控制部41将成像区域移动至一个小区域AR时获取小区域AR中的分割图像。
图像生成部45组合通过图像获取部44获得的多个分割图像以生成生物样本图像。
当生成生物样本图像时,数据记录部46产生包括表示全部生物样本图像或能够恢复生物样本图像的图像的一部分的图像信息的样本数据。
数据记录部46对样本数据增加指示关于生物样本图像的识别信息的数据,并且将具有该数据的样本数据记录至存储部27。
识别信息包括例如生物样本SPL的信息,诸如受检者姓名、受检者性别、受检者年龄以及获取日期等。数据记录部46在诸如给出生物样本SPL的数据存储指令的时刻、应该设置显微镜载片SG的时刻等的预定时刻,通知应输入识别信息。
而且,如果在创建生物样本数据时没有获得识别信息,则数据记录部46给出应该输入识别信息的警告。在这点上,例如,通过声音或通过GUI(图形用户界面)画面等给出应该输入识别信息的通知或警告。
1.5生物样本图像获取的处理步骤
接下来,将根据图12所示的流程图给出上述的生物样本图像获取处理步骤的描述。
实际上,CPU 21从开始步骤进入程序RT1,并且前进至下一步SP1。在步骤SP1中,CPU 21向多个小区域AR分配样本区域PR,并且移动可移动镜台11使得通过CMOS图像传感器14成像的区域是第一个(左上)小区域AR,并且处理前进至下一步骤SP2。
在步骤SP2中,CPU 21开始CMOS图像传感器14的曝光,并且处理前进至下一步骤SP3。
在步骤SP3中,CPU 21将电子闪光指令SS输出至光源控制部30以使白色LED 13A发光,然后在下一步骤SP4中,获得从白色LED 13A发射的光的强度的积分值,并且处理前进至下一步骤SP5。
在步骤SP5中,当积分值变为阈值以上时,CPU 21使光源控制部30结束白色LED 13A的发光,并且处理前进至下一步骤SP6。
在步骤SP6中,CPU 21结束CMOS图像传感器14的曝光,并且处理前进至下一步骤SP7。
在步骤SP7中,CPU 21为每行依次读出CMOS图像传感器14的每个像素的电信号,作为结果获得了分割图像,并且处理前进至下一步骤SP8。
在步骤SP8中,CPU 21判定是否所有的小区域AR已经成像。如果获得否定结果,则意味着仍存在需要成像的小区域AR,因此处理前进至下一步骤SP9。
在步骤SP9中,CPU 21移动可移动镜台11使得通过CMOS图像传感器14成像的区域变为下一个小区域AR,并且处理返回至步骤SP2。
CPU 21重复步骤SP2至步骤SP9直到在步骤SP8中获得肯定的结果。当获得肯定的结果时,意味着已经获得对应于所有小区域AR的分割图像,并且处理前进至步骤SP10。
在步骤SP10中,CPU 21组合分割图像以生成生物样本图像,然后在下一步骤SP11中,将包括生物样本图像的样本数据存储至存储部27,并且处理进入下一步骤从而结束处理。
1.6操作和优点
在生物样本图像获取装置1的上述构造中,来自白色LED 13A的光照射在分别地分配给包括要成像的生物样本SPL的样本区域PR的小区域AR上。
在生物样本图像获取装置1中,光检测器13C检测从白色LED13A发射的光的强度,通过积分器32对光的强度进行积分,并且在积分值变为阈值以上时结束白色LED 13A的发光。
在生物样本图像获取装置1中,在白色LED 13A发光之前开始CMOS图像传感器14的曝光,并且在结束白色LED 13A的发光之后结束CMOS图像传感器14的曝光。
在生物样本图像获取装置1中,从CMOS图像传感器14获取小区域AR的图像作为分割图像。
从而,在生物样本图像获取装置1中,当分别地获得全部分割图像时,从白色LED 13A发射的光量可以保持恒定。因此,在每个小区域AR都成像时都可以保持CMOS图像传感器14的曝光量恒定。
因此,在生物样本图像获取装置1中,当获得所有小区域AR的分割图像时,将这些分割图像别组合为一张生物样本图像,即使白色LED 13A的光强度发生变化,也可以减少所有分割图像间的亮度差异。
而且,在生物样本图像获取装置1中,并非必须在白色LED 13A进入热平衡状态后开始成像,并且因此可以将成像时间缩短所述时间量。
顺便提及,在使用为每行执行开始曝光、结束曝光以及读出电信号的诸如CMOS图像传感器14的成像装置的情况下,每行的开始曝光、结束曝光以及读出电信号产生时间差异。
然而,在生物样本图像获取装置1中,在白色LED 13A发光之前开始CMOS图像传感器14的所有像素的曝光,并且在白色LED13A停止发光之后停止CMOS图像传感器14的所有像素的曝光。
从而,在生物样本图像获取装置1中,在使用为每行执行开始曝光、结束曝光以及读出电信号的诸如CMOS图像传感器14的成像装置的情况下,可以为每行获得没有亮度差异的分割图像。
顺便提及,在生物样本图像获取装置1中,考虑这样一种方法,其中,白色LED 13A始终发光,并且通过打开和关闭设置在光的光路上的机械快门而保持CMOS图像传感器14的曝光量恒定。
在这种方法中,通常由于机械快门的使用寿命是从10万次到100万次,所以如果以一分钟内获取数百张分割图像的生物样本图像获取装置1使用这种方法,则机械快门大约在3天内就达到使用寿命。
相反,在生物样本图像获取装置1中,通过白色LED 13A的发光控制而保持CMOS图像传感器14的曝光量恒定,因此,它在可维护性和经济效率上比设置机械快门的情况更有优势。
而且,对于另一种方法,考虑了这样一种方法,其中,为了保持CMOS图像传感器14的曝光量恒定,而通过所谓的APC(自动功率控制)将白色LED 13A控制在恒定的强度。
通过这种方法,可以比白色LED 13A进入热平衡状态的时间期间更短的时间保持光强度恒定。然而,在这种方法中需要将控制频段设计为高频段,使得APC可以充分响应电子闪光发射时间。具体地,在使用具有诸如PWM(脉宽调制)方法等的高效输出形式的LED驱动器的情况下,LED电流的控制频段被PWM载波频率所限制,因此难以实现具有高响应速度的APC。
相反,在生物样本图像获取装置1中,从白色LED 13A发射的光量保持恒定。因此,不需要等待从白色LED 13A发射的光的强度变为恒定,并且成像期间可以缩短该等待的期间。而且,即使LED电流通过PWM方法而发生脉动,光量也可以适当地保持恒定。
利用上述配置,在生物样本图像获取装置1中,在白色LED 13A发光前,对于样本区域PR所分配的小区域AR,开始CMOS图像传感器14的曝光。而且,在生物样本图像获取装置1中,在白色LED 13A发射了一定量的光之后,结束CMOS图像传感器14的曝光以获得分割图像。
从而,在生物样本图像获取装置1中,可以保持CMOS图像传感器14的曝光量恒定而不需要等待白色LED 13A进入热平衡状态。因此,可以缩短成像时间,并且减小分割图像之间的亮度差异。
2.第二实施方式
在第二实施方式中,光源控制部和CPU的功能构造不同于第一实施方式。在这点上,生物样本图像获取装置1和数据处理部20的构造与第一实施方式的相同,并将省略其描述。
2.1光源单元和光源控制部的构造
如图13所示,其中,关于图5的相应部分,给出相同的参考标号,光源控制部60包括系统控制器31、积分器32以及LED驱动器35。系统控制器31适当控制积分器32和LED驱动器35。
当LED驱动器35向白色LED 13A提供电流时,白色LED 13A发射在一定范围内扩散的光。当从白色LED 13A发射的扩散的光的一部分照射在光检测器13C上时,光检测器13C测量照射光的强度,并且将根据光强度的光强度信号S1发送至积分器32。
当数据处理部20向系统控制器31提供电子闪光指令SS时,系统控制器31向积分器32发送复位信号S2。
当积分器32接收复位信号S2时,积分器32响应于复位信号S2复位到此刻为止已经积分的积分值。积分器32从复位的时间点起、对根据从光检测器13C提供的光强度信号S1的光强度进行积分。
在系统控制器31将复位信号S2发送至积分器32之后,在从发光开始至发光结束的一定时间期间(一直被设置为相同的时间间隔)内,系统控制器31向LED驱动器35输出用于使白色LED 13A发光的发光指令信号S11。
当系统控制器31向LED驱动器35提供发光指令信号S11时,LED驱动器35对白色LED 13A施加恒定电流一定的时间期间,使得白色LED 13A发光一定的时间期间。
积分器32从复位的时间点开始、对从白色LED 13A发射的光的强度进行一定时间期间的积分,并且将表示积分值(作为结果所获得的)的积分值信号S3发送至系统控制器31。
以这种方式,当向光源控制部30提供来自数据处理部20的电子闪光指令SS时,光源控制部控制白色LED 13A发光一定时间期间,并且光源控制部30获得在那段时间内从白色LED 13A发射的光的强度的积分值。
2.2生物样本图像获取处理的具体内容
当CPU 21接收来自操作输入部24的生物样本SPL的图像的获取指令时,CPU 21将对应于所获得的指令的程序加载到RAM 23中。
如图14所示,CPU 21根据对应于生物样本SPL的图像的获取指令的程序而用作移动控制部41、曝光控制部42、电子闪光控制部43、图像获取部44、图像校正部47、图像生成部45以及数据记录部46。
移动控制部41向多个小区域AR分配样本区域PR,并且移动可移动镜台11使得通过CMOS图像传感器14成像的区域变为多个小区域AR中例如左上的小区域AR。
在移动控制部41执行移动使得左上小区域AR变为成像区域之后,曝光控制部42使CMOS图像传感器14开始曝光。
在曝光控制部42使CMOS图像传感器14开始曝光之后,优选在CMOS图像传感器14开始曝光的时间点,电子闪光控制部43将电子闪光指令SS输出至光源控制部60。当通过电子闪光控制部43提供电子闪光指令SS时,光源控制部60使白色LED 13A发光一定的时间期间。
在通过光源控制部60结束白色LED 13A的发光后,曝光控制部42优选在发光结束的时间点结束CMOS图像传感器14的曝光。
图像获取部44为每行依次读出CMOS图像传感器14的每个像素的电信号,并且获得左上小区域AR的生物样本SPL部分的图像(作为结果而获得的)作为分割图像。
此时,当获取部44获得左上小区域AR的分割图像时,获取部44获得表示通过白色LED 13A照射一定时间期间的光的强度的积分值的积分值信号S3。
当获得分割图像时,移动控制部41将可移动镜台11移动到下一个小区域AR。并且,曝光控制部42、电子闪光控制部43、图像获取部44在每当移动控制部41将可移动镜台11移动到任何小区域AR时通过以上述相同的方式起作用而获得小区域AR的分割图像和积分值信号S3。
图像校正部47计算用于将通过积分值信号S3表示的积分值与预定值相匹配的倍率,并且将计算的倍率和对应于积分值的分割图像的亮度值相乘以校正分割图像的亮度值。
图像校正部47以相同的方式为所有分割图像校正亮度值。而且,图像校正部47执行畸变校正以校正所有分割图像的畸变。
图像生成部45组合通过图像校正部47校正的分割图像以生成生物样本图像。当生成生物样本图像时,数据记录部46产生包括表示全部生物样本图像或能够恢复生物样本图像的图像的一部分的图像信息的样本数据。
2.3生物样本图像获取的处理步骤
接下来,将根据图15所示的流程图给出上述的生物样本图像获取处理步骤的描述。
实际上,CPU 21从开始步骤进入程序RT2,并且前进至下一步SP21。在步骤SP21中,CPU 21向多个小区域AR分配样本区域PR,并且移动可移动镜台11使得通过CMOS图像传感器14成像的区域是第一个成像区域AR,并且处理前进至下一步骤SP22。
在步骤SP22中,CPU 21开始CMOS图像传感器14的曝光,并且处理前进至下一步骤SP23。
在步骤SP23中,CPU 21将电子闪光指令SS输出至光源控制部60以通过恒定电流使白色LED 13A发光一定的时间期间,并且处理前进至下一步骤SP24。
在步骤SP24中,CPU 21结束CMOS图像传感器14的曝光,并且处理前进至下一步骤SP25。
在步骤SP25中,CPU 21为每行依次读取CMOS图像传感器14的每个像素的电信号,作为结果获得了分割图像,而且获得对应于分割图像的积分值信号S3,并且处理前进至下一步骤SP26。
在步骤SP26中,CPU 21确定是否所有的小区域AR已经成像。如果获得否定结果,则意味着仍存在要成像的小区域AR,因此处理前进至下一步骤SP27。
在步骤SP27中,CPU 21移动可移动镜台11使得通过CMOS图像传感器14成像的区域变为下一个小区域AR,并且处理返回至步骤SP22。
CPU 21重复步骤SP22至步骤SP27直到在步骤SP26中获得肯定的结果。当获得肯定的结果时,意味着已经获得对应于所有小区域AR的分割图像和积分值信号S3,并且处理前进至步骤SP28。
在步骤SP28中,CPU 21计算用于将通过积分值信号S3(分别对应于全部分割图像)表示的积分值与预先设置的预定值相匹配的倍率,将各倍率与各分割图像的亮度值相乘以校正分割图像的亮度值,并且处理前进至下一步骤SP29。
在步骤SP29中,CPU 21对经过亮度值校正的分割图像执行畸变校正。在下一步骤SP30中,CPU 21将分割图像组合成为生物样本图像,并且处理前进至下一步骤SP31。
在步骤SP31中,CPU 21将包括生物样本图像的样本数据存储至存储部27,并且处理前进至下一步骤以结束处理。
2.4操作和优点
在生物样本图像获取装置1的上述构造中,来自白色LED 13A的光在分别地分配给包括要成像的生物样本SPL的样本区域PR的小区域AR上照射一定的时间期间。
在生物样本图像获取装置1中,光检测器13C检测从白色LED13A发射的光的强度,通过积分器32从发光的时间点开始对光强度进行积分。
在生物样本图像获取装置1中,在白色LED 13A发光之前开始CMOS图像传感器14的曝光,并且在结束白色LED 13A的发光之后结束CMOS图像传感器14的曝光。
并且,在生物样本图像获取装置1中,从CMOS图像传感器14获取小区域AR的图像作为分割图像,并且获得对应于每个分割图像的积分值。
并且,在生物样本图像获取装置1中,校正分割图像的亮度值使得积分值恒定,并且将校正的分割图像组合成生物样本图像。
因此,在生物样本图像获取装置1中,当小区域AR成像时可以保持CMOS图像传感器14的曝光时间恒定,并且使用对应于此时的曝光量的积分值来校正分割图像的亮度值。因此,可以减小分割图像之间的亮度差异。
而且,在生物样本图像获取装置1中,没有必要在白色LED 13A进入热平衡状态后开始成像,因此可以将成像时间缩短该时间量。
此外,在生物样本图像获取装置1中,即使在使用为每行执行开始曝光、结束曝光以及读出电信号的诸如CMOS图像传感器14的成像装置的情况下,也可以为每行获得没有亮度值差异的分割图像。
而且,在生物样本图像获取装置1中,白色LED 13A的发光时间保持恒定,因此可以始终保持白色LED 13A的发光时间和CMOS图像传感器14的曝光时间恒定。
因此,在生物样本图像获取装置1中,与第一实施方式中将曝光量控制为一定量的情况相比较,可移动镜台11的移动控制、白色LED 13A的发光控制、以及CMOS图像传感器14的曝光控制的定时对于每个小区域AR没有变化。因此,在生物样本图像获取装置1中,可以容易地制定用于移动控制、发光控制以及曝光控制的定时。
顺便提及,作为用于校正亮度值的方法,考虑这样一种方法,其中,分别计算多个分割图像的亮度值的平均值,并且校正多个分割图像的亮度值使得所述平均值相同。然而,通过这种方法,所有分割图像的亮度值的平均值变得相同。
因此,通过该方法,存在难以以与用相同的曝光量获取多个分割图像的情况相同的方式来校正亮度值的情况。例如,存在亮度值对于包括生物样本SPL的部分和对于不包括生物样本SPL的部分等变为相同的情况。因此,通过该方法,产生了分割图像DP的接合处变得明显的问题。
相反,在生物样本图像获取装置1中,校正分割图像的亮度值使得积分值恒定。因此,可以以与用相同曝光量获取多个分割图像的情况相同的方式校正亮度值,并且因此分割图像的接合处变得不明显。
利用上面的配置,在生物样本图像获取装置1中,在白色LED13A发光前开始对样本区域PR所分配的小区域AR进行CMOS图像传感器14的曝光。而且,在生物样本图像获取装置1中,在白色LED 13A发光一定时间期间后结束CMOS图像传感器14的曝光以获得分割图像。
在生物样本图像获取装置1中,校正分割图像的亮度值,使得从白色LED 13A发射的光的强度的积分值相同,然后将分割图像组合成生物样本图像。从而,生物样本图像获取装置1可以缩短成像时间,并且减小分割图像之间的亮度差异。
3.其他实施方式
在这点上,在上述第一实施方式中,已给出了在明视野模式中从光源单元13发射到所有小区域AR上的光量恒定的情况的描述。然而,本发明不限于此,并且可以使在暗视野模式中发射的激发光的量恒定。
在这种情况下,暗视野模式中的生物样本图像获取装置设置有光检测器,该光检测器测量从激发光源系统发射的激发光的强度;以及光源控制部,接收从光检测器发送的光强度信号,并控制激发光源系统。
而且,激发光源系统可以包括设置一个发射具有多种波长的激发光的激发光源的情况,或设置各自发射一种激发波长的多个激发光源的情况。
对于一个实例,将给出设置多个激发光源的情况的描述。代替激发光源系统15和光源控制部30,生物样本图像获取装置100(图4)设置有如图16所示的激发光源系统80和光源控制部90。在这点上,在这种情况下,假设生物样本SPL已经进行了荧光染色。
激发光源系统80包括光源单元81和82、反射镜83以及分色镜84。光源单元81和82分别包括发射具有不同波长的激发光源LED 81A和82A、聚光器81B和82B、以及光检测器81C和82C。
光源控制部90包括系统控制器91、积分器92、比较器93、与电路94、LED驱动器95、积分器96、比较器97、与电路98以及LED驱动器99。系统控制器91总体控制光源控制部90的各个部分91~99。
当LED驱动器95向激发光源LED 81A提供电流时,激发光源LED 81A发射在一定范围内扩散的光。聚光器81B将从激发光源LED 81A发射的扩散的光中照射到自身的光转换为平行光线,并且平行光在反射镜83上发生反射。从反射镜83反射的光透射通过分色镜81,并且通过激发滤光片16、分色镜12C以及物镜12A照射在生物样本SPL上。
当LED驱动器99向激发光源LED 82A提供电流时,激发光源LED 82A发射在一定范围内扩散的光。聚光器82B将从激发光源LED 82A发射的扩散的光中照射到自身的光转换为平行光线,并且平行光线在分色镜84上发生反射。从分色镜84反射的光通过激发滤光片16、分色镜12C以及物镜12A照射到生物样本SPL上。
当光检测器81C和82C分别接收从激发光源LED 81A和82A发射的扩散的光的一部分时,光检测器81C和82C检测照射光的强度,并且分别将根据光强度的光强度信号S21和S31发送至积分器92和96。
当数据处理部20向系统控制器91提供电子闪光指令SS时,系统控制器91分别将复位信号S22和S32发送至积分器92和96。而且,系统控制器91分别将表示预定阈值的阈值信号S24和S34发送至比较器93和97。
此外,系统控制器91分别将复位信号S22和S32发送至积分器92和96,然后输出用于指示激发光源LED 81A和82A输出光的发光指令S26和S36。以比激发光源LED 81A和82A应输出光的时间期间更长的时间期间来设置发光指令S26和S36。
当积分器92接收复位信号S22时,积分器92复位积分值,积分器92从复位的时间点开始对根据从光检测器81C提供的光强度信号S21的光强度进行积分,并且将表示积分值的积分值信号S23发送至比较器93。
比较器93比较由阈值信号S24表示的阈值和由积分值信号S23表示的积分值。如果积分值小于阈值,则比较器93将使激发光源LED 81A输出光的输出信号S25发送至与电路94。
如果向与电路94提供来自比较器93的输出信号S25和来自系统控制器91的发光指令信号S26,则与电路94将用于使激发光源LED 81A发光的发光指令信号S27发送至LED驱动器95。
如果与电路94向LED驱动器95提供发光指令信号S27,则LED驱动器95向激发光源LED 81A施加恒定电流,使得激发光源LED 81A发光。
另一方面,当积分器96接收复位信号S32时,积分器96复位积分值,积分器96从复位的时间点开始对根据从光检测器82C提供的光强度信号S31的光强度进行积分,并且将表示积分值的积分值信号S33发送至比较器97。
比较器97比较由阈值信号S34表示的阈值和由积分值信号S33表示的积分值。如果积分值小于阈值,则比较器97将使激发光源LED 82A输出光的输出信号S35发送至与电路98。
如果向与电路98提供来自比较器97的输出信号S35和来自系统控制器91的发光指令信号S36,则与电路98将用于使激发光源LED 82A发光的发光指令信号S37发送至LED驱动器98。
如果与电路97向LED驱动器99提供发光指令信号S37,则LED驱动器99向激发光源LED 82A施加恒定电流,使得激发光源LED 82A发光。
当CPU 21从操作输入部24接收生物样本SPL的图像的获取指令时,CPU 21将对应于获得的指令的程序加载至RAM 23,并且根据图17所示的流程图执行处理。
实际上,CPU 21从开始步骤进入程序RT3,并且前进至下一步SP41。在步骤SP41中,CPU 21向多个小区域AR分配样本区域PR,并且移动可移动镜台11使得通过CMOS图像传感器14成像的区域是第一个成像区域AR,并且处理进入下一步骤SP42。
在步骤SP42中,CPU 21开始CMOS图像传感器14的曝光,并且处理前进至下一步骤SP43。
在步骤SP43中,CPU 21将电子闪光指令SS输出至光源控制部90以使激发光源LED 81A和82A发光,并且处理前进至下一步骤SP44。
在步骤SP44中,CPU 21使光源控制部90获得分别从激发光源LED 81A和82A发射的光的强度的积分值,并且处理前进至下一步骤SP45。
在步骤SP45中,当积分值变为阈值以上时,CPU 21使光源控制部90依次结束激发光源LED 81A和82A的发光,并且处理前进至下一步骤SP46。
在步骤SP46中,在所有的激发光源LED 81A和82A结束发光后,CPU 21结束CMOS图像传感器14的曝光,并且处理前进至下一步骤SP47。
在步骤SP47中,CPU 21为每行依次读取CMOS图像传感器14的每个像素的电信号,获得分割图像作为结果,并且处理前进至下一步骤SP48。
在步骤SP48中,CPU 21判定是否所有的小区域AR已经成像。如果获得否定结果,则意味着仍存在要成像的小区域AR,因此处理前进至下一步骤SP49。
在步骤SP49中,CPU 21移动可移动镜台11使得通过CMOS图像传感器14成像的区域变为下一个小区域AR,并且处理返回至步骤SP42。
CPU 21重复步骤SP42至步骤SP49直到在步骤SP48中获得肯定的结果。当获得肯定的结果时,意味着已经获得了对应于所有小区域AR的分割图像,并且处理前进至步骤SP50。
在步骤SP50,CPU 21将分割图像组合成为生物样本图像,然后在下一步骤SP51将包括生物样本图像的样本数据存储至存储部27,并且处理前进至下一步骤以结束处理。
以这种方式,如图18所示,在生物样本图像获取装置100中,在激发光源LED 81A和82A发光前,开始CMOS图像传感器14的曝光。并且在生物样本图像获取装置100中,在激发光源LED 81A和82A都结束发光之后,结束CMOS图像传感器14的曝光。
在这点上,在图18中,时刻Ts5表示首先开始曝光的行的曝光开始时刻,时刻Ts6表示最后开始曝光的行的曝光开始时刻。而且,时刻Te5表示对应于时间Ts5的行的曝光结束时刻,时间Te6表示对应于时刻Ts6的行的曝光结束时刻。而且,在图18中,实线和单点划线表示分别从不同的激发光源LED 81A和82A发射的光强度。
从而,在生物样本图像获取装置100中,在设置多个激发光源LED的情况下,激发光源LED可以发出具有各自的波长的恒定光量的光。
而且,在生物样本图像获取装置100中,可以保持CMOS图像传感器14的曝光量恒定而不必等待激发光源LED进入热平衡状态。因此,可以缩短成像期间,并且减小生物样本图像的亮度差异。
而且,在生物样本图像获取装置100中,在等待直到激发光源LED进入热平衡状态的情况下,没有保持生物样本SPL暴露于激发光,因此可以限制对生物样本SPL染色的荧光染料的褪色。
而且,在上述第二实施方式中,已经给出了在明视野模式中从光源单元13向所有小区域AR发光的发光时间保持恒定的情况的描述。然而,本发明不限于此,并且在暗视野模式中向所有小区域AR发射激发光的发光时间也可以保持恒定。
此外,在上述第一和第二实施方式中,已经给出了使用LED作为光源的情况的描述。然而,本发明不限于此,并且汞灯或卤素灯也可以用作光源。
此外,在上述第一和第二实施方式中,已经给出了CMOS图像传感器14用作成像装置的情况的描述。本发明不限于此,并且CCD可以用作成像装置。
如果在第一实施方式中使用CCD代替CMOS图像传感器14,则如图19所示,在白色LED 13A发光前开始CCD的曝光,而在白色LED 13A结束发光之后结束CCD的曝光。因此,即使在使用CCD的情况下,也可以缩短成像期间,并且减小分割图像间的亮度差异。在这点上,在图19中,时刻Ts7表示曝光开始时刻,时刻Te7表示曝光结束时刻。
此外,在上述第一实施方式中,已经描述了在白色LED 13A结束发光之后结束CMOS图像传感器14的曝光的情况。本发明不限于此。如果给出从白色LED 13A发射的光量变为恒定的发光时间期间,则设置比发光时间还要长的曝光时间,并且CMOS图像传感器14可以以该曝光时间曝光。
具体地,如果给出从白色LED 13A发射的光量变为恒定的发光时间为例如30ms至50ms之间的值,则CMOS图像传感器14的所有行曝光的曝光时间设置为例如70ms。
在这种情况下,在生物样本图像获取装置1中,与改变CMOS图像传感器14的曝光时间相比较,更容易控制CMOS图像传感器14。因此,在生物样本图像获取装置1中,可以在预定的定时控制可移动镜台11、白色LED 13A以及CMOS图像传感器14,因此可以执行总体控制。
此外,已经描述了在上述第一实施方式中,通过硬件实现光源控制部30的系统控制器31、积分器32、比较器33、与电路34以及LED驱动器35。本发明不限于此。还可以通过系统控制器31或CPU 21中的软件实现积分器32、比较器33、与电路34以及LED驱动器35。
而且,已经描述了在上述第二实施方式中,通过硬件实现光源控制部60的系统控制器31、积分器32以及LED驱动器35。本发明不限于此。可以通过系统控制器31或CPU 21中的软件实现积分器32和LED驱动器35。
而且,已经描述了在上述光源控制部90中,通过硬件实现系统控制器91、积分器92、比较器93、与电路94、LED驱动器95、积分器96、比较器97、与电路98以及LED驱动器99。本发明不限于此。页可以通过系统控制器31或CPU 21中的软件实现积分器92、比较器93、与电路94、LED驱动器95、积分器96、比较器97、与电路98以及LED驱动器99。
此外,已经描述了在上述第一和第二实施方式中,设置物镜12A和成像透镜12B。本发明不限于此。也可以仅设置物镜12A。而且,为了使倍率改变,可以对物镜12A使用旋转端头(nose-piece)等。
此外,在上述第一和第二实施方式中,通过生物样本图像获取处理获得的样本数据存储在存储部27中。存储部27不限于设置在数据处理部20中的情况,也可以设置在数据处理部20的外部。而且,用于存储部27的数据通信介质不限于总线28,并且例如可以使用诸如局域网、因特网、数字卫星广播等的有线或无线通信介质。
此外,已经描述了在上述第一实施方式中,设置CMOS图像传感器14作为成像装置,设置光检测器13C作为检测部,设置积分器32作为积分部,设置光源控制部30作为光源控制部,设置曝光控制部42作为曝光控制部,以及设置图像获取部44作为图像获取部。然而,在本发明中,可以设置具有不同构造的成像装置、检测部、积分器、光源控制部、曝光控制部以及图像获取部。
此外,已经描述了在上述第二实施方式中,设置CMOS图像传感器14作为成像装置,设置光检测器13C作为检测部,设置积分器32作为积分部,设置光源控制部30作为光源控制部,设置曝光控制部42作为曝光控制部,设置图像获取部44作为图像获取部,设置图像校正部47作为校正部,以及设置图像生成部45作为图像生成部。然而,在本发明中,可以设置具有不同构造的成像装置、检测部、积分器、光源控制部、曝光控制部、图像获取部、校正部以及生成部。
本领域技术人员应当理解,根据设计要求和其他因素,可以进行各种修改、组合、子组合和变形,只要它们在所附权利要求书或其等同物的范围之内。
Claims (9)
1.一种图像获取装置,包括:
成像装置,在所述成像装置上形成分配给成像区域的小区域的图像;
检测部,检测从光源照射在所述小区域上的光的强度;
积分部,对由所述检测部检测的光的强度进行积分;
光源控制部,如果从所述光源发光的时间点起、通过所述积分部积分的光的强度的积分值大于预定阈值,则所述光源控制部停止所述光源的发光;
曝光控制部,在所述光源发光前开始所述成像装置的曝光,并且在所述光源的发光停止后停止所述成像装置的曝光;以及
图像获取部,从所述成像装置获取所述小区域的图像作为分割图像。
2.根据权利要求1所述的图像获取装置,
其中,所述成像装置沿着像素阵列开始依次为每行进行曝光,并且以曝光开始的顺序依次为每行停止曝光。
3.根据权利要求1所述的图像获取装置,还包括:
移动控制部,移动在所述成像装置上形成有图像的所述小区域,
其中,所述移动控制部在所述曝光控制部停止曝光的时间点将在所述成像装置上形成有图像的区域移动至另一小区域。
4.根据权利要求1所述的图像获取装置,
其中,所述检测部分别检测从多个光源发出的光的强度,所述积分部分别对由所述检测部检测的来自所述多个光源的光的强度进行积分,以及
所述光源控制部控制所述多个光源同时发光,并且依次停止从所述光源发光的时间点起、通过所述积分部积分的光的强度的积分值大于预定阈值的所述光源的发光,以及
曝光控制部,在所述多个光源发光前开始所述成像装置的曝光,并且在所述多个光源的发光全部停止后停止所述成像装置的曝光。
5.一种图像获取方法,所述方法包括以下步骤:
检测步骤,检测从光源照射在分配给成像区域的小区域上的光的强度;
积分步骤,对由所述检测步骤检测的光的强度进行积分;
光源控制步骤,如果从所述光源发光的时间点起、通过所述积分步骤积分的光的强度的积分值大于预定阈值,则控制所述光源以停止所述光源的发光;
曝光控制步骤,控制曝光,以在所述光源发光前开始其上形成有所述小区域的图像的成像装置的曝光,并且在所述光源的发光停止后停止所述成像装置的曝光;以及
图像获取步骤,从所述成像装置获取所述小区域的图像作为分割图像。
6.一种图像获取装置,包括:
成像装置,在所述成像装置上形成分配给成像区域的小区域的图像;
检测部,检测从光源照射在所述小区域上的光的强度;
积分部,对由所述检测部检测的光的强度进行积分;
光源控制部,从所述光源发光使得发光的开始和结束之间的时间间隔恒定;
曝光控制部,在通过所述光源控制部使所述光源发光前开始所述成像装置的曝光,并且在通过所述光源控制部停止所述光源的发光后停止所述成像装置的曝光;
图像获取部,从所述成像装置获取所述小区域的图像作为分割图像;
校正部,校正所述分割图像的亮度值使得在获取所述分割图像时通过所述积分部积分的光的强度的积分值相同;以及
图像生成部,通过组合由所述校正部校正的所述分割图像而生成一个图像。
7.根据权利要求6所述的图像获取装置,
其中,所述成像装置沿着像素阵列开始依次为每行进行曝光,并且以曝光开始的顺序依次为每行停止曝光。
8.根据权利要求6所述的图像获取装置,还包括:
移动控制部,移动在所述成像装置上形成有图像的所述小区域,
其中,所述移动控制部在所述曝光控制部停止曝光的时间点将在所述成像装置上形成有图像的区域移动至另一小区域。
9.一种获取图像的方法,所述方法包括以下步骤:
检测步骤,检测从光源照射在分配给成像区域的小区域上的光的强度;
积分步骤,对由所述检测步骤检测的光的强度进行积分;
光源控制步骤,控制所述光源发光使得发光的开始和结束之间的时间间隔恒定;
曝光控制步骤,控制曝光,以在通过所述光源控制步骤使所述光源发光前开始所述成像装置的曝光,并且在通过所述光源控制步骤停止所述光源的发光后停止所述成像装置的曝光;
图像获取步骤,从所述成像装置获取所述小区域的图像作为分割图像;
校正步骤,校正所述分割图像的亮度值使得在获取所述分割图像时通过所述积分步骤积分的光的强度的积分值相同;以及
图像生成步骤,通过组合由所述校正步骤校正的所述分割图像而生成一个图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-188776 | 2009-08-17 | ||
JP2009188776A JP5365407B2 (ja) | 2009-08-17 | 2009-08-17 | 画像取得装置及び画像取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101995652A true CN101995652A (zh) | 2011-03-30 |
CN101995652B CN101995652B (zh) | 2014-05-14 |
Family
ID=42735604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010250645.2A Expired - Fee Related CN101995652B (zh) | 2009-08-17 | 2010-08-10 | 图像获取装置和图像获取方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8553140B2 (zh) |
EP (1) | EP2296367B1 (zh) |
JP (1) | JP5365407B2 (zh) |
CN (1) | CN101995652B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105100638A (zh) * | 2014-05-19 | 2015-11-25 | 洛克威尔自动控制技术股份有限公司 | 使用点矩阵照明的光学区域监测 |
US9911028B2 (en) | 2013-11-01 | 2018-03-06 | Hamamatsu Photonics K.K. | Image acquisition device and image acquisition method for image acquisition device |
CN109846458A (zh) * | 2017-11-30 | 2019-06-07 | 原相科技股份有限公司 | 穿戴式装置及其侦测方法 |
CN110632750A (zh) * | 2019-08-30 | 2019-12-31 | 北京临近空间飞行器系统工程研究所 | 荧光显微光学系统和荧光染色细胞扫描及分析系统 |
CN110708472A (zh) * | 2019-11-07 | 2020-01-17 | 重庆紫光华山智安科技有限公司 | 一种抑制运动亮光源曝光控制方法、系统及设备 |
CN111902761A (zh) * | 2018-04-09 | 2020-11-06 | 浜松光子学株式会社 | 试样观察装置和试样观察方法 |
US11243294B2 (en) | 2014-05-19 | 2022-02-08 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197297A1 (zh) * | 2015-06-08 | 2016-12-15 | 北京旷视科技有限公司 | 活体检测方法、活体检测系统以及计算机程序产品 |
JP6680560B2 (ja) * | 2016-02-17 | 2020-04-15 | オリンパス株式会社 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
WO2018230575A1 (ja) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | 顕微鏡システム |
JP7011152B2 (ja) * | 2017-08-30 | 2022-01-26 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム |
US11442018B2 (en) * | 2018-01-26 | 2022-09-13 | Molecular Devices (Austria) GmbH | System and method for intensity stabilization for quantitative imaging |
CN113227843B (zh) * | 2018-12-31 | 2023-08-08 | 亚利桑那州立大学董事会 | 低放大率暗场显微镜下的可扩增纳米颗粒增强的定量散射测定 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5491533A (en) * | 1993-06-29 | 1996-02-13 | Nikon Corporation | Electronic flash control system and method for high-speed flashing |
CN1262457A (zh) * | 1999-01-25 | 2000-08-09 | 索尼公司 | 光发射控制设备、摄像机设备和光发射控制方法 |
JP2001311988A (ja) * | 2000-05-01 | 2001-11-09 | Ricoh Co Ltd | ストロボ調光システムおよびストロボ付きカメラ |
CN101267505A (zh) * | 2008-04-25 | 2008-09-17 | 北京中星微电子有限公司 | 一种曝光时间调整方法、装置及一种摄像头 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03144617A (ja) * | 1989-10-31 | 1991-06-20 | Konica Corp | 閃光制御回路 |
JP2578526B2 (ja) * | 1990-11-20 | 1997-02-05 | キヤノン株式会社 | カメラ |
JP3817301B2 (ja) * | 1996-05-28 | 2006-09-06 | キヤノン株式会社 | 電子カメラ |
JP2000078596A (ja) * | 1998-08-31 | 2000-03-14 | Mitsubishi Electric Corp | ビデオカメラ |
JP2000098259A (ja) * | 1998-09-22 | 2000-04-07 | Olympus Optical Co Ltd | 共焦点顕微鏡用撮影装置 |
WO2002041031A1 (de) * | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung |
JP2003222801A (ja) | 2002-01-29 | 2003-08-08 | Olympus Optical Co Ltd | 顕微鏡画像撮影装置 |
JP2003315682A (ja) * | 2002-04-26 | 2003-11-06 | Act Brain:Kk | 顕微鏡装置 |
EP2216685B1 (en) * | 2003-06-19 | 2012-06-27 | Nikon Corporation | Exposure apparatus and device manufacturing method |
JP4047301B2 (ja) * | 2004-05-18 | 2008-02-13 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US20060018013A1 (en) * | 2004-07-07 | 2006-01-26 | Yoshimasa Suzuki | Microscope imaging apparatus and biological-specimen examination system |
JP2007288731A (ja) * | 2006-04-20 | 2007-11-01 | Hitachi High-Tech Science Systems Corp | リアルタイムパノラマ画像合成方法及びその装置 |
JP2009063656A (ja) | 2007-09-04 | 2009-03-26 | Nikon Corp | 顕微鏡システム |
JP2009139479A (ja) * | 2007-12-04 | 2009-06-25 | Hitachi Kokusai Electric Inc | 画像処理装置 |
-
2009
- 2009-08-17 JP JP2009188776A patent/JP5365407B2/ja active Active
-
2010
- 2010-07-14 EP EP10007256.0A patent/EP2296367B1/en not_active Not-in-force
- 2010-08-04 US US12/850,251 patent/US8553140B2/en active Active
- 2010-08-10 CN CN201010250645.2A patent/CN101995652B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5491533A (en) * | 1993-06-29 | 1996-02-13 | Nikon Corporation | Electronic flash control system and method for high-speed flashing |
CN1262457A (zh) * | 1999-01-25 | 2000-08-09 | 索尼公司 | 光发射控制设备、摄像机设备和光发射控制方法 |
JP2001311988A (ja) * | 2000-05-01 | 2001-11-09 | Ricoh Co Ltd | ストロボ調光システムおよびストロボ付きカメラ |
CN101267505A (zh) * | 2008-04-25 | 2008-09-17 | 北京中星微电子有限公司 | 一种曝光时间调整方法、装置及一种摄像头 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9911028B2 (en) | 2013-11-01 | 2018-03-06 | Hamamatsu Photonics K.K. | Image acquisition device and image acquisition method for image acquisition device |
CN105683805B (zh) * | 2013-11-01 | 2018-09-28 | 浜松光子学株式会社 | 图像取得装置以及图像取得装置的图像取得方法 |
CN105100638A (zh) * | 2014-05-19 | 2015-11-25 | 洛克威尔自动控制技术股份有限公司 | 使用点矩阵照明的光学区域监测 |
CN105100638B (zh) * | 2014-05-19 | 2018-09-04 | 罗克韦尔自动化技术公司 | 使用点矩阵照明的光学区域监测 |
US11243294B2 (en) | 2014-05-19 | 2022-02-08 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
CN109846458A (zh) * | 2017-11-30 | 2019-06-07 | 原相科技股份有限公司 | 穿戴式装置及其侦测方法 |
CN111902761A (zh) * | 2018-04-09 | 2020-11-06 | 浜松光子学株式会社 | 试样观察装置和试样观察方法 |
US11709350B2 (en) | 2018-04-09 | 2023-07-25 | Hamamatsu Photonics K.K. | Sample observation device and sample observation method |
CN110632750A (zh) * | 2019-08-30 | 2019-12-31 | 北京临近空间飞行器系统工程研究所 | 荧光显微光学系统和荧光染色细胞扫描及分析系统 |
CN110632750B (zh) * | 2019-08-30 | 2024-01-12 | 北京临近空间飞行器系统工程研究所 | 荧光显微光学系统和荧光染色细胞扫描及分析系统 |
CN110708472A (zh) * | 2019-11-07 | 2020-01-17 | 重庆紫光华山智安科技有限公司 | 一种抑制运动亮光源曝光控制方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
US8553140B2 (en) | 2013-10-08 |
US20110037875A1 (en) | 2011-02-17 |
JP5365407B2 (ja) | 2013-12-11 |
EP2296367A3 (en) | 2011-11-09 |
JP2011041156A (ja) | 2011-02-24 |
CN101995652B (zh) | 2014-05-14 |
EP2296367B1 (en) | 2016-08-31 |
EP2296367A2 (en) | 2011-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101995652B (zh) | 图像获取装置和图像获取方法 | |
JP5416582B2 (ja) | 回折限界以下の画像解像技術および他の画像化技術 | |
CN109844503B (zh) | 用于高空间分辨率地确定样品中的分离的、以激励光可激励以发射发光的分子的位置的方法 | |
US7880150B2 (en) | High spatial resolution imaging of a structure of interest in a specimen | |
CN101776793B (zh) | 生物样本图像获取设备及生物样本图像获取方法 | |
US20170115221A1 (en) | Optical microscopy with phototransformable optical labels | |
JP6587004B2 (ja) | 装置、システム、方法、及びプログラム | |
CN111926065B (zh) | 一种高效的核酸检测和基因测序方法及其装置 | |
JP5746161B2 (ja) | 顕微鏡画像における蛍光の評価方法 | |
JP6252598B2 (ja) | 光学装置、測定装置、測定方法、スクリーニング装置及びスクリーニング方法 | |
CN102004091A (zh) | 荧光图像产生方法、设备和程序 | |
US10201054B2 (en) | Optical detection device, its method for operating and computer program | |
US8822956B2 (en) | High-resolution fluorescence microscopy | |
CN110140129A (zh) | 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像 | |
JP4956221B2 (ja) | 発光検出装置及び蛍光検出装置 | |
JP2022177011A (ja) | 高速高分解能の顕微鏡検査方法、および高速高分解能の顕微鏡 | |
CN105319858A (zh) | 照明测试装置和照明均匀性、杂散光的测试方法 | |
US10725278B2 (en) | Microscope, observation method, and storage medium | |
US10677734B2 (en) | Method and apparatus for optical measurement of liquid sample | |
CN104471379A (zh) | 荧光成像的系统和方法 | |
CN209895085U (zh) | 一种多照明模式的荧光信号测量装置 | |
JP2007232713A (ja) | 試料を高い空間分解能で検査するための方法 | |
JP2004184379A (ja) | マイクロアレイの読取方法 | |
CN110095446B (zh) | 一种便携式双通道时间分辨荧光装置 | |
CN103105381A (zh) | 图像获取装置、图像获取方法以及图像获取程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140514 |