CN107209122A - 三维发光图像的生成方法和摄像系统 - Google Patents
三维发光图像的生成方法和摄像系统 Download PDFInfo
- Publication number
- CN107209122A CN107209122A CN201680006671.6A CN201680006671A CN107209122A CN 107209122 A CN107209122 A CN 107209122A CN 201680006671 A CN201680006671 A CN 201680006671A CN 107209122 A CN107209122 A CN 107209122A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- interval
- dimensional image
- generation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005286 illumination Methods 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 16
- 210000004209 hair Anatomy 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 210000004027 cell Anatomy 0.000 description 78
- 238000012545 processing Methods 0.000 description 65
- 210000002242 embryoid body Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 230000004069 differentiation Effects 0.000 description 11
- 210000000130 stem cell Anatomy 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 210000004165 myocardium Anatomy 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 239000003814 drug Substances 0.000 description 7
- 108060001084 Luciferase Proteins 0.000 description 6
- 108010047357 Luminescent Proteins Proteins 0.000 description 6
- 102000006830 Luminescent Proteins Human genes 0.000 description 6
- 230000005284 excitation Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 239000006144 Dulbecco’s modified Eagle's medium Substances 0.000 description 5
- 239000005089 Luciferase Substances 0.000 description 5
- 101710165323 Troponin T, cardiac muscle Proteins 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000002547 new drug Substances 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 230000001172 regenerating effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 102100026893 Troponin T, cardiac muscle Human genes 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 210000004413 cardiac myocyte Anatomy 0.000 description 3
- 238000009509 drug development Methods 0.000 description 3
- 230000000857 drug effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 231100000419 toxicity Toxicity 0.000 description 3
- 230000001988 toxicity Effects 0.000 description 3
- UZOVYGYOLBIAJR-UHFFFAOYSA-N 4-isocyanato-4'-methyldiphenylmethane Chemical compound C1=CC(C)=CC=C1CC1=CC=C(N=C=O)C=C1 UZOVYGYOLBIAJR-UHFFFAOYSA-N 0.000 description 2
- 108700039691 Genetic Promoter Regions Proteins 0.000 description 2
- NWIBSHFKIJFRCO-WUDYKRTCSA-N Mytomycin Chemical compound C1N2C(C(C(C)=C(N)C3=O)=O)=C3[C@@H](COC(N)=O)[C@@]2(OC)[C@@H]2[C@H]1N2 NWIBSHFKIJFRCO-WUDYKRTCSA-N 0.000 description 2
- 229930193140 Neomycin Natural products 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 2
- 238000005415 bioluminescence Methods 0.000 description 2
- 230000029918 bioluminescence Effects 0.000 description 2
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 2
- MURGITYSBWUQTI-UHFFFAOYSA-N fluorescin Chemical compound OC(=O)C1=CC=CC=C1C1C2=CC=C(O)C=C2OC2=CC(O)=CC=C21 MURGITYSBWUQTI-UHFFFAOYSA-N 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229960004927 neomycin Drugs 0.000 description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 description 2
- 231100000018 phototoxicity Toxicity 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 101150038243 CLOCK gene Proteins 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- IGXWBGJHJZYPQS-SSDOTTSWSA-N D-Luciferin Chemical compound OC(=O)[C@H]1CSC(C=2SC3=CC=C(O)C=C3N=2)=N1 IGXWBGJHJZYPQS-SSDOTTSWSA-N 0.000 description 1
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 102000008934 Muscle Proteins Human genes 0.000 description 1
- 108010074084 Muscle Proteins Proteins 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960004857 mitomycin Drugs 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000010473 stable expression Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000001890 transfection Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
- G01N21/76—Chemiluminescence; Bioluminescence
- G01N21/763—Bioluminescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/144—Imaging characterised by its optical setup
- G01N2015/1445—Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1452—Adjustment of focus; Alignment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Plasma & Fusion (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Dispersion Chemistry (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Optics & Photonics (AREA)
- Hematology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
- Exposure Control For Cameras (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
三维发光图像的生成方法包括以下步骤：针对包含被调制成进行发光的多个细胞的具有三维形状的三维试样(300)，根据三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的多个二维图像相互的间隔(S502)。三维发光图像的生成方法还包括以下步骤：通过在非照明条件下对三维试样进行拍摄，取得包含与所设定的间隔对应的多个二维图像的二维图像组(S504)；以及对二维图像组中包含的多个二维图像进行合成，生成三维发光图像(S505)。
Description
技术领域
本发明涉及三维发光图像的生成方法和三维发光图像生成用的摄像系统。
背景技术
近年来，来自iPS细胞或ES细胞这样的干细胞的拟胚体或球体这样的组织体作为新的研究材料而受到关注，使用它们进行研究。一般情况下，来自干细胞的拟胚体或球体是在非接触状态下培养的干细胞集中凝集而构筑球状立体构造而得到的细胞群。拟胚体或球体中包含的细胞具有根据培养条件而变化成各种细胞的分化能力。例如，在以脏器等的再生为目的的再生医疗、或评价新药对人体的药效/毒性的新药研发的研究中，与此前使用的平面状培养的细胞相比，优选使用具有更加接近体内环境的立体构造的细胞。因此，特别是在近年来的再生医疗或新药研发领域的研究中，来自干细胞的拟胚体或球体作为研究材料而受到关注。
在现有的二维培养细胞的评价中，作为细胞中引起的变化的检测方法，公知利用发光蛋白质或荧光蛋白质标识细胞来检测发光或荧光的方法(例如日本特开2014-89193号公报、日本特开2006-320335号公报)。在使用具有立体构造的拟胚体等进行研究时，优选采用能够高精度掌握分化程度这样的拟胚体等的状态的观察方法。这里，优选立体观察拟胚体等的内部的变化。
例如在日本特许第5424528号公报中公开了如下的解析方法和解析系统。即，该方法和系统将产生微弱光、并且具有多个应该测定的部位的具有厚度的作为活样本的胚或组织设为对象。在该方法和系统中，按照每个测定部位而从不同的位置取得微弱光信号，根据该信号进行解析。并且，例如在日本特开2014-119762号公报中公开了使对焦位置变化来拍摄亮视野图像和发光图像或荧光图像的显微镜系统。
并且，在立体的三维试样的内部的解析中，例如以一定间隔使焦点位置偏移并进行拍摄，由此取得焦平面不同的多个二维图像，通过基于这些二维图像的重构处理，能够构筑三维图像。公知通过这种三维图像的构筑，能够对立体样本的内部构造及其变化进行解析(例如日本特开2012-122829号公报、日本特表2010-532487号公报)。该情况下，例如使用由发光蛋白质或荧光蛋白质标识的细胞，能够针对活状态的细胞取得各种信息。
例如，在利用以往使用的荧光观察法进行拟胚体内部的基因表达的解析的情况下，可能产生存在激励光的光毒性或自身荧光、以及当拟胚体大到某种程度时激励光无法到达内部这样的不期望的事项。与此相对，如果采用使用发光蛋白质的发光观察法，则不会受到激励光的光毒性或自身荧光的影响，能够观察到拟胚体这样的具有厚度的样本的内部。
但是，一般情况下，发光蛋白质的发光强度比荧光蛋白质的荧光强度弱，在一次拍摄中需要进行长时间的曝光。因此，在通过重构以一定间隔使焦点位置偏移并拍摄的发光图像从而构筑发光三维图像的方法中，图像构筑需要时间。并且，在得到多个二维图像时，如果缩短焦点位置的拍摄间隔，则三维图像的信息量增多，成为高精细的图像。另一方面，拍摄所需要的时间变长，数据尺寸也变大。相反，如果延长焦点位置的拍摄间隔，则数据尺寸减小，但是，三维图像中包含的信息量减少，分辨率降低。
例如，在使用拟胚体调查新药的药效/毒性的情况下，根据希望评价的化合物的不同，有时在拟胚体中引起反应需要时间，并且，所引起的反应有时长时间变化。因此，需要进行长时间的观察。并且，在对拟胚体分化成心肌或肝细胞等各种细胞的分化过程进行监视的情况下，有时也需要进行长时间的观察。
发明内容
例如，在使用拟胚体这样的三维试样的解析中，通过进行按照规定时间间隔取得上述三维重构图像的三维缩时观察，能够对基于时间经过的三维试样的变化进行解析。在这种解析中，所得到的数据的数据量可能成为庞大的量。并且，为了得到庞大的数据，需要较多的时间。另一方面，解析所需要的数据是一部分。并且，在活的试样中，解析所需要的数据可能随着时间经过而变化。进而，不仅来自干细胞的拟胚体或球体，构成这些组织体的各个细胞有时示出不同的基因表达量。
本发明的目的在于，提供如下的三维发光图像的生成方法和摄像系统：在包含被调制成进行发光的多个细胞的具有三维形状的三维试样的观察中，能够取得充分必要的数据。
根据本发明的一个方式，三维发光图像的生成方法包括以下步骤：针对包含被调制成进行发光的多个细胞的具有三维形状的三维试样，根据所述三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的所述多个二维图像相互的间隔；通过在非照明条件下对所述三维试样进行拍摄，取得包含与所设定的所述间隔对应的所述多个二维图像的二维图像组；以及对所述二维图像组中包含的所述多个二维图像进行合成，生成三维发光图像。
根据本发明的一个方式，摄像系统具有：物镜光学系统；驱动部，其使所述物镜光学系统的合焦位置在光轴方向上移动；摄像部，其经由所述物镜光学系统对包含被调制成进行发光的多个细胞的具有三维形状的三维试样的发光图像进行摄像；间隔设定部，其根据所述三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的所述多个二维图像相互的间隔；摄像控制部，其在非照明条件下对所述驱动部的动作进行控制，并且使所述摄像部拍摄所述三维试样，由此取得包含与所设定的所述间隔对应的所述多个二维图像的二维图像组；以及图像合成部，其对所述二维图像组中包含的所述多个二维图像进行合成，生成三维发光图像。
根据本发明，能够提供如下的三维发光图像的生成方法和摄像系统：在包含被调制成进行发光的多个细胞的具有三维形状的三维试样的观察中，能够取得充分必要的数据。
附图说明
图1是示出本发明的一个实施方式的摄像系统的结构例的概略的框图。
图2是示出本发明的第1实施方式的三维发光图像的生成方法的一例的流程图。
图3是示出本发明的第1实施方式的图像取得处理的一例的流程图。
图4是示出本发明的第1实施方式的条件调整处理的一例的流程图。
图5是示出本发明的第1实施方式的自动组合处理的一例的流程图。
图6是示出通过本发明的一个实施例取得的三维发光图像的一例的图。
图7是示出通过本发明的一个实施例取得的三维发光图像的一例的图。
图8是示出通过本发明的一个实施例取得的三维发光图像的一例的图。
图9是用于说明第2实施方式中的三维试样的图像取得的示意图，是示出摄影面的间隔比物镜光学系统的焦深宽的情况的图。
图10是用于说明第2实施方式中得到的三维图像的示意图。
图11是用于说明第2实施方式中的三维试样的图像取得的示意图，是示出摄影面的间隔比物镜光学系统的焦深窄的情况的图。
图12是用于说明第2实施方式中得到的三维图像的示意图。
图13是用于说明第2实施方式中得到的三维图像的示意图。
图14是用于说明第2实施方式的摄像系统的动作的概略的示意图。
图15是示出第2实施方式的图像取得处理的一例的流程图。
图16是示出第2实施方式的摄影面设定处理的一例的流程图。
图17是用于说明第2实施方式中将摄影面的间隔设定为较窄的条件的示意图。
图18是用于说明第2实施方式中将摄影面的间隔设定为较窄的条件的示意图。
图19是用于说明第2实施方式中的摄影面的间隔的设定的示意图。
图20是用于说明第2实施方式中的摄影面的间隔的设定的示意图。
图21是示出第2实施方式的二维图像取得处理的一例的流程图。
图22是示出第2实施方式的第1变形例的摄影面设定处理的一例的流程图。
具体实施方式
[第1实施方式]
参照附图对本发明的第1实施方式进行说明。图1示出本实施方式的用于取得三维发光图像的摄像系统的结构例的概略。如图1所示，摄像系统10具有保持三维试样12的试样保持部11、培养箱13、物镜光学系统14、摄像部15、物镜光学系统驱动部16、试样保持部驱动部17、对摄像系统10的各部的动作进行控制的控制部18、显示部19、输入部20。
三维试样12例如是来自iPS细胞或ES细胞这样的干细胞的拟胚体或球体这样的、包含多个细胞且具有厚度的试样。三维试样12被调制成在非照明条件下进行自发光。三维试样12例如包含导入了荧光素酶的基因的细胞，通过添加荧光素，荧光素酶表达的细胞发光。
培养箱13针对三维试样12对温度或CO2浓度等维持细胞的环境条件进行调节。物镜光学系统14例如包含物镜这样的与一般显微镜相同的光学系统。摄像部15例如包含冷却CCD照相机这样的摄像装置。摄像部15中包含的摄像元件不限于CCD图像传感器，也可以是CMOS图像传感器等。摄像部15对由物镜光学系统14放大的三维试样12的像进行摄像。通过在非照明条件下进行摄像，摄像部15能够取得三维试样12发光的状况的图像。将这种发光的图像称为发光图像。
也可以在物镜光学系统14与摄像部15之间设置第1滤光片31。第1滤光片31例如能够构成为分光薄膜。作为为了实现细胞内的发光而使用的发光蛋白质(例如荧光素酶)，在使用示出不同波长的发光的1种或2种以上的发光蛋白质的情况下，有时按照每个波长进行摄像。该情况下，为了按照每个波长对光进行分离，使用第1滤光片31，一边更换第1滤光片31一边进行摄像，或者按照每个波长在各个摄像部或摄像元件上的部分区域内同时进行摄像。由此，能够取得多色的三维发光图像。
试样保持部11构成为保持三维试样12。试样保持部11构成为能够在平面方向(X-Y方向)上移动。试样保持部11例如由载物台构成。试样保持部驱动部17使试样保持部11在平面方向(X-Y方向)上移动。通过试样保持部11的平面方向(X-Y方向)的移动，摄像系统10能够在平面内变更摄像视野。
物镜光学系统驱动部16使物镜光学系统14的与所述平面方向(X-Y方向)垂直的光轴方向(Z方向)的合焦位置变化。物镜光学系统驱动部16例如使物镜在光轴方向上移动。另外，也可以代替物镜光学系统驱动部16，由试样保持部驱动部17使试样保持部11在光轴方向上移动。通过物镜光学系统驱动部16对合焦位置进行变更，由此，能够取得合焦于三维试样12的厚度方向的不同位置的图像。
并且，摄像系统10具有包含试样保持部11和培养箱13的主体21、设置在主体21的外周部上的暗箱22、覆盖暗箱22的盖23、设置在盖23上的第2滤光片30、经由第2滤光片30对三维试样12照射的照明光的光源即光源24。通过暗箱22和盖23，主体21的内部被遮挡外来光。因此，在断开光源24的情况下，主体21的内部成为非照明条件。由此，即使在设置在主体21的内部的三维试样12发出极微弱的光时，摄像系统10也能够在良好的条件下对该光进行摄像。另一方面，通过接通光源24，进行三维试样12的照明。例如，为了在发光的观察和摄像之前确认试样的位置或者对焦于试样表面等，进行照明条件下的三维试样的观察。
并且，通过利用能够构成为分光薄膜的第2滤光片30、或者在光源24中使用激光光源，还能够对三维试样12照射用于产生荧光的激励光。如果进行调制以使得三维试样12产生荧光，则不仅是发光，还能够取得三维试样12的荧光的图像。
控制部18例如由个人计算机构成。控制部18具有对摄像动作进行控制的摄像控制部181、对所拍摄的图像进行图像处理而生成三维发光图像的图像合成部182、决定拍摄条件的拍摄条件决定部183、记录各种数据的记录部184。
摄像控制部181对取得一张图像时的曝光时间进行控制。并且，摄像控制部181进行由物镜光学系统驱动部16调整的Z轴方向的合焦位置的变化、即拍摄间距的控制。摄像控制部181使摄像部15取得由相互不同的多个合焦面的多个二维发光图像构成的一组二维发光图像。并且，摄像控制部181对一组二维发光图像的取得与另一组二维发光图像的取得的间隔即拍摄间隔进行控制。
图像合成部182对一组二维发光图像进行合成而生成三维发光图像。在三维发光图像的生成中，进行三维合成即三维重构处理。即，图像合成部182针对一组二维发光图像，使用各个位置信息，三维地排列各图像而进行合成，由此生成三维发光图像。
拍摄条件决定部183决定由摄像控制部181控制的摄像的条件。即，拍摄条件决定部183例如决定拍摄间隔、拍摄间距和曝光时间。
记录部184记录控制部18的动作所需要的信息。在该信息中包含用于供控制部18的各部进行动作的程序。并且，记录部184记录通过摄像而得到的二维图像、通过合成而生成的三维发光图像。
这样，根据本实施方式的摄像系统10，隔开所决定的拍摄间隔而取得多个三维发光图像。即，根据摄像系统10，能够进行三维发光图像的缩时拍摄。
控制部18包含Central Processing Unit(CPU)、Application SpecificIntegrated Circuit(ASIC)或Field Programmable Gate Array(FPGA)等集成电路等，进行各种运算。摄像控制部181、图像合成部182和拍摄条件决定部183可以分别由一个集成电路等构成，也可以组合多个集成电路等而构成。并且，摄像控制部181、图像合成部182和拍摄条件决定部183中的2个以上也可以由一个集成电路等构成。根据记录部184或集成电路内的存储区域中记录的程序进行控制部18的动作。并且，控制部18根据记录部184中记录的二维图像和/或三维图像，计算每个像素的发光的亮度值，由此，将与图像整体或部分的发光量相当的亮度值的信息送出到拍摄条件决定部183。
显示部19例如包含液晶显示器这样的一般的显示装置。显示部19例如显示由图像合成部182生成的三维发光图像。显示部19显示发光二维图像及其他图像、基于控制部18的摄像系统10的控制信息。
输入部20例如包含键盘、触摸面板、开关、滚动条等这样的一般输入装置中的任意一方。输入部20受理用户的指示，将该指示传递到控制部18。
接着，参照图2所示的流程图对本实施方式的三维发光图像的生成方法进行说明。
在步骤S101中，对三维试样进行调整。这里，三维试样包含多个细胞，具有三维形状。在三维试样中，例如可以包含来自iPS细胞或ES细胞这样的干细胞的拟胚体或球体、从拟胚体或球体分化的心肌细胞或神经细胞等各种细胞的集合体或菌落、或者多层化的细胞片等。并且，三维试样被调整为不需要来自外部的激励光而进行自发光。例如，三维试样的细胞能够调整为表达荧光素酶，通过添加荧光素而产生生物发光。另外，三维试样不限于此。例如，三维试样也可以是在载体上分开配置细胞的试样。
在步骤S102中，决定拍摄条件。在拍摄条件中，可以包括取得一组二维发光图像的时间间隔即拍摄间隔、取得一张二维发光图像时的曝光时间、作为使物镜光学系统的合焦位置在光轴方向上移动的量的合焦面的距离间隔即拍摄间距。在第1实施方式中，拍摄条件能够作为这些条件的最优组合来决定。例如，拍摄间距能够根据三维试样的尺寸和形状来决定。曝光时间也可以根据拍摄间距和拍摄间隔来决定。并且，曝光时间能够根据三维试样的发光强度来决定。拍摄间距也可以根据曝光时间和拍摄间隔来决定。
在步骤S103中，在非照明条件下取得多个二维发光图像。该二维发光图像是对三维试样的发光进行摄像而得到的。这里，取得具有相互不同的多个合焦面的二维图像作为一组二维图像。在一组二维图像中，可以包含三维试样的高度方向上从端到端的全部位置的二维图像，也可以包含三维试样的高度方向的特定一部分区域的二维图像。
在步骤S104中，可以在使用了照明光或激励光的照明条件下取得透射图像即二维图像。该透射图像例如可以用于决定拍摄条件。并且，该透射图像也可以用于生成后述三维发光图像。通过在三维发光图像的生成中使用透射图像，不仅是发光的信息，还容易识别发光的信息和透射图像的信息的组合信息。
在步骤S105中，根据步骤S103中取得的一组二维发光图像生成三维发光图像。在三维发光图像的生成中，通过根据其位置信息对二维发光图像进行合成，能够生成三维发光图像。在该三维发光图像的生成中，也可以一并使用步骤S104中取得的、照明条件下得到的透射图像。
在步骤S106中，在判断为隔开拍摄间隔进行下一个二维发光图像和使用该二维发光图像的三维发光图像的生成时，反复进行步骤S103～步骤S105。即，进行三维发光图像的缩时拍摄。
接着，说明使用第1实施方式的摄像系统10进行的取得基于缩时的样本的三维发光图像的图像取得处理。在用户在试样保持部11上设置试样后、从输入部20输入了数据取得的开始指示时，开始进行图像取得处理。参照图3所示的流程图对图像取得处理进行说明。在控制部18的控制下进行该图像取得处理。
在步骤S201中，控制部18根据用户对输入部20的输入，设定拍摄间隔(interval)。这里，拍摄间隔例如根据实验内容来决定。在细胞内钙测定等将以数秒～数分钟间隔进行变化的现象作为对象的测定中，要求将拍摄间隔设定为较短。另一方面，在干细胞的分化、产生研究、时钟基因表达的解析等将以数小时～数日级别缓慢变化的现象作为对象的测定中，拍摄间隔也可以比较长。
在步骤S202中，控制部18取得作为样本的明亮度而取得的发光量。例如，取得样本的二维图像，对所得到的图像的亮度进行解析，由此取得发光量。
在步骤S203中，控制部18根据步骤S202中得到的信息，计算曝光时间的候选。作为候选举出的曝光时间设为能够图像化的曝光时间。例如在16位的图像数据的情况下，使用0～65535的值作为像素值。例如可以选择像素值不饱和的曝光时间。并且，作为实现图像化的数值的目标，也可以设定全部像素的像素值的平均值为5000左右的曝光时间。另外，关于曝光时间，可以任意设定阈值。控制部18例如研究这些曝光时间的条件，确定适当范围作为曝光时间。
在步骤S204中，控制部18取得样本的厚度(深度)。为了取得样本的厚度，例如一边变更Z方向的对焦位置一边取得样本的图像。根据所得到的图像确定样本的下限和上限，计算下限与上限的距离。此时，由于能够在短时间内可靠地取得图像，所以，优选要取得的图像是照明条件下取得的亮视野图像。但是，也可以代替亮视野图像而使用发光图像。
在步骤S205中，控制部18根据步骤S204中取得的样本的厚度，计算拍摄间距的候选。
在步骤S206中，控制部18进行用于决定拍摄条件的模式选择。在本实施方式中，准备深度优先模式、分辨率优先模式、自动组合模式。用户从这些模式中选择希望的模式。控制部18取得针对输入部20的输入，确定所选择的模式。
在步骤S206中选择了深度优先模式时，处理进入步骤S207。在步骤S207中，控制部18使深度优先来决定图像取得的临时条件。即，在深度优先模式中，缩窄拍摄间距，取得在深度方向上分辨率较高的数据。例如考虑如下情况：针对100μm厚的实验样本，选择30分钟作为拍摄间隔，需要最低1分钟作为曝光时间。该情况下，通过设曝光时间为1分钟，在拍摄间隔即30分钟内，能够以3.3μm间隔取得30张图像。该情况下，作为临时条件，决定曝光时间为1分钟、拍摄间距为3.3μm的意思。决定图像取得的临时条件后，处理进入步骤S208。这里，深度优先模式中选择的拍摄间距是至少能够对单一细胞进行2次以上的摄像的尺寸。这样，在希望对单一细胞进行n次摄像的情况下，能够设为从作为对象的细胞的平均直径m(μm)除以n而得到的值(m/n)中减去0.1以上(m-0.1)以下的值(μm)而得到的摄像间距。为了在深度优先模式下拍摄平均直径为6μm的单一细胞，将拍摄间距设定为1.4～2.9μm，由此能够执行2～4次拍摄。同样，从2.4～4.9μm中选择平均直径为10μm的细胞的摄像间距。
在步骤S208中，控制部18进行条件调整处理。参照图4所示的流程图对条件调整处理进行说明。
在步骤S301中，控制部18根据所决定的图像取得的临时条件、即曝光时间和拍摄间距，取得用于构筑三维发光图像的多个二维图像。例如，反复进行如下处理：在规定的焦点位置处以所决定的曝光时间取得二维图像，接着，以所决定的拍摄间距变更焦点位置，再次以所决定的曝光时间取得二维图像。
在步骤S302中，控制部18根据步骤S301中取得的图像生成三维发光图像。此时，对步骤S301中取得的图像实施逆卷积处理，进行抵消图像模糊的处理。使用进行了逆卷积处理后的图像来进行三维发光图像的生成。
在步骤S303中，控制部18使显示部19显示所生成的三维发光图像。
在步骤S304中，控制部18取得使用者对于拍摄条件是否适当的判断。例如，在显示部19中显示曝光时间、拍摄间距和拍摄间隔的当前设定值、以及用于对其进行变更的图标。使用者通过选择图标，能够输入自身的判断结果。在取得了拍摄条件适当的意思的信息时，处理进入步骤S305。
在步骤S305中，控制部18决定当前设定的图像取得用的临时条件作为最终的图像取得用的条件。然后，条件调整处理结束，处理返回参照图3说明的图像取得处理。
在步骤S304中取得了拍摄条件不适当的意思的信息时，处理进入步骤S306。在步骤S306中，控制部18从使用者取得曝光时间、拍摄间距和拍摄间隔的变更值，以对条件进行变更。这里，例如根据与拍摄间隔之间的关系，在增加了曝光时间而必须扩大拍摄间距时，在进行了用于增加曝光时间的输入时，计算与该变更对应的拍摄间距并进行提示，并且提示拍摄间隔的变更。再次设定图像取得的条件后，处理返回步骤S301。然后，以再次设定的条件进行二维图像的取得和三维发光图像的生成等。
返回图3继续进行说明。在步骤S208中进行条件调整处理后，处理进入步骤S213。
在步骤S206中选择了分辨率优先模式时，处理进入步骤S209。在步骤S209中，控制部18使分辨率优先来决定图像取得的临时条件。即，在分辨率优先模式中，延长曝光时间，取得S/N比较高的发光图像。例如考虑如下情况：针对100μm厚的实验样本，选择30分钟作为拍摄间隔，当设曝光时间为4分钟时，能够取得分辨率较高的图像。该情况下，通过设曝光时间为4分钟，在拍摄间隔即30分钟内，能够以14.3μm间隔取得7张图像。该情况下，作为临时条件，决定曝光时间为4分钟、拍摄间距为14.3μm的意思。决定图像取得的临时条件后，处理进入步骤S210。这里，分辨率优先模式中选择的拍摄间距例如能够设为在2个以上的细胞在深度方向上相邻的情况下能够拍摄任意一个细胞的尺寸。这样，在对n个(2个以上)细胞进行一次摄像的情况下，能够设为从作为对象的细胞的平均直径m(μm)乘以n而得到的值(mn)中减去0.1以上且小于mn的一半值(mn/2)的值(μm)而得到的摄像间距。为了在分辨率优先模式下拍摄平均直径为6μm的单一细胞，将拍摄间距设定为6.1～23.9μm，由此能够按照每2～4个细胞执行一次拍摄。同样，从10.1～39.9μm中选择平均直径为10μm的细胞的摄像间距。
在步骤S210中，控制部18进行条件调整处理。条件调整处理与参照图4说明的步骤S208的条件调整处理相同。在条件调整处理之后，处理进入步骤S213。
在步骤S206中选择了自动组合模式时，处理进入步骤S211。在步骤S211中，控制部18进行自动组合处理。参照图5所示的流程图对自动组合处理进行说明。
在步骤S401中，控制部18根据步骤S201中取得的拍摄间隔、步骤S203中取得的曝光时间的候选和步骤S205中取得的拍摄间距的候选，设定多个拍摄条件。
在步骤S402中，控制部18根据步骤S401中设定的条件，取得必要的多个二维图像。
在步骤S403中，控制部18根据步骤S402中取得的二维图像，生成多个三维发光图像。
在步骤S404中，控制部18使显示部19显示步骤S403中生成的多个三维发光图像和用于生成这些图像的拍摄条件等。使用者确认显示部19中显示的三维发光图像和拍摄条件等，并且选择优选的拍摄条件。
在步骤S405中，控制部18取得使用者对拍摄条件的选择。在步骤S406中，控制部18决定步骤S405中取得的条件作为临时条件。然后，结束自动组合处理，处理返回参照图3说明的图像取得处理。
返回图3继续进行说明。在步骤S212中，控制部18进行条件调整处理。然后，处理进入步骤S213。在步骤S213中，控制部18将条件调整处理中决定的图像取得的条件保存在记录部184中。在步骤S214中，控制部18判定是否输入了数据取得开始的指示。在未输入数据取得开始的指示时，处理返回步骤S214，等待数据取得开始的指示的输入。在输入了数据取得开始的指示时，处理进入步骤S215。
在步骤S215中，控制部18进行数据取得处理。在数据取得处理中，根据所决定的图像取得的条件进行数据取得处理。即，根据所决定的曝光时间，取得发光图像。关于该图像，根据所决定的拍摄间距使焦点位置变化，并且取得焦点位置不同的多个发光图像。根据这些多个发光图像，生成三维发光图像。按照所决定的每个拍摄间隔进行这样得到的三维发光图像的取得。以上，本处理结束。
另外，拍摄间隔、曝光时间和拍摄间距这样的拍摄条件不需要在全部计测中恒定。例如，可以在观察的前期使深度优先、在后期使分辨率优先，也可以在观察的前期和后期设定为拍摄间隔不同。
并且，也可以根据透射图像得到被摄体内部的细胞的分布信息，确认细胞的高度方向的分布后，决定应该摄像的中间部位的高度方向的位置。这样，例如在曝光时间较长的生物发光的图像取得中，能够使用于取得一张三维发光图像的时间成为最小限度，能够实现高效的解析。
本实施方式中取得的三维发光图像是对三维试样的发光进行摄像而得到的。因此，如果采用使用本实施方式的发光现象的观察方法，则不存在由于荧光观察的情况下产生的自身荧光而引起的问题。并且，在荧光观察中，有时无法忽略激励光对三维试样造成的损害。如果采用使用本实施方式的发光现象的观察方法，则不存在由于荧光观察的情况下产生的激励光而引起的问题。因此，本实施方式的观察还能够应用于长期间的观察。
并且，根据本实施方式，根据实验目的和作为观察对象的样本，选择最优的拍摄间隔、曝光时间和拍摄间距。
例如，将再生医疗研究中广泛使用的拟胚体或球体作为对象，除了高度方向的端部，还取得中间部位的三维发光图像，由此，能够立体地掌握构造物整体的基因表达的状况。这里，中间部位是接近活体状态的部位，能够取得该部分的数据的意义重大。根据三维发光图像，能够取得能够与三维试样的内部构造进行比较(或核对)的图像。
并且，根据拟胚体或球体的尺寸和形状来设定拍摄间距，由此，得到考虑了摄像范围中包含的细胞的数量和密度的三维发光图像。一般情况下，来自干细胞的拟胚体或球体的全长的平均直径涉及50μm～1000μm的范围，所以，在全长较长(例如500μm以上)的情况下，优选通过采用分辨率优先模式，扩大摄像间距，由此执行适当次数的拍摄，并且，通过深度优先模式，仅限定地、精密地拍摄包含截面最大的中间部位的狭窄的区域(例如与全长的三分之一～五分之一相当的深度)。并且，拍摄条件能够适当变更，所以，能够决定拍摄条件，以使得进行例如与分化进度对应的必要精度的立体观察。并且，使合焦位置在光轴方向上变化来拍摄多个发光图像，所以，不需要使作为被摄体的三维试样移动或旋转。
并且，在用于理解干细胞的分化的诱导机构的研究中，本实施方式的观察方法能够得到特别有益的信息。该方法例如能够作为分化效率的评价、分化诱导药剂的评价等解析工具而使用。并且，将再生医疗研究中广泛使用的拟胚体作为对象来进行立体的发光观察，由此，能够基于平面中无法检测的高度和厚度的信息进行高精度的解析。
<实施例>
<实施例1>
以下示出针对iPS细胞的心肌诱导过程中的心肌特异的标记的表达进行利用了发光的三维观察而得到的结果。
心肌特异的肌钙蛋白T(cardiac troponinT；cTnT)是心肌中特异表达的蛋白质，用作心肌分化的标记基因。构筑能够将老鼠iPS细胞的基于拟胚体形成法的心肌分化过程中的cTnT的表达变化作为发光强度进行解析的实验系统，进行该老鼠iPS细胞的拟胚体的三维观察。
[实验方法]
(1)导入了包含cTnT基因的启动子区域和荧光素酶基因的核酸的老鼠iPS细胞的制作
将cTnT基因用的启动子区域组入新霉素耐性的pGL4.17荧光素酶报告载体(Promega)中，制作了“cTnT基因表达特异的发光载体pcTnT-GL4”。
在导入载体的老鼠iPS细胞(iPS-MEF-Ng-20D-17、京都大学)的培养中使用KODMEM培养基。在通过丝裂霉素C处理而停止分裂的MEF细胞上培养该iPS细胞。
使用核转染(Nucleofection)法，在老鼠iPS细胞上转染pcTnT-GL4基因表达载体。利用KO DMEM培养基，将转染后的细胞与新霉素耐性饲养细胞一起培养一晚上。然后，将培养基更换为添加了抗生物质G418(Invitrogen)而成为最终浓度250μg/ml的KO DMEM培养基，进行选择性培养。这样，取得了稳定表达细胞株。下面，将该细胞称为cTnT-GL4表达老鼠iPS细胞。
(2)cTnT-GL4表达老鼠iPS细胞的拟胚体的形成
利用PBS清洗所培养的cTnT-GL4表达老鼠iPS细胞，利用0.25％胰蛋白酶EDTA进行剥离后，添加KO DMEM培养基，在37℃下在培养箱内培育4小时。通过使饲养细胞(MEF)固定，从而仅老鼠iPS细胞成为浮游的状态。使包含老鼠iPS细胞的培养基离心来回收细胞，在1ml的KO DMEM培养基或IMDM培养基中再次混入细胞。利用细胞计数器对溶液中的细胞数进行计测，在添加了IMDM培养基的Lipidure-Coat培养基(96孔圆底；日油株式会社)的各孔中添加细胞混浊液，使得细胞数成为2500个或5000个，在3～7日内在37℃下进行培养，形成拟胚体。
(3)cTnT-GL4表达老鼠iPS细胞针对心肌的分化诱导
将所形成的拟胚体转移到进行了明胶涂层处理后的35mm培养皿，在37℃下培育一晩上，使拟胚体粘接在培养皿表面。然后，在37℃下培养5～14日左右，进行针对脉动的心肌细胞的分化诱导。
(4)cTnT-GL4表达老鼠iPS细胞的观察和解析
在37℃下继续进行培养，针对一部分看到脉动的心肌细胞的cTnT-GL4表达老鼠ES细胞的拟胚体，添加D-Luciferin(和光纯药制)以使得成为最终浓度1mM，使用搭载了解析软件即cellSens(奥林巴斯株式会社)的发光显微镜LV200(奥林巴斯株式会社)对脉动的细胞进行发光三维观察。作为此时的拍摄条件，物镜设为20倍，CCD照相机设为ImagEM(注册商标)(Hamamatsu Photonics公司制)，合并(binning)设为1×1。
各焦点位置处的曝光时间设为3分钟、5分钟或10分钟。拍摄间距设为10μm、50μm或100μm。
[实验结果和考察]
图6示出设拍摄间距为10μm、使焦点位置变化并取得20张图像(合计1000μm)的情况下的拍摄结果。在图6中，左侧的图是各个二维图像的曝光时间为5分钟的情况下的三维重构图像，右侧的图是各个二维图像的曝光时间为10分钟的情况下的三维重构图像。
如图6所示，在该实验系统中，可知在曝光时间为10分钟时，曝光过多，曝光时间为5分钟的情况下，分辨率优良。
图7示出设曝光时间为3分钟或5分钟、拍摄间距为10μm、50μm或100μm而拍摄了厚度400μm的区域的结果。在图7中，上段是各个二维图像的曝光时间为3分钟的情况，下段是各个二维图像的曝光时间为5分钟的情况。并且，在图7中，左列的图像是拍摄间距为10μm、根据40张图像重构三维发光图像的结果。中列的图像是拍摄间距为50μm、根据8张图像重构三维发光图像的结果。右列的图像是拍摄间距为100μm、根据4张图像重构三维发光图像的结果。
如图7所示，在该实验系统中，可知与曝光时间为3分钟的情况相比，在曝光时间为5分钟的情况下，分辨率优良。并且，在该实验系统中，可知拍摄间距越窄，则空间分辨率越高。这样，通过区分使用上述深度优先模式和分辨率优先模式，能够取得多样的三维图像。根据通过这些多个拍摄模式拍摄到的三维发光图像，例如针对在三维试样的内部、基因表达的变化较大的部分应用深度优先模式，由此能够在短时间内得到较多的信息。其结果，在局部地表达量的变化较大的情况下，也能够准确地掌握表达量的变化。
图8示出设曝光时间为3分钟或5分钟、拍摄间距为10μm或100μm而拍摄了厚度400μm的区域的结果。在图8中，上段是各个二维图像的曝光时间为3分钟的情况，下段是各个二维图像的曝光时间为5分钟的情况。并且，在图8中，左列的图像是拍摄间距为10μm、根据40张图像重构三维发光图像的结果。右列的图像是拍摄间距为100μm、根据4张图像重构三维发光图像的结果。
如图8所示，在该实验系统中，可知与曝光时间为3分钟的情况相比，在曝光时间为5分钟的情况下，分辨率优良。并且，在该实验系统中，可知拍摄间距越窄，则空间分辨率越高。
如上所述，显而易见，根据拍摄条件，所生成的三维发光图像不同。由此，显而易见，适当选择拍摄条件是很重要的。
并且，利用从光源射出的规定波长的光对样本进行照明，取得基于亮视野或荧光的透射图像。预先确认三维试样的内部构造，能够适当指定试样的高度方向的摄像范围。由于重力或吸附力等物理影响，来自三维试样的高度的顶点附近或容器底面的粘接部附近的三维信息有时成为表达量的解析的噪声。因此，尽可能选择这些力学影响较少的中间部位作为摄像范围是很重要的。进而，在拟胚体或球体那样根据试样内部的分化度而使细胞的数量和密度等变化的情况下，与培养时期无关，为了没有遗漏地对试样内的细胞进行解析，拍摄间距是很重要的。
显而易见，如果能够在适当条件下进行二维图像的拍摄、并根据该二维图像进行三维发光图像的构筑，则能够生成与实验目的等对应的适当的发光三维发光图像。
[实施例2]
通过进行使用三维发光观察法的缩时观察，能够立体且经时地观察实施例1中使用的cTnT-GL4老鼠iPS细胞的心肌分化过程中的cTnT的表达。
[第2实施方式]
对本发明的第2实施方式进行说明。这里，对与第1实施方式的不同之处进行说明，对相同部分标注相同标号并省略其说明。在第2实施方式中，也进行反复进行根据多个二维图像生成三维图像的三维图像取得的缩时观察。这里，例如每隔一定时间反复进行相同处理，由此能够进行三维图像的取得。在第2实施方式中，在为了取得三维图像而进行的一组二维图像的取得中，每次取得三维图像时，适当变更二维图像与二维图像之间的Z轴方向的间隔即拍摄间距。
参照附图对二维图像的Z轴方向的间隔(拍摄间距)进行说明。图9示出取得三维试样300的图像的情况的示意图。在图9中，在三维试样300的内部包含示出发光的区域即第1关注区域301和第2关注区域302。例如，考虑一边使物镜142移动而使合焦位置变化、一边观察三维试样300的情况。该情况下，利用虚线示出取得图像时的合焦面。即，设为在第1合焦面401、第2合焦面402、第3合焦面403、第4合焦面404、第5合焦面405和第6合焦面406分别取得二维图像。图右侧利用“I”型记号示出根据此时的物镜光学系统14的焦深得到图像的范围。这里，I字的高度表示焦深、即合焦的范围。即，在第1合焦面401的摄像中取得第1范围411的图像。同样，在第2合焦面402、第3合焦面403、第4合焦面404、第5合焦面405和第6合焦面406各自的摄像中，分别取得第2范围412、第3范围413、第4范围414、第5范围415和第6范围416的图像。
其结果，得到图10示出示意图那样的图像。即，得到第1范围411、第2范围412、第3范围413、第4范围414、第5范围415和第6范围416的图像。另一方面，未得到图10中网格所示的第1范围411与第2范围412之间的第1缺失区域421、第2范围412与第3范围413之间的第2缺失区域422、第3范围413与第4范围414之间的第3缺失区域423、第4范围414与第5范围415之间的第4缺失区域424以及第5范围415与第6范围416之间的第5缺失区域425的图像。即，针对三维试样300及其关注区域即第1关注区域301和第2关注区域302，未得到完整的图像。
与此相对，与图9所示的情况相比，图11示出增加摄像次数、缩窄进行摄像的合焦面的间隔的情况的示意图。如图11所示，在第1合焦面431、第2合焦面432、第3合焦面433、第4合焦面434、第5合焦面435、第6合焦面436、第7合焦面437、第8合焦面438、第9合焦面439、第10合焦面440和第11合焦面441分别取得二维图像。这里，图11所示的例如第1合焦面431与第2合焦面432的间隔比图9所示的情况下的第1合焦面401与第2合焦面402的间隔窄。其结果，在分别合焦于第1合焦面431、第2合焦面432、第3合焦面433、第4合焦面434、第5合焦面435、第6合焦面436、第7合焦面437、第8合焦面438、第9合焦面439、第10合焦面440和第11合焦面441时得到图像的范围即第1范围451、第2范围452、第3范围453、第4范围454、第5范围455、第6范围456、第7范围457、第8范围458、第9范围459、第10范围460和第11范围461之间没有间隙。例如，第1范围451和第2范围452重叠。
其结果，得到图12所示的图像。即，针对三维试样300及其关注区域即第1关注区域301和第2关注区域302，得到完整的图像。另外，这里，示出各拍摄范围相互重叠的情况的例子，但是，只要在拍摄范围之间没有间隔地相邻即可，各拍摄范围也可以不重叠。
在图10所示的焦平面的间隔较宽的条件下得到的三维图像中，信息不完整而成为不清楚的图像，但是，所取得的二维图像的数量较少，数据尺寸较小。另一方面，在图12所示的焦平面的间隔较窄的条件下得到的三维图像中，包含观察对象的全部信息，成为高精细的图像，但是，所取得的二维图像的数量较多，数据尺寸较大。
这里，如图12中虚线的矩形所示，在既不是第1关注区域301也不是第2关注区域302的区域470中，不需要较高的分辨率。因此，在本实施方式中，考虑不进行图12所示的第5范围455和第7范围457内的二维图像的取得。即，在本实施方式中，如图13所示，即使产生第1缺失区域471和第2缺失区域472，为了减小数据尺寸，取得第1范围451、第2范围452、第3范围453、第4范围454、第6范围456、第8范围458、第9范围459、第10范围460和第11范围461的图像。
参照图14对本实施方式的摄像系统10的动作的概略进行说明。图14示出随着时间经过而在哪个合焦面进行摄像。即，图14按照左图(a)、中图(b)、右图(c)的顺序示出时间经过的情况。各图中的水平的直线480分别示出进行各拍摄时的合焦面。将进行该拍摄时的合焦面称为摄影面480。
首先，如图14的左图(a)那样，在三维试样300中不存在示出发光的应该关注的区域的情况下，在三维试样300的整体范围内将摄影面480的间隔设定为较宽。这里，摄影面480的间隔比物镜光学系统14的焦深宽。
从这种状态起，如图14的中图(b)那样，在产生了第1关注区域301和第2关注区域302时，检测到产生了第1关注区域301和第2关注区域302的区域。针对包含第1关注区域301和第2关注区域302的区域，将摄影面480的间隔设定为较窄，针对除此以外的区域，将摄影面480的间隔设定为较宽。这里设定为较窄的摄影面480的间隔与物镜光学系统14的焦深相等、或比物镜光学系统14的焦深窄。以后，将该焦深以下的间隔称为第1间隔，将比焦深宽的间隔称为第2间隔。
进而，如图14的右图(C)那样，在除了第1关注区域301和第2关注区域302以外还产生了第3关注区域时，检测到包含第1关注区域301、第2关注区域302和第3关注区域303的区域。针对包含第1关注区域301、第2关注区域302和第3关注区域303的区域，将摄影面480的间隔设定为较窄的第1间隔，针对除此以外的区域，将摄影面480的间隔设定为较宽的第2间隔。并且，在关注区域消失时，针对该关注区域，将摄影面480的间隔从第1间隔变更为第2间隔。这样，在本实施方式中，根据有无辨认发光的关注区域，适当变更摄影面的间隔。
参照流程图对第2实施方式的摄像系统10的动作进行说明。图15示出本实施方式的图像取得处理的一例的概略。
在步骤S501中，控制部18进行图像取得的初始设定。在该初始设定中，例如包含取得图像的Z轴方向的范围即图像取得区域的设定、包含缩时拍摄中的图像取得的时间间隔(拍摄间隔)的拍摄定时有关的设定等。
在步骤S502中，控制部18的拍摄条件决定部183进行摄影面设定处理。摄影面设定处理是用于根据三维试样中的发光的局部存在来设定取得二维图像时的合焦面即摄影面的处理。即，拍摄条件决定部183设定摄影面的间隔。这样，例如，拍摄条件决定部183作为如下的间隔设定部发挥功能：根据三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的多个二维图像相互的间隔。参照图16所示的流程图对摄影面设定处理进行说明。
在步骤S601中，拍摄条件决定部183针对该拍摄的上一次拍摄所取得的二维图像，对亮度分布进行解析。
在步骤S602中，拍摄条件决定部183根据步骤S601中得到的亮度分布，确定三维的关注区域的分布。
在步骤S603中，拍摄条件决定部183根据步骤S602中确定的关注区域的分布，设定图像取得区域内的摄影面。
另外，在初次的摄影面设定处理中，不存在作为上次的拍摄结果的二维图像，所以，例如，在图像取得区域整体范围内均等地以较宽的第2间隔设定摄影面。
这里，举出摄影面的间隔设定为物镜光学系统14的焦深以下即第1间隔的条件的例子。
例如如图17所示，考虑某个摄影面中、一个较大区域305发光的情况。这里，设该发光的亮度值高于规定阈值的区域为示出发光的区域，设该区域为高亮度区域。在高亮度区域的面积大于规定阈值时，针对该摄影面存在关注区域，摄像系统10能够构成为在该摄影面的附近使摄影面的间隔成为物镜光学系统14的焦深以下的第1间隔。
并且，与上述情况不同，也可以如下构成。即，例如如图18所示，考虑某个摄影面中多个较小区域306发光的情况。设该发光的亮度值中的最高的亮度值为示出发光的亮度值，在该示出发光的亮度值高于规定阈值时，设为针对该摄影面存在关注区域。即，摄像系统10能够构成为在该摄影面的附近使摄影面的间隔成为物镜光学系统14的焦深以下的第1间隔。
并且，也可以如下所述。即，在某个摄影面中，确定规定的区域作为关心区域，在该关心区域内的亮度值的变化大于规定阈值时，针对该摄影面存在关注区域，摄像系统10能够构成为在该摄影面的附近使摄影面的间隔成为物镜光学系统14的焦深以下的第1间隔。同样，也可以在某个摄影面的整体的亮度值的变化大于规定阈值时，设为第1间隔。
进一步参照图19和图20对摄影面的设定进行说明。在图19和图20中，左图示出三维试样300中的摄影面510的位置关系。图19和图20的左图中的水平方向的多个虚线表示摄影面510。并且，在这些图中示出在三维试样300内存在关注区域308的状态。在图19和图20中，右图示意地示出针对各摄影面480得到的二维图像540。
图19例如示出以第2间隔均等地配置在最初的图像取得中设定的摄影面510的情况。即，在图19中，等间隔地设定第1摄影面511、第2摄影面512、第3摄影面513、第4摄影面514、第5摄影面515。将第1摄影面511、第2摄影面512、第3摄影面513、第4摄影面514和第5摄影面515中得到的图像分别设为第1图像541、第2图像542、第3图像543、第4图像544、第5图像545。第3摄影面包含关注区域308，所以，第3图像543包含使发光图像化的亮区域549。
在图19所示的例子中，拍摄条件决定部183通过步骤S601的图像的亮度解析，确定第3图像543包含亮区域549，在步骤S602中确定在摄影面510中的第3摄影面513的附近存在关注区域，在步骤S603中，在第3摄影面513的附近以较窄的间隔设定较多的摄影面。图20示出这样设定的摄影面510和这些摄影面510中得到的二维图像540。
即，在图20所示的例子中，除了第1摄影面511、第2摄影面512、第3摄影面513、第4摄影面514和第5摄影面515以外，还在第3摄影面513的附近设定第6摄影面516、第7摄影面517、第8摄影面518、第9摄影面519、第10摄影面520和第11摄影面521。这里，第6摄影面516、第7摄影面517、第8摄影面518、第3摄影面513、第9摄影面519、第10摄影面520和第11摄影面521的分别相邻的摄影面的间隔例如比第1摄影面511与第2摄影面512的间隔即第2间隔窄，是比焦深窄的第1间隔。
其结果，在第1摄影面511、第2摄影面512、第6摄影面516、第7摄影面517、第8摄影面518、第3摄影面513、第9摄影面519、第10摄影面520、第11摄影面521、第4摄影面514和第5摄影面515中分别得到第1图像551、第2图像552、第3图像553、第4图像554、第5图像555、第6图像556、第7图像557、第8图像558、第9图像559、第10图像560和第11图像561。这样，得到与关注区域308有关的详细的图像数据。
另外，在图20的例子中，在第3图像553和第9图像559中，关注区域308的发光未被拍摄。因此，也可以在下一次拍摄中，进行摄影面的设定，以使得针对第3图像553和第9图像559的第6摄影面516和第11摄影面521不进行图像取得。
返回图15继续进行图像取得处理的说明。在步骤S502的摄影面设定处理之后，处理进入步骤S503。在步骤S503中，控制部18考虑步骤S501中设定的缩时拍摄的定时，待机到拍摄开始为止。
在步骤S504中，控制部18的摄像控制部181进行二维图像取得处理。在二维图像取得处理中，在步骤S502中设定的摄影面中取得一组二维图像作为二维图像组。参照图21所示的流程图对二维图像取得处理进行说明。
在步骤701中，摄像控制部181将变量n设定为1。
在步骤702中，摄像控制部181在步骤S502的摄影面设定处理中设定的第n摄影面中设定合焦位置。即，摄像控制部181对物镜光学系统驱动部16的动作进行控制，对物镜光学系统14的位置、例如物镜142的位置进行调整，调整为取得第n摄影面的图像的状态。
在步骤703中，摄像控制部181使摄像部15进行摄像动作，取得二维图像。
在步骤704中，摄像控制部181将变量n设定为n+1。
在步骤705中，摄像控制部181判定步骤S502的摄影面设定处理中设定的全部摄影面中的图像取得是否完成。在全部图像取得未完成时，处理返回步骤S702。即，变更摄影面进行二维图像的取得。另一方面，在全部图像取得完成时，二维图像处理结束，处理返回参照图15说明的图像取得处理。
在步骤S505中，控制部18的图像合成部182根据步骤S504的二维图像取得处理中取得的二维图像，进行三维图像的生成。
在步骤S506中，控制部18根据步骤S501中设定的初始设定，判定是否需要进行缩时拍摄的下一次的图像取得。在需要进行下一次的图像取得时，处理返回步骤S502。即，在缩时拍摄的下一次的图像取得的定时取得重新设定的摄影面的二维图像，根据所得到的二维图像取得三维图像。另一方面，在步骤S506中判定为不需要进行下一次的图像取得时，图像取得处理结束。
这样，在设检测到发光的关注区域的二维图像为第1二维图像、设其他二维图像为第2二维图像、设第1二维图像和与该第1二维图像相邻的二维图像之间的间隔为第1间隔、设第2二维图像和与该第2二维图像相邻的第2二维图像之间的间隔为第2间隔时，第1间隔比第2间隔窄。特别地，第1间隔为物镜光学系统14的景深以下。
另外，在本实施方式中，根据三维试样300的发光的状况，所取得的二维图像的数量变化。因此，取得所设定的数量的二维图像所需要的时间在进行缩时拍摄的图像取得处理中变化。因此，可能产生取得一组二维图像所需要的时间比从该一组二维图像的取得开始到下一组二维图像的取得开始的时间长的情况。因此，优选从一组二维图像的取得开始到下一组二维图像的取得开始的时间比在图像取得区域的整个区域内将摄影面与摄影面的间隔设定为比物镜光学系统14的焦深窄的第1间隔时取得一组二维图像所需要的时间长。
根据本实施方式，在未检测到发光的状态、即三维试样300的内部未引起应该关注的事项的状态下，将摄影面的间隔设定为比物镜光学系统14的焦深大的第2间隔，重构一个三维图像所使用的二维图像的数量减少。其结果，削减了数据尺寸。
在检测到发光的状态、即三维试样300的内部发生应该关注的事项的状态下，将摄影面的间隔设定为物镜光学系统14的焦深以下的第1间隔，得到高精细的三维图像。此时，针对未检测到发光的区域、即三维试样300的内部未引起应该关注的事项的区域，将摄影面的间隔设定为比物镜光学系统14的焦深大的第2间隔，重构一个三维图像所使用的二维图像的数量减少。其结果，削减了数据尺寸。
如上所述，实现了数据尺寸的削减和充分必要的高精细数据双方。其结果，能够实现快速且准确的三维试样的解析。
通过削减不必要数据而仅取得必要数据，能够削减数据取得和此后的数据解析的时间。由此，例如在使用来自干细胞的拟胚体或球体的新药研发中的药效/毒性的评价以及来自干细胞的拟胚体针对各种细胞的分化过程的评价/监视中，能够顺畅地进行数据取得和数据解析，能够执行迅速的评价。特别地，在某个摄影面中指定的关注区域(ROI)或摄影面整体的发光亮度的变化大于规定阈值的情况下，通过缩窄摄影面的间隔，能够选择性地增加与基因表达有关的信息。
[第2实施方式的第1变形例]
对第2实施方式的第1变形例进行说明。这里，对与第2实施方式的不同之处进行说明，对相同部分标注相同标号并省略其说明。在上述实施方式中，示出根据之前的图像取得中得到的二维图像来确定关注区域的分布的例子。但是不限于此。例如，如图22所示的流程图那样，也可以以比针对关注区域以外的区域应用的摄影面的间隔宽的间隔进行二维图像的取得，根据这里得到的二维图像来确定关注区域的分布。
即，在步骤S801中，拍摄条件决定部183待机，以使得摄影面的设定在下一次二维图像取得处理的开始之前结束，调整进行下一次处理的定时。在步骤S802中，拍摄条件决定部183与摄像控制部181协作，在摄影面的间隔较宽的条件下取得二维图像。该间隔例如可以是比第2间隔宽的第3间隔。将这里得到的一组二维图像称为评价用图像组。拍摄条件决定部183对步骤S803中得到的评价用图像组的二维图像的亮度进行解析，在步骤S804中确定关注区域的分布。在步骤S805中，拍摄条件决定部183根据关注区域的分布来设定摄影面。
根据本变形例，例如在缩时拍摄的间隔较长的情况下，也能够进行与当前的三维试样300的状态对应的摄影面的设定。
[第2实施方式的第2变形例]
对第2实施方式的第2变形例进行说明。这里，对与第2实施方式的不同之处进行说明，省略相同部分的说明。在上述实施方式中，根据关注区域的变化，所设定的摄影面的数量变化。但是，当摄影面的数量变化时，一组二维图像中包含的二维图像的数量变化。与此相对，在本变形例中，预先决定摄影面的数量。即，在摄影面设定处理中，根据关注区域设定摄影面，以使得摄影面的总数称为预先决定的数量。
根据本变形例，取得一组二维图像所需要的曝光时间的合计没有变化。其结果，防止缩时拍摄的间隔比取得一组二维图像的时间短。
[第2实施方式的第3变形例]
对第2实施方式的第3变形例进行说明。这里，对与第2实施方式的不同之处进行说明，对相同部分标注相同标号并省略其说明。在上述实施方式中，示出如下的例子：摄影面的间隔在关注区域和除此以外的区域中，分别设定为物镜光学系统14的焦深以下的第1间隔和比焦深宽的第2间隔。但是不限于此。摄影面的间隔也可以是多种，能够适当变更。但是，针对要观察的亮度较高的区域、亮度的变化较大的区域等关注度较高的区域，摄影面的间隔设定为较窄，针对关注度较低的区域，摄影面的间隔设定为较宽。无论哪种情况下，摄影面的间隔可以比物镜光学系统14的焦深窄。在本变形例中，能够取得具有必要精细度且抑制了数据尺寸的三维图像。
在以上的说明中，也可以对第1实施方式所述的拍摄间距和第2实施方式所述的拍摄间隔的调节进行组合。并且，本发明不限于面向再生医疗的试样，也可以应用于要求缩时观察每个细胞的基因表达的变化的各种试样、例如in vivo的试样。进而，由上述拍摄系统执行的拍摄间距和/或拍摄间隔的调节也可以设计成，使用者一边观察上述拍摄系统的显示画面，一边手动变更拍摄条件。
Claims (12)
1.一种三维发光图像的生成方法，其包括以下步骤：
针对包含被调制成进行发光的多个细胞的具有三维形状的三维试样，根据所述三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的所述多个二维图像相互的间隔；
通过在非照明条件下对所述三维试样进行拍摄，取得包含与所设定的所述间隔对应的所述多个二维图像的二维图像组；以及
对所述二维图像组中包含的所述多个二维图像进行合成，生成三维发光图像。
2.根据权利要求1所述的三维发光图像的生成方法，其中，
在设所述二维图像组中包含的所述多个二维图像中的、被检测到满足规定条件的所述发光的二维图像为第1二维图像，设所述第1二维图像以外的图像为第2二维图像时，
所述二维图像的所述间隔被设定为，所述第1二维图像和与该第1二维图像相邻的二维图像之间的第1间隔比所述第2二维图像和与该第2二维图像相邻的第2二维图像之间的第2间隔窄。
3.根据权利要求2所述的三维发光图像的生成方法，其中，
所述规定条件是所述二维图像中的表示所述发光的亮度值为规定值以上。
4.根据权利要求2所述的三维发光图像的生成方法，其中，
所述规定条件是所述二维图像中的表示所述发光的区域的面积值为规定值以上。
5.根据权利要求2所述的三维发光图像的生成方法，其中，
所述规定条件是所述二维图像的预先决定的区域中表示所述发光的亮度值的变化为规定值以上。
6.根据权利要求2所述的三维发光图像的生成方法，其中，
所述生成方法还包括以下步骤：
以比所述第1间隔宽的间隔取得作为所述多个二维图像的评价用图像组；以及
根据所述评价用图像组判断是否满足所述规定条件。
7.根据权利要求2所述的三维发光图像的生成方法，其中，
所述第1间隔为根据取得所述二维图像时使用的物镜光学系统而决定的焦深以下。
8.根据权利要求1所述的三维发光图像的生成方法，其中，
反复进行多次的所述二维图像组的取得，
在每次进行各个所述二维图像组的取得时进行所述间隔的设定。
9.根据权利要求8所述的三维发光图像的生成方法，其中，
即使各个所述二维图像之间的所述间隔变化，用于取得所述二维图像组中包含的所述二维图像的曝光时间的合计也不变化。
10.根据权利要求8所述的三维发光图像的生成方法，其中，
根据紧前取得的所述二维图像组进行所述间隔的设定。
11.根据权利要求8所述的三维发光图像的生成方法，其中，
每隔一定时间反复进行相同处理，由此取得所述二维图像组。
12.一种摄像系统，其具有：
物镜光学系统；
驱动部，其使所述物镜光学系统的合焦位置在光轴方向上移动；
摄像部，其经由所述物镜光学系统，对包含被调制成进行发光的多个细胞的具有三维形状的三维试样的发光图像进行摄像；
间隔设定部，其根据所述三维试样中的发光的局部存在，设定取得具有相互不同的合焦面的多个二维图像时的所述多个二维图像相互的间隔；
摄像控制部，其在非照明条件下对所述驱动部的动作进行控制，并且使所述摄像部拍摄所述三维试样，由此取得包含与所设定的所述间隔对应的所述多个二维图像的二维图像组；以及
图像合成部，其对所述二维图像组中包含的所述多个二维图像进行合成，生成三维发光图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/051698 WO2016117089A1 (ja) | 2015-01-22 | 2015-01-22 | 三次元発光画像の生成方法及び撮像システム |
| JPPCT/JP2015/051698 | 2015-01-22 | ||
| PCT/JP2016/051679 WO2016117638A1 (ja) | 2015-01-22 | 2016-01-21 | ３次元発光画像の生成方法及び撮像システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107209122A true CN107209122A (zh) | 2017-09-26 |
Family
ID=56416654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680006671.6A Pending CN107209122A (zh) | 2015-01-22 | 2016-01-21 | 三维发光图像的生成方法和摄像系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10401276B2 (zh) |
| JP (1) | JP6461204B2 (zh) |
| CN (1) | CN107209122A (zh) |
| DE (1) | DE112016000251T5 (zh) |
| WO (2) | WO2016117089A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586393A (zh) * | 2020-04-24 | 2020-08-25 | 山东易华录信息技术有限公司 | 一种水下三维图像成像系统及方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018105298A1 (ja) * | 2016-12-09 | 2018-06-14 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
| WO2019106945A1 (ja) | 2017-11-28 | 2019-06-06 | パナソニックＩｐマネジメント株式会社 | 培養状態判定装置、培養状態判定方法及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1700776A (zh) * | 2004-05-21 | 2005-11-23 | 株式会社东芝 | 三维图像显示方法、三维图像捕获方法以及三维显示装置 |
| CN1710615A (zh) * | 2004-06-17 | 2005-12-21 | 奥林巴斯株式会社 | 图像处理方法和图像处理装置 |
| CN101351735A (zh) * | 2005-12-27 | 2009-01-21 | 奥林巴斯株式会社 | 获取生物源样本的图像的装置和方法 |
| CN101438147A (zh) * | 2006-05-31 | 2009-05-20 | 奥林巴斯株式会社 | 生物试样摄像方法及生物试样摄像装置 |
| CN101822526A (zh) * | 2009-01-28 | 2010-09-08 | 松下电器产业株式会社 | 口腔内测定装置和口腔内测定系统 |
| US20140232931A1 (en) * | 2013-02-19 | 2014-08-21 | Nec Corporation | Imaging system and imaging method |
| CN104135962A (zh) * | 2012-03-21 | 2014-11-05 | 奥林巴斯株式会社 | 手术用图像系统以及图像显示方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003057170A (ja) * | 2001-08-13 | 2003-02-26 | Shiseido Co Ltd | メラニン評価装置 |
| JP2006308808A (ja) * | 2005-04-27 | 2006-11-09 | Keyence Corp | 拡大観察装置 |
| EP2033047B1 (en) | 2006-06-29 | 2020-02-19 | Agency for Science, Technology and Research | Shg quantification of matrix-related tissue dynamic and disease |
| JP5089936B2 (ja) * | 2006-07-26 | 2012-12-05 | オリンパス株式会社 | 発光イメージングの検出方法 |
| JP5424528B2 (ja) | 2006-10-04 | 2014-02-26 | オリンパス株式会社 | 微弱光サンプルの解析方法および装置 |
| JPWO2008123610A1 (ja) * | 2007-04-04 | 2010-07-15 | オリンパス株式会社 | 発光タンパクによる長期モニタリング方法および解析方法 |
| JP5572464B2 (ja) * | 2010-07-14 | 2014-08-13 | オリンパス株式会社 | 共焦点顕微鏡装置 |
| JP2012122829A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 生体内部の画像化方法及び装置 |
| JP6242202B2 (ja) * | 2012-12-13 | 2017-12-06 | オリンパス株式会社 | 光学顕微鏡システムおよび光学顕微鏡を用いて細胞を観察する方法 |
| CN104268929B (zh) * | 2014-09-09 | 2017-04-05 | 北京工商大学 | 基于图像强度各阶导数的荧光显微图像3d重建方法及装置 |
-
2015
- 2015-01-22 WO PCT/JP2015/051698 patent/WO2016117089A1/ja active Application Filing
-
2016
- 2016-01-21 WO PCT/JP2016/051679 patent/WO2016117638A1/ja active Application Filing
- 2016-01-21 DE DE112016000251.3T patent/DE112016000251T5/de not_active Withdrawn
- 2016-01-21 CN CN201680006671.6A patent/CN107209122A/zh active Pending
- 2016-01-21 JP JP2016570697A patent/JP6461204B2/ja active Active
-
2017
- 2017-07-12 US US15/647,486 patent/US10401276B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1700776A (zh) * | 2004-05-21 | 2005-11-23 | 株式会社东芝 | 三维图像显示方法、三维图像捕获方法以及三维显示装置 |
| CN1710615A (zh) * | 2004-06-17 | 2005-12-21 | 奥林巴斯株式会社 | 图像处理方法和图像处理装置 |
| CN101351735A (zh) * | 2005-12-27 | 2009-01-21 | 奥林巴斯株式会社 | 获取生物源样本的图像的装置和方法 |
| CN101438147A (zh) * | 2006-05-31 | 2009-05-20 | 奥林巴斯株式会社 | 生物试样摄像方法及生物试样摄像装置 |
| CN101822526A (zh) * | 2009-01-28 | 2010-09-08 | 松下电器产业株式会社 | 口腔内测定装置和口腔内测定系统 |
| CN104135962A (zh) * | 2012-03-21 | 2014-11-05 | 奥林巴斯株式会社 | 手术用图像系统以及图像显示方法 |
| US20140232931A1 (en) * | 2013-02-19 | 2014-08-21 | Nec Corporation | Imaging system and imaging method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586393A (zh) * | 2020-04-24 | 2020-08-25 | 山东易华录信息技术有限公司 | 一种水下三维图像成像系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10401276B2 (en) | 2019-09-03 |
| WO2016117638A1 (ja) | 2016-07-28 |
| US20170315049A1 (en) | 2017-11-02 |
| JPWO2016117638A1 (ja) | 2017-11-02 |
| DE112016000251T5 (de) | 2017-10-05 |
| JP6461204B2 (ja) | 2019-01-30 |
| WO2016117089A1 (ja) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Orth et al. | Optical fiber bundles: Ultra-slim light field imaging probes | |
| Chouinard-Thuly et al. | Technical and conceptual considerations for using animated stimuli in studies of animal behavior | |
| CN102023148B (zh) | 荧光纳米显微方法 | |
| Agbana et al. | Imaging & identification of malaria parasites using cellphone microscope with a ball lens | |
| JP4998618B2 (ja) | 生体画像撮影装置 | |
| JPWO2007074929A1 (ja) | 生物由来の被験試料の画像を取得する装置及び方法 | |
| CN105407265B (zh) | 可互换透镜装置、图像捕获装置和控制方法 | |
| Shaw et al. | Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy | |
| CN107209122A (zh) | 三维发光图像的生成方法和摄像系统 | |
| Kuchmiy et al. | Methods for in vivo molecular imaging | |
| US10725278B2 (en) | Microscope, observation method, and storage medium | |
| Cutrale et al. | Imaging, visualization, and computation in developmental biology | |
| Baker et al. | A combined light sheet fluorescence and differential interference contrast microscope for live imaging of multicellular specimens | |
| CN106455947A (zh) | 图像显示装置、图像显示方法以及图像显示程序 | |
| CN111902761B (zh) | 试样观察装置和试样观察方法 | |
| Hayashi et al. | Large-scale calcium imaging with a head-mounted axial scanning 3D fluorescence microscope | |
| JP7064720B2 (ja) | 算出装置、算出プログラム及び算出方法 | |
| Gong et al. | A fully water coupled oblique light-sheet microscope | |
| Wang et al. | From imaging to understanding: frontiers in live cell imaging, Bethesda, MD, April 19–21, 2006 | |
| JP2010017396A (ja) | 生体観察方法および装置 | |
| EP3259631B1 (en) | Device and method for creating an optical tomogram of a microscopic sample | |
| JP2007093488A (ja) | 生物由来の被験試料の画像を、光学的結像手段を用いて取得する方法及び装置 | |
| JP2012122829A (ja) | 生体内部の画像化方法及び装置 | |
| Daniels et al. | New method for rapid 3D reconstruction of semi-transparent underwater animals and structures | |
| Browning et al. | Illuminating the optical properties of an LED-based spectral light source for hyperspectral endoscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170926 |