JP2020136053A - 観察方法、画像処理装置、および電子顕微鏡 - Google Patents
観察方法、画像処理装置、および電子顕微鏡 Download PDFInfo
- Publication number
- JP2020136053A JP2020136053A JP2019027384A JP2019027384A JP2020136053A JP 2020136053 A JP2020136053 A JP 2020136053A JP 2019027384 A JP2019027384 A JP 2019027384A JP 2019027384 A JP2019027384 A JP 2019027384A JP 2020136053 A JP2020136053 A JP 2020136053A
- Authority
- JP
- Japan
- Prior art keywords
- image
- metal particles
- microscope image
- optical microscope
- electron microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000002923 metal particle Substances 0.000 claims abstract description 158
- 239000002245 particle Substances 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 claims abstract description 17
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000000879 optical micrograph Methods 0.000 claims description 136
- 238000001000 micrograph Methods 0.000 claims description 58
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 38
- 239000010931 gold Substances 0.000 claims description 36
- 229910052737 gold Inorganic materials 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 4
- 206010070834 Sensitisation Diseases 0.000 claims description 3
- 230000008313 sensitization Effects 0.000 claims description 3
- 238000003917 TEM image Methods 0.000 abstract description 81
- 238000003384 imaging method Methods 0.000 abstract description 6
- 239000000523 sample Substances 0.000 description 59
- 239000002105 nanoparticle Substances 0.000 description 26
- 241000223785 Paramecium Species 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 229920005989 resin Polymers 0.000 description 8
- 239000011347 resin Substances 0.000 description 8
- 239000010408 film Substances 0.000 description 7
- 239000007850 fluorescent dye Substances 0.000 description 7
- 108091006047 fluorescent proteins Proteins 0.000 description 7
- 102000034287 fluorescent proteins Human genes 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 7
- 229910052727 yttrium Inorganic materials 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 6
- SXRSQZLOMIGNAQ-UHFFFAOYSA-N Glutaraldehyde Chemical compound O=CCCCC=O SXRSQZLOMIGNAQ-UHFFFAOYSA-N 0.000 description 4
- 210000004748 cultured cell Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 4
- 229910000489 osmium tetroxide Inorganic materials 0.000 description 4
- 239000012285 osmium tetroxide Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 239000007864 aqueous solution Substances 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000001878 scanning electron micrograph Methods 0.000 description 3
- 238000000851 scanning transmission electron micrograph Methods 0.000 description 3
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 2
- 108090000790 Enzymes Proteins 0.000 description 2
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 2
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- HOQPTLCRWVZIQZ-UHFFFAOYSA-H bis[[2-(5-hydroxy-4,7-dioxo-1,3,2$l^{2}-dioxaplumbepan-5-yl)acetyl]oxy]lead Chemical compound [Pb+2].[Pb+2].[Pb+2].[O-]C(=O)CC(O)(CC([O-])=O)C([O-])=O.[O-]C(=O)CC(O)(CC([O-])=O)C([O-])=O HOQPTLCRWVZIQZ-UHFFFAOYSA-H 0.000 description 2
- 238000004132 cross linking Methods 0.000 description 2
- 230000018044 dehydration Effects 0.000 description 2
- 238000006297 dehydration reaction Methods 0.000 description 2
- 238000001493 electron microscopy Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 description 2
- 239000005090 green fluorescent protein Substances 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 239000003960 organic solvent Substances 0.000 description 2
- 230000003647 oxidation Effects 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- 210000000680 phagosome Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- HSTOKWSFWGCZMH-UHFFFAOYSA-N 3,3'-diaminobenzidine Chemical compound C1=C(N)C(N)=CC=C1C1=CC=C(N)C(N)=C1 HSTOKWSFWGCZMH-UHFFFAOYSA-N 0.000 description 1
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Natural products OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 229910001020 Au alloy Inorganic materials 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical class CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 102000004316 Oxidoreductases Human genes 0.000 description 1
- 108090000854 Oxidoreductases Proteins 0.000 description 1
- WZECUPJJEIXUKY-UHFFFAOYSA-N [O-2].[O-2].[O-2].[U+6] Chemical compound [O-2].[O-2].[O-2].[U+6] WZECUPJJEIXUKY-UHFFFAOYSA-N 0.000 description 1
- ABUBSBSOTTXVPV-UHFFFAOYSA-H [U+6].CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O Chemical compound [U+6].CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O.CC([O-])=O ABUBSBSOTTXVPV-UHFFFAOYSA-H 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 150000007513 acids Chemical class 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002529 anti-mitochondrial effect Effects 0.000 description 1
- QZPSXPBJTPJTSZ-UHFFFAOYSA-N aqua regia Chemical compound Cl.O[N+]([O-])=O QZPSXPBJTPJTSZ-UHFFFAOYSA-N 0.000 description 1
- 229960005070 ascorbic acid Drugs 0.000 description 1
- 235000010323 ascorbic acid Nutrition 0.000 description 1
- 239000011668 ascorbic acid Substances 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003013 cytotoxicity Effects 0.000 description 1
- 231100000135 cytotoxicity Toxicity 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000012202 endocytosis Effects 0.000 description 1
- 239000003822 epoxy resin Substances 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 229920000647 polyepoxide Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000004627 transmission electron microscopy Methods 0.000 description 1
- 229910000439 uranium oxide Inorganic materials 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/10—Condensers affording dark-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
- H01J37/226—Optical arrangements for illuminating the object; optical arrangements for collecting light from the object
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/244—Detectors; Associated components or circuits therefor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B82—NANOTECHNOLOGY
- B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
- B82Y30/00—Nanotechnology for materials or surface science, e.g. nanocomposites
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/20—Positioning, supporting, modifying or maintaining the physical state of objects being observed or treated
- H01J2237/202—Movement
- H01J2237/20292—Means for position and/or orientation registration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Sampling And Sample Adjustment (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】光学顕微鏡および電子顕微鏡で、同じ状態の試料を容易に観察することができる観察方法を提供する。【解決手段】光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料を作製する工程Ｓ１００と、試料を光学顕微鏡で撮影し光学顕微鏡像を取得する工程Ｓ１０２と、試料を電子顕微鏡（ＴＥＭ）で撮影しＴＥＭ像を取得する工程Ｓ１０６と、光学顕微鏡像において、複数の金属粒子の位置および色の情報を取得する工程Ｓ１０４と、ＴＥＭ像において、複数の金属粒子の位置および粒径の情報を取得する工程Ｓ１０８と、光学顕微鏡像で取得された複数の金属粒子の位置および色の情報、およびＴＥＭ像で取得された複数の金属粒子の位置および粒径の情報に基づいて、光学顕微鏡像とＴＥＭ像を対応づける情報を求める工程Ｓ１１２とにより、光学顕微鏡像とＴＥＭ像の位置合わせＳ１１４を行い、２つの像を重ねて１つの画像とする。【選択図】図１
Description
本発明は、観察方法、画像処理装置、および電子顕微鏡に関する。
光学顕微鏡と電子顕微鏡との間で同一箇所を観察可能とする手法が知られている（例えば、特許文献１参照）。
光学顕微鏡観察において、蛍光タンパク質や蛍光色素で特定の細胞や特定のタンパク質などを標識することによって、目的の細胞や目的のタンパク質の局在を観察することができる。このような蛍光タンパク質としては、ＧＦＰ（green fluorescent protein）が挙げられる。また、このような蛍光色素としては、ＦＩＴＣ（Fluorescein isothiocyanate）、ＤＡＰＩ（4',6-diamidino-2-phenylindole）などが挙げられる。
しかしながら、これらの蛍光タンパク質や、蛍光色素は、電子顕微鏡用の試料作製との相性が悪い。例えば、試料の固定には、グルタールアルデヒドや、四酸化オスミウムが用いられる。蛍光タンパク質や蛍光色素は、グルタールアルデヒドによる架橋や、四酸化オスミウムによる酸化によって、蛍光が失われる。そのため、試料を固定した後に、蛍光タンパク質や蛍光色素で標識された試料の光学顕微鏡観察を行うことは困難である。
また、例えば、ＤＡＢ（3,3'-diaminobenzidine）反応をする蛍光タンパク質で標識された試料を光学顕微鏡観察し、その後、試料を固定して電子顕微鏡観察を行う手法が知られている。このような蛍光タンパク質としては、アスコルビン酸オキシダーゼ（ＡＰＥＸ）や、ｍｉｎｉＳＯＧ（mini Singlet Oxygen Generator）などが挙げられる。
しかしながら、この手法では、試料を固定した後の試料を光学顕微鏡観察することができない。また、電子顕微鏡の試料作製では、試料の固定後、細胞内の水分の有機溶媒への置換（脱水）、有機溶媒の樹脂への置換（樹脂包埋）、および樹脂の重合が行われる。脱水を行うと試料の収縮が起こり、樹脂の重合を行うと樹脂の収縮による試料の収縮が起こる。そのため、光学顕微鏡像と電子顕微鏡像の位置合わせが困難になる。
また、架橋や酸化の影響を受けない蛍光色素として、半導体材料からなる量子ドットが存在する。しかしながら、透過電子顕微鏡観察を行う場合、試料を薄片化しなければならない。試料を薄片化すると、蛍光色素の量が少なくなってしまうため、光学顕微鏡観察において十分な蛍光信号を得ることができない。
上記のように、光学顕微鏡および電子顕微鏡で、同じ状態の試料を観察することは困難であった。
（１）本発明に係る観察方法の一態様は、
光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試
料を作製する工程と、
前記試料を光学顕微鏡で撮影することによって、光学顕微鏡像を取得する工程と、
前記試料を電子顕微鏡で撮影することによって、電子顕微鏡像を取得する工程と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する工程と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する工程と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める工程と、
を含む。
光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試
料を作製する工程と、
前記試料を光学顕微鏡で撮影することによって、光学顕微鏡像を取得する工程と、
前記試料を電子顕微鏡で撮影することによって、電子顕微鏡像を取得する工程と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する工程と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する工程と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める工程と、
を含む。
このような観察方法では、光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として用いている。複数の金属粒子は、電子顕微鏡用試料作製の影響を受けずに、光学顕微鏡像および電子顕微鏡像の両方で目印として機能する。したがって、このような観察方法では、光学顕微鏡および電子顕微鏡において、同じ状態の試料を観察することができる。さらに、このような観察方法では、光学顕微鏡像における輝点の色から金属粒子の粒径を推測することができる。したがって、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
（２）本発明に係る画像処理装置の一態様は、
光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料の光学顕微鏡像および前記試料の電子顕微鏡像を取得する画像取得部と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する第１像情報取得部と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する第２像情報取得部と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める演算部と、
を含む。
光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料の光学顕微鏡像および前記試料の電子顕微鏡像を取得する画像取得部と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する第１像情報取得部と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する第２像情報取得部と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める演算部と、
を含む。
このような画像処理装置では、光学顕微鏡像における輝点の色から金属粒子の粒径を推測することができる。したがって、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
（３）本発明に係る電子顕微鏡は、上記の画像処理装置を含む。
このような電子顕微鏡では、光学顕微鏡像における輝点の色から金属粒子の粒径を推測することができる。したがって、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
１． 第１実施形態
まず、第１実施形態に係る観察方法について説明する。図１は、第１実施形態に係る観察方法の一例を示すフローチャートである。
まず、第１実施形態に係る観察方法について説明する。図１は、第１実施形態に係る観察方法の一例を示すフローチャートである。
（１）試料作製（Ｓ１００）
図２は、第１実施形態に係る観察方法における試料を作製する手法を説明するための図である。
図２は、第１実施形態に係る観察方法における試料を作製する手法を説明するための図である。
まず、観察対象物２を準備する。観察対象物２は、例えば、生体試料である。次に、観察対象物２を固定した後、樹脂包埋する。次に、樹脂包埋された観察対象物２を、ミクロトームなどで薄片化する。これにより、観察対象物２の切片が得られる。なお、観察対象物２に対する、固定、染色、樹脂包埋などの前処理の手法や順序は特に限定されない。
次に、観察対象物２の切片を支持膜４上に配置する。支持膜４は、高分子またはカーボンなどの極めて薄い膜である。次に、粒径の異なる複数の金属粒子６を含む水溶液を作製する。作製した金属粒子６を含む水溶液を、支持膜４上に滴下し、乾燥させる。これにより、支持膜４上に複数の金属粒子６を配置することができる。
以上の処理により、試料を作製することができる。
第１実施形態では、観察位置を特定するための目印として、光の照射により局在表面プラズモン共鳴を励起する金属粒子６を用いる。金属粒子６の粒径は、例えば、２０ｎｍ以上１μｍ以下である。金属粒子６の形状は、例えば、球状である。
以下、目印として、金属粒子６を用いる理由について説明する。
局在表面プラズモン共鳴による電子の振動は、粒子の粒径や表面構造に依存する。この局在表面プラズモン共鳴による電子の振動により、特定波長の光が強く吸収または散乱される。局在表面プラズモン共鳴による特定波長の光の吸収または散乱により、光学顕微鏡観察において、ナノサイズの金属粒子６を観察することができる。さらに、局在表面プラズモン共鳴は、金属粒子の種類や、粒径、表面構造などに依存して吸収される光の波長を変化させる。そのため、光学顕微鏡観察において、金属粒子６からの散乱光の色から、金
属粒子６の粒径を推測することができる。
属粒子６の粒径を推測することができる。
また、目印として金属粒子６を用いることにより、電子顕微鏡観察において吸収散乱コントラストが得られるため、電子顕微鏡像における目印として十分なコントラストが得られる。
金属粒子６としては、金粒子が好ましい。金粒子は、王水以外の酸やアルカリでは腐食しない。また、細胞毒性が低く、細胞内に入れても悪影響を及ぼす可能性が低い。なお、金粒子として、金ナノアーチンを用いてもよい。また、金属粒子６として、金と銀の合金を用いてもよい。
（２）光学顕微鏡観察（Ｓ１０２）
次に、作製された試料を光学顕微鏡で観察する。光学顕微鏡観察では、暗視野像を観察する。すなわち、光学顕微鏡観察において、試料からの散乱光を観察する。光学顕微鏡において、暗視野像は、金属粒子６からの散乱光の色を確認できるように、カラー撮影可能なカメラで撮影される。なお、試料からの散乱光を確認できれば、光学顕微鏡観察において、明視野像を観察してもよい。
次に、作製された試料を光学顕微鏡で観察する。光学顕微鏡観察では、暗視野像を観察する。すなわち、光学顕微鏡観察において、試料からの散乱光を観察する。光学顕微鏡において、暗視野像は、金属粒子６からの散乱光の色を確認できるように、カラー撮影可能なカメラで撮影される。なお、試料からの散乱光を確認できれば、光学顕微鏡観察において、明視野像を観察してもよい。
図３は、試料の光学顕微鏡像Ｉ２（暗視野像）を模式的に示す図である。なお、図３では、便宜上、金属粒子６からの散乱光の色を、ハッチングで表している。すなわち、同じハッチングの金属粒子６は、散乱光が同じ色であることを表している。
図３に示すように、光学顕微鏡像Ｉ２では、金属粒子６からの散乱光が観察される。光学顕微鏡の暗視野像では、局在表面プラズモン共鳴の効果により、約２０ｎｍ程度の小さな金属粒子６からの散乱光であっても観察可能である。光学顕微鏡像Ｉ２では、金属粒子６からの散乱光は、輝点として観察される。
（３）輝点の抽出（Ｓ１０４）
次に、光学顕微鏡像Ｉ２から輝点を抽出する。すなわち、光学顕微鏡像Ｉ２から、金属粒子６を抽出する。具体的には、光学顕微鏡像Ｉ２から、各輝点の座標（Ｘ，Ｙ）と、各輝点の色の情報と、を取得する。輝点の座標（Ｘ，Ｙ）と輝点の色の情報は、光学顕微鏡像における、金属粒子の座標と金属粒子の色（金属粒子からの散乱光の色）の情報といえる。
次に、光学顕微鏡像Ｉ２から輝点を抽出する。すなわち、光学顕微鏡像Ｉ２から、金属粒子６を抽出する。具体的には、光学顕微鏡像Ｉ２から、各輝点の座標（Ｘ，Ｙ）と、各輝点の色の情報と、を取得する。輝点の座標（Ｘ，Ｙ）と輝点の色の情報は、光学顕微鏡像における、金属粒子の座標と金属粒子の色（金属粒子からの散乱光の色）の情報といえる。
図４および図５は、輝点の座標を求める手法を説明するための図である。なお、図５には、図４の領域Ｖの拡大図、および輝点の強度プロファイルを図示している。図５に示すグラフの横軸は光学顕微鏡像の位置であり、縦軸は明るさを表している。
図５に示すように、輝点の明るさが正規分布するものとし、光学顕微鏡像Ｉ２における輝点の中心を輝点の座標（Ｘ，Ｙ）とする。輝点の座標（Ｘ，Ｙ）の情報を金属粒子の座標（Ｘ，Ｙ）として、輝点の色の情報を金属粒子の色の情報として記録する。このとき、金属粒子の座標（Ｘ，Ｙ）と金属粒子の色の情報を関連付けて記録する。
（４）電子顕微鏡観察（Ｓ１０６）
次に、作製された試料を透過電子顕微鏡で観察する。透過電子顕微鏡による観察は、暗視野であってもよいし、明視野であってもよい。
次に、作製された試料を透過電子顕微鏡で観察する。透過電子顕微鏡による観察は、暗視野であってもよいし、明視野であってもよい。
図６は、試料のＴＥＭ像Ｉ４（明視野像）を模式的に示す図である。図６に示すように、電子線は、金属粒子６によって吸収散乱されるため、ＴＥＭ像Ｉ４では、金属粒子６は黒いドットとして観察される。
（５）金属粒子の抽出（Ｓ１０８）
次に、ＴＥＭ像Ｉ４において、金属粒子６を抽出する。金属粒子６は、ＴＥＭ像Ｉ４において黒いドットとして観察されるため、黒いドットの中心の座標を金属粒子６の座標（ｘ，ｙ）とする。
次に、ＴＥＭ像Ｉ４において、金属粒子６を抽出する。金属粒子６は、ＴＥＭ像Ｉ４において黒いドットとして観察されるため、黒いドットの中心の座標を金属粒子６の座標（ｘ，ｙ）とする。
（６）金属粒子の粒径の測定（Ｓ１１０）
次に、ＴＥＭ像Ｉ４において、金属粒子６の粒径（直径）を測定する。
次に、ＴＥＭ像Ｉ４において、金属粒子６の粒径（直径）を測定する。
図７は、金属粒子６の粒径の測定を説明するための図である。
図７に示すように、ＴＥＭ像Ｉ４において、各金属粒子６の粒径を測定する。金属粒子６の粒径の情報は、金属粒子６の座標（ｘ，ｙ）の情報と関連づけて記録する。
（７）光学顕微鏡像と電子顕微鏡像を対応づける情報の算出（Ｓ１１２）
次に、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報を求める。光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報は、光学顕微鏡像から取得された、複数の金属粒子６の位置および色の情報と、ＴＥＭ像から取得された、複数の金属粒子６の位置および粒径の情報と、に基づいて求めることができる。
次に、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報を求める。光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報は、光学顕微鏡像から取得された、複数の金属粒子６の位置および色の情報と、ＴＥＭ像から取得された、複数の金属粒子６の位置および粒径の情報と、に基づいて求めることができる。
光学顕微鏡像Ｉ２における金属粒子６の色、すなわち、金属粒子６からの散乱光の色は、金属粒子６の粒径に依存する。具体的には、金属粒子６の粒径が大きくなるほど、局在表面プラズモン共鳴により長波長の光が金属粒子６に吸収される。そのため、光学顕微鏡像から取得された金属粒子６の色（光の波長）の情報から、金属粒子６の粒径を推測することができる。これを利用して、金属粒子６の粒径および金属粒子６の位置を、２つの画像間で照らし合わせることによって、光学顕微鏡像Ｉ２に見られる金属粒子６と、ＴＥＭ像Ｉ４に見られる金属粒子６と、を対応付けることができる。
このようにして、２つの画像間で対応する金属粒子６を見つけることによって、光学顕微鏡像Ｉ２における金属粒子６の座標（Ｘ，Ｙ）とＴＥＭ像Ｉ４における金属粒子６の座標（ｘ，ｙ）とが、試料上の同じ位置を示すことがわかる。この結果、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報を得ることができる。
図８および図９は、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報を求める手法を説明するための図である。
例えば、図８に示すように、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間で、対応する金属粒子６が２組見つかれば、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間における、倍率の差、および、向きの違いを求めることができる。例えば、図８に示すように、光学顕微鏡像Ｉ２において２つの金属粒子６を結ぶベクトルＶ２を引き、同様に、ＴＥＭ像Ｉ４において２つの金属粒子６を結ぶベクトルＶ４を引く。ベクトルＶ２の長さとベクトルＶ４の長さの差から、２つの画像間の倍率の差を求めることができる。また、ベクトルＶ２の向き、およびベクトルＶ４の向きから、２つの画像間の向きの違いを求めることができる。２つの画像間の向きの違いは、例えば、ベクトルＶ２とベクトルＶ４とがなす角度で表すことができる。
また、例えば、図９に示すように、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間で対応する金属粒子６が３組以上見つかれば、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間における、倍率の差、向きの違い、に加えて、像のゆがみを求めることができる。図９に示す例では、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間で対応する金属粒子６が４組あるため、倍率の差
、向きの違い、および像のゆがみを求めることができる。
、向きの違い、および像のゆがみを求めることができる。
光学顕微鏡における光学系の収差と電子顕微鏡における光学系の収差とは異なる。そのため、例えば、光学顕微鏡像Ｉ２を基準とした場合、光学顕微鏡像Ｉ２に対して、ＴＥＭ像Ｉ４はゆがんでいる。上記のように、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間で対応する金属粒子６が３組以上見つかれば、光学顕微鏡像Ｉ２に対して、ＴＥＭ像Ｉ４がどのようにゆがんでいるのかを求めることができる。なお、例えば、ＴＥＭ像Ｉ４を基準として、ＴＥＭ像Ｉ４に対して、光学顕微鏡像Ｉ２がどのようにゆがんでいるかを求めてもよい。
（８）光学顕微鏡像とＴＥＭ像の位置合わせ（Ｓ１１４）
次に、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の位置合わせを行い、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねて１つの画像とする。
次に、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の位置合わせを行い、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねて１つの画像とする。
例えば、まず、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の倍率の差の情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の倍率を調整する。これにより、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の倍率を等しくする。また、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の向きの違いの情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の向きを調整する。例えば、光学顕微鏡像Ｉ２に対してＴＥＭ像Ｉ４を回転させることで、向きを調整することができる。これにより、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を同じ向きにする。また、２つの画像間のゆがみの情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間のゆがみを補正してもよい。
次に、倍率や向き等が調整された光学顕微鏡像Ｉ２と、倍率や向き等が調整されたＴＥＭ像Ｉ４の位置合わせを行い、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねて１つの画像とする。
図１０は、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねて生成された画像Ｉ６を模式的に示す図である。
図１０に示す画像Ｉ６は、光学顕微鏡像Ｉ２およびＴＥＭ像Ｉ４の両方の特性を生かした画像となる。
以上の工程により、光学顕微鏡と透過電子顕微鏡を組み合わせて試料の観察ができる。
なお、上記では、光学顕微鏡像とＴＥＭ像を取得する場合について説明したが、光学顕微鏡像と組み合わせる像は、電子顕微鏡像であればよい。ここで、電子顕微鏡像は、ＴＥＭ像、走査電子顕微鏡像（ＳＥＭ像）、および走査透過電子顕微鏡像（ＳＴＥＭ像）を含む。ＳＥＭ像およびＳＴＥＭ像においても、ＴＥＭ像と同様に、金属粒子６の粒径を測定できる。そのため、光学顕微鏡像とＳＥＭ像を取得する場合および光学顕微鏡像とＳＴＥＭ像を取得する場合であっても、光学顕微鏡像とＴＥＭ像を取得する場合と同様の処理で、試料の観察が可能である。
また、上記では、観察対象物が生体試料である場合について説明したが、その他の試料についても、上記の生体試料の場合と同様に、光学顕微鏡と電子顕微鏡を組み合わせた観察が可能である。
第１実施形態に係る観察方法は、例えば、以下の特徴を有する。
第１実施形態に係る観察方法は、光の照射により局在表面プラズモン共鳴を励起する複
数の金属粒子を目印として含む試料を作製する工程と、光学顕微鏡像において複数の金属粒子の位置および色の情報を取得する工程と、電子顕微鏡像において複数の金属粒子の位置および粒径の情報を取得する工程と、光学顕微鏡像で取得された複数の金属粒子の位置および色の情報、および電子顕微鏡像で取得された複数の金属粒子の位置および粒径の情報に基づいて、光学顕微鏡像と電子顕微鏡像を対応づける情報を求める工程と、を含む。
数の金属粒子を目印として含む試料を作製する工程と、光学顕微鏡像において複数の金属粒子の位置および色の情報を取得する工程と、電子顕微鏡像において複数の金属粒子の位置および粒径の情報を取得する工程と、光学顕微鏡像で取得された複数の金属粒子の位置および色の情報、および電子顕微鏡像で取得された複数の金属粒子の位置および粒径の情報に基づいて、光学顕微鏡像と電子顕微鏡像を対応づける情報を求める工程と、を含む。
第１実施形態に係る観察方法では、光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子６を目印として用いている。複数の金属粒子６は、電子顕微鏡用試料作製の影響を受けずに、光学顕微鏡像および電子顕微鏡像の両方で目印として機能する。したがって、第１実施形態に係る観察方法では、光学顕微鏡および電子顕微鏡において、同じ状態の試料を観察することができる。
さらに、第１実施形態に係る観察方法では、光学顕微鏡像における輝点の色から金属粒子の粒径を推測することができる。したがって、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
第１実施形態に係る観察方法では、光学顕微鏡像は、例えば、暗視野像である。暗視野像では、金属粒子６からの散乱光の色が見やすい。そのため、光学顕微鏡像から金属粒子６の粒径を正確に推測することができる。
２． 第２実施形態
次に、第２実施形態に係る画像処理装置について、図面を参照しながら説明する。図１１は、電子顕微鏡１００の構成を示す図である。電子顕微鏡１００は、第２実施形態に係る画像処理装置１０を含む。
次に、第２実施形態に係る画像処理装置について、図面を参照しながら説明する。図１１は、電子顕微鏡１００の構成を示す図である。電子顕微鏡１００は、第２実施形態に係る画像処理装置１０を含む。
電子顕微鏡１００は、画像処理装置１０と、電子顕微鏡本体２０と、を含む。
電子顕微鏡本体２０は、例えば、透過電子顕微鏡としての機能を有している。すなわち、電子顕微鏡本体２０は、電子銃と、試料に電子線を照射する照射系、試料を保持する試料ステージ、試料を透過した電子で像を結像する結像系、および像を撮影する撮像装置を含む。電子顕微鏡本体２０では、電子銃から放出された電子線は、照射系によって集束されて試料に照射される。試料に照射された電子線は試料を透過する。結像系によって、試料を透過した電子でＴＥＭ像が結像され、ＴＥＭ像は、撮像装置で撮影される。撮像装置で撮影されたＴＥＭ像の画像データは、画像処理装置１０に送られ、記憶部１２４に記憶される。
画像処理装置１０は、操作部１２０と、表示部１２２と、記憶部１２４と、処理部１１０と、を含む。
操作部１２０は、ユーザーによる操作に応じた操作信号を取得し、処理部１１０に送る処理を行う。操作部１２０の機能は、例えば、ボタン、キー、タッチパネル型ディスプレイ、マイクなどにより実現できる。
表示部１２２は、処理部１１０によって生成された画像を表示するものである。表示部１２２の機能は、例えば、ＬＣＤ（Liquid Crystal Display）などのディスプレイにより実現できる。
記憶部１２４は、処理部１１０が各種の計算処理や制御処理を行うためのプログラムやデータ等を記憶している。また、記憶部１２４は、処理部１１０の作業領域として用いら
れ、処理部１１０が各種プログラムに従って実行した算出結果等を一時的に記憶するためにも使用される。記憶部１２４の機能は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、およびハードディスクなどにより実現できる。
れ、処理部１１０が各種プログラムに従って実行した算出結果等を一時的に記憶するためにも使用される。記憶部１２４の機能は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、およびハードディスクなどにより実現できる。
処理部１１０は、記憶部１２４に記憶されているプログラムに従って、各種の制御処理や計算処理を行う。処理部１１０の機能は、各種プロセッサ（ＣＰＵ（Central Processing Unit）等）でプログラムを実行することにより実現することができる。処理部１１０は、画像取得部１１２と、第１像情報取得部１１４と、第２像情報取得部１１６と、演算部１１８と、画像生成部１１９と、を含む。
画像取得部１１２は、光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料の光学顕微鏡像および当該試料の電子顕微鏡像を取得する。例えば、ユーザーが光学顕微鏡を用いて試料の撮影を行い、得られた光学顕微鏡像Ｉ２（図３参照）を記憶部１２４に記憶させる。画像取得部１１２は、記憶部１２４に記憶された光学顕微鏡像Ｉ２を読み出して、光学顕微鏡像Ｉ２を取得する。また、画像取得部１１２は、例えば、電子顕微鏡本体２０で撮影され、記憶部１２４に記憶されたＴＥＭ像Ｉ４（図６参照）を読み出して、ＴＥＭ像Ｉ４を取得する。
第１像情報取得部１１４は、光学顕微鏡像Ｉ２において、複数の金属粒子の位置および色の情報を取得する。第１像情報取得部１１４は、光学顕微鏡像Ｉ２において、輝点を抽出し、輝点の座標および輝点の色の情報を取得する。これにより、各金属粒子の位置および色の情報を取得できる。各金属粒子の位置および色の情報は、記憶部１２４に記録される。
第２像情報取得部１１６は、ＴＥＭ像Ｉ４において、複数の金属粒子の位置および粒径の情報を取得する。第２像情報取得部１１６は、ＴＥＭ像Ｉ４から金属粒子６に対応するコントラストの部分を抽出する。例えば、ＴＥＭ像Ｉ４が明視野像である場合、金属粒子６は黒いドットとして観察される。そのため、第２像情報取得部１１６は、黒いドットの座標および黒いドットの粒径の情報を取得する。これにより、各金属粒子の位置および粒径の情報を取得できる。各金属粒子の位置および粒径の情報は、記憶部１２４に記録される。
演算部１１８は、光学顕微鏡像Ｉ２で取得された、複数の金属粒子６の位置および色の情報、およびＴＥＭ像Ｉ４で取得された、複数の金属粒子の位置および粒径の情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報を求める。光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報は、２つの画像間で対応する金属粒子６の位置の情報、２つの画像間の倍率の差の情報、および２つの画像間の向きの違いの情報を含む。さらに、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報は、２つの画像間のひずみの情報を含んでいてもよい。
演算部１１８は、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４において、対応する金属粒子６の位置の情報を求める。具体的には、演算部１１８は、光学顕微鏡像Ｉ２における金属粒子６の色の情報から金属粒子６の粒径を推測する。演算部１１８は、金属粒子６の粒径と金属粒子からの散乱光の色との関係を示すテーブルを用いて、金属粒子６の色から金属粒子６の粒径を推測する。演算部１１８は、推測された金属粒子６の粒径と位置の情報と、ＴＥＭ像Ｉ４における金属粒子６の粒径と位置の情報と、を照らし合わせて、２つの画像間で対応する金属粒子６を見つける。
演算部１１８は、例えば、図８に示すように、光学顕微鏡像Ｉ２において２つの金属粒子６を結ぶベクトルＶ２と、ＴＥＭ像Ｉ４において２つの金属粒子６を結ぶベクトルＶ４
の長さの差から、２つの画像間の倍率の差を求める。また、演算部１１８は、ベクトルＶ２の向き、およびベクトルＶ４の向きから、２つの画像間の向きの違いを求める。
の長さの差から、２つの画像間の倍率の差を求める。また、演算部１１８は、ベクトルＶ２の向き、およびベクトルＶ４の向きから、２つの画像間の向きの違いを求める。
また、演算部１１８は、２つの画像間で対応する金属粒子６が３組以上あれば、光学顕微鏡像Ｉ２に対するＴＥＭ像Ｉ４のゆがみを求める。なお、ＴＥＭ像Ｉ４に対する光学顕微鏡像Ｉ２のゆがみを求めてもよい。
画像生成部１１９は、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を対応づける情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の位置合わせを行い、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねた１つの画像を生成する。
画像生成部１１９は光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の倍率の差の情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の倍率を等しくする。また、画像生成部１１９は、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の向きの違いの情報に基づいて、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の向きを同じにする。また、光学顕微鏡像Ｉ２に対するＴＥＭ像Ｉ４のゆがみの情報が得られている場合には、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４との間のゆがみを補正する。画像生成部１１９は、このようにして等しい倍率、同じ向きとなった光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４の位置合わせを行い、光学顕微鏡像Ｉ２とＴＥＭ像Ｉ４を重ねて１つの画像Ｉ６（図１０参照）とする。画像生成部１１９は、生成した画像Ｉ６を表示部１２２に表示させる。
画像処理装置１０は、例えば、以下の特徴を有する。
画像処理装置１０では、演算部１１８は、光学顕微鏡像で取得された複数の金属粒子の位置および色の情報、および電子顕微鏡像で取得された複数の金属粒子の位置および粒径の情報に基づいて、光学顕微鏡像と電子顕微鏡像を対応づける情報を求める。このように、画像処理装置１０では、光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として用いているため、光学顕微鏡観察において、輝点の色で金属粒子の粒径を推測することができる。したがって、画像処理装置１０では、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
画像処理装置１０では、画像生成部１１９は、光学顕微鏡像と電子顕微鏡像を対応づける情報に基づいて、光学顕微鏡像と電子顕微鏡像の位置合わせを行い、光学顕微鏡像と電子顕微鏡像を重ねた１つの画像を生成する。そのため、画像処理装置１０では、光学顕微鏡像Ｉ２およびＴＥＭ像Ｉ４の両方の特性を生かした画像を得ることができる。
３． 変形例
以下では、上述した第１実施形態に係る観察方法と異なる点について説明し、同様の点については説明を省略する。
以下では、上述した第１実施形態に係る観察方法と異なる点について説明し、同様の点については説明を省略する。
上述した第１実施形態では、金属粒子６を含む水溶液を、支持膜４上の観察対象物２の切片に滴下し、乾燥させることで、金属粒子６を支持膜４上に配置した。複数の金属粒子６を含む試料の作製方法は、これに限定されない。
例えば、観察したい細胞や、細胞内小器官、タンパク質などの標識として、金ナノ粒子を用いることができる。金ナノ粒子は、粒径がナノオーダーの金粒子である。金ナノ粒子の表面は様々な装飾が可能であり、金ナノ粒子にタンパク質や基質を結合することもできる。細胞に金ナノ粒子を標識する場合、培地に金ナノ粒子を加え、エンドサイトーシスで細胞内に金ナノ粒子を取り込ませる。また、微小電極を用いて、細胞内に金ナノ粒子をイ
ンジェクションすることもできる。
ンジェクションすることもできる。
また、タンパク質に金ナノ粒子を標識する場合、観察対象のタンパク質に対する抗体を作製し、免疫染色を行う。その際に、二次抗体に金ナノ粒子を結合させる。また、タンパク質が酵素の場合、酵素に対する基質に金ナノ粒子を結合させることによっても、標識できる。
また、例えば、ゾウリムシなどの生物に対して、金属粒子を食べさせてもよい。以下、観察対象物がゾウリムシである場合の試料作製方法について説明する。
まず、ゾウリムシを培養している培地に金ナノ粒子を加える。これにより、ゾウリムシに金ナノ粒子を食べさせることができる。食べられた金ナノ粒子は、ゾウリムシの食胞に蓄えられる。
次に、金ナノ粒子を食べたゾウリムシの透過電子顕微鏡用の試料を作製する。例えば、ゾウリムシを、グルタールアルデヒドと四酸化オスミウムで固定し、エタノールシリーズで脱水した後、エポキシ樹脂に包埋する。樹脂包埋されたゾウリムシは、ミクロトームで１００ｎｍ以下の厚さに切り、その切片を支持膜上に置く。次に、試料切片を、酢酸ウランとクエン酸鉛で２重染色する。以上の工程により、透過電子顕微鏡用の試料を作製することができる。
図１２は、ゾウリムシの光学顕微鏡像（暗視野像）およびＴＥＭ像である。なお、図１２に示す像（ａ）は光学顕微鏡像（暗視野像）であり、像（ｂ）は（ａ）と同じ視野のＴＥＭ像である。また、像（ｃ）は像（ａ）の拡大像であり、像（ｄ）は像（ｂ）の拡大像である。像（ｅ）は、像（ｃ）と像（ｄ）を重ね合わせた画像である。
上記のように、目印としての金ナノ粒子は、試料作製時に、グルタールアルデヒド、四酸化オスミウム、酸化ウラン、クエン酸鉛に曝されている。しかしながら、図１２に示す光学顕微鏡像では、ゾウリムシからの散乱光に混じって、金ナノ粒子からのオレンジ色の散乱光が見られる。像（ｃ）においてオレンジ色に光る領域はゾウリムシの食胞であるため、像（ｄ）においてゾウリムシの食胞を特定することができる。
また、像（ｅ）に示すように、金ナノ粒子を目印として用いることによって、光学顕微鏡像とＴＥＭ像を正確に位置合わせすることができる。
ここで、金粒子を使った標識は、免疫電子顕微鏡法で用いられている。免疫電子顕微鏡法は、細胞や組織を構成する成分の局在を、免疫反応を利用して、電子顕微鏡レベルで可視化する手法である。免疫電子顕微鏡法で用いられる金粒子の粒径は、細胞や組織に浸透させるために、５ｎｍ以下のものが用いられる。しかしながら、１０ｎｍより小さい金粒子では、散乱光が弱く、光学顕微鏡観察において散乱光を観察できない。
そのため、観察対象物である細胞や組織に金ナノ粒子標識抗体を浸透させた後に、金ナノ粒子の粒径を大きくしてもよい。
まず、培養細胞を固定した後、一次抗体として抗ミトコンドリア抗体を反応させる。次に、培養細胞に、二次抗体として、金コロイド標識抗ウサギＩｇＧ抗体を反応させる。金コロイド標識抗ウサギＩｇＧ抗体は、金ナノ粒子が抗ウサギＩｇＧ抗体に結合したものである。金ナノ粒子の粒径は、５ｎｍ以下である。
上記のように培養細胞に対して一次抗体および二次抗体を反応させた後、金ナノ粒子の
粒径を、金増感法によって、大きくする。次に、培養細胞を、脱水、樹脂包埋し、樹脂包埋された細胞を、ウルトラミクロトームなどで薄片化する。このようにして作製された試料切片を、支持膜上に配置する。
粒径を、金増感法によって、大きくする。次に、培養細胞を、脱水、樹脂包埋し、樹脂包埋された細胞を、ウルトラミクロトームなどで薄片化する。このようにして作製された試料切片を、支持膜上に配置する。
以上の工程により、透過電子顕微鏡用の試料を作製することができる。
上記のように、金増感法により金ナノ粒子の粒径を大きくした場合、金ナノ粒子の粒径にばらつきが生じる。そのため、光学顕微鏡像には、色の異なる複数の輝点が観察され、電子顕微鏡像には、粒径が異なる複数の金属粒子が観察される。したがって、光学顕微鏡像の金属粒子と電子顕微鏡像の金属粒子とを、容易に対応づけることができる。よって、正確に光学顕微鏡像と電子顕微鏡像の位置合わせができる。
上記のように、試料に粒径の小さい金属粒子を導入した後に、金属粒子の粒径を大きくすることにより、細胞や組織への浸透性を維持しつつ、光学顕微鏡観察における視認性を高めることができる。
本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
２…観察対象物、４…支持膜、６…金属粒子、１０…画像処理装置、２０…電子顕微鏡本体、１００…電子顕微鏡、１１０…処理部、１１２…画像取得部、１１４…第１像情報取得部、１１６…第２像情報取得部、１１８…演算部、１１９…画像生成部、１２０…操作部、１２２…表示部、１２４…記憶部
Claims (9)
- 光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料を作製する工程と、
前記試料を光学顕微鏡で撮影することによって、光学顕微鏡像を取得する工程と、
前記試料を電子顕微鏡で撮影することによって、電子顕微鏡像を取得する工程と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する工程と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する工程と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める工程と、
を含む、観察方法。 - 請求項１において、
前記金属粒子は、金粒子である、観察方法。 - 請求項１または２において、
前記光学顕微鏡像は、暗視野像である、観察方法。 - 請求項１ないし３のいずれか１項において、
前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像の位置合わせを行い、前記光学顕微鏡像と前記電子顕微鏡像を重ねた１つの画像を生成する工程を含む、観察方法。 - 請求項１ないし４のいずれか１項において、
前記試料は、前記金属粒子で標識された観察対象物を含む、観察方法。 - 請求項１ないし５のいずれか１項において、
前記試料を作製する工程は、
観察対象物を、前記金属粒子で標識する工程と、
前記金属粒子を増感法により大きくする工程と、
を含む、観察方法。 - 光の照射により局在表面プラズモン共鳴を励起する複数の金属粒子を目印として含む試料の光学顕微鏡像および前記試料の電子顕微鏡像を取得する画像取得部と、
前記光学顕微鏡像において、複数の前記金属粒子の位置および色の情報を取得する第１像情報取得部と、
前記電子顕微鏡像において、複数の前記金属粒子の位置および粒径の情報を取得する第２像情報取得部と、
前記光学顕微鏡像で取得された、複数の前記金属粒子の位置および色の情報、および前記電子顕微鏡像で取得された、複数の前記金属粒子の位置および粒径の情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報を求める演算部と、
を含む、画像処理装置。 - 請求項７において、
前記光学顕微鏡像と前記電子顕微鏡像を対応づける情報に基づいて、前記光学顕微鏡像と前記電子顕微鏡像の位置合わせを行い、前記光学顕微鏡像と前記電子顕微鏡像を重ねた１つの画像を生成する画像生成部を含む、画像処理装置。 - 請求項７または８に記載の画像処理装置を含む電子顕微鏡。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019027384A JP6901510B2 (ja) | 2019-02-19 | 2019-02-19 | 観察方法、画像処理装置、および電子顕微鏡 |
| EP20156937.3A EP3699668B1 (en) | 2019-02-19 | 2020-02-12 | Observation method, image processing device, and electron microscope |
| US16/788,752 US10950412B2 (en) | 2019-02-19 | 2020-02-12 | Observation method, image processing device, and electron microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019027384A JP6901510B2 (ja) | 2019-02-19 | 2019-02-19 | 観察方法、画像処理装置、および電子顕微鏡 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020136053A true JP2020136053A (ja) | 2020-08-31 |
| JP6901510B2 JP6901510B2 (ja) | 2021-07-14 |
Family
ID=69581904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019027384A Active JP6901510B2 (ja) | 2019-02-19 | 2019-02-19 | 観察方法、画像処理装置、および電子顕微鏡 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10950412B2 (ja) |
| EP (1) | EP3699668B1 (ja) |
| JP (1) | JP6901510B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115575364B (zh) * | 2022-09-30 | 2023-08-04 | 中国科学院生物物理研究所 | 基于光学显微成像的离子束加工方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298132A (ja) * | 1999-04-14 | 2000-10-24 | Olympus Optical Co Ltd | 近接場光顕微鏡および近接場光顕微鏡による試料観察方法 |
| JP2007235023A (ja) * | 2006-03-03 | 2007-09-13 | Hitachi High-Technologies Corp | 欠陥観察方法および装置 |
| JP2013096939A (ja) * | 2011-11-04 | 2013-05-20 | Seiko Epson Corp | 光デバイス及び検出装置 |
| US20140126801A1 (en) * | 2012-03-16 | 2014-05-08 | University Of Utah Research Foundation | Microscopy Visualization |
| WO2015160597A1 (en) * | 2014-04-16 | 2015-10-22 | Trustees Of Boston University | Gm3 functionalized nanoparticles |
| JP2016119300A (ja) * | 2014-12-22 | 2016-06-30 | エフ・イ−・アイ・カンパニー | 基準マークに基づく相関顕微鏡法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3537894B2 (ja) | 1994-12-06 | 2004-06-14 | 株式会社ルネサステクノロジ | 形状観察装置 |
| US6545276B1 (en) | 1999-04-14 | 2003-04-08 | Olympus Optical Co., Ltd. | Near field optical microscope |
| DE602005023141D1 (de) * | 2004-04-16 | 2010-10-07 | Univ Auburn | Mikroskopbeleuchtungsvorrichtung und adapter dafür |
| JP2007071803A (ja) * | 2005-09-09 | 2007-03-22 | Hitachi High-Technologies Corp | 欠陥観察方法及びその装置 |
-
2019
- 2019-02-19 JP JP2019027384A patent/JP6901510B2/ja active Active
-
2020
- 2020-02-12 EP EP20156937.3A patent/EP3699668B1/en active Active
- 2020-02-12 US US16/788,752 patent/US10950412B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298132A (ja) * | 1999-04-14 | 2000-10-24 | Olympus Optical Co Ltd | 近接場光顕微鏡および近接場光顕微鏡による試料観察方法 |
| JP2007235023A (ja) * | 2006-03-03 | 2007-09-13 | Hitachi High-Technologies Corp | 欠陥観察方法および装置 |
| JP2013096939A (ja) * | 2011-11-04 | 2013-05-20 | Seiko Epson Corp | 光デバイス及び検出装置 |
| US20140126801A1 (en) * | 2012-03-16 | 2014-05-08 | University Of Utah Research Foundation | Microscopy Visualization |
| WO2015160597A1 (en) * | 2014-04-16 | 2015-10-22 | Trustees Of Boston University | Gm3 functionalized nanoparticles |
| US20170042824A1 (en) * | 2014-04-16 | 2017-02-16 | Trustees Of Boston University | Gm3 functionalized nanoparticles |
| JP2016119300A (ja) * | 2014-12-22 | 2016-06-30 | エフ・イ−・アイ・カンパニー | 基準マークに基づく相関顕微鏡法 |
Non-Patent Citations (1)
| Title |
|---|
| IESTYN,POPE ET AL.: "Correlative Light Electron Microscopy via Four Wave Mixing Imaging of Gold Nanoparticles", BIO-NANO-PHOTONICS 2017, JPN7020004239, 18 September 2017 (2017-09-18), UK, ISSN: 0004420869 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3699668A1 (en) | 2020-08-26 |
| US20200266026A1 (en) | 2020-08-20 |
| JP6901510B2 (ja) | 2021-07-14 |
| EP3699668B1 (en) | 2022-09-07 |
| US10950412B2 (en) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kopek et al. | Diverse protocols for correlative super-resolution fluorescence imaging and electron microscopy of chemically fixed samples | |
| Peckys et al. | Nanoscale imaging of whole cells using a liquid enclosure and a scanning transmission electron microscope | |
| Tantra et al. | Cellular uptake and intracellular fate of engineered nanoparticles: a review on the application of imaging techniques | |
| JP2017512985A (ja) | 細胞内レベルの分解能での質量サイトメトリによる組織サンプルの多重化イメージング | |
| Fu et al. | AutoCLEM: an automated workflow for correlative live-cell fluorescence microscopy and cryo-electron tomography | |
| Luckner et al. | From light microscopy to analytical scanning electron microscopy (SEM) and focused ion beam (FIB)/SEM in biology: Fixed coordinates, flat embedding, absolute references | |
| Schwarz et al. | Correlative light and electron microscopy using immunolabeled sections | |
| Vogt et al. | X-ray microscopic studies of the Drosophila dosage compensation complex | |
| Watanabe et al. | Visualizing proteins in electron micrographs at nanometer resolution | |
| JP6901510B2 (ja) | 観察方法、画像処理装置、および電子顕微鏡 | |
| Maco et al. | Correlative in vivo 2-photon imaging and focused ion beam scanning electron microscopy: 3D analysis of neuronal ultrastructure | |
| Beznoussenko et al. | Correlative Video-Light–Electron Microscopy of Mobile Organelles | |
| Klein et al. | Cryo-correlative light and electron microscopy workflow for cryo-focused ion beam milled adherent cells | |
| Bieber et al. | Sample preparation by 3D-correlative focused ion beam milling for high-resolution cryo-electron tomography | |
| Goldberg et al. | Immunogold labeling for scanning electron microscopy | |
| Heiligenstein et al. | One for all, all for one: a close look at in-resin fluorescence protocols for CLEM | |
| Toyooka et al. | Efficient fluorescence recovery using antifade reagents in correlative light and electron microscopy | |
| WO2015038967A1 (en) | Universal bio diagnostic, drug delivery device and marker for correlated optical and electron microscopy | |
| Keene et al. | Correlation of the same fields imaged in the TEM, confocal, LM, and microCT by image registration: from specimen preparation to displaying a final composite image | |
| Killingsworth et al. | Correlative light-and electron microscopy using quantum dot nanoparticles | |
| Ortiz Ortega et al. | Characterization Techniques for Morphology Analysis | |
| Coquelle et al. | Cryo-electron tomography of microtubules assembled in vitro from purified components | |
| Franks et al. | Correlative Fluorescence and Electron Microscopy in 3D—Scanning Electron Microscope Perspective | |
| Lin et al. | Locating cellular contents during cryoFIB milling by cellular secondary-electron imaging | |
| Toyooka | MirrorCLEM: A Seamless System for Correlative Light and Electron Microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210617 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6901510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |