JP2013257282A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2013257282A JP2013257282A JP2012134844A JP2012134844A JP2013257282A JP 2013257282 A JP2013257282 A JP 2013257282A JP 2012134844 A JP2012134844 A JP 2012134844A JP 2012134844 A JP2012134844 A JP 2012134844A JP 2013257282 A JP2013257282 A JP 2013257282A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- marker
- markers
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Sampling And Sample Adjustment (AREA)
Abstract
【課題】 切片試料から得られる光学顕微鏡画像と質量分布画像との重ね合わせ、または質量分布画像同士の重ね合わせ、または光学顕微鏡画像同士の重ね合わせにおいて、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度が低下するという課題があった。
【解決手段】 各画像から検出される位置合わせ用マーカーを検出し、画像間で対応するマーカー組みの位置ずれ量を検出し、その位置ずれ量を基に画像の歪みを補正することで、両画像の位置合わせを行う。
【選択図】 図3
【解決手段】 各画像から検出される位置合わせ用マーカーを検出し、画像間で対応するマーカー組みの位置ずれ量を検出し、その位置ずれ量を基に画像の歪みを補正することで、両画像の位置合わせを行う。
【選択図】 図3
Description
本発明は、試料から取得した2つの画像情報を重ね合わせて表示するための画像処理方法、画像処理装置、これを用いた分析方法および分析システムに関する。
現行の病理組織学的診断では、患者から切除された組織切片について、光学顕微鏡観察がなされる。患者から切除された病変部位の組織薄片を観察する際、通常、観察に先立って染色を施す。例えば、ヘマトキシリンにより核を青紫色に、エオシンにより細胞質を赤〜ピンクに染色する手法(ヘマトキシリン・エオシン染色(HE染色))を実施することで、光学顕微鏡観察を容易にしている。他に、生体組織を構成する特定物質の分布情報の取得を目的とし、検出対象物質に対する抗原抗体反応を用いて染色する、「免疫染色」が行われることもある。
一方、生体組織を構成する多数の物質の分布情報を網羅的に可視化する分析方法として、質量分析法を応用したイメージング質量分析方法の開発が進んでいる。質量分析法とは、レーザー光や一次イオンを試料に照射することによってイオン化した試料を質量電荷比(m/z;mは質量、zはイオンの価数)によって分離し、m/zとその検出強度とからなるスペクトルを得る方法である。試料表面を二次元的に質量分析することで、それぞれのm/zに対応する物質の二次元的な検出強度の分布を得ることができ、各物質の分布情報としての質量分布画像を得ること(質量イメージング)ができる。
質量分析法としては、試料をイオン化し、試料から検出器までの飛行時間の違いによってイオン化された対象物質を分離して検出する飛行時間型のイオン分析手段が主に用いられる。試料をイオン化する手段としては、パルス化され微細に収束されたレーザー光をマトリックスに混ぜて結晶化した試料に照射してイオン化するマトリックス支援レーザー脱離イオン化法(MALDI:;Matrix Assisted Laser Desorption/Ionization)や、一次イオンビームを照射して試料をイオン化する二次イオン質量分析法(SIMS:Secondary Ion Mass Spectroscopy)が知られている。これらのうち、既に、イオン化方法としてMALDI等を用いたイメージング質量分析方法が、タンパク質や脂質等を含む生体試料の分析に広く利用されている。しかし、MALDI方式はマトリクス結晶を利用する原理上、空間分解能が数十μm程度に制限される。これに対して、イオン照射式のイオン化方式と飛行時間型のイオン検出方式を組み合わせた飛行時間型二次イオン質量分析法(TOF−SIMS;Time Of Flight−Secondary Ion Mass Spectroscopy)は、サブミクロンの高い空間分解能を持つことから、近年注目を集めている。
病変部位の組織の病理組織学的診断を行うために、切片試料の組織の形態を示す光学顕微鏡画像と、同一の切片試料の構成物質の分布を示す質量分布画像とを重ね合わせ、対比を行うことがある。
また、質量分布画像と、光学顕微鏡画像が同一切片試料から得られない場合、質量分布画像を得た切片試料と隣接する切片試料から光学顕微鏡画像を得る必要がある。例えば、質量分布画像と、HE染色を実施した切片試料から得られる光学顕微鏡画像と、免疫染色を実施した切片試料から得られる光学顕微鏡画像とをそれぞれ重ね合わせて比較したい場合、少なくとも2つ以上の組織切片が必要となる。なぜなら、通常、HE染色と免疫染色は同一切片試料では実施せず、別々の切片試料に対して染色処理を行う必要があるためである。このような場合、各画像の位置関係を精度よく比較するためには、各切片は隣接する切片であることが好ましい。
また、2つ以上の隣接する切片試料上の対象領域についてそれぞれ測定された光学顕微鏡画像同士あるいは質量分布画像同士を重ね合わせることで、組織の形態あるいは質量分布の3次元情報が得られるようになる。
特許文献1には、同一の切片試料上の対象領域について測定された、光学顕微鏡画像と質量分布画像とを、位置合わせ用マーカーを用いて自動で重ね合わせる手法が提案されている。
切片試料から得た2つの画像同士を重ねる際にいずれか一方あるいは両方の画像において何らかの原因による2次元的な歪みが生じていると、それらを精度の良く重ね合わせて表示することが困難であるという課題があった。
具体的には、同一切片試料上の同一領域から測定された、光学顕微鏡画像と質量分布画像との重ね合わせにおいては、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度を低下させていた。歪みは、光学系、イオン光学系の収差、画像取得時の環境条件(圧力や温度による膨張または収縮、あるいは経時変化)等に由来する。
また、隣接する2つ切片試料を使用する場合、切片試料の作製工程で、切片試料ごとに異なるよれやしわなどの歪みが生じてしまう。従って、切片試料上の対象領域について測定された画像と、該切片試料に隣接する切片試料について測定された画像とをそのまま重ね合わせる場合、必然的に位置重ね合わせ精度が低下する。
特許文献1に記載の手法では、画像そのものの2次元的な歪みの発生は考慮されておらず、歪みが発生している画像の重ね合わせにおいて、数μm程度の重ね合わせ精度を達成することは困難であった。
本発明は、このような従来技術の課題に鑑みてなされたものであり、切片試料から取得した2つの画像を精度よく重ね合わせて表示する画像表示方法を提供することを目的とする。
上記課題を解決するために、本発明に係る画像処理方法は、
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理方法であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得工程、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出工程、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出工程で算出した前記ずれ量に応じて変換する位置座標変換工程、
を有することを特徴とする。
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理方法であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得工程、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出工程、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出工程で算出した前記ずれ量に応じて変換する位置座標変換工程、
を有することを特徴とする。
また、本発明に係る画像処理装置は、
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理装置であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得手段、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出手段、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出手段で算出した前記ずれ量に応じて変換する位置座標変換手段、
を有することを特徴とする。
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理装置であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得手段、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出手段、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出手段で算出した前記ずれ量に応じて変換する位置座標変換手段、
を有することを特徴とする。
本発明によれば、試料から取得した2つの画像情報において、いずれか一方あるいは両方の画像に2次元的な歪みが生じていても、それらを補正した状態で精度よく重ね合わせて表示することができる。具体的には、同一の切片試料から得られる質量分布画像と光学顕微鏡画像とを精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる質量分布画像と光学顕微鏡画像とを精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる質量分布画像同士を精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる光学顕微鏡画像同士を精度良く重ね合わせることができる。
以下、本発明の実施の形態について、詳細に説明する。
図1は、本発明の実施形態に係る装置構成の概要を示すための模式図である。なお、これらの記載は本発明の一実施形態であり、本発明はこれに限定されるものではない。
本形態に係る画像処理装置は、画像取得手段として第一の画像情報と第二の画像情報を取得して装置に入力する第一画像入力部1、および第二画像入力部2を備えている。更に、第一の画像情報に含まれる複数のマーカーの位置をそれぞれ検出する検出部4、第二の画像に含まれる複数のマーカーの位置をそれぞれ検出する検出部5、第一の画像情報と第二の画像情報の複数のマーカーの位置の対応関係をそれぞれ特定し、対応するマーカー同士の位置のずれ量をそれぞれ算出する算出部6、を備える。位置座標変換手段として、マーカー位置のずれ量から画像を補正する画像補正部7を備える。更に、補正された画像を重ね合わせる画像生成部8、を備える。検出部4、5、算出部6、画像補正部7および画像生成部8は、演算処理を行うための演算処理部3に有する。その他、画像データやマーカー位置のずれ量を記憶する記憶部9や、演算処理を操作する操作部10、演算結果を出力する出力部11を備えている。
画像補正部7においては、第一の画像情報の位置座標または/および第二の画像情報の位置座標を、複数の対応するマーカー位置がそれぞれ揃うように、算出工程で算出したマーカー位置のずれ量に応じて変換する位置座標変換を行う。
そして、画像生成部8において、変換された位置座標に基づいて、第一の画像情報と第二の画像情報を重ね合わせた画像を生成する。
第一の画像情報および第二の画像情報は、試料から得られる2次元の画像情報であれば良く、顕微鏡画像や質量分布画像が挙げられる。
顕微鏡画像は、光学顕微鏡画像、共焦点顕微鏡画像、ラマン顕微鏡画像、非線形光学顕微鏡画像、第二高調波顕微鏡画像、CARS顕微鏡画像、などが挙げられる。
第一の画像情報は、切片試料から得られる質量分布画像または光学顕微鏡画像であると良い。また、第二の画像情報は、切片試料から得られる質量分布画像または光学顕微鏡画像であると良い。演算処理の負荷を軽減するためには、第一の画像の縮尺と、第二の画像情報の縮尺は概ねそろえておくことが好ましい。
本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は同一切片試料から得られる画像とすることが挙げられる。
また、本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。
更に、本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報も質量分布画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。
更に、本発明の態様の一例として、第一の画像情報が光学顕微鏡画像であり、第二の画像情報も光学顕微鏡画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。
本発明における隣接する切片試料とは、同一の組織から得られる複数の切片試料のことを示し、選択した2つの切片試料が必ずしも連続している(隣り合っている)ことを示すわけではない。つまり、例えば組織から切片試料を10枚連続で切り出した場合、1枚目の切片試料と隣接する切片試料とは、残りの9枚のうちのどの切片試料であってもよい。
また、第一の画像情報と第二の画像情報を取得する順番に制約はない。さらに、切片試料には分析のための前処理が行われることがある。例えば、上述したHE染色や、免疫染色などの処理が挙げられる。また、質量分析の感度を高めるような溶液塗布処理や、金属材料のコーティング処理、洗浄処理などが挙げられる。これらの処理を行うタイミングに制約はなく、マーカーの消失さえ生じなければ、第一の画像情報取得と第二の画像情報取得の間に行ってもよい。
次に、本発明の方法について、説明する。
(第一の実施形態)
本発明に係る画像処理方法の第一の実施形態では、第一の画像情報が、質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は同一切片試料から得られる画像である。すなわち、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。
本発明に係る画像処理方法の第一の実施形態では、第一の画像情報が、質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は同一切片試料から得られる画像である。すなわち、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。
従来、同一切片試料上の同一領域から測定された、光学顕微鏡画像と質量分布画像との重ね合わせにおいて、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度を低下させるという課題があった。
本発明者の検討によれば、歪みは特に質量分布画像に顕著に表れることが多いことが分かった。10μmピッチの正方格子パターンを有するSi材料でできたサンプルの500μm×500μmの領域の観察例を示す。観察したサンプルの光学顕微鏡画像を図2(a)に示す。また、TOF−SIMS装置を用いて得られたトータルイオンの質量分布画像を図2(b)に示す。得られた画像は垂直歪みやせん断歪みを有しており、正方格子パターンを示さず、平面斜方格子に近いパターンを示した。また、この画像は樽型歪み等も有している。例えば樽型歪みを無視し、得られた質量分布画像の格子パターンを、平面斜方格子パターンであるとみなした場合、400μm×400μmの正方形と比較すると、垂直歪みεは
ε=Δly/ly
=(383μm−400μm)/400μm
=−0.043
であった。またせん断歪みγは
γ=Δlx/lx
=(421μm−400μm)/400μm
=0.053
であった。この場合、質量分布画像と光学顕微鏡画像とを400μm×400μmの領域において1つの角を基準位置として重ね合わせると、基準位置から対角線上に位置する角で約27μmのずれを生じることになる。さらに、質量分布画像の歪みは測定領域を広くするほど大きくなる。TOF−SIMS観察においては、観察に適した一次イオン照射系や検出系の電圧値が経時的に変化することがある。そのため、一般に測定日ごと、または数日おきに装置調整を行うことが好ましく、得られる質量分布画像の歪みの程度やパターンは装置の調整状態に左右される。一方、光学顕微鏡画像においても用いる光学系によっては収差により画像に歪みが生じる場合があるものの、図2(a)に示すように、一般的には、質量分布画像の歪みと比較すると十分無視できる程度である。
ε=Δly/ly
=(383μm−400μm)/400μm
=−0.043
であった。またせん断歪みγは
γ=Δlx/lx
=(421μm−400μm)/400μm
=0.053
であった。この場合、質量分布画像と光学顕微鏡画像とを400μm×400μmの領域において1つの角を基準位置として重ね合わせると、基準位置から対角線上に位置する角で約27μmのずれを生じることになる。さらに、質量分布画像の歪みは測定領域を広くするほど大きくなる。TOF−SIMS観察においては、観察に適した一次イオン照射系や検出系の電圧値が経時的に変化することがある。そのため、一般に測定日ごと、または数日おきに装置調整を行うことが好ましく、得られる質量分布画像の歪みの程度やパターンは装置の調整状態に左右される。一方、光学顕微鏡画像においても用いる光学系によっては収差により画像に歪みが生じる場合があるものの、図2(a)に示すように、一般的には、質量分布画像の歪みと比較すると十分無視できる程度である。
次に、本実施形態に係る、マーカー形成について説明する。
質量分布画像と、光学顕微鏡画像とを重ね合わせて表示するためには、質量分布画像および光学顕微鏡画像において、特定可能なマーカー情報が含まれるようにする。
すなわち、画像位置合わせに使用するマーカーは、質量分析法による観察と光学顕微鏡観察のいずれにおいても識別可能なマーカーでなければならない。マーカーは切片試料に内在するものでもよく、切片試料に新たに形成したマーカーであってもよい。
本発明において用いられるマーカーの数が2点以上(複数)であれば、少なくとも一方向の切片試料の歪みを補正できる。この場合、予め切片試料の歪みにおいて支配的であると思われる方向に平行となる方向にマーカーを並べておくことが好ましい。
更に二次元的な切片試料の歪みを補正する必要がある場合、マーカーは二次元的に配置された3点以上が好ましい。なお、本発明において「二次元的」とは3点以上のマーカーが同一直線上にない状態のことを指している。
マーカーの密度が大きいほど、位置ずれ補正の精度は上がる。しかしマーカーの密度が大きいほどサンプルを覆う面積が多くなるため、有効な観察領域が減少してしまう。従って、有効観察領域を確保するためには、マーカー形成のパターンはマーカー同士が離散するドットパターンが好ましく、マーカー間隔は100μm以上が好ましい。一方、画像位置重ね合わせ精度を数μm程度に保つためにはマーカー間隔は1mm以下が好ましい。マーカーのサイズは質量分析法による観察と光学顕微鏡観察のそれぞれによって識別可能であればよく、1μm以上1mm以下であることが好ましい。1μm以下の場合、質量分布画像でのマーカー認識精度が低下し、1mm以上の場合、有効な観察領域が減少してしまう。
形成するマーカーの種類は単一であるよりも複数種類である方が好ましい。複数種類のマーカーを用いることで、画像間の各マーカーの対応関係が容易に判別できる。複数種類のマーカーとしては、組成の異なるマーカー(つまり種類や濃度を変えたマーカー)を使用することもできるし、サイズや形状を変えたマーカーを使用することもできる。また、それぞれを組み合わせて用いることもできる。複数種類のマーカーを用いた場合、光学顕微鏡画像においては、各マーカーの色や、マーカー形状によって、各マーカーを区別できる。一方、質量分布画像においては、マーカー物質の検出強度の差や、マーカーの形状、検出されるマーカー物質種類の差、すなわち質量スペクトルのおけるピーク位置の違いで区別することができる。
マーカーとして使用可能であり、切片試料に内在するものとしては、組織の血管などに由来する穴や、細胞の核などを用いることができる。マーカーに穴を用いる場合、質量分布画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。一方、光学顕微鏡画像においても色彩の変化から穴を認識することができる。
核をマーカーとして使用する場合、質量分布画像において、核に多く含まれる成分由来の信号を検出することでその信号をマーカーとして認識することができる。または、核にはあまり含まれず細胞質に多く含まれる成分由来の信号検出することでも、信号が得られない部分をマーカーとして認識することができる。さらに、質量分布画像において、核由来の物質または、核以外の物質を顕著に検出できるような処理を行っておくこともできる。例えば核に含まれる成分と特異的に反応する試薬を添加する方法や、消化酵素を用いて核に含まれるタンパク成分を分解する方法が挙げられる。一方、光学顕微鏡画像においては、HE染色を行った切片試料であれば色彩の変化から核を認識することができる。
本実施形態における、マーカー物質の形成方法としては、少なくとも切片試料の表面にマーカーが形成される方法であれば良い。
例えば、切片試料上に色素を添加してマーカーとして使用することができる。微小なマーカーを形成するためは、インクジェット法を用いてマーカーを形成することが好ましい。この場合、質量分析画像においては形成された色素に由来する質量電荷比ピークを検出することができ、マーカーとして認識することができる。または、試料表面を色素で覆うことでその部分から検出されにくくなった質量電荷比ピークを検出することでもマーカーとして認識することができる。一方、光学顕微鏡画像においては、色彩の変化からマーカーを認識することができる。
また、マーカー物質の形成方法としてイオン注入技術を用いることもできる。イオン注入技術を用いた場合、質量分析画像においては注入されたイオンに由来する質量ピークを検出することができ、マーカーとして認識することができる。一方、光学顕微鏡画像においては、イオン注入された箇所の痕跡を光学顕微鏡で観察することができ、マーカーとして認識することができる。
また、マイクロメートルオーダーからミリメートルオーダーの直径を持つ針を組織試料に指すことで形成される穴をマーカーとして使用することもできる。この場合、質量分析画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。しかし、切片試料が薄い場合、試料の破れによる穴や、、血管由来の穴が確認されることがあり、針によって形成した穴との区別が容易ではない場合がある。従って、針によって形成した穴に色素材料や樹脂などを充填することが好ましい。充填方法としては、インクジェット法を用い、穴の位置に色素材料や樹脂などを含んだ液滴を吐出させる方法を用いることができる。または、注射針等を使用し、色素材料や樹脂などを含んだ液滴を穴に充填させる方法を用いることができる。
本実施形態における、マーカー物質の形成を行うタイミングは、画像を取得する前であればいつでも良い。ただし、切片試料からマーカー物質が流失してしまうことは避けるため、マーカー物質が流失する可能性のある処理の後にマーカー物質を形成することが好ましい。例えば、染料をマーカー物質として用いた場合は、マーカー形成後に水洗を行うとマーカーが水に溶解してしまうので、水洗を行った後にマーカー形成を行うことが好ましい。
次に、質量分布画像の取得手段について説明する。
質量分布画像を取得する手段は、MALDI−TOF MS法やTOF−SIMS法がある。一般に質量分布画像に比べ、光学顕微鏡画像の方が画像解像度が高いため、質量分布画像の解像度を高くすると、質量分布画像と光学顕微鏡画像との画像位置合わせ精度は高くなる。一般的にはTOF−SIMS法の方がMALDI−TOF法に比べて空間分解能が高いことから、TOF−SIMS法を用いることが好ましい。
質量分布画像は、画像を構成するピクセルごとに質量電荷比(m/z)のスペクトル情報を持つ3次元データとすることができる。すなわち、複数枚の画像が一つにまとまった(スタックされた)画像情報データ(マルチイメージ情報)であると捉えることができる。
本発明における実施形態に係る画像位置合わせ方法について図3のフローチャートを用いて説明する。本発明においては、光学顕微鏡画像のような2次元の画像データに加え、上記の画像情報データを有するものも画像情報と呼ぶ。
以下に、本発明の画像処理方法、および画像表示方法について、詳細に説明する。
(画像取得工程)
まず、第一画像入力部1において第一の画像情報として質量分布画像を、第二画像入力部2において第二の画像情報として光学顕微鏡画像を読み込む。質量分布画像は、ピクセルごとにスペクトル情報を持つ3次元データであり、ある質量電荷比Mを表わす質量分布画像の、ピクセル座標(X,Y)におけるピクセルの強度情報は、Im(X,Y,M)として記録される。一方、光学顕微鏡画像を読み込む場合、光学顕微鏡画像がデジタル化されていない場合はデジタル化処理を行い、ピクセルから構成される二次元配置情報として取り扱う。すなわち、ピクセル座標(X,Y)とその位置における強度情報を読み込む。強度情報は例えば、「RGB」形式の原色光成分情報として読み込む。すなわち位置座標(X,Y)におけるピクセルの強度情報は、Io{R(X,Y),G(X,Y),B(X,Y)}として記録されることが好ましい。マーカーが特定の形態で認識される場合、光学顕微鏡画像はモノクロ情報から構成されていても良い。
まず、第一画像入力部1において第一の画像情報として質量分布画像を、第二画像入力部2において第二の画像情報として光学顕微鏡画像を読み込む。質量分布画像は、ピクセルごとにスペクトル情報を持つ3次元データであり、ある質量電荷比Mを表わす質量分布画像の、ピクセル座標(X,Y)におけるピクセルの強度情報は、Im(X,Y,M)として記録される。一方、光学顕微鏡画像を読み込む場合、光学顕微鏡画像がデジタル化されていない場合はデジタル化処理を行い、ピクセルから構成される二次元配置情報として取り扱う。すなわち、ピクセル座標(X,Y)とその位置における強度情報を読み込む。強度情報は例えば、「RGB」形式の原色光成分情報として読み込む。すなわち位置座標(X,Y)におけるピクセルの強度情報は、Io{R(X,Y),G(X,Y),B(X,Y)}として記録されることが好ましい。マーカーが特定の形態で認識される場合、光学顕微鏡画像はモノクロ情報から構成されていても良い。
(算出工程)
次に、マーカー検出部4、5において質量分布画像および光学顕微鏡画像から複数のマーカーを検出し、各マーカーの位置座標を算出する。すなわち、マーカー情報を含む画像からマーカー由来の強度情報を有するピクセルを検出し、位置的に連続するピクセル群を求める。求めた各ピクセル群が各マーカーに対応するものとみなせる。質量分布画像においてマーカー判別の精度を上げるためには、マーカー由来の強度情報を有するピクセルのうち、ある閾値以上または以下の強度情報を持つピクセルのみを抽出すればよい。閾値は、マーカー由来の強度情報の最大値の0.2倍以上と設定することが好ましい。0.2倍以上とすることで効果的にバックグランド由来のノイズを排除できる。光学顕微鏡画像においてマーカー判別の精度が低い場合には、マーカー強度情報であると判定するためのRGBの色域を狭く設定してピクセルを検出すればよい。さらにマーカー判別の精度を上げるためには、位置的に連続するマーカー由来の強度情報を有するピクセル群の面積を求め、その面積と、作製したマーカーの面積とを比較判別すればよい。つまりピクセル群の面積が、作製したマーカーの面積を含む一定の範囲内の面積に収まれば、マーカー由来のピクセル群であると判定すればよい。ピクセル群の面積は、そのピクセル群を構成するピクセル数とピクセル1つの面積との掛け算で求めることができる。基準となる面積の範囲設定は、例えば、形成したマーカー面積の0.5倍から2倍の間に設定すれば良い。0.5倍以上2倍以下に設定することで、マーカーの誤認識を低減させることができる。また、ピクセル群の輪郭を求め、作製したマーカーの輪郭とパターンマッチングすることによっても、マーカー判別の精度を上げることができる。
次に、マーカー検出部4、5において質量分布画像および光学顕微鏡画像から複数のマーカーを検出し、各マーカーの位置座標を算出する。すなわち、マーカー情報を含む画像からマーカー由来の強度情報を有するピクセルを検出し、位置的に連続するピクセル群を求める。求めた各ピクセル群が各マーカーに対応するものとみなせる。質量分布画像においてマーカー判別の精度を上げるためには、マーカー由来の強度情報を有するピクセルのうち、ある閾値以上または以下の強度情報を持つピクセルのみを抽出すればよい。閾値は、マーカー由来の強度情報の最大値の0.2倍以上と設定することが好ましい。0.2倍以上とすることで効果的にバックグランド由来のノイズを排除できる。光学顕微鏡画像においてマーカー判別の精度が低い場合には、マーカー強度情報であると判定するためのRGBの色域を狭く設定してピクセルを検出すればよい。さらにマーカー判別の精度を上げるためには、位置的に連続するマーカー由来の強度情報を有するピクセル群の面積を求め、その面積と、作製したマーカーの面積とを比較判別すればよい。つまりピクセル群の面積が、作製したマーカーの面積を含む一定の範囲内の面積に収まれば、マーカー由来のピクセル群であると判定すればよい。ピクセル群の面積は、そのピクセル群を構成するピクセル数とピクセル1つの面積との掛け算で求めることができる。基準となる面積の範囲設定は、例えば、形成したマーカー面積の0.5倍から2倍の間に設定すれば良い。0.5倍以上2倍以下に設定することで、マーカーの誤認識を低減させることができる。また、ピクセル群の輪郭を求め、作製したマーカーの輪郭とパターンマッチングすることによっても、マーカー判別の精度を上げることができる。
次に、検出したマーカーの位置座標を演算処理部3において算出する。マーカーの位置座標は、マーカーの重心座標とし、マーカーの重心座標は、上述のようにして求めたピクセル群のピクセル座標の平均値であるとみなすことができる。また、強度情報とピクセル座標を掛け合わせてからピクセル座標の平均値を求めることで、強度情報を加味した重心位置を求めることもできる。
次にマーカー位置ずれ算出部6において、質量分布画像のマーカーと光学顕微鏡画像のマーカーを比較し、両画像間で対応するマーカーを特定し、位置ずれ量を算出する。両画像間で対応するマーカーを各画像から特定するには、いずれか一方の画像からマーカー1点を選択し、他方の画像からは、先ほど選択したマーカーの位置座標と最も近い位置座標のマーカーを特定すればよい。
ただしこの方法のみでは、両画像の撮影範囲にずれがある場合や、縮尺が異なる場合や、画像の歪みが大きい場合は、誤ったマーカーの組みを選択してしまう恐れがある。そのため、上述したように、マーカーの種類が単一であるよりも複数種類である方が好ましい。複数種類のマーカー情報を有する画像で有れば、両画像間で対応するマーカーの選択が容易となり、誤った組み合わせのマーカーを選択する可能性が低くなる。
つまり、両画像間から選択する各マーカーにおいて、マーカー情報が概ね合致するか否かを判別する工程があることが好ましい。具体的には、形成したマーカーの形状が異なる場合は、形状のマッチングを判定すればよい。マーカーの組成がそれぞれ異なる場合は、光学顕微鏡画像においては、「RGB」形式の原色光成分情報{R(X,Y),G(X,Y),B(X,Y)}が概ね一致するかどうかの判定を行えばよい。また、質量分布画像においては、強度情報I(X,Y,M)が概ね一致するかどうかの判定を行えばよい。また、質量分布画像に含まれる複数のマーカーにおける、それらのマーカー位置座標の相対位置関係と、光学顕微鏡画像におけるマーカー位置座標の相対位置関係とが概ね一致することを確認する工程があることが好ましい。この工程により誤ったマーカーの組み合わせを選択する可能性が低くなる。以上の方法で、両画像間で対応するマーカーの組み(対応関係)をそれぞれ特定する。
上記のように予め2つの画像における対応関係の特定することで、後述する位置ずれ量の算出にかかる処理が効率化でき、また重ね合わせ時の画像精度も向上する。しかし、2つの画像における対応関係を特定せずに次の工程に進んでもよく、本発明はこれも含む。
位置ずれ量を算出するには、質量分布画像と光学顕微鏡画像とで対応する二つのマーカーの位置座標の差分を求める。つまり、X軸方向の座標の位置ずれ量ΔX_nと、Y軸方向の座標の位置ずれ量ΔY_nを算出する。選択された二つのマーカーの位置座標がそれぞれ、(Xmm_n,Ymm_n),(Xom_n,Yom_n)である場合、ΔX_nとΔY_nは、ΔX_n=Xom_n−Xmm_n、ΔY_n=Yom_n−Ymm_n、で求めることができる。このようにして、両画像間で対応するマーカーの組みを順次選択し、各組みについてそれぞれ位置ずれ量を求める。
ここまでが、第一の画像情報と第二の画像情報の複数のマーカーの位置の対応関係をそれぞれ特定し、それぞれのマーカー位置のずれ量をそれぞれ算出する算出工程である。
(位置座標変換工程)
次に、前工程で求めた位置ずれ量を用いて、画像補正部7にて質量分布画像を補正する。この工程では、それぞれのマーカーにおける位置ずれ量が最少となるように、質量分布画像に対して補正を行うことが好ましい。補正方法としては、一般的な画像補正に用いられる手法を使用すればよく、画像の拡大や縮小、垂直歪みの補正、せん断歪みの補正、樽型歪みの補正、糸巻型歪みの補正、台形歪みの補正、などを行えば良い。また、画像を分割して、分割された画像ごとに補正を行い、補正された分割画像を再結合することが、画像補正工程の簡便化の点で望ましい。分割サイズは小さいほど好ましく、分割された画像内に3点以上のマーカーが含まれていることが好ましい。また、分割された画像間に重なりがあってもよく、複数の分割された画像に重複して含まれるマーカーがあっても良い。画像を分割して補正を行うことで、樽型歪みや糸巻型歪みなどを無視できる場合があり、線形変換あるいはアフィン変換のみでの画像補正処理が可能となるため、補正工程の簡略化が図れる。
次に、前工程で求めた位置ずれ量を用いて、画像補正部7にて質量分布画像を補正する。この工程では、それぞれのマーカーにおける位置ずれ量が最少となるように、質量分布画像に対して補正を行うことが好ましい。補正方法としては、一般的な画像補正に用いられる手法を使用すればよく、画像の拡大や縮小、垂直歪みの補正、せん断歪みの補正、樽型歪みの補正、糸巻型歪みの補正、台形歪みの補正、などを行えば良い。また、画像を分割して、分割された画像ごとに補正を行い、補正された分割画像を再結合することが、画像補正工程の簡便化の点で望ましい。分割サイズは小さいほど好ましく、分割された画像内に3点以上のマーカーが含まれていることが好ましい。また、分割された画像間に重なりがあってもよく、複数の分割された画像に重複して含まれるマーカーがあっても良い。画像を分割して補正を行うことで、樽型歪みや糸巻型歪みなどを無視できる場合があり、線形変換あるいはアフィン変換のみでの画像補正処理が可能となるため、補正工程の簡略化が図れる。
以下、画像補正工程について図4を用いて詳細に説明する。図4(b)から図4(g)までは質量分布画像12と光学顕微鏡画像13を同じ座標軸で表示してある。図4では各画像に4つのマーカー情報が含まれている。図4では、マーカーをm1、m2、m3、m4、m1’、m2’、m3’、m4’として図示している。質量分布画像は上述したようにマルチイメージ情報であるので、マーカー情報が含まれている1つの画像を表示させている。
ここでは、m1’とm2’を結ぶ方向がX軸となるように設定してある。
以下の補正工程において、マーカー位置座標および、マーカー組みの位置ずれ量は各補正工程を経るごとに補正された値に更新する。
まず、画像の平行移動処理を行う。任意のマーカー組みを1組選択し、そのマーカー組みの位置ずれが概ね0となるよう座標変換を行う(図4(b)→図4(c))。例えば図4における左下端のマーカー組み(m1とm1’)を選択し、そのマーカー組みにおける位置ずれ量ΔX_nとΔY_nを質量分布画像を構成する全てのピクセルに足し合わせる。すなわち、座標変換前のピクセル座標を(X,Y)とし、座標変換後のピクセル座標を(Xnew1,Ynew2)とすると、Xnew1=X+ΔX_n、Ynew2=Y+ΔY_n、となる。
続いて、画像の回転処理を行う。質量分布画像における2点のマーカーの位置座標を通過する直線と、そのマーカーの組みとなっている、光学顕微鏡画像における2点のマーカーの位置座標を通過する直線とが、概ね平行となるよう、質量分布画像を回転させる(図4(c)→図4(d))。図4では、m1とm2を通る直線と、m1’とm2’を通る直線とを概ね平行となるよう質量分布画像を回転させている。図4では、回転中心をm1’(=m1)としている。回転方向は右回転と左回転があるが、補正に必要な回転角度が小さくなる回転方向を選択する(図4では右方向に回転させている)。この時、回転前の質量分布画像と光学顕微鏡画像は概ね同じ向きで読み込まれていることを前提条件とする。ただし、少なくとも2か所のマーカー位置においてマーカー種類を変えておけば、マーカーの位置関係から画像の向きを検出することができ、画像回転により方向をそろえることができる。
次に、画像のX方向への伸縮変形処理を行う。回転補正の際に質量分布画像から選択した2点のマーカーの位置座標の距離D1と、回転補正の際に光学顕微鏡画像から選択した2点のマーカーの位置座標の距離D2を求める。そして、D1とD2が概ね等しくなるよう質量分布画像を、2点のマーカーの位置座標を通過する直線方向に引き延ばすか、縮める(図4(d)→図4(e)、図4では縮めている)。
次に、画像のY方向への伸縮変形処理を行う。回転補正の際に質量分布画像から選択した2点のマーカーの位置座標を通過する直線と、その直線上にないマーカー1点の位置座標との距離D3を算出する。同様に、回転補正の際に光学顕微鏡画像から選択した2点のマーカーの位置座標を通過する直線と、その直線上にないマーカー1点の位置座標との距離D4を算出する。そして、D3とD4が概ね等しくなるよう質量分布画像を、回転補正の際に選択した2点を通過する直線方向に対し垂直方向に引き延ばすか、縮める(図4(e)→図4(f)、図4では引き延ばしている)。
次に、画像のせん断変形処理を行う。マーカーの回転補正の際に質量分布画像から選択した2点のマーカーの位置座標を通過する直線上にないマーカー1点の位置座標と、そのマーカーの組みとなっている光学顕微鏡画像上のマーカーの位置座標とを選択する。選択した2点の位置座標が概ね一致するように質量分布画像に対してせん断変形をおこなう(図4(f)→図4(g))。せん断変形時の基準軸として、回転補正の際に質量分布画像から選択した2点のマーカーのうちの1点のマーカーの位置座標を使用する。図4では、m1’(=m1)を使用している。
なお、各画像補正処理において、一部の処理順番を入れ替えてもよいし、一部を省いても良く、樽型歪みの補正や糸巻型歪みの補正、遠近法等を用いた台形歪みの補正などを加えてもよい。通常、質量分布画像の歪みは、単純な樽型歪みの補正や糸巻型歪みでは困難であり、画像を分割して、分割画像ごとに補正処理を行うことが好ましい。
また、補正を実施する画像は、質量分布画像だけでも良く、光学顕微鏡画像だけでもよい。さらには、両画像に対し補正を行ってもよい。
また、質量分布画像は任意の質量電荷比(m/z)ごとに画像を再構築できるマルチイメージ情報であるから、一連の画像補正処理は、マルチイメージ情報全体に対して行われる。
そして画像生成部8において、上記の補正が実施された画像を用いて質量分布画像と光学顕微鏡画像を重ね合わせ、重ね合わせ画像を生成する。
(画像表示工程)
必要に応じて、補正された質量分布画像と、光学顕微鏡画像とを重ね合わせ、出力部11において画像を出力する。出力先としては、装置に接続したディスプレイなどの表示デバイスに表示させたり、画像形成手段などによって紙媒体などに表示させても良い。
必要に応じて、補正された質量分布画像と、光学顕微鏡画像とを重ね合わせ、出力部11において画像を出力する。出力先としては、装置に接続したディスプレイなどの表示デバイスに表示させたり、画像形成手段などによって紙媒体などに表示させても良い。
このように、本実施形態によれば、同一切片試料から得られる質量分布画像と、光学顕微鏡画像とを精度良く重ね合わせて表示することができる。
表示される画像は、各画像情報を変更することなく重ね合わせてもよい。また、表示される画像において各画像情報が識別しやすくなるように、一方または両方の画像の色情報や強度情報を変更して重ね合わせてもよい。質量分布画像が色情報を持たない場合、「RGB」形式等の画像情報に変換させてもよい。また、一方または両方の画像情報に透過性をもたせてやっても良い。
(記録工程)
補正された質量分布画像と、光学顕微鏡画像とを必要に応じて記憶部9において任意の記憶媒体に記憶させる。その場合、補正後の画像を記憶しても良いし、前記算出工程で得られた補正に関する情報と、補正前の画像を組にして記憶しても良い。
補正された質量分布画像と、光学顕微鏡画像とを必要に応じて記憶部9において任意の記憶媒体に記憶させる。その場合、補正後の画像を記憶しても良いし、前記算出工程で得られた補正に関する情報と、補正前の画像を組にして記憶しても良い。
(第二の実施形態)
本発明に係る画像位置重ね合わせ方法の第二の形態では、隣接する切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせについて説明する。
本発明に係る画像位置重ね合わせ方法の第二の形態では、隣接する切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせについて説明する。
切片試料作製工程では、切片試料ごとに異なるゆがみが生じる場合がある。そのため、切片試料上の対象領域について測定された質量分布画像と、該切片試料に隣接する切片試料の光学顕微鏡画像とを重ね合わせる場合、両画像の位置重ね合わせ精度を低下させるという課題があった。
切片試料作製工程では、組織を通常、ミクロトームで薄切し、薄切された切片試料を水上に浮かべ、基板にすくい取る。水上に浮かべる工程では、薄切された切片試料の広がり具合にばらつきが生じる。また、薄切工程、基板にすくい取る工程では、切片試料によれ、しわが生じる場合がある。従って切片試料作製工程により、数十〜数百μm程度の歪みが発生する場合があり、2つ以上の隣接する切片試料から得られるそれぞれの画像を重ね合わせる場合、重ね合わせ精度が低下してしまう。
本実施形態においては、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、それぞれの画像は隣接する切片試料から得られる。第一の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。
本実施形態における、マーカー物質の形成を行うタイミングは、切片試料作製前である。つまり、薄切工程前の組織にマーカーを形成することが好ましい。上述したように、切片試料作製工程において、切片試料ごとに異なる歪みが生じる場合がある。従って、歪みが生じた後にそれぞれの切片試料にマーカーを形成した場合、切片間のマーカーの位置対応は、本来の位置対応と異なってしまうからである。
マーカー物質の形成方法は、第一の画像情報と第二の画像情報が隣接する切片試料から得られる場合は、歪みが生じる前の各切片試料にマーカーが形成される方法であればよい。すなわち、ミクロトームでの薄切工程前の組織試料に対して、深さ方向にマーカーを形成する必要がある。図5に、組織試料に貫通するマーカーを形成した後、組織を薄切する様子を表した模式図を示す。この場合、イオン注入技術が適用できる。イオン注入技術を用いた場合、質量分析画像においては注入されたイオンに由来する質量ピークを検出することができ、マーカーとして認識することができる。一方、光学顕微鏡画像においては、イオン注入された箇所の痕跡を光学顕微鏡で観察することができ、マーカーとして認識することができる。
また、マイクロメーターオーダーからミリオーダーの直径を持つ針を組織試料に指すことで形成される穴をマーカーとして使用することもできる。この場合、質量分析画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。しかし、切片試料は十分に薄いと試料の破れによる穴や、血管由来の穴が確認されることがあり、針によって形成した穴との区別が容易ではない場合がある。従って、針によって形成した穴に色素材料や樹脂などを充填することが好ましい。充填方法としては、インクジェット法を用い、穴の位置に色素材料や樹脂などを含んだ液滴を吐出させる方法を用いることができる。または、注射針等を使用し、色素材料や樹脂などを含んだ液滴を穴に充填させる方法を用いることができる。
また、針の形状を変えることで複数形状のマーカーを作製することもできる。さらには、複数の針にそれぞれ異なった色素をあらかじめ塗っておくことで穴を作製する際に、試料に形成される穴の壁面にその色素をこすりつけることができる。そうすることで組成の異なる複数種類のマーカーを形成することができる。更には、穴を作製後、それぞれの穴に組成や濃度の異なるマーカー材料を充填することでも複数種類のマーカーを形成することができる。
または、組織試料の表面にマーカーを形成する工程と、ミクロトームで薄切して切片試料を作製する工程とを連続して繰り返す方法を用いることができる。すなわち、組織試料の表面へマーカーを形成した後、そのマーカーが切片試料の表面に含まれるようにミクロトームで薄切して切片試料を作製する。引き続き切断された組織試料の表面に先ほど形成したマーカーと二次元的に同じ位置にマーカーを形成する。そして、そのマーカーが表面に含まれる隣接切片試料を作製する。そうすることで、各切片試料表面に形成されたマーカーは組織試料の深さ方向に対して位置がそろっているとみなすことができる。この方法における組織試料表面へのマーカー形成方法として、上記のイオン注入法や針を刺す方法に加え、インクジェット法により微小液滴を試料表面にプリンティングする方法や、マスクを使用して、所望の位置にだけマーカーが形成されるように、マーカー材料を蒸着や塗布する方法を用いることができる。
マーカーが形成された切片試料から得られる質量分布画像と、その隣接切片から得られる光学顕微鏡画像の重ね合わせは、第一の実施形態と同様の方法で実施する。
本実施形態によれば、隣接する切片試料から得られる質量分布画像と、光学顕微鏡画像とを精度良く重ね合わせることができる。
(第三の実施形態)
本発明に係る画像位置重ね合わせ方法の第三の形態では、隣接する切片試料から得られる2つの質量分布画像の重ね合わせについて説明する。
本発明に係る画像位置重ね合わせ方法の第三の形態では、隣接する切片試料から得られる2つの質量分布画像の重ね合わせについて説明する。
本実施形態においては、上述した内容において、第一の画像情報が質量分布画像であり、第二の画像情報も質量分布画像である。それぞれの質量分布画像は、隣接する切片試料から得られる。第二の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。
本実施形態におけるマーカーの種類は、質量分析法による観察においてのみ識別可能なマーカーであればよく、光学顕微鏡では識別できない微量の色素や、無色の物質を切片試料に添加することでもマーカーとして使用できる。さらに、切片試料上に消化酵素を添加し、添加した領域から顕著に検出される信号をマーカーとして使用することもできる。または、切片試料上に消化酵素を添加し、検出されなくなる信号をマーカーとして使用することもできる。
マーカーが形成された切片試料から得られる質量分布画像と、その隣接切片から得られる質量分布画像の重ね合わせは、第一の実施形態と同様の方法で実施する。
本実施形態によれば、隣接する切片試料から得られる二つの質量分布画像を精度良く重ね合わせることができる。また、2つ以上の隣接する切片試料から得られる質量分布画像を順に重ね合わせることで3次元質量分布イメージを表示することができる。
(第四の実施形態)
本発明に係る画像位置重ね合わせ方法の第四の形態では、隣接する切片試料から得られる2つの光学顕微鏡画像の重ね合わせについて説明する。
本発明に係る画像位置重ね合わせ方法の第四の形態では、隣接する切片試料から得られる2つの光学顕微鏡画像の重ね合わせについて説明する。
本実施形態においては、上述した内容において、第一の画像情報が光学顕微鏡画像であり、第二の画像情報も光学顕微鏡画像である。それぞれの光学顕微鏡画像は、隣接する切片試料から得られる。第二の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。
本実施形態におけるマーカーの種類は、光学顕微鏡による観察において識別可能なマーカーであればよい。従って、光学的に認識できない物質はマーカーとして使用できないが、紫外または赤外光を照射することでマーカーとして機能する物質は用いられ得る。
マーカーが形成された切片試料から得られる光学顕微鏡画像と、その隣接する切片試料から得られる光学顕微鏡画像の重ね合わせは、第一の実施形態と同様の方法で実施する。
本実施形態によれば、隣接する切片試料から得られる二つの光学顕微鏡画像を精度良く重ね合わせることができる。また、2つ以上の隣接する試料切片から得られる光学顕微鏡画像を順に重ね合わせることで3次元イメージを表示することができる。
(その他の形態)
また上記の実施形態において重ね合わせた画像に対して、更に試料から得られた第三の画像情報を重ねても良い。この場合、第二の画像情報の代わりに第三の画像として上記と同様の処理を行っても良い。更に、第四、第五、・・・第N(Nは整数)のN個の画像データを重ねて表示することもできる。画像を重ねる数が増加するほど歪みによる位置ずれの影響が増すため、上記処理を行うことで従来よりも鮮やかな画像表示が可能となる。
また上記の実施形態において重ね合わせた画像に対して、更に試料から得られた第三の画像情報を重ねても良い。この場合、第二の画像情報の代わりに第三の画像として上記と同様の処理を行っても良い。更に、第四、第五、・・・第N(Nは整数)のN個の画像データを重ねて表示することもできる。画像を重ねる数が増加するほど歪みによる位置ずれの影響が増すため、上記処理を行うことで従来よりも鮮やかな画像表示が可能となる。
上述した分割画像は、第二の画像情報を部分的に分割したものであるが、第一の画像情報と第二の画像情報の取得領域がそれぞれ異なっていてもよい。この場合は、広範囲(例えば5mm角)に取得した第一の画像情報(光学顕微鏡画像)に対して、複数回取得した狭範囲(例えば100μm角)の第二、第三、・・第Nの画像(質量分布画像)を並べた状態で重ねて表示することもできる。
また、上記の画像処理装置における画像取得手段は、画像処理装置として一体となって配置されている必要はなく、各手段を無線等によってネットワーク化したシステムとして構成してもよい。
すなわち、画像取得手段が、試料から第一の画像情報として光学顕微鏡画像を取得する手段と、試料から第二の画像情報として質量分布画像を取得する手段と、の2つの手段を別体として有する画像表示装置のネットワークシステムとして、システム化させても良い。
以下に、具体的な実施例を例示して本発明を説明するが、本発明はこれらの実施例に限定されるものではない。
(実施例1)
本実施例では、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。
本実施例では、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。
切片試料の支持体としては、ITO蒸着層を備えたガラス基板(Sigma−Aldrich社製)を用いる。基板上にマウスの肝臓の凍結切片(厚さ5ミクロン)を載せ、融解することにより接着する。
まず、画像取得前に切片試料にマーカー物質を6点形成する。マーカー物質は染料材料であるクリスタルバイオレットを使用し、インクジェット法にて切片試料上に形成する。形成されたマーカーはドット形状であり、直径20μm程度である。また、マーカー間の距離は200μmとし、概ね正方格子状パターンとなるようにマーカーを形成する。
この切片試料をTOF−SIMS装置に導入し、マーカーが形成された切片試料から質量分布画像を得る。各測定位置の情報と計測データに基づき、注目するm/zに対応するイオンの検出位置および検出感度を二次元画像として再構成する。
まず、質量分布画像から複数のマーカーを検出し、マーカー位置座標を算出する。マーカー位置座標の算出は、クリスタルバイオレットの質量電荷比(m/z)に対応する質量分布画像を用いて行うことができる。クリスタルバイオレットの質量電荷比(m/z)に対応する質量分布画像において、最大強度の0.2倍以上の値をもつピクセルを抽出し、位置的に連続するピクセル群を1つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標((Xmm_n、Ymm_n);n=1〜6)として算出する。この時、質量分布画像の左下端を基準点(原点)とし、マーカー位置座標をX座標の小さいものから大きいものへ順に並べ、X座標の差が100um以下となるグル―プに振り分ける。X座標の小さいグループから大きいグループの順に並べ、グループ内ではY座標の小さいものから大きいものへ順に並べることで6つのマーカー位置座標を並べ、通し番号((Xmm_n、Ymm_n);n=1〜6)を付ける。
光学顕微鏡画像においては、マーカーを色で判断することができる。すなわち、クリスタルバイオレットの「RGB」形式の原色光成分情報に概ね一致するピクセルを抽出し、位置的に連続するピクセル群を1つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標((Xom_n、Yom_n);n=1〜6)として算出する。この時、質量分布画像でマーカー位置座標を番号付けた方法と同様にして光学顕微鏡画像においてもマーカー位置座標に通し番号((Xom_n、Yom_n);n=1〜6)を付ける。
次に質量分布画像のマーカーと光学顕微鏡画像のマーカーの位置座標を比較し、位置ずれ量を算出する。まず両画像間で対応するマーカーの組みを求める。マーカーの組みは、番号付けされた質量分布画像のマーカーと光学顕微鏡画像のマーカーにおいて、同じ番号のマーカーを組みとする。
位置ずれ量を算出するには、それぞれのマーカーの組みにおいて、位置座標の差分を求める。つまり、X軸方向の座標の位置ずれ量ΔX_nと、Y軸方向の座標の位置ずれ量ΔY_nを算出する。ΔX_nとΔY_nは、ΔX_n=Xom_n−Xmm_n、ΔY_n=Yom_n−Ymm_n、で求めることができる。
次に、前工程で求めた位置ずれ量を用いて、質量分布画像を補正し、補正された質量分布画像と光学顕微鏡画像とを重ね合わせ、画像を出力する。質量分布画像の補正工程では、前工程で求めたそれぞれのマーカー組みにおける位置ずれ量が最少となるように、図4に示す手順で質量分布画像に対して補正を行う。
物質Mの質量分布画像と光学顕微鏡画像との重ね合わせについて、図6を用いて説明する。図6(a)は、物質Mの質量分布画像であり、マーカーに対応するピクセル群を強調表示してある。図6(b)は光学顕微鏡画像であり、マーカーに対応するピクセル群を強調表示してある。図6(c)は、上述した一連の画像補正処理を行った後の、質量分布画像と光学顕微鏡画像とを重ね合わせた画像である。なお、画像補正は、質量分布画像を2つに分割して分割画像ごとに行い、補正後に再合成した。すなわち、図6(a)に示す14と15の二つに画像を分割し、図4に示す手順で画像補正処理を行い、14と15のエリアで重複するマーカーを重ね合わせることで再結合させた。分割画像の大きさは250μm×250μmとした。補正後の質量分布画像と光学顕微鏡画像の位置ずれは2μm程度であった。
(比較例)
図6(d)は、図6(a)と図6(b)とを画像補正処理を行わずに重ね合わせた画像であり、質量分布画像と光学顕微鏡画像におけるマーカーのうち、左下端のマーカーの位置座標を一致させて重ね合わせてある。質量分布画像と光学顕微鏡画像の位置ずれは30μm程度であった。
図6(d)は、図6(a)と図6(b)とを画像補正処理を行わずに重ね合わせた画像であり、質量分布画像と光学顕微鏡画像におけるマーカーのうち、左下端のマーカーの位置座標を一致させて重ね合わせてある。質量分布画像と光学顕微鏡画像の位置ずれは30μm程度であった。
このように本実施例によれば、同一の切片試料から得られる質量分布画像と、光学顕微鏡画像とを数μmオーダーの精度で重ね合わせることができる。
また、本実施例のように、画像補正の単位を250μm程度にすれば、回転、縮小、拡大、垂直歪み、せん断歪みの補正を行うだけで、重ね合わせ精度は数μmオーダーになる。つまり、樽型歪みや糸巻型歪みの補正といった複雑な歪み補正は実質不要になり簡便に画像の重ね合わせができる。
(実施例2)
本実施例では、隣接する切片試料から得られる2つの質量分布画像を重ね合わせる(図7)。
本実施例では、隣接する切片試料から得られる2つの質量分布画像を重ね合わせる(図7)。
図5の模式図のように、切片試料を作製する。まず針で直径0.5mm程度の穴をマウス肝臓の凍結組織試料に作製し、その穴をマーカーとして使用する。穴は1mm間隔に8点形成する。形成したマーカーの位置関係およびマーカーサイズと輪郭は光学顕微鏡観察を通して記録しておく。この時、光学顕微鏡画像の左下端を基準点(原点)とし、マーカー位置をX座標の小さいものから大きいものへ順に並べ、X座標の差が500um以下となるグル―プに振り分ける。X座標の小さいグループから大きいグループの順に並べ、グループ内ではY座標の小さいものから大きいものへ順に並べることで8つのマーカーに通し番号((Xmm_n、Ymm_n);n=1〜6)を付ける。
マーカーを作製した組織試料から、隣接する切片試料を作製する。切片試料の支持体としては、ITO蒸着層を備えたガラス基板(Sigma−Aldrich社製)を用いる。基板上にマウスの肝臓の凍結切片(厚さ5ミクロン)を載せ、融解することにより接着する。
作製した隣接する切片試料をそれぞれTOF−SIMS装置に導入し、それぞれ質量分布画像を得る。
そして、それぞれの質量分布画像において、マーカーを検出し、マーカー位置座標を算出する。マーカー位置座標の算出は、基板成分の質量電荷比(m/z)に対応する質量分布画像を用いて行うことができる。基板成分であるInの質量電荷比(m/z)に対応する質量分布画像において、最大強度の0.2倍以上の値をもつピクセルを抽出し、位置的に連続するピクセル群を1つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標((Xmm_n、Ymm_n);n=1〜8)として算出する。この時、検出されたマーカーサイズ(Msm)と、マーカー作製時に記録しておいたマーカーサイズ(Mso)との比較を行い、0.5×Mso<Msm<1.5×Mso、を満たすマーカーのみをマーカーとみなす。質量分布画像の左下端を基準点(原点)とし、マーカー位置座標をX座標の小さいものから大きいものへ順に並べ、X座標の差が500um以下となるグル―プに振り分ける。X座標の小さいグループから大きいグループの順に並べ、グループ内ではY座標の小さいものから大きいものへ順に並べることで8つのマーカー位置座標を並べ、通し番号((Xmm_n、Ymm_n);n=1〜8)を付ける。
次に、それぞれの質量分布画像から得られたマーカー位置に対し、マーカー作製時に記録しておいたマーカー位置との位置ずれ量を算出する。位置ずれ量の算出および、画像の補正、補正した画像の重ね合わせは実施例1と同様の方法で行う。
このように本実施例によれば、隣接する切片試料から得られる質量分布画像同士を精度よく重ね合わせることができる。
1 第一の画像情報入力部
2 第二の画像情報入力部
3 演算処理部
4 第一の画像情報のマーカー検出部
5 第二の画像情報のマーカー検出部
6 マーカー位置ずれ量の算出部
7 画像補正部
8 重ね合わせ画像生成部
9 記憶部
10 操作部
11 出力部
12 本発明のおける第一の画像情報の模式図
13 本発明のおける第二の画像情報の模式図
14 画像分割領域
15 画像分割領域
2 第二の画像情報入力部
3 演算処理部
4 第一の画像情報のマーカー検出部
5 第二の画像情報のマーカー検出部
6 マーカー位置ずれ量の算出部
7 画像補正部
8 重ね合わせ画像生成部
9 記憶部
10 操作部
11 出力部
12 本発明のおける第一の画像情報の模式図
13 本発明のおける第二の画像情報の模式図
14 画像分割領域
15 画像分割領域
Claims (17)
- 試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理方法であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得工程、
前記第一の画像情報と前記第二の画像情報において、対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出工程、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出工程で算出した前記ずれ量に応じて変換する位置座標変換工程、
を有することを特徴とする画像処理方法。 - 前記算出工程は、前記ずれ量をそれぞれ算出する前に、前記第一の画像情報と前記第二の画像情報の前記複数のマーカーの位置の対応関係をそれぞれ特定する工程を更に有する請求項1に記載の画像処理方法。
- 前記画像取得工程は、3以上の前記複数のマーカーが二次元的に配置された状態で前記第一および第二の画像情報を取得する工程である請求項1または2に記載の画像処理方法。
- 前記複数のマーカーは、位置ごとに異なる組成または異なる形状のマーカーで構成されていることを特徴とする請求項1から3のいずれかに記載の画像処理方法。
- 前記位置座標変換工程において、前記第一の画像情報を分割して各画像の位置座標を変換し、再結合することを特徴とする請求項1から4のいずれかに記載の画像処理方法。
- 請求項1から5のいずれかに記載の画像処理方法と、
前記位置座標変換工程で変換された位置座標に基づいて、前記第一の画像情報と前記第二の画像情報を重ね合わせて画像表示する画像表示工程と、を有する画像表示方法。 - 前記第一の画像情報が質量分布画像であり、前記第二の画像は光学顕微鏡画像であって、これらの2つの画像は同一の切片試料から得られること特徴とする請求項6に記載の画像表示方法。
- 前記第一の画像情報が質量分布画像であり、前記第二の画像情報は光学顕微鏡画像であって、これらの画像情報はそれぞれ異なる切片試料から得られる画像情報であること特徴とする請求項6に記載の画像表示方法。
- 前記第一の画像情報と前記第二の画像情報は共に質量分布画像であって、これらはそれぞれ異なる切片試料から得られる画像情報であること特徴とする請求項6に記載の画像表示方法。
- 前記第一の画像情報と前記第二の画像情報は共に光学顕微鏡画像であって、これらはそれぞれ異なる切片試料から得られる画像であること特徴とする請求項6に記載の画像表示方法。
- それぞれ異なる前記切片試料が、隣接する切片試料であること特徴とする請求項8から10のいずれか1項に記載の画像表示方法。
- 試料に前記複数のマーカーを形成する工程と、
前記試料から前記第一の画像情報を取得する工程と、
前記試料から前記第二の画像情報を取得する工程と、
を有し、請求項6から11のいずれかに記載の画像表示方法を用いて画像を表示する工程と、を有する試料の分析方法。 - 前記複数のマーカーは切片試料を作製する前の生体組織に形成することを特徴とする請求項12に記載の試料の分析方法。
- 試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理装置であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得手段、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出手段、
前記第一の画像情報の位置座標または/および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出手段で算出した前記ずれ量に応じて変換する位置座標変換手段、
を有することを特徴とする画像処理装置。 - 前記算出手段は、前記ずれ量をそれぞれ算出する前に、前記第一の画像情報と前記第二の画像情報の前記複数のマーカーの位置の対応関係をそれぞれ特定する手段である請求項14に記載の画像処理装置。
- 請求項15に記載の画像処理装置と、
前記位置座標変換工程で変換された位置座標に基づいて、前記第一の画像情報と前記第二の画像情報を重ね合わせて画像表示する画像表示手段と、
を有する画像表示装置。 - 前記画像取得手段が、
前記試料から前記第一の画像情報として光学顕微鏡画像を取得する手段と、
前記試料から前記第二の画像情報として質量分布画像を取得する手段と、
を有する請求項16に記載の画像表示装置を備えた試料の分析システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012134844A JP2013257282A (ja) | 2012-06-14 | 2012-06-14 | 画像処理方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012134844A JP2013257282A (ja) | 2012-06-14 | 2012-06-14 | 画像処理方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013257282A true JP2013257282A (ja) | 2013-12-26 |
Family
ID=49953826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012134844A Pending JP2013257282A (ja) | 2012-06-14 | 2012-06-14 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013257282A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016006203A1 (en) * | 2014-07-08 | 2016-01-14 | Canon Kabushiki Kaisha | Data processing apparatus, data display system including the same, sample information obtaining system including the same, data processing method, program, and storage medium |
WO2018037570A1 (ja) * | 2016-08-26 | 2018-03-01 | 株式会社島津製作所 | イメージング質量分析データ処理装置 |
WO2019077650A1 (ja) * | 2017-10-16 | 2019-04-25 | 株式会社日立ハイテクノロジーズ | 撮像装置 |
WO2019229897A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社島津製作所 | イメージングデータ処理装置 |
JP2019219419A (ja) * | 2014-07-08 | 2019-12-26 | キヤノン株式会社 | 試料情報取得システム、及びそれを有するデータ表示システム、試料情報取得方法、プログラム、記憶媒体 |
WO2020166007A1 (ja) * | 2019-02-14 | 2020-08-20 | 株式会社島津製作所 | イメージング質量分析装置 |
CN111837031A (zh) * | 2018-03-30 | 2020-10-27 | 株式会社岛津制作所 | 成像数据处理装置以及成像数据处理程序 |
JP2021060374A (ja) * | 2019-10-09 | 2021-04-15 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
WO2022158940A1 (ko) * | 2021-01-25 | 2022-07-28 | 주식회사 나노엔텍 | 다채널 시료 칩을 이용한 미세입자 계수방법 및 이를 구현한 미세입자 계수장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070141719A1 (en) * | 2005-12-19 | 2007-06-21 | Bui Huy A | Reduction of scan time in imaging mass spectrometry |
JP2008046098A (ja) * | 2006-08-11 | 2008-02-28 | Kazuhiko Tsuboi | マイクロ3d |
WO2008038812A1 (fr) * | 2006-09-28 | 2008-04-03 | Shimadzu Corporation | Procédé permettant de préparer un échantillon pour la spectrométrie de masse à désorption-ionisation laser assistée par matrice et procédé de spectrométrie de masse à désorption-ionisation laser assistée par matrice |
JP2009025275A (ja) * | 2007-07-24 | 2009-02-05 | Shimadzu Corp | 質量分析装置 |
JP2010085219A (ja) * | 2008-09-30 | 2010-04-15 | Nec Soft Ltd | 顕微質量分析の二次元解析画像と、光学顕微鏡撮影の二次元可視画像との自動的位置重ね合わせ方法 |
WO2010113209A1 (ja) * | 2009-03-31 | 2010-10-07 | 株式会社島津製作所 | 質量分析装置 |
JP2011180134A (ja) * | 2010-02-08 | 2011-09-15 | Canon Inc | 質量信号のノイズ低減処理方法及び装置 |
-
2012
- 2012-06-14 JP JP2012134844A patent/JP2013257282A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070141719A1 (en) * | 2005-12-19 | 2007-06-21 | Bui Huy A | Reduction of scan time in imaging mass spectrometry |
JP2008046098A (ja) * | 2006-08-11 | 2008-02-28 | Kazuhiko Tsuboi | マイクロ3d |
WO2008038812A1 (fr) * | 2006-09-28 | 2008-04-03 | Shimadzu Corporation | Procédé permettant de préparer un échantillon pour la spectrométrie de masse à désorption-ionisation laser assistée par matrice et procédé de spectrométrie de masse à désorption-ionisation laser assistée par matrice |
JP2009025275A (ja) * | 2007-07-24 | 2009-02-05 | Shimadzu Corp | 質量分析装置 |
JP2010085219A (ja) * | 2008-09-30 | 2010-04-15 | Nec Soft Ltd | 顕微質量分析の二次元解析画像と、光学顕微鏡撮影の二次元可視画像との自動的位置重ね合わせ方法 |
WO2010113209A1 (ja) * | 2009-03-31 | 2010-10-07 | 株式会社島津製作所 | 質量分析装置 |
JP2011180134A (ja) * | 2010-02-08 | 2011-09-15 | Canon Inc | 質量信号のノイズ低減処理方法及び装置 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019219419A (ja) * | 2014-07-08 | 2019-12-26 | キヤノン株式会社 | 試料情報取得システム、及びそれを有するデータ表示システム、試料情報取得方法、プログラム、記憶媒体 |
JP2016028229A (ja) * | 2014-07-08 | 2016-02-25 | キヤノン株式会社 | データ処理装置、及びそれを有するデータ表示システム、試料情報取得システム、データ処理方法、プログラム、記憶媒体 |
WO2016006203A1 (en) * | 2014-07-08 | 2016-01-14 | Canon Kabushiki Kaisha | Data processing apparatus, data display system including the same, sample information obtaining system including the same, data processing method, program, and storage medium |
WO2018037570A1 (ja) * | 2016-08-26 | 2018-03-01 | 株式会社島津製作所 | イメージング質量分析データ処理装置 |
JPWO2018037570A1 (ja) * | 2016-08-26 | 2018-12-27 | 株式会社島津製作所 | イメージング質量分析データ処理装置 |
CN109690307A (zh) * | 2016-08-26 | 2019-04-26 | 株式会社岛津制作所 | 成像质谱分析数据处理装置 |
EP3505924A4 (en) * | 2016-08-26 | 2019-08-14 | Shimadzu Corporation | DEVICE FOR PROCESSING IMAGING DATA BY MASS SPECTROMETRY |
US11239050B2 (en) | 2017-10-16 | 2022-02-01 | Hitachi High-Tech Corporation | Imaging device |
CN111433594B (zh) * | 2017-10-16 | 2023-07-11 | 株式会社日立高新技术 | 拍摄装置 |
CN111433594A (zh) * | 2017-10-16 | 2020-07-17 | 株式会社日立高新技术 | 拍摄装置 |
JPWO2019077650A1 (ja) * | 2017-10-16 | 2021-01-07 | 株式会社日立ハイテク | 撮像装置 |
WO2019077650A1 (ja) * | 2017-10-16 | 2019-04-25 | 株式会社日立ハイテクノロジーズ | 撮像装置 |
CN111837031A (zh) * | 2018-03-30 | 2020-10-27 | 株式会社岛津制作所 | 成像数据处理装置以及成像数据处理程序 |
CN111837031B (zh) * | 2018-03-30 | 2024-01-12 | 株式会社岛津制作所 | 成像数据处理装置以及成像数据处理程序 |
JPWO2019229897A1 (ja) * | 2018-05-30 | 2021-03-11 | 株式会社島津製作所 | イメージングデータ処理装置 |
WO2019229897A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社島津製作所 | イメージングデータ処理装置 |
US11861826B2 (en) | 2018-05-30 | 2024-01-02 | Shimadzu Corporation | Imaging data processing device |
WO2020166007A1 (ja) * | 2019-02-14 | 2020-08-20 | 株式会社島津製作所 | イメージング質量分析装置 |
JP2021060374A (ja) * | 2019-10-09 | 2021-04-15 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
JP7209968B2 (ja) | 2019-10-09 | 2023-01-23 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
WO2022158940A1 (ko) * | 2021-01-25 | 2022-07-28 | 주식회사 나노엔텍 | 다채널 시료 칩을 이용한 미세입자 계수방법 및 이를 구현한 미세입자 계수장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013257282A (ja) | 画像処理方法および装置 | |
JP6290559B2 (ja) | 断面加工観察方法、断面加工観察装置 | |
Kukulski et al. | Correlated fluorescence and 3D electron microscopy with high sensitivity and spatial precision | |
JP2015504161A5 (ja) | ||
CA2854941C (en) | Spectroscopy data display systems and methods | |
TWI539245B (zh) | 多帶電粒子束描畫裝置及多帶電粒子束描畫方法 | |
CN109285194B (zh) | 相机标定板及相机标定数据采集方法 | |
US7873478B2 (en) | Mass spectrometric differentiation of tissue states | |
CA2632265A1 (en) | Reduction of scan time in imaging mass spectrometry | |
WO2010042916A4 (en) | High accuracy beam placement for local area navigation | |
WO2007102874A2 (en) | Reduction of scan time in imaging mass spectrometry | |
JP2010085219A (ja) | 顕微質量分析の二次元解析画像と、光学顕微鏡撮影の二次元可視画像との自動的位置重ね合わせ方法 | |
CN106338423B (zh) | 组织学染色的空间复用 | |
KR20140035511A (ko) | 슈링크 전 형상 추정 방법 및 cd-sem 장치 | |
WO2011152303A1 (ja) | 自動収差補正法を備えた荷電粒子線装置 | |
CN108257187A (zh) | 一种相机-投影仪系统标定方法 | |
JP6743895B2 (ja) | イメージング質量分析データ処理装置 | |
US20130101188A1 (en) | Microscopy of several samples using optical microscopy and particle beam microscopy | |
EP3610267B1 (en) | Single-cell imaging mass spectrometry | |
JP2014534452A5 (ja) | ||
WO2016067456A1 (ja) | 画像処理方法および細胞分取方法 | |
JP2008171756A (ja) | 電子顕微鏡の歪み測定方法及び輝度補正方法 | |
JP2009135273A (ja) | パターン寸法計測方法及び走査電子顕微鏡 | |
JP2011008968A (ja) | 走査ビーム照射装置 | |
WO2011048946A1 (ja) | 荷電粒子線装置、荷電粒子線装置に使用する位置特定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161206 |