JP2013257282A - 画像処理方法および装置 - Google Patents

Abstract

【課題】 切片試料から得られる光学顕微鏡画像と質量分布画像との重ね合わせ、または質量分布画像同士の重ね合わせ、または光学顕微鏡画像同士の重ね合わせにおいて、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度が低下するという課題があった。
【解決手段】 各画像から検出される位置合わせ用マーカーを検出し、画像間で対応するマーカー組みの位置ずれ量を検出し、その位置ずれ量を基に画像の歪みを補正することで、両画像の位置合わせを行う。
【選択図】 図３

Description

本発明は、試料から取得した２つの画像情報を重ね合わせて表示するための画像処理方法、画像処理装置、これを用いた分析方法および分析システムに関する。

現行の病理組織学的診断では、患者から切除された組織切片について、光学顕微鏡観察がなされる。患者から切除された病変部位の組織薄片を観察する際、通常、観察に先立って染色を施す。例えば、ヘマトキシリンにより核を青紫色に、エオシンにより細胞質を赤〜ピンクに染色する手法（ヘマトキシリン・エオシン染色（ＨＥ染色））を実施することで、光学顕微鏡観察を容易にしている。他に、生体組織を構成する特定物質の分布情報の取得を目的とし、検出対象物質に対する抗原抗体反応を用いて染色する、「免疫染色」が行われることもある。

一方、生体組織を構成する多数の物質の分布情報を網羅的に可視化する分析方法として、質量分析法を応用したイメージング質量分析方法の開発が進んでいる。質量分析法とは、レーザー光や一次イオンを試料に照射することによってイオン化した試料を質量電荷比（ｍ／ｚ；ｍは質量、ｚはイオンの価数）によって分離し、ｍ／ｚとその検出強度とからなるスペクトルを得る方法である。試料表面を二次元的に質量分析することで、それぞれのｍ／ｚに対応する物質の二次元的な検出強度の分布を得ることができ、各物質の分布情報としての質量分布画像を得ること（質量イメージング）ができる。

質量分析法としては、試料をイオン化し、試料から検出器までの飛行時間の違いによってイオン化された対象物質を分離して検出する飛行時間型のイオン分析手段が主に用いられる。試料をイオン化する手段としては、パルス化され微細に収束されたレーザー光をマトリックスに混ぜて結晶化した試料に照射してイオン化するマトリックス支援レーザー脱離イオン化法（ＭＡＬＤＩ：；Ｍａｔｒｉｘ Ａｓｓｉｓｔｅｄ Ｌａｓｅｒ Ｄｅｓｏｒｐｔｉｏｎ／Ｉｏｎｉｚａｔｉｏｎ）や、一次イオンビームを照射して試料をイオン化する二次イオン質量分析法（ＳＩＭＳ：Ｓｅｃｏｎｄａｒｙ Ｉｏｎ Ｍａｓｓ Ｓｐｅｃｔｒｏｓｃｏｐｙ）が知られている。これらのうち、既に、イオン化方法としてＭＡＬＤＩ等を用いたイメージング質量分析方法が、タンパク質や脂質等を含む生体試料の分析に広く利用されている。しかし、ＭＡＬＤＩ方式はマトリクス結晶を利用する原理上、空間分解能が数十μｍ程度に制限される。これに対して、イオン照射式のイオン化方式と飛行時間型のイオン検出方式を組み合わせた飛行時間型二次イオン質量分析法（ＴＯＦ−ＳＩＭＳ；Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ−Ｓｅｃｏｎｄａｒｙ Ｉｏｎ Ｍａｓｓ Ｓｐｅｃｔｒｏｓｃｏｐｙ）は、サブミクロンの高い空間分解能を持つことから、近年注目を集めている。

病変部位の組織の病理組織学的診断を行うために、切片試料の組織の形態を示す光学顕微鏡画像と、同一の切片試料の構成物質の分布を示す質量分布画像とを重ね合わせ、対比を行うことがある。

また、質量分布画像と、光学顕微鏡画像が同一切片試料から得られない場合、質量分布画像を得た切片試料と隣接する切片試料から光学顕微鏡画像を得る必要がある。例えば、質量分布画像と、ＨＥ染色を実施した切片試料から得られる光学顕微鏡画像と、免疫染色を実施した切片試料から得られる光学顕微鏡画像とをそれぞれ重ね合わせて比較したい場合、少なくとも２つ以上の組織切片が必要となる。なぜなら、通常、ＨＥ染色と免疫染色は同一切片試料では実施せず、別々の切片試料に対して染色処理を行う必要があるためである。このような場合、各画像の位置関係を精度よく比較するためには、各切片は隣接する切片であることが好ましい。

また、２つ以上の隣接する切片試料上の対象領域についてそれぞれ測定された光学顕微鏡画像同士あるいは質量分布画像同士を重ね合わせることで、組織の形態あるいは質量分布の３次元情報が得られるようになる。

特許文献１には、同一の切片試料上の対象領域について測定された、光学顕微鏡画像と質量分布画像とを、位置合わせ用マーカーを用いて自動で重ね合わせる手法が提案されている。

特開２０１０−８５２１９号公報

切片試料から得た２つの画像同士を重ねる際にいずれか一方あるいは両方の画像において何らかの原因による２次元的な歪みが生じていると、それらを精度の良く重ね合わせて表示することが困難であるという課題があった。

具体的には、同一切片試料上の同一領域から測定された、光学顕微鏡画像と質量分布画像との重ね合わせにおいては、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度を低下させていた。歪みは、光学系、イオン光学系の収差、画像取得時の環境条件（圧力や温度による膨張または収縮、あるいは経時変化）等に由来する。

また、隣接する２つ切片試料を使用する場合、切片試料の作製工程で、切片試料ごとに異なるよれやしわなどの歪みが生じてしまう。従って、切片試料上の対象領域について測定された画像と、該切片試料に隣接する切片試料について測定された画像とをそのまま重ね合わせる場合、必然的に位置重ね合わせ精度が低下する。

特許文献１に記載の手法では、画像そのものの２次元的な歪みの発生は考慮されておらず、歪みが発生している画像の重ね合わせにおいて、数μｍ程度の重ね合わせ精度を達成することは困難であった。

本発明は、このような従来技術の課題に鑑みてなされたものであり、切片試料から取得した２つの画像を精度よく重ね合わせて表示する画像表示方法を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理方法は、
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理方法であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得工程、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出工程、
前記第一の画像情報の位置座標または／および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出工程で算出した前記ずれ量に応じて変換する位置座標変換工程、
を有することを特徴とする。

また、本発明に係る画像処理装置は、
試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理装置であって、
画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得手段、
前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出手段、
前記第一の画像情報の位置座標または／および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出手段で算出した前記ずれ量に応じて変換する位置座標変換手段、
を有することを特徴とする。

本発明によれば、試料から取得した２つの画像情報において、いずれか一方あるいは両方の画像に２次元的な歪みが生じていても、それらを補正した状態で精度よく重ね合わせて表示することができる。具体的には、同一の切片試料から得られる質量分布画像と光学顕微鏡画像とを精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる質量分布画像と光学顕微鏡画像とを精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる質量分布画像同士を精度良く重ね合わせることができる。また、それぞれ異なる切片試料から得られる光学顕微鏡画像同士を精度良く重ね合わせることができる。

本発明の実施形態に係る装置構成の概要を示すための模式図である。 従来技術における、画像重ね合わせ精度を説明するための図である。 本発明の実施形態における工程を説明する図である。 本発明の実施形態における画像補正工程を説明する図である。 本発明の実施形態におけるマーカー作製工程を説明する図である。 本発明の実施例１と比較例を説明する図である。 本発明の実施例２を説明する図である。

以下、本発明の実施の形態について、詳細に説明する。

図１は、本発明の実施形態に係る装置構成の概要を示すための模式図である。なお、これらの記載は本発明の一実施形態であり、本発明はこれに限定されるものではない。

本形態に係る画像処理装置は、画像取得手段として第一の画像情報と第二の画像情報を取得して装置に入力する第一画像入力部１、および第二画像入力部２を備えている。更に、第一の画像情報に含まれる複数のマーカーの位置をそれぞれ検出する検出部４、第二の画像に含まれる複数のマーカーの位置をそれぞれ検出する検出部５、第一の画像情報と第二の画像情報の複数のマーカーの位置の対応関係をそれぞれ特定し、対応するマーカー同士の位置のずれ量をそれぞれ算出する算出部６、を備える。位置座標変換手段として、マーカー位置のずれ量から画像を補正する画像補正部７を備える。更に、補正された画像を重ね合わせる画像生成部８、を備える。検出部４、５、算出部６、画像補正部７および画像生成部８は、演算処理を行うための演算処理部３に有する。その他、画像データやマーカー位置のずれ量を記憶する記憶部９や、演算処理を操作する操作部１０、演算結果を出力する出力部１１を備えている。

画像補正部７においては、第一の画像情報の位置座標または／および第二の画像情報の位置座標を、複数の対応するマーカー位置がそれぞれ揃うように、算出工程で算出したマーカー位置のずれ量に応じて変換する位置座標変換を行う。

そして、画像生成部８において、変換された位置座標に基づいて、第一の画像情報と第二の画像情報を重ね合わせた画像を生成する。

第一の画像情報および第二の画像情報は、試料から得られる２次元の画像情報であれば良く、顕微鏡画像や質量分布画像が挙げられる。

顕微鏡画像は、光学顕微鏡画像、共焦点顕微鏡画像、ラマン顕微鏡画像、非線形光学顕微鏡画像、第二高調波顕微鏡画像、ＣＡＲＳ顕微鏡画像、などが挙げられる。

第一の画像情報は、切片試料から得られる質量分布画像または光学顕微鏡画像であると良い。また、第二の画像情報は、切片試料から得られる質量分布画像または光学顕微鏡画像であると良い。演算処理の負荷を軽減するためには、第一の画像の縮尺と、第二の画像情報の縮尺は概ねそろえておくことが好ましい。

本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は同一切片試料から得られる画像とすることが挙げられる。

また、本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。

更に、本発明の態様の一例として、第一の画像情報が質量分布画像であり、第二の画像情報も質量分布画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。

更に、本発明の態様の一例として、第一の画像情報が光学顕微鏡画像であり、第二の画像情報も光学顕微鏡画像であり、両画像は隣接する異なる切片試料から得られる画像とすることが挙げられる。

本発明における隣接する切片試料とは、同一の組織から得られる複数の切片試料のことを示し、選択した２つの切片試料が必ずしも連続している（隣り合っている）ことを示すわけではない。つまり、例えば組織から切片試料を１０枚連続で切り出した場合、１枚目の切片試料と隣接する切片試料とは、残りの９枚のうちのどの切片試料であってもよい。

また、第一の画像情報と第二の画像情報を取得する順番に制約はない。さらに、切片試料には分析のための前処理が行われることがある。例えば、上述したＨＥ染色や、免疫染色などの処理が挙げられる。また、質量分析の感度を高めるような溶液塗布処理や、金属材料のコーティング処理、洗浄処理などが挙げられる。これらの処理を行うタイミングに制約はなく、マーカーの消失さえ生じなければ、第一の画像情報取得と第二の画像情報取得の間に行ってもよい。

次に、本発明の方法について、説明する。

（第一の実施形態）
本発明に係る画像処理方法の第一の実施形態では、第一の画像情報が、質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、両画像は同一切片試料から得られる画像である。すなわち、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。

従来、同一切片試料上の同一領域から測定された、光学顕微鏡画像と質量分布画像との重ね合わせにおいて、各画像にそれぞれ歪みが生じる場合があり、重ね合わせの精度を低下させるという課題があった。

本発明者の検討によれば、歪みは特に質量分布画像に顕著に表れることが多いことが分かった。１０μｍピッチの正方格子パターンを有するＳｉ材料でできたサンプルの５００μｍ×５００μｍの領域の観察例を示す。観察したサンプルの光学顕微鏡画像を図２（ａ）に示す。また、ＴＯＦ−ＳＩＭＳ装置を用いて得られたトータルイオンの質量分布画像を図２（ｂ）に示す。得られた画像は垂直歪みやせん断歪みを有しており、正方格子パターンを示さず、平面斜方格子に近いパターンを示した。また、この画像は樽型歪み等も有している。例えば樽型歪みを無視し、得られた質量分布画像の格子パターンを、平面斜方格子パターンであるとみなした場合、４００μｍ×４００μｍの正方形と比較すると、垂直歪みεは
ε＝Δｌｙ／ｌｙ
＝（３８３μｍ−４００μｍ）／４００μｍ
＝−０．０４３
であった。またせん断歪みγは
γ＝Δｌｘ／ｌｘ
＝（４２１μｍ−４００μｍ）／４００μｍ
＝０．０５３
であった。この場合、質量分布画像と光学顕微鏡画像とを４００μｍ×４００μｍの領域において１つの角を基準位置として重ね合わせると、基準位置から対角線上に位置する角で約２７μｍのずれを生じることになる。さらに、質量分布画像の歪みは測定領域を広くするほど大きくなる。ＴＯＦ−ＳＩＭＳ観察においては、観察に適した一次イオン照射系や検出系の電圧値が経時的に変化することがある。そのため、一般に測定日ごと、または数日おきに装置調整を行うことが好ましく、得られる質量分布画像の歪みの程度やパターンは装置の調整状態に左右される。一方、光学顕微鏡画像においても用いる光学系によっては収差により画像に歪みが生じる場合があるものの、図２（ａ）に示すように、一般的には、質量分布画像の歪みと比較すると十分無視できる程度である。

次に、本実施形態に係る、マーカー形成について説明する。

質量分布画像と、光学顕微鏡画像とを重ね合わせて表示するためには、質量分布画像および光学顕微鏡画像において、特定可能なマーカー情報が含まれるようにする。

すなわち、画像位置合わせに使用するマーカーは、質量分析法による観察と光学顕微鏡観察のいずれにおいても識別可能なマーカーでなければならない。マーカーは切片試料に内在するものでもよく、切片試料に新たに形成したマーカーであってもよい。

本発明において用いられるマーカーの数が２点以上（複数）であれば、少なくとも一方向の切片試料の歪みを補正できる。この場合、予め切片試料の歪みにおいて支配的であると思われる方向に平行となる方向にマーカーを並べておくことが好ましい。

更に二次元的な切片試料の歪みを補正する必要がある場合、マーカーは二次元的に配置された３点以上が好ましい。なお、本発明において「二次元的」とは３点以上のマーカーが同一直線上にない状態のことを指している。

マーカーの密度が大きいほど、位置ずれ補正の精度は上がる。しかしマーカーの密度が大きいほどサンプルを覆う面積が多くなるため、有効な観察領域が減少してしまう。従って、有効観察領域を確保するためには、マーカー形成のパターンはマーカー同士が離散するドットパターンが好ましく、マーカー間隔は１００μｍ以上が好ましい。一方、画像位置重ね合わせ精度を数μｍ程度に保つためにはマーカー間隔は１ｍｍ以下が好ましい。マーカーのサイズは質量分析法による観察と光学顕微鏡観察のそれぞれによって識別可能であればよく、１μｍ以上１ｍｍ以下であることが好ましい。１μｍ以下の場合、質量分布画像でのマーカー認識精度が低下し、１ｍｍ以上の場合、有効な観察領域が減少してしまう。

形成するマーカーの種類は単一であるよりも複数種類である方が好ましい。複数種類のマーカーを用いることで、画像間の各マーカーの対応関係が容易に判別できる。複数種類のマーカーとしては、組成の異なるマーカー（つまり種類や濃度を変えたマーカー）を使用することもできるし、サイズや形状を変えたマーカーを使用することもできる。また、それぞれを組み合わせて用いることもできる。複数種類のマーカーを用いた場合、光学顕微鏡画像においては、各マーカーの色や、マーカー形状によって、各マーカーを区別できる。一方、質量分布画像においては、マーカー物質の検出強度の差や、マーカーの形状、検出されるマーカー物質種類の差、すなわち質量スペクトルのおけるピーク位置の違いで区別することができる。

マーカーとして使用可能であり、切片試料に内在するものとしては、組織の血管などに由来する穴や、細胞の核などを用いることができる。マーカーに穴を用いる場合、質量分布画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。一方、光学顕微鏡画像においても色彩の変化から穴を認識することができる。

核をマーカーとして使用する場合、質量分布画像において、核に多く含まれる成分由来の信号を検出することでその信号をマーカーとして認識することができる。または、核にはあまり含まれず細胞質に多く含まれる成分由来の信号検出することでも、信号が得られない部分をマーカーとして認識することができる。さらに、質量分布画像において、核由来の物質または、核以外の物質を顕著に検出できるような処理を行っておくこともできる。例えば核に含まれる成分と特異的に反応する試薬を添加する方法や、消化酵素を用いて核に含まれるタンパク成分を分解する方法が挙げられる。一方、光学顕微鏡画像においては、ＨＥ染色を行った切片試料であれば色彩の変化から核を認識することができる。

本実施形態における、マーカー物質の形成方法としては、少なくとも切片試料の表面にマーカーが形成される方法であれば良い。

例えば、切片試料上に色素を添加してマーカーとして使用することができる。微小なマーカーを形成するためは、インクジェット法を用いてマーカーを形成することが好ましい。この場合、質量分析画像においては形成された色素に由来する質量電荷比ピークを検出することができ、マーカーとして認識することができる。または、試料表面を色素で覆うことでその部分から検出されにくくなった質量電荷比ピークを検出することでもマーカーとして認識することができる。一方、光学顕微鏡画像においては、色彩の変化からマーカーを認識することができる。

また、マーカー物質の形成方法としてイオン注入技術を用いることもできる。イオン注入技術を用いた場合、質量分析画像においては注入されたイオンに由来する質量ピークを検出することができ、マーカーとして認識することができる。一方、光学顕微鏡画像においては、イオン注入された箇所の痕跡を光学顕微鏡で観察することができ、マーカーとして認識することができる。

また、マイクロメートルオーダーからミリメートルオーダーの直径を持つ針を組織試料に指すことで形成される穴をマーカーとして使用することもできる。この場合、質量分析画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。しかし、切片試料が薄い場合、試料の破れによる穴や、、血管由来の穴が確認されることがあり、針によって形成した穴との区別が容易ではない場合がある。従って、針によって形成した穴に色素材料や樹脂などを充填することが好ましい。充填方法としては、インクジェット法を用い、穴の位置に色素材料や樹脂などを含んだ液滴を吐出させる方法を用いることができる。または、注射針等を使用し、色素材料や樹脂などを含んだ液滴を穴に充填させる方法を用いることができる。

本実施形態における、マーカー物質の形成を行うタイミングは、画像を取得する前であればいつでも良い。ただし、切片試料からマーカー物質が流失してしまうことは避けるため、マーカー物質が流失する可能性のある処理の後にマーカー物質を形成することが好ましい。例えば、染料をマーカー物質として用いた場合は、マーカー形成後に水洗を行うとマーカーが水に溶解してしまうので、水洗を行った後にマーカー形成を行うことが好ましい。

次に、質量分布画像の取得手段について説明する。

質量分布画像を取得する手段は、ＭＡＬＤＩ−ＴＯＦ ＭＳ法やＴＯＦ−ＳＩＭＳ法がある。一般に質量分布画像に比べ、光学顕微鏡画像の方が画像解像度が高いため、質量分布画像の解像度を高くすると、質量分布画像と光学顕微鏡画像との画像位置合わせ精度は高くなる。一般的にはＴＯＦ−ＳＩＭＳ法の方がＭＡＬＤＩ−ＴＯＦ法に比べて空間分解能が高いことから、ＴＯＦ−ＳＩＭＳ法を用いることが好ましい。

質量分布画像は、画像を構成するピクセルごとに質量電荷比（ｍ／ｚ）のスペクトル情報を持つ３次元データとすることができる。すなわち、複数枚の画像が一つにまとまった（スタックされた）画像情報データ（マルチイメージ情報）であると捉えることができる。

本発明における実施形態に係る画像位置合わせ方法について図３のフローチャートを用いて説明する。本発明においては、光学顕微鏡画像のような２次元の画像データに加え、上記の画像情報データを有するものも画像情報と呼ぶ。

以下に、本発明の画像処理方法、および画像表示方法について、詳細に説明する。

（画像取得工程）
まず、第一画像入力部１において第一の画像情報として質量分布画像を、第二画像入力部２において第二の画像情報として光学顕微鏡画像を読み込む。質量分布画像は、ピクセルごとにスペクトル情報を持つ３次元データであり、ある質量電荷比Ｍを表わす質量分布画像の、ピクセル座標（Ｘ，Ｙ）におけるピクセルの強度情報は、Ｉｍ（Ｘ，Ｙ，Ｍ）として記録される。一方、光学顕微鏡画像を読み込む場合、光学顕微鏡画像がデジタル化されていない場合はデジタル化処理を行い、ピクセルから構成される二次元配置情報として取り扱う。すなわち、ピクセル座標（Ｘ，Ｙ）とその位置における強度情報を読み込む。強度情報は例えば、「ＲＧＢ」形式の原色光成分情報として読み込む。すなわち位置座標（Ｘ，Ｙ）におけるピクセルの強度情報は、Ｉｏ｛Ｒ（Ｘ，Ｙ），Ｇ（Ｘ，Ｙ），Ｂ（Ｘ，Ｙ）｝として記録されることが好ましい。マーカーが特定の形態で認識される場合、光学顕微鏡画像はモノクロ情報から構成されていても良い。

（算出工程）
次に、マーカー検出部４、５において質量分布画像および光学顕微鏡画像から複数のマーカーを検出し、各マーカーの位置座標を算出する。すなわち、マーカー情報を含む画像からマーカー由来の強度情報を有するピクセルを検出し、位置的に連続するピクセル群を求める。求めた各ピクセル群が各マーカーに対応するものとみなせる。質量分布画像においてマーカー判別の精度を上げるためには、マーカー由来の強度情報を有するピクセルのうち、ある閾値以上または以下の強度情報を持つピクセルのみを抽出すればよい。閾値は、マーカー由来の強度情報の最大値の０．２倍以上と設定することが好ましい。０．２倍以上とすることで効果的にバックグランド由来のノイズを排除できる。光学顕微鏡画像においてマーカー判別の精度が低い場合には、マーカー強度情報であると判定するためのＲＧＢの色域を狭く設定してピクセルを検出すればよい。さらにマーカー判別の精度を上げるためには、位置的に連続するマーカー由来の強度情報を有するピクセル群の面積を求め、その面積と、作製したマーカーの面積とを比較判別すればよい。つまりピクセル群の面積が、作製したマーカーの面積を含む一定の範囲内の面積に収まれば、マーカー由来のピクセル群であると判定すればよい。ピクセル群の面積は、そのピクセル群を構成するピクセル数とピクセル１つの面積との掛け算で求めることができる。基準となる面積の範囲設定は、例えば、形成したマーカー面積の０．５倍から２倍の間に設定すれば良い。０．５倍以上２倍以下に設定することで、マーカーの誤認識を低減させることができる。また、ピクセル群の輪郭を求め、作製したマーカーの輪郭とパターンマッチングすることによっても、マーカー判別の精度を上げることができる。

次に、検出したマーカーの位置座標を演算処理部３において算出する。マーカーの位置座標は、マーカーの重心座標とし、マーカーの重心座標は、上述のようにして求めたピクセル群のピクセル座標の平均値であるとみなすことができる。また、強度情報とピクセル座標を掛け合わせてからピクセル座標の平均値を求めることで、強度情報を加味した重心位置を求めることもできる。

次にマーカー位置ずれ算出部６において、質量分布画像のマーカーと光学顕微鏡画像のマーカーを比較し、両画像間で対応するマーカーを特定し、位置ずれ量を算出する。両画像間で対応するマーカーを各画像から特定するには、いずれか一方の画像からマーカー１点を選択し、他方の画像からは、先ほど選択したマーカーの位置座標と最も近い位置座標のマーカーを特定すればよい。

ただしこの方法のみでは、両画像の撮影範囲にずれがある場合や、縮尺が異なる場合や、画像の歪みが大きい場合は、誤ったマーカーの組みを選択してしまう恐れがある。そのため、上述したように、マーカーの種類が単一であるよりも複数種類である方が好ましい。複数種類のマーカー情報を有する画像で有れば、両画像間で対応するマーカーの選択が容易となり、誤った組み合わせのマーカーを選択する可能性が低くなる。

つまり、両画像間から選択する各マーカーにおいて、マーカー情報が概ね合致するか否かを判別する工程があることが好ましい。具体的には、形成したマーカーの形状が異なる場合は、形状のマッチングを判定すればよい。マーカーの組成がそれぞれ異なる場合は、光学顕微鏡画像においては、「ＲＧＢ」形式の原色光成分情報｛Ｒ（Ｘ，Ｙ），Ｇ（Ｘ，Ｙ），Ｂ（Ｘ，Ｙ）｝が概ね一致するかどうかの判定を行えばよい。また、質量分布画像においては、強度情報Ｉ（Ｘ，Ｙ，Ｍ）が概ね一致するかどうかの判定を行えばよい。また、質量分布画像に含まれる複数のマーカーにおける、それらのマーカー位置座標の相対位置関係と、光学顕微鏡画像におけるマーカー位置座標の相対位置関係とが概ね一致することを確認する工程があることが好ましい。この工程により誤ったマーカーの組み合わせを選択する可能性が低くなる。以上の方法で、両画像間で対応するマーカーの組み（対応関係）をそれぞれ特定する。

上記のように予め２つの画像における対応関係の特定することで、後述する位置ずれ量の算出にかかる処理が効率化でき、また重ね合わせ時の画像精度も向上する。しかし、２つの画像における対応関係を特定せずに次の工程に進んでもよく、本発明はこれも含む。

位置ずれ量を算出するには、質量分布画像と光学顕微鏡画像とで対応する二つのマーカーの位置座標の差分を求める。つまり、Ｘ軸方向の座標の位置ずれ量ΔＸ＿ｎと、Ｙ軸方向の座標の位置ずれ量ΔＹ＿ｎを算出する。選択された二つのマーカーの位置座標がそれぞれ、（Ｘｍｍ＿ｎ，Ｙｍｍ＿ｎ），（Ｘｏｍ＿ｎ，Ｙｏｍ＿ｎ）である場合、ΔＸ＿ｎとΔＹ＿ｎは、ΔＸ＿ｎ＝Ｘｏｍ＿ｎ−Ｘｍｍ＿ｎ、ΔＹ＿ｎ＝Ｙｏｍ＿ｎ−Ｙｍｍ＿ｎ、で求めることができる。このようにして、両画像間で対応するマーカーの組みを順次選択し、各組みについてそれぞれ位置ずれ量を求める。

ここまでが、第一の画像情報と第二の画像情報の複数のマーカーの位置の対応関係をそれぞれ特定し、それぞれのマーカー位置のずれ量をそれぞれ算出する算出工程である。

（位置座標変換工程）
次に、前工程で求めた位置ずれ量を用いて、画像補正部７にて質量分布画像を補正する。この工程では、それぞれのマーカーにおける位置ずれ量が最少となるように、質量分布画像に対して補正を行うことが好ましい。補正方法としては、一般的な画像補正に用いられる手法を使用すればよく、画像の拡大や縮小、垂直歪みの補正、せん断歪みの補正、樽型歪みの補正、糸巻型歪みの補正、台形歪みの補正、などを行えば良い。また、画像を分割して、分割された画像ごとに補正を行い、補正された分割画像を再結合することが、画像補正工程の簡便化の点で望ましい。分割サイズは小さいほど好ましく、分割された画像内に３点以上のマーカーが含まれていることが好ましい。また、分割された画像間に重なりがあってもよく、複数の分割された画像に重複して含まれるマーカーがあっても良い。画像を分割して補正を行うことで、樽型歪みや糸巻型歪みなどを無視できる場合があり、線形変換あるいはアフィン変換のみでの画像補正処理が可能となるため、補正工程の簡略化が図れる。

以下、画像補正工程について図４を用いて詳細に説明する。図４（ｂ）から図４（ｇ）までは質量分布画像１２と光学顕微鏡画像１３を同じ座標軸で表示してある。図４では各画像に４つのマーカー情報が含まれている。図４では、マーカーをｍ１、ｍ２、ｍ３、ｍ４、ｍ１’、ｍ２’、ｍ３’、ｍ４’として図示している。質量分布画像は上述したようにマルチイメージ情報であるので、マーカー情報が含まれている１つの画像を表示させている。

ここでは、ｍ１’とｍ２’を結ぶ方向がＸ軸となるように設定してある。

以下の補正工程において、マーカー位置座標および、マーカー組みの位置ずれ量は各補正工程を経るごとに補正された値に更新する。

まず、画像の平行移動処理を行う。任意のマーカー組みを１組選択し、そのマーカー組みの位置ずれが概ね０となるよう座標変換を行う（図４（ｂ）→図４（ｃ））。例えば図４における左下端のマーカー組み（ｍ１とｍ１’）を選択し、そのマーカー組みにおける位置ずれ量ΔＸ＿ｎとΔＹ＿ｎを質量分布画像を構成する全てのピクセルに足し合わせる。すなわち、座標変換前のピクセル座標を（Ｘ，Ｙ）とし、座標変換後のピクセル座標を（Ｘｎｅｗ１，Ｙｎｅｗ２）とすると、Ｘｎｅｗ１＝Ｘ＋ΔＸ＿ｎ、Ｙｎｅｗ２＝Ｙ＋ΔＹ＿ｎ、となる。

続いて、画像の回転処理を行う。質量分布画像における２点のマーカーの位置座標を通過する直線と、そのマーカーの組みとなっている、光学顕微鏡画像における２点のマーカーの位置座標を通過する直線とが、概ね平行となるよう、質量分布画像を回転させる（図４（ｃ）→図４（ｄ））。図４では、ｍ１とｍ２を通る直線と、ｍ１’とｍ２’を通る直線とを概ね平行となるよう質量分布画像を回転させている。図４では、回転中心をｍ１’（＝ｍ１）としている。回転方向は右回転と左回転があるが、補正に必要な回転角度が小さくなる回転方向を選択する（図４では右方向に回転させている）。この時、回転前の質量分布画像と光学顕微鏡画像は概ね同じ向きで読み込まれていることを前提条件とする。ただし、少なくとも２か所のマーカー位置においてマーカー種類を変えておけば、マーカーの位置関係から画像の向きを検出することができ、画像回転により方向をそろえることができる。

次に、画像のＸ方向への伸縮変形処理を行う。回転補正の際に質量分布画像から選択した２点のマーカーの位置座標の距離Ｄ１と、回転補正の際に光学顕微鏡画像から選択した２点のマーカーの位置座標の距離Ｄ２を求める。そして、Ｄ１とＤ２が概ね等しくなるよう質量分布画像を、２点のマーカーの位置座標を通過する直線方向に引き延ばすか、縮める（図４（ｄ）→図４（ｅ）、図４では縮めている）。

次に、画像のＹ方向への伸縮変形処理を行う。回転補正の際に質量分布画像から選択した２点のマーカーの位置座標を通過する直線と、その直線上にないマーカー１点の位置座標との距離Ｄ３を算出する。同様に、回転補正の際に光学顕微鏡画像から選択した２点のマーカーの位置座標を通過する直線と、その直線上にないマーカー１点の位置座標との距離Ｄ４を算出する。そして、Ｄ３とＤ４が概ね等しくなるよう質量分布画像を、回転補正の際に選択した２点を通過する直線方向に対し垂直方向に引き延ばすか、縮める（図４（ｅ）→図４（ｆ）、図４では引き延ばしている）。

次に、画像のせん断変形処理を行う。マーカーの回転補正の際に質量分布画像から選択した２点のマーカーの位置座標を通過する直線上にないマーカー１点の位置座標と、そのマーカーの組みとなっている光学顕微鏡画像上のマーカーの位置座標とを選択する。選択した２点の位置座標が概ね一致するように質量分布画像に対してせん断変形をおこなう（図４（ｆ）→図４（ｇ））。せん断変形時の基準軸として、回転補正の際に質量分布画像から選択した２点のマーカーのうちの１点のマーカーの位置座標を使用する。図４では、ｍ１’（＝ｍ１）を使用している。

なお、各画像補正処理において、一部の処理順番を入れ替えてもよいし、一部を省いても良く、樽型歪みの補正や糸巻型歪みの補正、遠近法等を用いた台形歪みの補正などを加えてもよい。通常、質量分布画像の歪みは、単純な樽型歪みの補正や糸巻型歪みでは困難であり、画像を分割して、分割画像ごとに補正処理を行うことが好ましい。

また、補正を実施する画像は、質量分布画像だけでも良く、光学顕微鏡画像だけでもよい。さらには、両画像に対し補正を行ってもよい。

また、質量分布画像は任意の質量電荷比（ｍ／ｚ）ごとに画像を再構築できるマルチイメージ情報であるから、一連の画像補正処理は、マルチイメージ情報全体に対して行われる。

そして画像生成部８において、上記の補正が実施された画像を用いて質量分布画像と光学顕微鏡画像を重ね合わせ、重ね合わせ画像を生成する。

（画像表示工程）
必要に応じて、補正された質量分布画像と、光学顕微鏡画像とを重ね合わせ、出力部１１において画像を出力する。出力先としては、装置に接続したディスプレイなどの表示デバイスに表示させたり、画像形成手段などによって紙媒体などに表示させても良い。

このように、本実施形態によれば、同一切片試料から得られる質量分布画像と、光学顕微鏡画像とを精度良く重ね合わせて表示することができる。

表示される画像は、各画像情報を変更することなく重ね合わせてもよい。また、表示される画像において各画像情報が識別しやすくなるように、一方または両方の画像の色情報や強度情報を変更して重ね合わせてもよい。質量分布画像が色情報を持たない場合、「ＲＧＢ」形式等の画像情報に変換させてもよい。また、一方または両方の画像情報に透過性をもたせてやっても良い。

（記録工程）
補正された質量分布画像と、光学顕微鏡画像とを必要に応じて記憶部９において任意の記憶媒体に記憶させる。その場合、補正後の画像を記憶しても良いし、前記算出工程で得られた補正に関する情報と、補正前の画像を組にして記憶しても良い。

（第二の実施形態）
本発明に係る画像位置重ね合わせ方法の第二の形態では、隣接する切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせについて説明する。

切片試料作製工程では、切片試料ごとに異なるゆがみが生じる場合がある。そのため、切片試料上の対象領域について測定された質量分布画像と、該切片試料に隣接する切片試料の光学顕微鏡画像とを重ね合わせる場合、両画像の位置重ね合わせ精度を低下させるという課題があった。

切片試料作製工程では、組織を通常、ミクロトームで薄切し、薄切された切片試料を水上に浮かべ、基板にすくい取る。水上に浮かべる工程では、薄切された切片試料の広がり具合にばらつきが生じる。また、薄切工程、基板にすくい取る工程では、切片試料によれ、しわが生じる場合がある。従って切片試料作製工程により、数十〜数百μｍ程度の歪みが発生する場合があり、２つ以上の隣接する切片試料から得られるそれぞれの画像を重ね合わせる場合、重ね合わせ精度が低下してしまう。

本実施形態においては、第一の画像情報が質量分布画像であり、第二の画像情報が光学顕微鏡画像であり、それぞれの画像は隣接する切片試料から得られる。第一の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。

本実施形態における、マーカー物質の形成を行うタイミングは、切片試料作製前である。つまり、薄切工程前の組織にマーカーを形成することが好ましい。上述したように、切片試料作製工程において、切片試料ごとに異なる歪みが生じる場合がある。従って、歪みが生じた後にそれぞれの切片試料にマーカーを形成した場合、切片間のマーカーの位置対応は、本来の位置対応と異なってしまうからである。

マーカー物質の形成方法は、第一の画像情報と第二の画像情報が隣接する切片試料から得られる場合は、歪みが生じる前の各切片試料にマーカーが形成される方法であればよい。すなわち、ミクロトームでの薄切工程前の組織試料に対して、深さ方向にマーカーを形成する必要がある。図５に、組織試料に貫通するマーカーを形成した後、組織を薄切する様子を表した模式図を示す。この場合、イオン注入技術が適用できる。イオン注入技術を用いた場合、質量分析画像においては注入されたイオンに由来する質量ピークを検出することができ、マーカーとして認識することができる。一方、光学顕微鏡画像においては、イオン注入された箇所の痕跡を光学顕微鏡で観察することができ、マーカーとして認識することができる。

また、マイクロメーターオーダーからミリオーダーの直径を持つ針を組織試料に指すことで形成される穴をマーカーとして使用することもできる。この場合、質量分析画像においては、穴の部分からは試料由来の信号は得られないため、その信号が得られない部分をマーカーとして認識することができる。または、穴の部分から切片試料を支える基板などの支持体由来の信号が得られる場合があり、その信号をマーカーとして認識することができる。しかし、切片試料は十分に薄いと試料の破れによる穴や、血管由来の穴が確認されることがあり、針によって形成した穴との区別が容易ではない場合がある。従って、針によって形成した穴に色素材料や樹脂などを充填することが好ましい。充填方法としては、インクジェット法を用い、穴の位置に色素材料や樹脂などを含んだ液滴を吐出させる方法を用いることができる。または、注射針等を使用し、色素材料や樹脂などを含んだ液滴を穴に充填させる方法を用いることができる。

また、針の形状を変えることで複数形状のマーカーを作製することもできる。さらには、複数の針にそれぞれ異なった色素をあらかじめ塗っておくことで穴を作製する際に、試料に形成される穴の壁面にその色素をこすりつけることができる。そうすることで組成の異なる複数種類のマーカーを形成することができる。更には、穴を作製後、それぞれの穴に組成や濃度の異なるマーカー材料を充填することでも複数種類のマーカーを形成することができる。

または、組織試料の表面にマーカーを形成する工程と、ミクロトームで薄切して切片試料を作製する工程とを連続して繰り返す方法を用いることができる。すなわち、組織試料の表面へマーカーを形成した後、そのマーカーが切片試料の表面に含まれるようにミクロトームで薄切して切片試料を作製する。引き続き切断された組織試料の表面に先ほど形成したマーカーと二次元的に同じ位置にマーカーを形成する。そして、そのマーカーが表面に含まれる隣接切片試料を作製する。そうすることで、各切片試料表面に形成されたマーカーは組織試料の深さ方向に対して位置がそろっているとみなすことができる。この方法における組織試料表面へのマーカー形成方法として、上記のイオン注入法や針を刺す方法に加え、インクジェット法により微小液滴を試料表面にプリンティングする方法や、マスクを使用して、所望の位置にだけマーカーが形成されるように、マーカー材料を蒸着や塗布する方法を用いることができる。

マーカーが形成された切片試料から得られる質量分布画像と、その隣接切片から得られる光学顕微鏡画像の重ね合わせは、第一の実施形態と同様の方法で実施する。

本実施形態によれば、隣接する切片試料から得られる質量分布画像と、光学顕微鏡画像とを精度良く重ね合わせることができる。

（第三の実施形態）
本発明に係る画像位置重ね合わせ方法の第三の形態では、隣接する切片試料から得られる２つの質量分布画像の重ね合わせについて説明する。

本実施形態においては、上述した内容において、第一の画像情報が質量分布画像であり、第二の画像情報も質量分布画像である。それぞれの質量分布画像は、隣接する切片試料から得られる。第二の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。

本実施形態におけるマーカーの種類は、質量分析法による観察においてのみ識別可能なマーカーであればよく、光学顕微鏡では識別できない微量の色素や、無色の物質を切片試料に添加することでもマーカーとして使用できる。さらに、切片試料上に消化酵素を添加し、添加した領域から顕著に検出される信号をマーカーとして使用することもできる。または、切片試料上に消化酵素を添加し、検出されなくなる信号をマーカーとして使用することもできる。

マーカーが形成された切片試料から得られる質量分布画像と、その隣接切片から得られる質量分布画像の重ね合わせは、第一の実施形態と同様の方法で実施する。

本実施形態によれば、隣接する切片試料から得られる二つの質量分布画像を精度良く重ね合わせることができる。また、２つ以上の隣接する切片試料から得られる質量分布画像を順に重ね合わせることで３次元質量分布イメージを表示することができる。

（第四の実施形態）
本発明に係る画像位置重ね合わせ方法の第四の形態では、隣接する切片試料から得られる２つの光学顕微鏡画像の重ね合わせについて説明する。

本実施形態においては、上述した内容において、第一の画像情報が光学顕微鏡画像であり、第二の画像情報も光学顕微鏡画像である。それぞれの光学顕微鏡画像は、隣接する切片試料から得られる。第二の実施形態の内容と異なる点は、マーカー形成工程であり、その他の工程については説明を省略する。

本実施形態におけるマーカーの種類は、光学顕微鏡による観察において識別可能なマーカーであればよい。従って、光学的に認識できない物質はマーカーとして使用できないが、紫外または赤外光を照射することでマーカーとして機能する物質は用いられ得る。

マーカーが形成された切片試料から得られる光学顕微鏡画像と、その隣接する切片試料から得られる光学顕微鏡画像の重ね合わせは、第一の実施形態と同様の方法で実施する。

本実施形態によれば、隣接する切片試料から得られる二つの光学顕微鏡画像を精度良く重ね合わせることができる。また、２つ以上の隣接する試料切片から得られる光学顕微鏡画像を順に重ね合わせることで３次元イメージを表示することができる。

（その他の形態）
また上記の実施形態において重ね合わせた画像に対して、更に試料から得られた第三の画像情報を重ねても良い。この場合、第二の画像情報の代わりに第三の画像として上記と同様の処理を行っても良い。更に、第四、第五、・・・第Ｎ（Ｎは整数）のＮ個の画像データを重ねて表示することもできる。画像を重ねる数が増加するほど歪みによる位置ずれの影響が増すため、上記処理を行うことで従来よりも鮮やかな画像表示が可能となる。

上述した分割画像は、第二の画像情報を部分的に分割したものであるが、第一の画像情報と第二の画像情報の取得領域がそれぞれ異なっていてもよい。この場合は、広範囲（例えば５ｍｍ角）に取得した第一の画像情報（光学顕微鏡画像）に対して、複数回取得した狭範囲（例えば１００μｍ角）の第二、第三、・・第Ｎの画像（質量分布画像）を並べた状態で重ねて表示することもできる。

また、上記の画像処理装置における画像取得手段は、画像処理装置として一体となって配置されている必要はなく、各手段を無線等によってネットワーク化したシステムとして構成してもよい。

すなわち、画像取得手段が、試料から第一の画像情報として光学顕微鏡画像を取得する手段と、試料から第二の画像情報として質量分布画像を取得する手段と、の２つの手段を別体として有する画像表示装置のネットワークシステムとして、システム化させても良い。

以下に、具体的な実施例を例示して本発明を説明するが、本発明はこれらの実施例に限定されるものではない。

（実施例１）
本実施例では、同一切片試料から得られる質量分布画像と光学顕微鏡画像を重ね合わせる。

切片試料の支持体としては、ＩＴＯ蒸着層を備えたガラス基板（Ｓｉｇｍａ−Ａｌｄｒｉｃｈ社製）を用いる。基板上にマウスの肝臓の凍結切片（厚さ５ミクロン）を載せ、融解することにより接着する。

まず、画像取得前に切片試料にマーカー物質を６点形成する。マーカー物質は染料材料であるクリスタルバイオレットを使用し、インクジェット法にて切片試料上に形成する。形成されたマーカーはドット形状であり、直径２０μｍ程度である。また、マーカー間の距離は２００μｍとし、概ね正方格子状パターンとなるようにマーカーを形成する。

この切片試料をＴＯＦ−ＳＩＭＳ装置に導入し、マーカーが形成された切片試料から質量分布画像を得る。各測定位置の情報と計測データに基づき、注目するｍ／ｚに対応するイオンの検出位置および検出感度を二次元画像として再構成する。

まず、質量分布画像から複数のマーカーを検出し、マーカー位置座標を算出する。マーカー位置座標の算出は、クリスタルバイオレットの質量電荷比（ｍ／ｚ）に対応する質量分布画像を用いて行うことができる。クリスタルバイオレットの質量電荷比（ｍ／ｚ）に対応する質量分布画像において、最大強度の０．２倍以上の値をもつピクセルを抽出し、位置的に連続するピクセル群を１つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標（（Ｘｍｍ＿ｎ、Ｙｍｍ＿ｎ）；ｎ＝１〜６）として算出する。この時、質量分布画像の左下端を基準点（原点）とし、マーカー位置座標をＸ座標の小さいものから大きいものへ順に並べ、Ｘ座標の差が１００ｕｍ以下となるグル―プに振り分ける。Ｘ座標の小さいグループから大きいグループの順に並べ、グループ内ではＹ座標の小さいものから大きいものへ順に並べることで６つのマーカー位置座標を並べ、通し番号（（Ｘｍｍ＿ｎ、Ｙｍｍ＿ｎ）；ｎ＝１〜６）を付ける。

光学顕微鏡画像においては、マーカーを色で判断することができる。すなわち、クリスタルバイオレットの「ＲＧＢ」形式の原色光成分情報に概ね一致するピクセルを抽出し、位置的に連続するピクセル群を１つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標（（Ｘｏｍ＿ｎ、Ｙｏｍ＿ｎ）；ｎ＝１〜６）として算出する。この時、質量分布画像でマーカー位置座標を番号付けた方法と同様にして光学顕微鏡画像においてもマーカー位置座標に通し番号（（Ｘｏｍ＿ｎ、Ｙｏｍ＿ｎ）；ｎ＝１〜６）を付ける。

次に質量分布画像のマーカーと光学顕微鏡画像のマーカーの位置座標を比較し、位置ずれ量を算出する。まず両画像間で対応するマーカーの組みを求める。マーカーの組みは、番号付けされた質量分布画像のマーカーと光学顕微鏡画像のマーカーにおいて、同じ番号のマーカーを組みとする。

位置ずれ量を算出するには、それぞれのマーカーの組みにおいて、位置座標の差分を求める。つまり、Ｘ軸方向の座標の位置ずれ量ΔＸ＿ｎと、Ｙ軸方向の座標の位置ずれ量ΔＹ＿ｎを算出する。ΔＸ＿ｎとΔＹ＿ｎは、ΔＸ＿ｎ＝Ｘｏｍ＿ｎ−Ｘｍｍ＿ｎ、ΔＹ＿ｎ＝Ｙｏｍ＿ｎ−Ｙｍｍ＿ｎ、で求めることができる。

次に、前工程で求めた位置ずれ量を用いて、質量分布画像を補正し、補正された質量分布画像と光学顕微鏡画像とを重ね合わせ、画像を出力する。質量分布画像の補正工程では、前工程で求めたそれぞれのマーカー組みにおける位置ずれ量が最少となるように、図４に示す手順で質量分布画像に対して補正を行う。

物質Ｍの質量分布画像と光学顕微鏡画像との重ね合わせについて、図６を用いて説明する。図６（ａ）は、物質Ｍの質量分布画像であり、マーカーに対応するピクセル群を強調表示してある。図６（ｂ）は光学顕微鏡画像であり、マーカーに対応するピクセル群を強調表示してある。図６（ｃ）は、上述した一連の画像補正処理を行った後の、質量分布画像と光学顕微鏡画像とを重ね合わせた画像である。なお、画像補正は、質量分布画像を２つに分割して分割画像ごとに行い、補正後に再合成した。すなわち、図６（ａ）に示す１４と１５の二つに画像を分割し、図４に示す手順で画像補正処理を行い、１４と１５のエリアで重複するマーカーを重ね合わせることで再結合させた。分割画像の大きさは２５０μｍ×２５０μｍとした。補正後の質量分布画像と光学顕微鏡画像の位置ずれは２μｍ程度であった。

（比較例）
図６（ｄ）は、図６（ａ）と図６（ｂ）とを画像補正処理を行わずに重ね合わせた画像であり、質量分布画像と光学顕微鏡画像におけるマーカーのうち、左下端のマーカーの位置座標を一致させて重ね合わせてある。質量分布画像と光学顕微鏡画像の位置ずれは３０μｍ程度であった。

このように本実施例によれば、同一の切片試料から得られる質量分布画像と、光学顕微鏡画像とを数μｍオーダーの精度で重ね合わせることができる。

また、本実施例のように、画像補正の単位を２５０μｍ程度にすれば、回転、縮小、拡大、垂直歪み、せん断歪みの補正を行うだけで、重ね合わせ精度は数μｍオーダーになる。つまり、樽型歪みや糸巻型歪みの補正といった複雑な歪み補正は実質不要になり簡便に画像の重ね合わせができる。

（実施例２）
本実施例では、隣接する切片試料から得られる２つの質量分布画像を重ね合わせる（図７）。

図５の模式図のように、切片試料を作製する。まず針で直径０．５ｍｍ程度の穴をマウス肝臓の凍結組織試料に作製し、その穴をマーカーとして使用する。穴は１ｍｍ間隔に８点形成する。形成したマーカーの位置関係およびマーカーサイズと輪郭は光学顕微鏡観察を通して記録しておく。この時、光学顕微鏡画像の左下端を基準点（原点）とし、マーカー位置をＸ座標の小さいものから大きいものへ順に並べ、Ｘ座標の差が５００ｕｍ以下となるグル―プに振り分ける。Ｘ座標の小さいグループから大きいグループの順に並べ、グループ内ではＹ座標の小さいものから大きいものへ順に並べることで８つのマーカーに通し番号（（Ｘｍｍ＿ｎ、Ｙｍｍ＿ｎ）；ｎ＝１〜６）を付ける。

マーカーを作製した組織試料から、隣接する切片試料を作製する。切片試料の支持体としては、ＩＴＯ蒸着層を備えたガラス基板（Ｓｉｇｍａ−Ａｌｄｒｉｃｈ社製）を用いる。基板上にマウスの肝臓の凍結切片（厚さ５ミクロン）を載せ、融解することにより接着する。

作製した隣接する切片試料をそれぞれＴＯＦ−ＳＩＭＳ装置に導入し、それぞれ質量分布画像を得る。

そして、それぞれの質量分布画像において、マーカーを検出し、マーカー位置座標を算出する。マーカー位置座標の算出は、基板成分の質量電荷比（ｍ／ｚ）に対応する質量分布画像を用いて行うことができる。基板成分であるＩｎの質量電荷比（ｍ／ｚ）に対応する質量分布画像において、最大強度の０．２倍以上の値をもつピクセルを抽出し、位置的に連続するピクセル群を１つのマーカーとして検出する。そして、それぞれのピクセル群の座標平均値をピーク位置座標（（Ｘｍｍ＿ｎ、Ｙｍｍ＿ｎ）；ｎ＝１〜８）として算出する。この時、検出されたマーカーサイズ（Ｍｓｍ）と、マーカー作製時に記録しておいたマーカーサイズ（Ｍｓｏ）との比較を行い、０．５×Ｍｓｏ＜Ｍｓｍ＜１．５×Ｍｓｏ、を満たすマーカーのみをマーカーとみなす。質量分布画像の左下端を基準点（原点）とし、マーカー位置座標をＸ座標の小さいものから大きいものへ順に並べ、Ｘ座標の差が５００ｕｍ以下となるグル―プに振り分ける。Ｘ座標の小さいグループから大きいグループの順に並べ、グループ内ではＹ座標の小さいものから大きいものへ順に並べることで８つのマーカー位置座標を並べ、通し番号（（Ｘｍｍ＿ｎ、Ｙｍｍ＿ｎ）；ｎ＝１〜８）を付ける。

次に、それぞれの質量分布画像から得られたマーカー位置に対し、マーカー作製時に記録しておいたマーカー位置との位置ずれ量を算出する。位置ずれ量の算出および、画像の補正、補正した画像の重ね合わせは実施例１と同様の方法で行う。

このように本実施例によれば、隣接する切片試料から得られる質量分布画像同士を精度よく重ね合わせることができる。

１ 第一の画像情報入力部
２ 第二の画像情報入力部
３ 演算処理部
４ 第一の画像情報のマーカー検出部
５ 第二の画像情報のマーカー検出部
６ マーカー位置ずれ量の算出部
７ 画像補正部
８ 重ね合わせ画像生成部
９ 記憶部
１０ 操作部
１１ 出力部
１２ 本発明のおける第一の画像情報の模式図
１３ 本発明のおける第二の画像情報の模式図
１４ 画像分割領域
１５ 画像分割領域

Claims (17)

1. 試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理方法であって、
   画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得工程、
   前記第一の画像情報と前記第二の画像情報において、対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出工程、
   前記第一の画像情報の位置座標または／および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出工程で算出した前記ずれ量に応じて変換する位置座標変換工程、
   を有することを特徴とする画像処理方法。
2. 前記算出工程は、前記ずれ量をそれぞれ算出する前に、前記第一の画像情報と前記第二の画像情報の前記複数のマーカーの位置の対応関係をそれぞれ特定する工程を更に有する請求項１に記載の画像処理方法。
3. 前記画像取得工程は、３以上の前記複数のマーカーが二次元的に配置された状態で前記第一および第二の画像情報を取得する工程である請求項１または２に記載の画像処理方法。
4. 前記複数のマーカーは、位置ごとに異なる組成または異なる形状のマーカーで構成されていることを特徴とする請求項１から３のいずれかに記載の画像処理方法。
5. 前記位置座標変換工程において、前記第一の画像情報を分割して各画像の位置座標を変換し、再結合することを特徴とする請求項１から４のいずれかに記載の画像処理方法。
6. 請求項１から５のいずれかに記載の画像処理方法と、
   前記位置座標変換工程で変換された位置座標に基づいて、前記第一の画像情報と前記第二の画像情報を重ね合わせて画像表示する画像表示工程と、を有する画像表示方法。
7. 前記第一の画像情報が質量分布画像であり、前記第二の画像は光学顕微鏡画像であって、これらの２つの画像は同一の切片試料から得られること特徴とする請求項６に記載の画像表示方法。
8. 前記第一の画像情報が質量分布画像であり、前記第二の画像情報は光学顕微鏡画像であって、これらの画像情報はそれぞれ異なる切片試料から得られる画像情報であること特徴とする請求項６に記載の画像表示方法。
9. 前記第一の画像情報と前記第二の画像情報は共に質量分布画像であって、これらはそれぞれ異なる切片試料から得られる画像情報であること特徴とする請求項６に記載の画像表示方法。
10. 前記第一の画像情報と前記第二の画像情報は共に光学顕微鏡画像であって、これらはそれぞれ異なる切片試料から得られる画像であること特徴とする請求項６に記載の画像表示方法。
11. それぞれ異なる前記切片試料が、隣接する切片試料であること特徴とする請求項８から１０のいずれか１項に記載の画像表示方法。
12. 試料に前記複数のマーカーを形成する工程と、
    前記試料から前記第一の画像情報を取得する工程と、
    前記試料から前記第二の画像情報を取得する工程と、
    を有し、請求項６から１１のいずれかに記載の画像表示方法を用いて画像を表示する工程と、を有する試料の分析方法。
13. 前記複数のマーカーは切片試料を作製する前の生体組織に形成することを特徴とする請求項１２に記載の試料の分析方法。
14. 試料から得られる第一および第二の画像情報を重ね合わせて画像表示するための画像処理装置であって、
    画像情報の取得領域内に複数のマーカーが配置された状態で、第一および第二の画像情報を取得する画像取得手段、
    前記第一の画像情報と前記第二の画像情報において対応する前記マーカー同士の位置のずれ量をそれぞれ算出する算出手段、
    前記第一の画像情報の位置座標または／および前記第二の画像情報の位置座標を、前記複数の対応する前記マーカー同士の位置がそれぞれ揃うように、前記算出手段で算出した前記ずれ量に応じて変換する位置座標変換手段、
    を有することを特徴とする画像処理装置。
15. 前記算出手段は、前記ずれ量をそれぞれ算出する前に、前記第一の画像情報と前記第二の画像情報の前記複数のマーカーの位置の対応関係をそれぞれ特定する手段である請求項１４に記載の画像処理装置。
16. 請求項１５に記載の画像処理装置と、
    前記位置座標変換工程で変換された位置座標に基づいて、前記第一の画像情報と前記第二の画像情報を重ね合わせて画像表示する画像表示手段と、
    を有する画像表示装置。
17. 前記画像取得手段が、
    前記試料から前記第一の画像情報として光学顕微鏡画像を取得する手段と、
    前記試料から前記第二の画像情報として質量分布画像を取得する手段と、
    を有する請求項１６に記載の画像表示装置を備えた試料の分析システム。