JP2012118448A - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】構造が類似する観察対象物の顕微鏡画像を連動させて表示させることが可能な画像処理方法、画像処理装置及び画像処理プログラムを提供すること
【解決手段】本発明の画像処理装置は、第１領域検出部４１と、第２領域検出部４２と、画像比較部４３と、画像表示部４４とを具備する。
第１領域検出部４１は、第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する。
第２領域検出部４２は、第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する。
画像比較部４３は、第１の低倍率画像と第２の低倍率画像とを比較して、第１の観察対象物の位置と第２の観察対象物の位置の差異を求める。
画像表示部４４は、前記差異に基づいて、第１の高倍率画像と、第２の高倍率画像とを連動させて表示装置に表示させる。
【選択図】図２

Description

本発明は、顕微鏡画像の連動表示が可能な画像処理方、画像処理方法及び画像処理プログラムに関する。

病理診断の分野等において、生体組織（検体）を染色して顕微鏡で観察し、病変の有無等を診断する方法がある。この際、ひとつの検体のスライス片のうち近接する切片を異なる染色剤によって染色することがよく行われる。例えば、検体のひとつの切片に対してＨＥ（Hematoxilin-Eosin）染色を実施し、疑わしい染色反応を呈する検体に対しては他の切片に蛍光染色を実施して詳細に観察する場合等である。

このような異なる染色剤によって染色された切片の顕微鏡画像を、ディスプレイに隣接して表示することができれば、同一部位の異なる染色の様子を観察することができ、観察者にとって便利である。しかし、このためには、異なる画像における切片の対応する領域をディスプレイに表示させる必要がある。

例えば、特許文献１に記載の細胞画像解析装置は、撮像した画像における細胞が存在する領域を細胞の輪郭を基準とした画像処理により検出することが可能である。このような検出方法を用いれば、撮像した画像における検体の部位の位置情報を取得することができる。異なる画像における検体の部位の位置を比較して位置合わせすることにより、切片の対応する領域をディスプレイに表示させることが可能となる。

特開２０１０−１４５３６６号公報（段落[００２６]、図３）

しかしながら、特許文献１に記載の方法は、細胞の輪郭のような特徴的な構造が画像に存在している場合にのみ適用することが可能となる。例えば、上述の染色観察においては、特に蛍光染色の染色剤が一般的に高価なこともあり、顕微鏡の撮像範囲が限定され、撮像範囲に切片の輪郭等の特徴的な構造が表れない場合がある。このような場合、画像における検体の部位の位置情報を得ることができず、異なる画像の対応する領域をディスプレイに表示することもできない。

以上のような事情に鑑み、本発明の目的は、構造が類似する観察対象物の顕微鏡画像を連動させて表示させることが可能な画像処理方法、画像処理装置及び画像処理プログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る画像処理方法は、画像比較部が、第１の観察対象物の低倍率の画像である第１の低倍率画像と、上記第１の観察対象物と類似する第２の観察対象物の低倍率の画像である第２の低倍率画像とを比較して、上記第１の低倍率画像における第１の観察対象物の位置と、上記第２の低倍率画像における第２の観察対象物の位置の差異を求める。
画像表示部が、上記差異に基づいて、上記第１の察対象物の高倍率の画像である第１の高倍率画像と、上記第２の観察対象物の高倍率の画像である第２の高倍率画像とを連動させて表示装置に表示させる。

第１の低倍率画像は第１の観察対象物を低倍率で撮像した画像であるため、第１の高倍率画像に比べて視野範囲が大きく、第２の低倍率画像も第２の観察対象物を低倍率で撮像した画像であるため、第１の低倍率画像に比べて視野範囲が大きい。このため、第１の低倍率画像に第１の高倍率画像には含まれない第１の観察対象物の領域が含まれ、又は第２の低倍率画像に第２の高倍率画像には含まれない第２の観察対象物の領域が含まれている場合がある。したがって、第１の低倍率画像と第２の低倍率画像を比較することにより、このような高倍率画像には含まれない領域の情報を用いて、第１の高倍率画像と第２の高倍率画像の位置合わせを行い、第１の高倍率画像と第２の高倍率画像を連動させて表示させることが可能となる。

上記目的を達成するため、本発明の別の形態に係る画像処理方法は、第１領域検出部が、第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する。
第２領域検出部が、上記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する。
画像比較部が、上記第１の低倍率画像と上記第２の低倍率画像とを比較して、上記第１の低倍率画像における第１の観察対象物の位置と、上記第２の低倍率画像における第２の観察対象物の位置の差異を求める。
画像表示部が、上記差異に基づいて、上記第１の領域が高倍率で撮像された第１の高倍率画像と、上記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる。

第１の高倍率画像は、第１の低倍率画像において第１の観察対象物が存在する第１の領域を高倍率で撮像した画像であり、第２の高倍率画像は、第２の低倍率画像において第２の観察対象物が存在する第２の領域を高倍率で撮像した画像である。しかし、例えば、観察対象物がプレパラートのカバーガラスの範囲外である場合等において、第１の高倍率画像に第１の観察対象物の全体像が含まれない、又は第２の高倍率画像に第２の観察対象物の全体像が含まれない場合が存在する。しかし、本発明によれば、第１の高倍率画像と第２の高倍率画像の位置合わせに、より広い視野範囲の第１の低倍率画像と第２の低倍率画像を用いることにより、このような場合であっても第１の高倍率画像と第２の高倍率画像の位置合わせをすることができ、第１の高倍率画像と第２の高倍率画像を連動させて表示させることが可能となる。

上記画像比較部が上記差異を求める工程は、上記画像比較部が、上記第１の低倍率画像における上記第１の観察対象物の輪郭と、上記第２の低倍率画像における上記第２の観察対象物の輪郭を求め、上記第１の低倍率画像における上記第１の観察対象物の輪郭の位置と、上記第２の低倍率画像における上記第２の観察対象物の輪郭の位置の相違から上記差異を求めてもよい。

第１の観察対象物と第２の観察対象物は類似するものであるため、画像比較部はこれらの輪郭の情報を用いて第１の低倍率画像と第２の低倍率画像の位置合わせをすることが可能である。

上記画像比較部が上記差異を求める工程は、上記画像比較部が、上記第１の低倍率画像のコントラストから上記第１の観察対象物の輪郭を求め、上記第２の低倍率画像のコントラストから上記第２の観察対象物の輪郭を求めてもよい。

画像比較部は、第１の低倍率画像及び第２の低倍率画像において、輝度、色等の視覚的特徴であるコントラストを用いて、第１の観察対象物及び第２の観察対象物の輪郭を検出することが可能である。

第１の観察対象物と第２の観察対象物は類似するものであるため、画像比較部はこれらの輪郭の情報を用いて第１の低倍率画像と第２の低倍率画像の位置合わせをすることが可能である。

上記目的を達成するため、本発明の一形態に係る画像処理装置は、第１領域検出部と、第２領域検出部と、画像比較部と、画像表示部とを具備する。
上記第１領域検出部は、第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する。
上記第２領域検出部は、上記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する。
上記画像比較部は、上記第１の低倍率画像と上記第２の低倍率画像とを比較して、上記第１の低倍率画像における第１の観察対象物の位置と、上記第２の低倍率画像における第２の観察対象物の位置の差異を求める。
上記画像表示部は、上記差異に基づいて、上記第１の領域が高倍率で撮像された第１の高倍率画像と、上記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる。

上記目的を達成するため、本発明の一形態に係る画像処理プログラムは、第１領域検出部と、第２領域検出部と、画像比較部と、画像表示部ととして機能する。
上記第１領域検出部は、第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する。
上記第２領域検出部は、上記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する。
上記画像比較部は、上記第１の低倍率画像と上記第２の低倍率画像とを比較して、上記第１の低倍率画像における第１の観察対象物の位置と、上記第２の低倍率画像における第２の観察対象物の位置の差異を求める。
上記画像表示部は、上記差異に基づいて、上記第１の領域が高倍率で撮像された第１の高倍率画像と、上記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる。

以上のように本発明によれば、構造が類似する観察対象物の顕微鏡画像を連動させて表示させることが可能な画像処理方法、画像処理装置及び画像処理プログラムを提供することが可能である。

本発明の実施形態に係る顕微鏡システムを示す模式図である。 同顕微鏡システムの機能的構成を示すブロック図である。 同顕微鏡システムの第１の観察対象物に対する動作を示すフローチャートである。 同顕微鏡システムの第２の観察対象物に対する動作を示すフローチャートである。 同顕微鏡システムの第１の観察対象物の画像と第２の観察対象物の画像の比較動作を示すフローチャートである。 同顕微鏡システムによって撮像される第１の低倍率画像の例である。 同顕微鏡システムによって、第１の低倍率画像から検出された検体領域を示す模式図である。 同顕微鏡システムが、第１の低倍率画像に設定する顕微鏡撮像範囲を概念的に示す図である。 同顕微鏡システムによって撮像される第１の高倍率画像の例である。 同顕微鏡システムによって撮像される第２の低倍率画像の例である。 同顕微鏡システムによって、第２の低倍率画像から検出された検体領域を示す模式図である。 同顕微鏡システムが、第２の低倍率画像に設定する顕微鏡撮像範囲を概念的に示す図である。 同顕微鏡システムによって撮像される第２の高倍率画像の例である。 同顕微鏡システムによる第１の低倍率画像と第２の低倍率画像の比較の様子を示す概念図である。 同顕微鏡システムによって、表示装置に表示される第１の高倍率画像と第２の高倍率画像の例を示す図である。 同顕微鏡システムによって観察するプレパラートを示す模式図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［顕微鏡システムの構成］
図１は、本発明の一実施形態に係る顕微鏡システム１を示す模式図である。
同図に示すように、顕微鏡システム１は、顕微鏡２、顕微鏡制御ユニット３、画像処理装置４及び表示装置５から構成されている。顕微鏡制御ユニット３は、顕微鏡２の各部を制御する付随的な電装部品であり、画像処理装置４は情報処理装置である。表示装置５はＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等である。ここに示す顕微鏡システム１の構成は例示であり、異なる構成とすることも可能である。

顕微鏡２は、顕微鏡制御ユニット３からの制御信号を受けて各部が動作する光学顕微鏡であり、一般的な顕微鏡とすることができる。具体的には、顕微鏡２は、高倍率撮像装置２１、高倍率鏡筒２２、ステージ２３、ステージ駆動部２４、低倍率撮像装置２５及び低倍率鏡筒２６を有するものとすることができる。図１には、ステージ２３に載置されたプレパラートＰが示されている。

高倍率撮像装置２１は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるデジタル撮像デバイスであり、顕微鏡撮像用のものを用いることができる。高倍率撮像装置２１は高倍率鏡筒２２に設けられ、高倍率鏡筒２２の光学系を介して、プレパラートＰの顕微鏡画像の撮像が可能に構成されている。高倍率撮像装置２１は、顕微鏡制御ユニット３に接続され、撮像タイミングや露光量の制御を受ける。高倍率撮像装置２１は、生成した画像データを顕微鏡制御ユニット３を介して生成した画像データを画像処理装置４に出力する。

低倍率撮像装置２５は、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるデジタル撮像デバイスである。低倍率撮像装置２５は低倍率鏡筒２６に設けられ、低倍率鏡筒２６の光学系を介して、プレパラートＰの全体画像の撮像が可能に構成されている。低倍率撮像装置２５は、低倍率撮像装置２５は、例えば、画素数が２４Ｍメガピクセルのものを用いることができる。低倍率撮像装置２５は、顕微鏡制御ユニット３に接続され、撮像タイミングや露光量の制御を受ける。低倍率撮像装置２５は、生成した画像データを顕微鏡制御ユニット３を介して生成した画像データを画像処理装置４に出力する。

高倍率鏡筒２２は、高倍率の対物レンズ、及びこれらの位置調整機構を内蔵し、プレパラートＰを所定の倍率、例えば２０倍や４０倍等の倍率で拡大できるように構成されている。高倍率鏡筒２２は、顕微鏡制御ユニット３に接続され、焦点深度調整（オートフォーカス）等の制御を受ける。

低倍率鏡筒２６は、低倍率の対物レンズ又は縮小光学系、及びこれらの位置調整機構を内蔵し、プレパラートＰを所定の倍率、例えば０．５倍、当倍、２倍等の倍率で拡大又は縮小できるように構成されている。また、低倍率鏡筒２６は、顕微鏡制御ユニット３に接続され、焦点深度調整（オートフォーカス）等の制御を受ける。

なお、図１においては、高倍率鏡筒２２及び高倍率撮像装置２１と低倍率鏡筒２６及び低倍率撮像装置２５は別体となっているが、これらの鏡筒及び撮像装置は、ひとつの鏡筒とひとつの撮像装置とすることも可能である。この場合、鏡筒に設けられた対物レンズの交換により、高倍率と低倍率の切替を可能とすることができる。

ステージ２３は、プレパラートＰを支持し、低倍率鏡筒２６及び高倍率鏡筒２２の光学系に対して垂直方向（光学系の光軸方向）及び水平方向（上記光軸方向に直交する方向）に移動可能に構成されている。ステージ２３には、図示しない照明用光源から放出された光を透過させる透過窓が設けられている。プレパラートＰはこの透過窓上に配置される。また、ステージ２３は、プレパラートＰを高倍率鏡筒２２および低倍率鏡筒２６の撮影領域に移動させることができる。又は高倍率鏡筒２２および低倍率鏡筒２６が移動し、プレパラートＰの画像の低倍率画像及び高倍率画像を取得できるようしてもよい。

ステージ駆動部２４は、ステッピングモータ等の駆動機構を内蔵し、ステージ２３を上述の各方向に移動させる。ステージ駆動部２４は顕微鏡制御ユニット３に接続され、移動方向や移動量の制御を受ける。

顕微鏡２は以上のように構成されている。なお、顕微鏡２は、顕微鏡制御ユニット３によって焦点深度の調整や撮像等が自動的に実行されるものを想定しているが、これに限られず、ユーザによって手動で制御されるものとすることも可能である。

顕微鏡制御ユニット３は、マイクロプロセッサ等の電装部品で構成され、上述のように顕微鏡２の各部を制御する。顕微鏡制御ユニット３は、画像処理装置４に接続され、画像処理装置４の出力を顕微鏡２の制御に反映させる。

画像処理装置４は、低倍率撮像装置２５又は高倍率撮像装置２１から供給される画像に後述する処理を施すとともに、観察用の画像を表示装置５に表示させる。図２は、画像処理装置４の機能的構成を示すブロック図である。

同図に示すように、画像処理装置４は、第１領域検出部４１、第２領域検出部４２、画像比較部４３及び画像表示部４４を有する。第１領域検出部４１及び第２領域検出部４２はそれぞれ顕微鏡制御ユニット３に接続されている。画像比較部４３は、第１領域検出部４１及び第２領域検出部４２に接続されている。画像表示部４４は、画像比較部４３に接続され、また顕微鏡制御ユニット３に接続されている。画像処理装置４の各構成は、プロセッサ、メモリ及びプログラム等の動作によって機能するものであり、詳細は後述する。

表示装置５は、ＣＲＴや液晶ディスプレイ等の表示デバイスであり、画像処理装置４の画像表示部４４からの出力を表示させる。

顕微鏡システム１は以上のように構成される。なお、画像処理装置４は、特定の機種の顕微鏡２及び顕微鏡制御ユニット３と共に顕微鏡システム１を構成するものではなくてもよく、任意の顕微鏡システムに追加的に導入することができるものとすることができる。

［観察対象物について］
本実施形態では、「第１の観察対象物」及び「第２の観察対象物」を観察対象とする。第１の観察対象物及び第２の観察対象物は類似するものである。類似するとは、第１の観察対象物と第２の観察対象物において、輪郭や組織構造の関連性が確認できるという意味である。具体的には、第１の観察対象物を、ある生体組織の切片を何らかの染色法（例えば、ＨＥ（Hematoxylin-Eosin）染色）によって染色したものとし、第２の観察対象物を同一の切片を異なる染色法（例えば、ＤＡＰＩ（4',6-diamidino-2-phenylindole）染色）によって染色したものとすることができる。また、ある生体組織をスライスして作成された複数の切片のうち、隣接又は近接する切片をそれぞれ第１の観察対象物及び第２の観察対象物とすることができる。

病理診断において行われる染色観察では、ひとつの病理組織を複数の切片にスライスて作成された切片の一つに染色を施して他の切片は予備として保管しておき、染色した切片に異常が見られれば、予備の切片に別の染色を施して詳細に観察することがよく行われる。このよな場合の前者の切片を第１の観察対象物とし、後者の切片を第２の観察対象物とすることができる。

このように第１の観察対象物と第２の観察対象物は類似するものとするため、第１の観察対象物の顕微鏡画像と第２の観察対象物の顕微鏡画像をディスプレイに連動して表示させることにより、第１の観察対象物と第２の観察対象物の対応する組織構造を比較することが可能となる。なお、連動して表示とは、拡大、縮小や移動等を両画像で同様に行うことを意味する。

ここで、第１の観察対象物の顕微鏡画像と第２の観察対象物の顕微鏡画像を連動させるためには、両画像のレジストレーション（登録）が必要となる。これは、両画像における特徴的な構造を抽出し、対応する構造であるとして設定することである。例えば、レジストレーションには両画像に表示される観察対象物の輪郭線等がよく用いられる。

しかし、第１の観察対象物の顕微鏡画像と第２の観察対象物の顕微鏡画像の両方又は何れか一方に、レジストレーションが可能な構造が含まれない場合がある。例えば、図１６（ａ）に示すプレパラートは、スライドガラスＳ１上に載置された観察対処物Ｔ１よりカバーガラスＣ１が大きい。この場合、プレパラートの顕微鏡画像には観察対象物Ｔ１の輪郭線が含まれる。これに対し図１６（ｂ）に示すプレパラートは、スライドガラスＳ２上に載置された観察対象物Ｔ２よりカバーガラスＣ２が小さい。顕微鏡撮像はカバーガラスが存在しない領域に対してはピントが合わないため、このプレパラートの顕微鏡画像には観察対象物Ｔ２の輪郭線が含まれない。したがって、図１６（ｂ）に示すようなプレパラートでは、観察対象物の輪郭を利用したレジストレーションを実行することができない。

本実施形態では、図１６（ｂ）に示すような顕微鏡画像に観察対象物の輪郭が含まれない場合であっても、レジストレーションを可能とする。以下の説明において、第１の観察対象物は輪郭がカバーガラスによって被覆されているものとし、第２の観察対象物は輪郭がカバーガラスによって被覆されていないものとする。また、第１の観察対象物がセットされたプレパラートをプレパラートＰ１とし、第２の観察対象物がセットされたプレパラートをプレパラートＰ２とする。

［顕微鏡システムの動作］
顕微鏡システム１の動作について説明する。
顕微鏡システム１の動作を３つに分けて説明する。第１は第１の観察対象物対する動作であり、第２は第２の観察対象物に対する動作である。第３は第１の観察対象物の画像と第２の観察対象物の画像の比較動作である。

（第１の観察対象物に対する動作）
顕微鏡システム１の第１の観察対象物に対する動作について説明する。図３は、当該動作を示すフローチャートである。なお、ステージ２３には、予めプレパラートＰ１が載置されているものとする。

ユーザによって開始指示が入力されると、低倍率撮像装置２５がプレパラートＰ１の「全体画像」を撮像する（Ｓｔ１０１）。全体画像は、プレパラートＰ１の全体が低倍率撮像装置２５の視野に納まる画像である。顕微鏡制御ユニット３が、ユーザによって指定された倍率（２倍、等倍、０．５倍等）となるように、また、その倍率においてピントが一致するように低倍率鏡筒２６に制御信号を出力する。続いて、低倍率撮像装置２５が顕微鏡制御ユニット３による制御信号を受けて、プレパラートＰ１を撮像する。この全体画像を「第１の低倍率画像」とする。

図６は第１の低倍率画像の例である。同図に示す画像は、第１の観察対象物として、豚ロースの切片をＨＥ染色によって染色したものを撮像した画像である。同図に示す第１の低倍率画像はモノクロ画像であるが、これは撮像されたカラー画像をモノクロ化したものである。第１の低倍率画像は、顕微鏡制御ユニット３を介して画像処理装置４の第１領域検出部４１に出力される。また、第１の低倍率画像は、後のステップにおいて使用されるため、消去されることなく画像処理装置４に保存される。

次に、第１領域検出部４１が第１の低倍率画像において「検体領域」を検出する（Ｓｔ１０２）。検体領域は、プレパラートＰ１において、第１の観察対象物、ここでは豚ロースの切片が存在する領域である。図７は、検出された検体領域を示す模式図である。図７（ａ）は検体領域の輪郭を第１の低倍率画像に重ねて示すものであり、図７（ｂ）は検体領域の輪郭と第１の低倍率画像の周縁を示すものである。図７（ａ）及び図７（ｂ）において検体領域の輪郭を領域Ａ１として示す。

後のステップにおいて、顕微鏡システム１はこの検体領域を高倍率で撮像するが、観察対象物の存在しない領域を高倍率で撮像することは無駄となるため、本ステップにおいて高倍率で撮像すべき観察対象物が存在する領域を検出する。検体領域の検出は、閾値処理とラベリング処理による領域抽出やデジタルフィルタを用いたエッジ検出等の、画像のコントラスト（輝度、色等の視覚的特徴）を利用した処理とすることができる。

次に、画像処理装置４が、第１の低倍率画像に「顕微鏡撮像範囲」を設定する（Ｓｔ１０３）。図８は、顕微鏡撮像範囲を概念的に示す図である。図８には、検体領域（領域Ａ１）と、その上に設定された顕微鏡撮像範囲（範囲Ｒとして示す）を示す。

顕微鏡撮像範囲は、所定の拡大倍率に設定された高倍率鏡筒２２を介しての、高倍率撮像装置２１の視野範囲に相当する範囲である。画像処理装置４は、ユーザによって入力された拡大倍率に応じて顕微鏡撮像範囲の大きさを決定する。ひとつの顕微鏡撮像範囲に検体領域の全てが含まれない場合は、画像処理装置４は図８に示すように複数の顕微鏡撮像範囲を配置する。なお、画像処理装置４は同図に示すように周縁部が重畳するように顕微鏡撮像範囲を配置することができる。これは、後述する顕微鏡画像連結ステップにおける便宜のためである。

次に、画像処理装置４が、上記各顕微鏡撮像範囲を高倍率撮像装置２１の視野に納めるためのステージ２３の位置座標ある「ステージ位置座標」を算出する（Ｓｔ１０４）。具体的には、画像処理装置４は、第１の低倍率画像の中央の位置座標と、ひとつの顕微鏡撮像範囲の中央の位置座標の差分を算出する。そして、画像処理装置４は顕微鏡制御ユニット３から供給された、第１の低倍率画像が撮像されたときのステージ２３の位置座標に対して、この差分を適用し、その顕微鏡撮像範囲についてのステージ位置座標とする。画像処理装置４は、各顕微鏡撮像範囲に対応するステージ位置座標を顕微鏡制御ユニット３に出力する。また、画像処理装置４は、顕微鏡撮像範囲が複数設定されている場合、最も効率的な、即ち、最もステージ２３の駆動距離が短くなる撮像の順序を決定し、顕微鏡制御ユニット３に出力する。

次に、顕微鏡制御ユニット３が、ステージ駆動部２４によってステージ２３の位置を移動させる（Ｓｔ１０５）。顕微鏡制御ユニット３は、前ステップにおいて供給されたステージ位置座標に従って、顕微鏡撮像範囲のいずれかひとつが高倍率撮像装置２１の視野に一致するようにステージ駆動部２４を制御する。

次に、高倍率撮像装置２１が、プレパラートＰ１の「顕微鏡画像」を撮像する（Ｓｔ１０５）。顕微鏡画像は、プレパラートＰ１の顕微鏡拡大画像である。顕微鏡制御ユニット３が、ユーザによって指定された拡大倍率となるように、また、その拡大倍率においてピントが一致するように高倍率鏡筒２２に制御信号を出力する。高倍率撮像装置２１は、顕微鏡画像を画像処理装置４に出力する。

顕微鏡撮像範囲が複数設定されている場合、顕微鏡制御ユニット３が再びステージ駆動部２４によってステージ２３の位置を移動させ、高倍率撮像装置２１によってプレパラートＰ１の次の顕微鏡撮像範囲を撮像させる。顕微鏡制御ユニット３はこのステージ２３の位置移動（Ｓｔ１０５）と高倍率撮像装置２１による顕微鏡撮像（Ｓｔ１０６）を、全ての顕微鏡撮像範囲が撮像されるまで繰り返し実行する。

相互に隣接する顕微鏡画像が複数撮像されている場合、画像処理装置４が、個々の顕微鏡画像を連結する（Ｓｔ１０７）。具体的には、画像処理装置４は、隣接する２枚の顕微鏡画像の重畳領域において複数の特徴点を抽出し、その特徴点が一致するようにこれらの画像を結合（スティッチング）させることができる。これにより、連続する検体領域がひとつの顕微鏡撮像範囲より大きいサイズであっても、当該検体領域の連続する顕微鏡画像を取得することが可能となる。このようにして作成された、プレパラートＰ１の連結された顕微鏡画像を「第１の高倍率画像」とする。

図９は第１の高倍率画像の模式図である。図９に示すように、第１の高倍率画像は、プレパラートＰ１上の検体領域のみを高倍率に撮像したものである。

次に、画像処理装置４は、第１の高倍率画像を画像タイルに分割する（Ｓｔ１０８）。画像処理装置４は、第１の高倍率画像を複数、例えば２５６個の正方形区画に分割する。これは、第１の高倍率画像を表示装置５に表示させる場合等にメモリ等を節約し、取り扱いを容易にするためである。画像処理装置４は、各画像タイルのヘッダーに、第１の高倍率画像における当該画像タイルの位置情報を付加する。

図３に示した顕微鏡システム１の第１の観察対象物に対する動作は以上のようになる。続いて、顕微鏡システム１は、図４に示す第２の観察対象物に対する動作に移行する。なお、顕微鏡システム１の第１の観察対象物に対する動作と、以下に示す第２の観察対象物に対する動作は順序が逆でもよい。

（第２の観察対象物に対する動作）
顕微鏡システム１の第２の観察対象物に対する動作について説明する。図４は、当該動作を示すフローチャートである。なお、ステージ２３には、予めプレパラートＰ２が載置されているものとする。

ユーザによって開始指示が入力されると、低倍率撮像装置２５がプレパラートＰ２の「全体画像」を撮像する（Ｓｔ２０１）。全体画像は、プレパラートＰ２の全体が低倍率撮像装置２５の視野に納まる画像である。顕微鏡制御ユニット３が、ユーザによって指定された倍率（２倍、等倍、０．５倍等）となるように、また、その倍率においてピントが一致するように低倍率鏡筒２６に制御信号を出力する。続いて、低倍率撮像装置２５が顕微鏡制御ユニット３による制御信号を受けて、プレパラートＰ２を撮像する。この全体画像を「第２の低倍率画像」とする。

図１０は第２の低倍率画像の例である。同図に示す画像は、第２の観察対象物として、豚ロースの切片をＤＡＰＩ染色によって染色したものを撮像した画像である。同図に示す第２の低倍率画像はモノクロ画像であるが、これは撮像されたカラー画像をモノクロ化したものである。第２の低倍率画像は、顕微鏡制御ユニット３を介して画像処理装置４の第２領域検出部４２に出力される。また、第２の低倍率画像は、後のステップにおいて使用されるため、消去されることなく画像処理装置４に保存される。

次に、第２領域検出部４２が第２の低倍率画像において「検体領域」を検出する（Ｓｔ２０２）。検体領域は、プレパラートＰ２において第２の観察対象物、ここでは豚ロースの切片が存在する領域である。図１１は、検出された検体領域を示す模式図である。図１１（ａ）は検体領域の輪郭を第２の低倍率画像に重ねて示すものであり、図１１（ｂ）は検体領域の輪郭と第２の低倍率画像の周縁を示すものである。図１１（ａ）及び図１１（ｂ）において検体領域の輪郭を領域Ａ２として示す。

後のステップにおいて、顕微鏡システム１はこの検体領域を高倍率で撮像するが、観察対象物の存在しない領域を高倍率で撮像することは無駄となるため、本ステップにおいて高倍率で撮像すべき観察対象物が存在する領域を検出する。検体領域の検出は、閾値処理とラベリング処理による領域抽出やデジタルフィルタを用いたエッジ検出等の、画像のコントラスト（輝度、色等の視覚的特徴）を利用した処理とすることができる。

次に、画像処理装置４が、第２の低倍率画像に「顕微鏡撮像範囲」を設定する（Ｓｔ２０３）。図１２は、顕微鏡撮像範囲を概念的に示す図である。図１２には、検体領域（領域Ａ２）と、その上に設定された顕微鏡撮像範囲（範囲Ｒとして示す）を示す。

顕微鏡撮像範囲は、所定の拡大倍率に設定された高倍率鏡筒２２を介しての、高倍率撮像装置２１の視野範囲に相当する範囲である。画像処理装置４は、ユーザによって入力された拡大倍率に応じて顕微鏡撮像範囲の大きさを決定する。ひとつの顕微鏡撮像範囲に検体領域の全てが含まれない場合は、画像処理装置４は図１２に示すように複数の顕微鏡撮像範囲を配置する。なお、画像処理装置４は同図に示すように周縁部が重畳するように顕微鏡撮像範囲を配置することができる。これは、後述する顕微鏡画像連結ステップにおける便宜のためである。

次に、画像処理装置４が、上記各顕微鏡撮像範囲を高倍率撮像装置２１の視野に納めるためのステージ２３の位置座標ある「ステージ位置座標」を算出する（Ｓｔ２０４）。具体的には、画像処理装置４は、第２の低倍率画像の中央の位置座標と、ひとつの顕微鏡撮像範囲の中央の位置座標の差分を算出する。そして、画像処理装置４は顕微鏡制御ユニット３から供給された、第２の低倍率画像が撮像されたときのステージ２３の位置座標に対して、この差分を適用し、その顕微鏡撮像範囲についてのステージ位置座標とする。画像処理装置４は、各顕微鏡撮像範囲に対応するステージ位置座標を顕微鏡制御ユニット３に出力する。また、画像処理装置４は、顕微鏡撮像範囲が複数設定されている場合、最も効率的な、即ち、最もステージ２３の駆動距離が短くなる撮像の順序を決定し、顕微鏡制御ユニット３に出力する。

次に、顕微鏡制御ユニット３が、ステージ駆動部２４によってステージ２３の位置を移動させる（Ｓｔ２０５）。顕微鏡制御ユニット３は、前ステップにおいて供給されたステージ位置座標に従って、顕微鏡撮像範囲のいずれかひとつが高倍率撮像装置２１の視野に一致するようにステージ駆動部２４を制御する。

次に、高倍率撮像装置２１が、プレパラートＰ２の「顕微鏡画像」を撮像する（Ｓｔ２０５）。顕微鏡画像は、プレパラートＰ２の顕微鏡拡大画像である。顕微鏡制御ユニット３が、ユーザによって指定された拡大倍率となるように、また、その拡大倍率においてピントが一致するように高倍率鏡筒２２に制御信号を出力する。高倍率撮像装置２１は、顕微鏡画像を画像処理装置４に出力する。

顕微鏡撮像範囲が複数設定されている場合、顕微鏡制御ユニット３が再びステージ駆動部２４によってステージ２３の位置を移動させ、高倍率撮像装置２１によってプレパラートＰ２の次の顕微鏡撮像範囲を撮像させる。顕微鏡制御ユニット３はこのステージ２３の位置移動（Ｓｔ２０５）と高倍率撮像装置２１による顕微鏡撮像（Ｓｔ２０６）を、全ての顕微鏡撮像範囲が撮像されるまで繰り返し実行する。

相互に隣接する顕微鏡画像が複数撮像されている場合、画像処理装置４が、個々の顕微鏡画像を連結する（Ｓｔ２０７）。具体的には、画像処理装置４は、隣接する２枚の顕微鏡画像の重畳領域において複数の特徴点を抽出し、その特徴点が一致するようにこれらの画像を結合（スティッチング）させることができる。これにより、連続する検体領域がひとつの顕微鏡撮像範囲より大きいサイズであっても、当該検体領域の連続する顕微鏡画像を取得することが可能となる。このようにして作成された、プレパラートＰ２の連結された顕微鏡画像を「第２の高倍率画像」とする。

図１３は第２の高倍率画像の模式図である。ここで、同図に示す第２の高倍率画像は、
第２の観察対象物の一部である。これは、上述のように、プレパラートＰ２では、カバーガラスが第２の観察対象物の中央部のみを被覆していることにより、カバーガラスが存在しない領域では顕微鏡のピントが合わず、画像を撮像できないためである。図１３に示すような第２の高倍率画像では、第２の観察対象物の輪郭が含まれないため、第１の高倍率画像と輪郭を用いた位置合わせを実施することができない。この位置合わせの詳細については後述する。

次に、画像処理装置４は、第２の高倍率画像を画像タイル分割する（Ｓｔ２０８）。画像処理装置４は、第２の高倍率画像を複数、例えば２５６個の正方形区画に分割する。これは、第２の高倍率画像を表示装置５に表示させる場合等にメモリ等を節約し、取り扱いを容易にするためである。画像処理装置４は、各画像タイルのヘッダーに、第２の高倍率画像における当該画像タイルの位置情報を付加する。

図４に示した顕微鏡システム１のプレパラートＰ２に対する動作は以上のようになる。続いて、顕微鏡システム１は、図５に示す第１の観察対象物の画像と第２の観察対象物の画像の比較動作に移行する。なお、顕微鏡システム１の第１の観察対象物に対する動作と第２の観察対象物に対する動作は順序が逆でもよい。

（第１の観察対象物の画像と第２の観察対象物の画像の比較動作）
顕微鏡システム１の第１の観察対象物の画像と第２の観察対象物の画像の比較動作について説明する。図５は、当該動作を示すフローチャートである。

画像処理装置４の画像比較部４３が、第１の低倍率画像と第２の低倍率画像を比較する（Ｓｔ３０１）。図１４は、画像比較部４３による第１の低倍率画像と第２の低倍率画像の比較の様子を示す概念図である。同図に示すように、画像比較部４３は、第１の低倍率画像と第２の低倍率画像のそれぞれにおいて、観察対象物が存在する領域のコントラストの差を用いてそれぞれの画像における観察対象物の輪郭を抽出する。図１４（ａ）は第１の低倍率画像から抽出した観察対象物の輪郭Ｌ１を示し、図１４（ｂ）は第２の低倍率画像から抽出した観察対象物の輪郭Ｌ２を示す。画像処理装置４は、図１４（ｃ）に示すように、第１の低倍率画像における観察対象物の輪郭Ｌ１と第２の低倍率画像における観察対象物の輪郭Ｌ２を両画像の周縁が一致するように重畳させる。

次に、画像比較部４３は、第１の低倍率画像と第２の低倍率画像の相対位置を算出する（Ｓｔ３０２）。この相対位置は、第１の低倍率画像における第１の観察対象物の位置と、上記第２の低倍率画像における第２の観察対象物の位置の差異を意味する。具体的には、画像比較部４３は、輪郭上の一点または複数の点の位置座標の、両画像における差を算出する。相対位置は例えば、第１の低倍率画像と第２の低倍率画像は、ｘ方向に何ｍｍ、ｙ方向に何ｍｍシフトし、何度回転しているというような形で算出される。また場合によっては、ねじれなどの画像の歪みが存在しているという情報も加えられることがある。

次に、画像比較部４３が、第１の高倍率画像と第２の高倍率画像の相対位置を算出する（Ｓｔ３０３）。この相対位置は、第１の高倍率画像における第１の観察対象物の位置と、上記第２の高倍率画像における第２の観察対象物の位置の差異を意味する。上述のように、第１の低倍率画像における第１の高倍率画像の範囲と、第２の低倍率画像における第２の高倍率画像の範囲は判明している。このため、画像比較部４３は、第１の低倍率画像と第２の低倍率画像の相対位置から、第１の高倍率画像と第２の高倍率画像の相対位置を求めることが可能である。

次に、画像比較部４３が、第１の高倍率画像と第２の高倍率画像の相対位置情報を画像タイルに追記する（Ｓｔ３０４）。画像比較部４３は、第１の高倍率画像の各画像タイルに対して、その画像タイルに相対位置が最も接近する第２の高倍率画像の画像タイルを指定する情報を記載する。また、画像比較部４３は、第２の高倍率画像の各画像タイルに対しても、その画像タイルに相対位置が最も接近する第１の高倍率画像の画像タイルを指定する情報を記載する。

次に、画像表示部４４が、第１の高倍率画像と第２の高倍率画像を、表示装置５に連動表示させる（Ｓｔ３０５）。図１５は、表示装置５に表示される第１の高倍率画像と第２の高倍率画像の例を示す図である。図１５において、第１の高倍率画像を画像Ｇ１、第２の高倍率画像を画像Ｇ２として示す。同図に示すように、画像表示部４４は、第１の高倍率画像の画像タイルと第２の高倍率画像の画像タイルのうち、互いに対応する画像タイルを表示させる。ユーザによって、第１の高倍率画像又は第２の高倍率画像に対する拡大、縮小、移動等の操作が入力された場合、画像表示部４４は当該操作を反映させた両画像の画像タイルを表示させる。即ち、画像表示部４４は、第１の高倍率画像と第２の高倍率画像を連動表示させる。

以上のようにして、本実施形態に係る顕微鏡システム１は、第１の高倍率画像と第２の高倍率画像を連動表示させることが可能となる。これにより、ユーザは、第１の観察対象物と第２の観察対象物の対応する構造の顕微鏡像を比較することが容易となる。特に顕微鏡システム１は、第１の高倍率画像又は第２の高倍率画像に観察対象物の輪郭が含まれない場合であっても、第１の高倍率画像と第２の高倍率画像を連動表示させることが可能である。

本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。

上記実施形態では、第１の低倍率画像として等倍率で撮像されたプレパラートの全体画像を用いたが、第１の低倍率画像はこれに限られない。例えば、顕微鏡画像である第１の高倍率画像を圧縮コーディングした画像を第１の低倍率画像とすることも可能である。

４…画像処理装置
４１…第１領域検出部
４２…第２領域検出部
４３…画像比較部
４４…画像表示部

Claims (6)

1. 画像比較部が、第１の観察対象物の低倍率の画像である第１の低倍率画像と、前記第１の観察対象物と類似する第２の観察対象物の低倍率の画像である第２の低倍率画像とを比較して、前記第１の低倍率画像における第１の観察対象物の位置と、前記第２の低倍率画像における第２の観察対象物の位置の差異を求め、
   画像表示部が、前記差異に基づいて、前記第１の察対象物の高倍率の画像である第１の高倍率画像と、前記第２の観察対象物の高倍率の画像である第２の高倍率画像とを連動させて表示装置に表示させる
   画像処理方法。
2. 第１領域検出部が、第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出し、
   第２領域検出部が、前記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出し、
   画像比較部が、前記第１の低倍率画像と前記第２の低倍率画像とを比較して、前記第１の低倍率画像における第１の観察対象物の位置と、前記第２の低倍率画像における第２の観察対象物の位置の差異を求め、
   画像表示部が、前記差異に基づいて、前記第１の領域が高倍率で撮像された第１の高倍率画像と、前記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる
   画像処理方法。
3. 請求項２に記載の画像処理方法であって、
   前記画像比較部が前記差異を求める工程は、前記画像比較部が、前記第１の低倍率画像における前記第１の観察対象物の輪郭と、前記第２の低倍率画像における前記第２の観察対象物の輪郭を求め、前記第１の低倍率画像における前記第１の観察対象物の輪郭の位置と、前記第２の低倍率画像における前記第２の観察対象物の輪郭の位置の相違から前記差異を求める
   画像処理方法。
4. 請求項３に記載の画像処理方法であって、
   前記画像比較部が前記差異を求める工程は、前記画像比較部が、前記第１の低倍率画像のコントラストから前記第１の観察対象物の輪郭を求め、前記第２の低倍率画像のコントラストから前記第２の観察対象物の輪郭を求める
   画像処理方法。
5. 第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する第１領域検出部と、
   第２領域検出部が、前記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する第２領域検出部と、
   前記第１の低倍率画像と前記第２の低倍率画像とを比較して、前記第１の低倍率画像における第１の観察対象物の位置と、前記第２の低倍率画像における第２の観察対象物の位置の差異を求める画像比較部と、
   前記差異に基づいて、前記第１の領域が高倍率で撮像された第１の高倍率画像と、前記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる画像表示部と
   を具備する画像処理装置。
6. 第１の観察対象物が低倍率で撮像された第１の低倍率画像において、第１の観察対象物が存在する領域を第１の領域として検出する第１領域検出部と、
   第２領域検出部が、前記第１の観察対象物と類似する第２の観察対象物が低倍率で撮像された第２の低倍率画像において、第２の観察対象物が存在する領域を第２の領域として検出する第２領域検出部と、
   前記第１の低倍率画像と前記第２の低倍率画像とを比較して、前記第１の低倍率画像における第１の観察対象物の位置と、前記第２の低倍率画像における第２の観察対象物の位置の差異を求める画像比較部と、
   前記差異に基づいて、前記第１の領域が高倍率で撮像された第１の高倍率画像と、前記第２の領域が高倍率で撮像された第２の高倍率画像とを連動させて表示装置に表示させる画像表示部と
   として機能する画像処理プログラム。