JP2016520894A - 複数収集スライド画像における参照 - Google Patents

Abstract

複数の撮像ラウンドで取得した画像の参照が開示される。特定の実施態様では、ベースラインラウンドの画像が取得され、グローバル変換行列を確立するために互いに位置合わせされる。画像収集の後続のラウンドでは、限られた数の視野画像が最初に取得され、平行移動、回転及びスケーリングを解くために、対応するベースライン画像に位置合わせされる。それから、ベースライン画像のフルセットが後続ラウンドについて取得され、各画像は、画像のサブセットについて決定された変換に基づいて、予め回転され予めスケーリングされる。それから、予め回転され予めスケーリングされた画像は、平行移動だけの変換を用いて位置合わせされる。【選択図】図１

Description

本明細書で開示される発明の主題は、別個の収集操作で取得したスライド画像のセットの参照に関する。

癌、感染症、生理学的障害等の様々な生理学的状態についての検出及び監視は、部分的には、患者からの生体試料の解析に基づくことができる。例えば、試料は、疾患又は障害を示し得る細胞及び／又は生体の異常な数若しくはタイプの存在を検出するために分析することができる。様々なタイプの顕微鏡が、このような解析に用いることができる。更に、様々な染色及び染色プロトコルは、この分析の一部として用いることができ、疾患又は障害の検出又は診断の助けになり得る種々の構造、化学薬品又は環境の可視化を可能にすることができる。

このような病理学的又は組織学的試料の分析を容易にするために、画像収集処理の様々な態様を自動化する自動顕微鏡システムが開発されている。特に、デジタル光学顕微鏡は、このような自動化されたシステムで用いることができ、各収集のためにデジタル画像出力を提供することができる。特定のこのようなシステムは、走査顕微鏡を用いて、変位された画像のシーケンスを取得し、互いに関係づけて（例えば、「タイルを張って」又は「縫い合わせて」）、関心のある試料領域の複合体を形成する。例えば、病理学的及び組織学的撮像操作の状況では、組織試料スライドを撮像して、高倍率及び／又は高解像度で小さな隣接又は重複する領域のデジタル画像を取得することができる。それから、隣接又は重複する画像は、結合されるか又は関連づけられて、デジタル表示装置上でナビゲートできるより大きい画像を形成することができる。このようにして、試料の複合又はモザイク画像を生成し、表示し、検査者によってナビゲートすることができる。

画像生成及び検査処理を複雑化させる要因は、試料が複数染色操作を受けるプロトコルに帰することができる。そのような場合には、各染色工程は、顕微鏡ステージからスライドを除去すること、あらゆる既存の染料を除去して、次の染料を加えること及び新たな染料で試料を撮像するために顕微鏡ステージ上のスライドを交換することに関係する。しかし、顕微鏡ステージ上のスライドを除去して交換する行為は、一般に、撮像のラウンドごとにわずかに異なる位置にスライドを置くことになる。その結果、撮像の各ラウンドからの対応する画像は、位置合わせされていない場合がある。更に、撮像のラウンドごとに生成された複合画像は、互いにずれている場合がある。結果として、異なる染料を用いて取得した画像を用いて行う分析又は比較は、困難であるか、或いは阻止される場合がある。

米国特許出願公開第２０１１／２４９９１０号明細書

一実施形態では、画像を位置合わせするためのコンピュータ実装方法が提供される。この方法によれば、ステージに配置されたスライド上の試料から画像の第１のセットが取得される。各画像は、異なる視野で得られる。グローバル変換行列が、複合画像を作成するために、第１のセットの画像を互いに位置合わせすることによって生成される。スライドがステージから取り除かれて交換された後に、スライド上の試料から画像のサブセットが取得される。画像のサブセットは、第１のセットの画像数より少ない。サブセットの各画像は、平行移動、回転及びスケール係数を決定するために、画像の第１のセットのうちの対応する画像と位置合わせされる。試料の画像の第２のセットが、画像の第１のセットを取得するために用いられた視野と同一のそれぞれの視野で取得される。画像のサブセットについて決定された回転及びスケール係数を用いて、画像の第２のセットの各画像が回転されてスケーリングされる。第２のセットの、回転されてスケーリングされた画像は、第１のセットの対応する画像に位置合わせされる。

更なる実施形態では、画像解析システムが提供される。画像解析システムは、１以上のルーチンを記憶するメモリと、メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントとを含む。１以上のルーチンは、処理コンポーネントによって実行された場合に、試料から取得した画像の限定されたセットと前に取得した試料の画像の完全なセットとのアライメント操作であって、画像の限定されたセットを画像の完全なセットの対応する画像と関係づける少なくとも回転を生成するアライメント操作を実行することと、回転によって、後に取得した画像の完全なセットを回転させることと、後に取得した画像の完全なセットの回転された画像を平行移動して、回転された画像を、前に取得した画像の完全なセットの対応する画像と位置合わせすることとを含む処理を実行させる。

更なる実施形態では、デジタル顕微鏡撮像システムが提供される。デジタル顕微鏡撮像システムは、スライドを保持するように構成されたステージと、スライドが存在する場合に、スライドの一部分の画像を取得するように構成された対物レンズ及びイメージセンサと、撮像プロトコルに従って、対物レンズ及びステージの一方又は両方を互いに移動するように構成された位置コントローラと、位置コントローラ及びイメージセンサの一方又は両方の動作を制御するように構成されたコントローラとを含む。更に、デジタル顕微鏡撮像システムは、１以上のルーチンを記憶するメモリと、メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントとを含む。１以上のルーチンは、処理コンポーネントによって実行された場合に、スライドの少なくとも一部の画像の第１の完全なセットであって、各画像が少なくとも１つの隣接する画像と重なり合う、画像の第１の完全なセットを取得することと、スライドがステージから取り除かれて交換された後に、スライドの少なくとも一部の画像の第２の完全なセットを取得することと、画像の第２の完全なセットの画像を所定の角度だけ回転させて、予め回転された画像のセットを生成することと、予め回転された画像を平行移動して、予め回転された画像を画像の第１の完全なセットの対応する画像に位置合わせすることを含む処理を実行させる。

本発明のこれらの、並びに他の特徴、態様及び利点は、添付の図面を参照しつつ以下の詳細な説明を読めば、よりよく理解されよう。添付の図面では、図面の全体にわたって、類似する符号は類似する部分を表す。

本開示の態様による、デジタル光学顕微鏡システム等の撮像システムのブロック図である。 本開示の態様による、別々の重なり合った視野画像が取得され得る重なり合った画像領域を有するように試料が配置されたスライドの平面図である。 本開示の態様による、複数の画像収集ラウンドの撮像プロトコルにおけるスライド処理に関係するステップのフローチャートである。 本開示の態様による、ベースライン画像収集ラウンドに関係するステップのフローチャートである。 本開示の態様による、隣接する画像を位置決めするための手法を示す図である。 試料の視野画像のサブセットを取得するために、様々な点が識別される試料の一例を示す図である。 本開示の態様による、画像取得の現行及びベースラインのラウンドからの画像を位置合わせする際に実行することができるステップのフローチャートである。 本開示の態様による、同一視野の連続画像を位置合わせするための手法を示す図ある。

本明細書で論じるように、本手法の特定の実施形態では、画像（例えば、ベースライン画像）のセットは、撮像の初期ラウンドでスライド上の試料から取得される。ベースライン画像のセットは、空間位置の一様なグリッド上で重なり合った視野を用いて取得される。一実施態様では、視野画像は、平行移動だけの高速フーリエ変換（ＦＦＴ）を使用して、互いに位置合わせされる。位置合わせの結果は、個々の視野及び複合（即ち、「縫合した」）キャンバスの両方においてスライド座標を画像座標にマッピングするグローバル変換行列を確立するために使用される。

後の撮像ラウンド、例えば試料が異なる薬剤で染色されて、スライドがステージに戻った後などでは、撮像システムは、限られた数の別々の点（例えば、２点以上、３点以上、４点以上、或いは５点以上）で画像を取得する。これら別々の画像は、平行移動、回転及びスケーリングについての解を求めるために、対数極座標ＦＦＴなどを用いて、ベースラインラウンドの視野画像の対応する視野に位置合わせされる。一実施態様では、最小二乗法によるフィッティングが、ベースラインラウンド（即ち、初期撮像ラウンド）と現在の撮像ラウンドとのそれぞれの視点画像の中心間の線形変換を生成するために使用される。１つのそのような実施形態では、変換は、回転、平行移動、スケーリングのみを含むように制限される。

線形変換を生成するために、画像のこの限定されたセットが取得されて処理されると、現在の撮影ラウンドに対する画像の全体のグリッドを取得することができる。一実施態様では、現在の撮像ラウンドにおいて取得した各視野画像は、現在の撮像ラウンドについて生成された線形変換に基づいて、予め回転されて予めスケーリングされる。それから、対応するベースラインラウンドの視野画像は、平行移動だけのＦＦＴを用いるなどして、予め回転されて予めスケーリングされた現在のラウンドの画像に位置合わせされる。結果として得られた変換は、スライド座標と視野画像の現在のラウンドにおける画像座標との間のマッピングを生成するための、前回転及び前スケーリングで構成される。

現在の撮像ラウンドについて縫合された画像即ち複合画像が生成されると、各視野画像は、その関係する変換行列に従ってサンプリングされる。結果として得られた画素は、共通の基準面にあり、特定の実施形態では、自己蛍光除去のために取り去ったり、擬似着色画像と合成したり、統計解析のために共通して用いたり、或いは、検査者が対応する空間的位置を比較することができるように、オーバーレイ（即ち、重畳）して表示したりすることができる。

病理学の場面でこの手法を適用することによって、顕微鏡の視野のサイズに表示を限定することなく、（連続切片とは対照的に）同じ細胞内の複数のバイオマーカーを同時に表示することが可能となる。代わりに、撮像装置（例えば、顕微鏡）の視野よりもはるかに大きい、スライド全体までも含む撮像を取得し一体化することができる。

以上の議論を念頭に置いて、図１は、本開示の態様に従って用いることができる、デジタル光学顕微鏡等の撮像システム１０の一実施形態を示す。図示する撮像システム１０は、対物レンズ１２、イメージセンサ１６、コントローラ２０及び走査ステージ２２を含む。図示する実施形態では、カバースリップ２６とスライド２８との間に試料２４が配置される。試料２４、カバースリップ２６及びスライド２８は、走査ステージ２２上に配置される。カバースリップ２６及びスライド２８は、ガラス等の透明材料で形成してもよい。特定の実施形態では、撮像システム１０は、自動化されたスライドスキャンシステムの一部であってもよく、供給マガジンから１枚ずつ撮像するために、スライドを供給し装填することができる自動スライド供給機を含むことができる。

特定の実施形態では、試料２４は、生体試料、例えば病理学的又は組織学的技術を用いて分析するための組織試料等であってもよい。他の例では、試料２４は、産業用対象物、例えば集積回路チップ又はマイクロ電気機械システム（ＭＥＭＳ）等であってもよい。例えば、このような試料は、平均して約５ミクロンから約７ミクロンまでの厚さを有してもよく、数ミクロンだけ変化してもよい。また、このような試料の例は、約１５ｍｍ×１５ｍｍの横方向表面積を有してもよい。

実際には、対物レンズ１２は、Ｚ（垂直）方向の光軸に沿って試料２４から分離され、スライド２８と同一平面のＸ−Ｙ平面に焦点面を有する。対物レンズ１２は、特定の視野において試料２４を透過した又は試料２４によって反射した光３０を収集して、光３０をイメージセンサ１６に導く。本明細書で使用される「光」という用語は、人間の目に見えるか見えないかに関わらず、撮像動作の対象である任意の特定の波長又は波長の範囲（即ち、スペクトル）を包含する。一実施形態では、イメージセンサ１６は、一次光路３２に基づいて画像を取得する時に、各視野に対応する試料２４の１以上の画像を生成する。特定の実施形態では、イメージセンサ１６は、市販の電荷結合素子（ＣＣＤ）をベースとするイメージセンサ等の、任意の好適なデジタル撮像装置であってもよい。

システム１０に用いられる対物レンズ１２は、撮像される試料の特徴の用途及びサイズ等の考慮事項に基づいて、倍率を変化させることができる一実施形態では、対物レンズ１２は、２０ｘ又はそれ以上の倍率を提供し、０．５又は０．５より大きい開口数を有する（焦点深度が小さい）高性能対物レンズであってもよい。理解されるように、他の実施形態では、対物レンズ１２は、異なる倍率を提供してもよく及び／又は、より大きい若しくはより小さい開口数を有してもよい。例えば、一実施形態では、対物レンズ１２は、試料２４からＺ方向に約２００ミクロンから約２、３ミリメートルの範囲の距離だけ間隔を置いて配置することができ、焦点面に７５０μｘ７５０μの視野からの光３０を収集することができる。理解されるように、用途に応じて、作業距離、視野及び焦点面は、システム１０の構成及び／又は撮像される試料２４の特性に応じて変化することができる。更に、本明細書で説明するように、試料２４について複数の画像を順次収集できるような、撮像処理の態様が自動化された実施形態では、システム１０は、微細なモータ制御及び対物レンズ１２の迅速な小さい視野調整を提供するための、並びに／又はスライド２８若しくはスライド２８が配置される走査ステージ２２を調整するための、圧電アクチュエータ等の位置コントローラ１４を含むことができる
撮像プロトコル又は用途に応じて、撮像システム１０は、明視野、位相コントラスト、微分干渉コントラスト及び蛍光を含む多種多様な撮像モードの１以上を用いて、試料２４を照明することができる。したがって、光３０は、明視野、位相コントラスト又は微分干渉コントラストを適用して試料２４を透過し又はそこから反射してもよく、或いは、光３０は、（蛍光標識又は真性）蛍光撮像を適用して試料２４から出射してもよい。更に、光３０は、透過照明（光源及び対物レンズ１２が試料２４の反対側にある）又は落射照明（光源及び対物レンズ１２が試料２４の同一側にある）を用いて提供されてもよい。したがって、理解されるように、撮像システム１０は、特定の実施形態では、光源（高輝度ＬＥＤ又は水銀若しくはキセノンアーク灯又はハロゲン化金属ランプ）を含んでもよい。

上述したように、一実施形態では、撮像システム１０は、高速撮像システムとして構成されてもよい。このような高速システムは、試料２４の多数のデジタル画像を迅速に取り込むように構成することができ、各画像は試料２４の特定の視野に対応する。特定の用途では、１つの画像に関係する特定の視野は、試料２４全体の限られた部分のみを表してもよい。更に、画像のシーケンスに関係するそれぞれの視野は、互いに隣接していてもよいし、或いは互いに重なっていてもよい。このような実施形態の一例では、スライド２８は隣接する又は重なった領域で繰り返し撮像されるか、或いは走査掃引により画像収集領域、即ち視野を通過する。このような一実施形態では、１つの画像が取得され、隣接する又は重なった領域が視野内に入る位置までステージ２２がＸ方向及びＹ方向に前進し、そして別の画像が取得される。

更に、ここで説明するように、特定の収集シーケンス（試料２４が所与の染料で染色されて取得された一連の画像等）に関係する一組のデジタル画像は、デジタル的に結合され又は縫合されて、試料２４全体のデジタル表現、即ち、複合又はモザイク画像又はキャンバスを形成することができる。一実施形態では、撮像システム１０は、複数の取得した画像だけでなく、取得した画像を用いて生成された複合若しくはモザイク画像を、データレポジトリ３４及び／又はメモリ３８に記憶することができる。

本実施形態に示すように、撮像システム１０はまた、自動化された撮像プロトコルの実行及び／又は撮像システム１０によって取得された画像データの処理を容易にすることができる例示的な処理サブシステム３６を含むことができる。例えば、処理サブシステム３６は、一連の取得した画像に基づいて複合画像を合成するように及び、試料２４が異なる化合物で染色された後等の同じ試料２４について生成された他の画像又は複合画像に対して参照又は位置合わせ操作を実行するように、構成することができる。処理サブシステム３６はまた、表示装置（即ち、画面又はモニタ）と通信して、取得した画像又は取得した画像を用いて生成された複合画像を表示させる。図示する例では、メモリ３８は処理サブシステム３６とは別のものとして示しているが、特定の実施形態では、処理サブシステム３６及びメモリ３８は、一緒に、即ち、単一又は同一の広がりをもつコンポーネントとして設けられてもよい。加えて、本実施例では、処理サブシステム３６はコントローラ２０とは別のコンポーネントとして示しているが、他の実施形態では、処理サブシステム３６は、コントローラ２０と結合されてもよいし、或いはコントローラ２０として機能してもよい。

更に、特定の実施形態では、撮像システム１０は、異なる時刻又は撮像ラウンド、或いは異なる画像において取り込まれた試料２４の複数の取得した画像の各々についての定量的特性を決定するために使用できることを理解されたい。本明細書で使用されるように、定量的特性は画像品質の定量的な尺度を表し、性能指数と呼ぶこともできる。特に、特定の実施形態では、そのような性能指数は、本明細書で説明するように、取得した画像内の特徴をフィルタリングする際に用いることができる。一実施形態では、性能指数は勾配ベクトルの離散近似を含んでもよい。例えば、一実施形態では、性能指数は、各チャネルの空間位置に関する特定のチャネル（例えば、緑チャネル）の強度の勾配ベクトルの離散近似を含んでもよい。したがって、特定の実施形態では、撮像システム１０又は撮像システム１０の好適なコンポーネント（処理サブシステム３６等）は、複数の収集画像の各画像の各画素の各色チャネルの空間位置に関する色チャネルの強度の勾配ベクトルに対して、離散近似の形で性能指数を決定するように構成することができる。特定の実施形態では、勾配の計算中にノイズを平滑化するために、ローパスフィルタを勾配に適用してもよい。上記の性能指数の一例は、各色チャネルの空間位置に関する色チャネルの強度の勾配ベクトルの離散近似であるが、他の性能指数の使用も考えられる。例えば、他の性能指数は、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジ検出器、局所画像コントラストの推定値又は他の任意の好適な定量化可能なコンテキストに基づいてもよい。特定のコンテキストでは、性能指数は、位置合わせ品質の指標として用いることができ、したがって許容可能な位置合わせを達成するために、視野画像を再取得するべきか、或いは更なる視野画像が必要かどうかを決定するために使用することができる。

以上を念頭に置いて、図１に関して説明したように、図２は、撮像システム１０を用いて画像収集されるスライド２８上の試料２４を示す。この例では、画像４２のグリッド又はアレイは、一組の重複する視野について取得され、各画像４２はスライド座標の特定の組における個別の画像収集に対応する。各画像取得の間に、スライド２８又は撮像対象の一方又は両方は、次のスライド位置での画像収集ができるように移動する。図２に示す例では、それぞれの画像４２は、１以上の縁部４０において互いに重なり合っている。画像４２の縁部４０における重なりによって、本明細書で説明するように、画像４２を互いにマージ又は縫合して複合画像又はモザイク画像を生成することができる。

本明細書で述べるように、スライド２８が定期的に走査ステージ２２から除去され、複数画像収集プロトコルの一部として置き換えられる特定の撮像状況では、問題が生じる場合がある。例えば、所与の試料２４が複数の染色操作を受けて、新たな染色又は染色の組を適用した後に試料２４の画像が取得される、組織学的又は病理学的状況において、そのような問題が生じる場合がある。例えば、バイオマーカーの空間的分布が生体試料にプロファイルされる用途では、図３のフローチャート４８に示すように、複数ステップ処理を用いることができる。このような例では、試料２４を有するスライド２８が１以上の薬剤（特定のバイオマーカーを標識する１以上の蛍光標識剤等）で最初に染色される（ブロック５０）。

それから、スライド２８は、撮像システム１０のステージ２２に置かれ（ブロック５２）、複数の異なる位置で画像４２が取得される（ブロック５４）。一実施形態では、取得した画像４２は重複する視野に対応し、取得した画像は、本明細書で説明するように、５％、１０％又は他のいくらかの適切なオーバーラップ領域で重なり合う。この例では、画像収集の現行のラウンドに関係する染色について画像４２が取得されると、スライド２８がステージ２２から除去され（ブロック５６）、カバースリップ２６がスライド２８から除去され（存在する場合）、試料２４上に存在する染料の１以上が、試料から蛍光標識を漂白すること等により除去される（ブロック５８）。特定の実施態様では、他の染料がステップ５８で除去された後であっても、染料又は薬剤が残存する場合がある。このような実施態様では、残存する染料又は薬剤はすべての画像収集ラウンドに共通である場合があり、撮像ラウンド間の共通の又は基準の染料として使用することができる。更に、特定の実施態様では、カバースリップ２６は、染料を除去した後に（例えば、漂白された試料上で）スライド２８上で交換されて、自動蛍光除去のために画像を取得するために再撮像されてもよい。

実行されるべき更なる画像収集がない場合（ブロック６０）には、画像収集処理を終了する（ブロック６２）。しかし、標識された試料２４の追加の画像４２を取得する場合には、撮像の次のラウンド（ブロック６４）で使用される染料（例えば、蛍光標識剤の異なる組）が取得され、試料２４に適用される（ブロック５０）。それから、新たに標識されたスライド２８がステージ２２上で交換され、撮像処理を繰り返す（ブロック５２）。この画像収集処理は、必要に応じて何回でも（例えば、５、１０、１２、１５、２０回又は必要に応じて何回でも）繰り返して、バイオマーカーの所望のプロファイルを得ることができる。

指摘するように、図３に関して説明した目的とする処理の一態様は、撮像システム１０のステージ２２上のスライド２８の除去及び交換である。ステージ２２上のスライド２８の各配置は、ステージ２２上のスライド２８の位置及び配向の誤差の影響を受け、それは拡大された状況下で顕著となり得る。結果として、後に取得した画像セットは、前に取得した画像セットに対して平行移動及び／又は回転することができる。平行移動及び／又は回転は、機械的ステージ２２のガタ及び振れ、カメラの傾き、並びに／又はステージ軸の非直交性に関係する影響と組合せることができる。

したがって、本明細書で説明するように、複数の視野として取得した複合画像又は縫合された画像の対応する位置を識別し表示するために、両方の画像セットを共通の基準面にマッピングすることが有用であり、そうすることで、２つ（又はそれ以上）の画像セットの対応する位置が基準面の同じ点に現れることにより、複数の画像セットを位置合わせ又は参照する。

これを念頭に置いて、図４を参照すると、本発明の手法の一実施態様では、第１の撮像ラウンドにおいて規則的なグリッド上の対応する視野について、画像４２を取得する（ブロック７８）。一実施形態では、隣接する画像の端部が、例えば視野の５％から２０％までの実質的なマージンで隣接する画像と重なり合うように、画像４２を取得する。一実施形態では、それから視野の画像４２は、平行移動のみを考慮して、重なり合った各画像対の重なった領域間のゼロ平均正規化されたクロスパワー相関を最大にする変位を求めることにより、互いに配置することができる。

図５に示すように、これは、フーリエ領域内で容易に行うことができ、第１及び第２の重なり合った画像１００、１０２を別々にフーリエ変換して（ブロック１０４）、それぞれの値ａ、ｂが得られる。フーリエ値ａ、ｂは正規化することができ（ブロック１０６）、その結果を逆フーリエ変換して（ブロック１０８）、所望の相関ｒ１１０が得られる。得られた値ｒは、ｘ方向及びｙ方向における変位の関数であり、重なり合った画像１００、１０２が最も良く相関する場合に最大となる。通常、ｒの値は、正しいオフセットにおいて単一の鋭いピークを示す。

一実施態様では、重なり合った画像４２のセットに対するこれらのｒ関数が与えられると、発見的手法は、複合画像又はモザイク画像８４の全体について相関の和を最大にするために用いることができる。例えば、一実施形態では、アルゴリズムは、貪欲な領域拡張技術として実施することができる。しかし、他の実施形態では、トレリス符号化、逐次過剰緩和、シミュレーテッドアニーリング等の他の技術を用いることができる。用いる技術に関係なく、初期撮像ラウンドの画像４２が相互に参照され、初期ラウンドの画像４２を互いに「縫合」して（ブロック８０）、複合画像又は縫合された画像８４を形成することが可能となる。

本明細書で説明するように、画素空間における各画像４２の座標を（ｕ_i，ｖ_i）によって特徴付けることができ、これは、以下のように、画像キャンバス空間における座標（即ち、複合画像８４における座標）（Ｕ，Ｖ）にマッピングすることができる。
（１）Ｕ＝ｕ_i＋ｅ_i
（２）Ｖ＝ｖ_i＋ｆ_i
又は

また、ミリメートル（ｍｍ）などの従来の空間尺度又は単位で複合画像８４の座標（Ｕ，Ｖ）をスライド２８上の座標に変換することが便利であり得る。これを達成するために、一実施形態では、撮像システム１０は、各撮像視野の中心の（ｘ，ｙ）位置を記録する。この中心は、対応する視野のそれぞれの取得画像４２におけるピクセル位置

に対応するか、或いは合成画像８４におけるピクセル位置

に対応し、ここでｗは幅であり、ｈは各画像４２の高さである。したがって、この時、個々の画像４２又は個々の画像４２から生成された複合画像８４の一方又は両方の空間的スライド位置とピクセル座標との間のマッピングが可能である。

取得した視野のこのマッピングが与えられると、以下のように線形変換を解くことができる。
（４）［Ｕ Ｖ １］＝［ｘ ｙ １］Ｃ
及び、

一実施態様では、線形変換は、最小二乗法によって解くことができる。このような実施態様では、問題は、以下のように、最小化される２つの部分問題に分解される。

及び

ここで、

及び

理解されるように、行列

が両方の部分問題に共通であるから、因数分解を１回だけ計算することができる。この手法により、平行移動、回転、スライド座標と画像座標との間のスケール係数及びステージ軸の非直交性に起因して生じるずれを解決することができる。

特定の状況では、取得した視野画像４２の中心は、共線、即ち共通の直線上にあってもよい。このような状況では、行列

は階数不足であり、アルゴリズムはずれについて解くことができない。一実施形態では、アルゴリズムは、そのような状況では、以下のように、代わりの定式化を用いることができる。

は、最小二乗問題を与える。

ここで、

及び

これは、すべての（ｘ，ｙ）対が互いに素である場合には、フルランクとなる。

したがって、このようにして、ベースライン視野画像４２の初期セットを取得して、複合画像８４を形成するために互いに縫合することができ、それぞれの変換行列は処理中に算出される。例えば、実際に、自動化された画像収集走査は、画像収集動作と同時に視野画像間の相関も算出する、デスクトップ又は他のコンピュータによって制御することができる。スライド座標と視野画像画素との間の変換を可能にするそれぞれの行列８６を定義することができ、スライド座標と複合画像画素との間の変換を可能にする行列８８を定義することができる。これらの行列は、個々に又はいくつかの組み合わされた若しくは複合された形で、視野画像空間と、複合画像空間と、スライド座標との間の変換を可能にするために用いることができる。更に、ベースライン撮像中に、後に続く撮像ラウンドにおけるオーバーシュート領域の識別を容易にするために、好適な画像メトリックを視野画像ごとに取得することができる。

後に続くラウンドでは、試料２４は、上述したように、特定のバイオマーカーをラベルする蛍光剤等の１以上の異なる薬剤で染色することができる。新たに染色された試料２４の特定の視野において、画像４２を取得することができる。

これを考慮して、特定の実施形態では、すべての撮像ラウンドを通して一定である１つの撮像チャネルがあり、したがってそれは各撮像ラウンドにおける共通の又は一定の特徴として役立ち、ラウンド間の比較を容易にする。そのような実施態様では、ラウンドの間で一定である撮像チャネルは、位置合わせ処理に用いられるものである。例えば、一実施形態では、位置合わせに用いられるチャネルは、漂白工程後でも残存し又は、周期的に再適用される核酸染色（ＤＡＰＩ又はヘキスト等）である。他の代替物としては、これらに限らないが、非特異性酸性染色（フルオレセイン、ＦＩＴＣ、エオシン等）、第１級アミンの非特異性ラベル（エピコッコノン等）又は組織自体の固有の自己蛍光を挙げることができる。

特定の実施態様では、後に続く撮像ラウンドで撮像された視野画像４２と初期又はベースライン撮像ラウンドで撮像された視野画像４２との間の重なりを最大化することが望ましい場合があり得る。この目的を容易にするために、特定の実施態様では、初期又はベースライン撮像ラウンドからステージ座標のセットを取得し、それらの位置を後に続く撮像ラウンドにおける同一又は対応する位置へマッピングする線形写像が確立される。実際には、後に続くラウンドにおけるスライド配置は、位置の不確定性が視野のサイズより小さくなるように、十分良好に制御できると仮定することができる。例えば、スライド位置は、撮像システムの視野の１／３の範囲内で複製できると仮定することができる。

これは、特定の実施形態では、現在の画像収集ラウンドの視野画像４２を取得し、現在のラウンドのそれぞれの視野画像４２をベースライン即ち初期ラウンドからの対応する視野画像４２に位置合わせすることにより、達成することができる。一実施形態では、位置合わせアルゴリズムは、回転及び平行移動を許容する。１つのそのような例では、アルゴリズムは、回転角度θ、スケール係数ｓ及び平行移動（Δｕ，Δｖ）を読み出し、これらは構成された場合に、それぞれのベースライン視野画像を現在の視野画像の対応する位置へマッピングする。戻された回転及びスケールが比較的短いベースラインで生成され得るので、特定の実施態様では、これらの値は無視又は破棄することができる。

例として、回転角度、スケール係数及び平行移動は、いくつかの実施形態では、図８に示す計算により取得することができる。この例では、所与の視野のベースライン画像１６０及び同じ視野の対応する現在の画像１６２を別々にフーリエ変換して（ブロック１６４、ブロック１６６）、周波数領域画像を生成する。回転及びスケールを決定するための最初の計算では、フーリエ変換された両方の画像の振幅が成分ごとに抽出され（ブロック１６８）、得られた実画像は対数極座標変換され（ブロック１７０）、対数極座標画像は別々にフーリエ変換される（ブロック１７２）。得られた画像は、成分ごとに乗算され（ブロック１７４）、逆フーリエ変換されて（ブロック１７６）、座標軸が回転及び対数（スケール）であって、その値が所与の回転及びスケールで達成された相関である実画像が得られる。アルゴリズムは、相関（物理的に妥当なものに値を制限する）を最大にする回転及びスケール１７９を抽出する（ブロック１７８）。

第２の段階では、アルゴリズムは、計算された量だけベースライン画像１６０のフーリエ変換を回転しスケーリングして（ブロック１８０）（又は別の実施形態では、現在の画像１６２のフーリエ変換を負の量だけ回転させ、それを逆の量だけスケーリングして）、予め回転され予めスケーリングされた周波数領域画像を得る。平行移動は、図５のものと同一のアルゴリズムを使用して計算され、クロスパワー相関は、周波数領域で計算される（ブロック１８２）。得られた画像は逆変換され（ブロック１８４）、相関関数の最大が見いだされる（ブロック１８６、１８８）。最大１９０の偏角は、平行移動しなければならない画素数を与え、最大値１９２は、位置合わせの品質の指標である。

以上一般化された概要及び実施例を念頭に置くと、一実施形態では、このアルゴリズムは、複数の点（例えば、２、３、４、５、７、１０又は任意の他の適切な数の点）における変位Δｕ及びΔｖを取得し、各点は視野画像４２内の点（例えば中心点）に対応する。一例では、点の分離は、実現可能な範囲で、軸に沿って最大化される。例として、図６を参照すると、一実施態様では、５点を選択することができる。例えば、（ａ）ベースライン即ち最初の撮像ラウンドにおいて最良の画像品質を有する視野（この点が十分な相関をもたらすことがない場合には、次に良い相関を選択する）、（ｂ）（ａ）点からのユークリッド距離が最も遠く、初期即ちベースラインラウンドにおいて十分な画像品質を有する点（この点が十分な相関をもたらすことがない場合には、次に遠い点を選択する）、（ｃ）点（ａ）及び点（ｂ）を結ぶ線１２０への正射影が可能である点（相関が不十分な場合には、次に良い点に行く）、（ｄ）点（ｂ）及び点（ｃ）を結ぶ線１２２の左側でできるだけ遠い点（相関が不十分な場合には、次に良い点に行く）、並びに（ｅ）点（ｂ）及び点（ｃ）を結ぶ線１２２の右側でできるだけ遠い点（相関が不十分な場合には、次に良い点に行く）である。このような実施態様では、点（ｂ）、点（ｃ）は、１つの軸（即ち、線１２２）上で可能な最大の分離を達成し、点（ｄ）、点（ｅ）は、第１の軸に垂直な別の軸上で最大の分離を達成する。実際には、２つの点は、スライド２８の平行移動及び回転を決定するのに実際に十分であり、２つより大きな任意の数の点は、回転及び平行移動の重複決定を可能にすることができる。

以上の議論で述べた画像品質の決定に関しては、動作中に、ブレナー勾配などの適切な尺度及び閾値若しくはカットオフ基準を用いて、画像品質を定量的に評価することができる。例えば、「適切な」画像品質は、上記の例では、点（ａ）の視野のブレナー勾配の少なくとも０．１倍のブレナー勾配を有するように指定することができる。同様に、２つの点が「適切に」又は「十分に」位置合わせされているという判断は、定量的で閾値のある基礎に基づくことができる。例えば「適切な」位置合わせは、少なくとも０．００５のゼロ平均正規化クロスパワー相関係数が得られる当該２つの位置合わせされた点として動作的に定義することができる。理解されるように、他の好適なメトリック及び／又は閾値を用いてもよい。

図７を参照すると、上記の例は、フローチャート１４０に示すように一般化することができる。図７に示すステップでは、染色剤の第１のセットを洗い落として、染色剤の第２セットを適用した後などに、スライド２８は撮像システムステージ２２上で交換される（ブロック１４２）。視野画像４２ａのサブセットは、撮像しようとする全領域（例えば、試料２４の領域）に対して典型的に離間されている限られた数（例えば、２つ以上、３つ以上、４つ以上又は５つ以上）の点を中心として取得される（ブロック１４４）。視野画像４２ａのサブセットの各々は、対応するベースライン視野画像４２ｂのと比較される（ブロック１４６）。これらの比較に基づいて、平行移動（即ち、（Δｕ，Δｖ））１４８、回転（θ）１５０及びスケール調整１５２を、初期及び後続の画像セットに対して導出することができる。このようにして、異なる撮像ラウンドからの対応する視野画像のサブセットの中心点をマッピングし、それぞれの対応物に対して整列させて、ベースライン撮像ラウンドから現在の撮像ラウンドへの視野中心点のそれぞれの平行移動を得ることができる。一実施形態では、アライメント操作は、対数極座標内のフーリエ変換を相関させることによって行われる。

したがって、視野ｉごとに、点（Δｕ_i、Δｖ_i）を特徴付けることができ、これは対応するベースライン即ち初期ラウンドの視野からのオフセットである。更に、回転θ及びスケール係数ｓを以下のように決定することもできる。

現在の視野画像の中心

は、対応するベースライン視野画像において

にマッピングし、或いはスライド座標において

にマッピングする。

すべての点対の比較（例えば、この例では５つの点対）が算出されると、以下の式が知られる。

ここで、（ｘ_i，ｙ_i）は、画像収集のベースラインラウンドにおける視野ｉの中心の座標であり、（ｘ’_i，ｙ’_i）は、画像収集の現在のラウンドで取得した視野ｉの対応する中心のスライド座標である。このデータに基づいて、ベースラインラウンドにおいて（ｘ，ｙ）で取得した視野について、どのような位置

が現在のラウンドにおける同一視野に対応するかを解くために、線形変換を構成することができる。即ち、変換行列

により、最小二乗の意味で次式を得る。

ここで、

最小二乗問題として表現すると、これは以下のようになる。

ここで、

及び

この変換行列は、対応するベースライン視野画像と最大の重なりが得られるように、現在の撮像ラウンドにおいて視野画像４２を取得する位置のセットを提供する。変換行列は、スライド２８の回転の推定値を提供し、したがって、スライド２８に対して見た個々の視野の回転の推定値を提供する。

この自動アライメント手順に基づいて、撮像システム１０は、初期又はベースライン視野画像と最大に重なる正しい位置

における現在のラウンドの視野画像の完全なセットを取得するように進めることができる。一実施態様では、所与の視野画像４２が取得されると、視野画像は−θの角度だけ回転され（即ち、前のステップで予め計算された回転）、平行移動だけを考慮して、対応するベースラインラウンドの視野画像に位置合わせされる。このような実施態様における予め計算された回転の使用は、一定の利点をもたらすことができ、この利点としては、１）取得した現在の視野画像及び対応する視野画像に基づいて別々に回転について解くよりも、３倍から５倍高速になること及び２）予め計算された回転は、（単一の視野画像に対して）長いベースラインにわたって計算され、したがってジッタや不要な数値的アーチファクトの影響を受けにくいことが挙げられる。位置合わせのために算出された平行移動（Δｕ，Δｖ）、θの回転及びベースラインラウンド画像の視野変換は、視野画像４２の現在のラウンドの視野変換を得るために構成する。

以上を念頭に置くと、所与の撮像ラウンドにおいて取得した視野画像４２を縫合して、その撮像ラウンドの複合画像８４を形成することに関して、複合画像８４の画素（Ｕ，Ｖ）をサンプリングすることは、それぞれの視野画像４２の画素

をサンプリングすることを意味する。この関係を用いて、後に続く撮像ラウンドにおける視野画像及びそれらのラウンドについて生成された複合画像が生成され、互いに参照（即ち、位置合わせ）されて、異なる画像収集ラウンドで撮像された、異なる染色をされた試料領域の直接的な比較を可能にすることができる。

動作性能に関して、蛍光画像収集が行われる実施態様では、露光時間が、非ベースラインラウンドにおける予め回転された視野画像とベースラインラウンドからの対応する視野画像との位置合わせが画像収集処理と重なり合う可能性があるほど十分に高くなる場合がある。しかし、他の撮像プロトコル（例えば、明視野撮像）は、より早く生じる（即ち、短い露光時間を有する）場合があり、したがって、より特化した処理コンポーネント（例えば、ＧＰＧＰＵ、ＦＰＧＡ、ＦＦＴコア等）の使用により、収集ステップと位置合わせステップとの間の重なりを可能にするように恩恵を受けることができる。更に、位置合わせステップの後では最終的な画像座標が分かっているので、特定の実施態様では、複合画像８４を形成するための視野画像４２の縫合はまた、非ベースライン画像の収集ラウンドで走査を重ね合わせることが可能である。このような実施態様では、走査処理は、Ｙ方向順に視野画像を取得することができ、視野の最大Ｙ変位を考慮するためのロジックを用いて、所与の走査線の混合を開始することができる時を決定することができる。

更に、本明細書で説明する自動アライメント手順では、開示した対数極座標高速フーリエ変換演算は、平行移動及び回転だけでなく、スケールも処理することができるが、この演算が適するスケールの範囲は、狭く（例えば、２倍）なり得ることに留意されたい。したがって、異なる顕微鏡対物レンズ（即ち、異なった倍率）で取得した画像を位置合わせする実施態様では、同じ倍率で自動アラインメント手順を実行することが有用であり得る。或いは、より高い倍率の画像を間引いて、窓関数を適用してもよい。結果として得られた画像は、より低い倍率の画像のサイズまでゼロパディングすることができ、得られた平行移動を補償するように画像変換行列を調整し、その結果をスケーリングすることができる。

本発明の技術的効果は、複数の視野にわたって取得した画像をスライドの単一の大きな画像に融合することを含み、１つの撮像ラウンドで取得した画像を他の撮像ラウンド中に取得した画像に画素まで正確に位置合わせすることを提供する。画素までの正確な位置合わせは、スライドの配置に関係する不確定性、ステージの振れ及び位置ずれ、ステージ軸の非直交性、カメラのステージに対する位置ずれ、並びに光学縦列の円筒状歪みにもかかわらず達成される。

この明細書は、本発明を開示するために実施例を用いており、最良の形態を含んでいる。また、いかなる当業者も本発明を実施することができるように実施例を用いており、任意のデバイス又はシステムを製作し使用し、任意の組み込まれた方法を実行することを含んでいる。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が想到するその他の実施例を含むことができる。このような他の実施例が請求項の文字通りの言葉と異ならない構造要素を有する場合又は、それらが請求項の文字通りの言葉と実質的な差異がなく等価な構造要素を含む場合には、このような他の実施例は特許請求の範囲内であることを意図している。

Claims (20)

1. 画像を位置合わせするためのコンピュータ実装方法であって、
   ステージに配置されたスライド上の試料の画像の第１のセットであって、各画像が異なる視野で得られた、画像の第１のセットを取得するステップと、
   複合画像を形成するために、第１のセットの画像を互いに位置合わせすることによってグローバル変換行列を生成するステップと、
   スライドがステージから取り除かれて交換された後に、スライド上の試料の画像のサブセットであって、第１のセットの画像数より少ない、画像のサブセットを取得するステップと、
   平行移動、回転及びスケール係数を決定するために、サブセットの各画像を画像の第１のセットのうちの対応する画像と位置合わせするステップと、
   画像の第１のセットを取得するために用いられた視野と同一のそれぞれの視野で試料の画像の第２のセットを取得するステップと、
   画像のサブセットについて決定された回転及びスケール係数を用いて、画像の第２のセットの各画像を回転させてスケーリングするステップと、
   第１のセットの対応する画像に、第２のセットの回転されてスケーリングされた画像を位置合わせするステップとを含む、コンピュータ実装方法。
2. 画像の第１のセットの各画像は、第１のセットの１以上のそれぞれの隣接する画像に重なり合う、請求項１に記載のコンピュータ実装方法。
3. 画像の第１のセット及び画像の第２のセットは、空間的位置の一様なグリッド上で得られる、請求項１に記載のコンピュータ実装方法。
4. 画像の第１のセット、画像のサブセット及び画像の第２のセットは、デジタル顕微鏡システムを用いて取得される、請求項１に記載のコンピュータ実装方法。
5. 試料は、ステージ上で交換される前に、異なって染色される、請求項１に記載のコンピュータ実装方法。
6. グローバル変換行列は、試料が複合画像及び第１のセットのそれぞれの個々の画像の両方に配置される、スライドからの座標をマッピングする、請求項１に記載のコンピュータ実装方法。
7. サブセットの各画像は、対数極座標高速フーリエ変換を用いて、画像の第１のセットの対応する画像と位置合わせされる、請求項１に記載のコンピュータ実装方法。
8. 第１のセットの対応する画像に、第２のセットの回転されてスケーリングされた画像を位置合わせするステップは、更なる回転又はスケーリングを行わずに、第２のセットの回転されてスケーリングされた画像を平行移動するステップを含む、請求項１に記載のコンピュータ実装方法。
9. 画像解析システムであって、
   １以上のルーチンを記憶するメモリと、
   メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントとを含み、
   処理コンポーネントによって実行された場合に、１以上のルーチンは、
   試料から取得した画像の限定されたセットと前に取得した試料の画像の完全なセットとのアライメント操作であって、画像の限定されたセットを画像の完全なセットの対応する画像と関係づける少なくとも回転を生成するアライメント操作を実行することと、
   回転によって、後に取得した画像の完全なセットを回転させることと、
   後に取得した画像の完全なセットの回転された画像を平行移動して、回転された画像を、前に取得した画像の完全なセットの対応する画像と位置合わせすることとを含む処理を実行させる、画像解析システム。
10. 画像の限定されたセットは、試料の３つ、４つ又は５つの画像を含む、請求項９に記載の画像解析システム。
11. アライメント操作は、対数極座標高速フーリエ変換を含む、請求項９に記載の画像解析システム。
12. アライメント操作はスケール係数も生成し、後に取得した画像の完全なセットは、平行移動に先立ってスケール係数によってスケーリングされる、請求項９に記載の画像解析システム。
13. 後に取得した画像の完全なセットの各画像は、前に取得した画像の完全なセットのそれぞれの画像に対応する、請求項９に記載の画像解析システム。
14. 処理コンポーネントによって実行された場合に、１以上のルーチンは、
    前に取得した画像の完全なセット又は後に取得した画像の完全なセットから、少なくとも１つの複合画像を生成して表示することを含む処理を実行させる、請求項９に記載の画像解析システム。
15. デジタル顕微鏡撮像システムであって、
    スライドを保持するように構成されたステージと、
    スライドが存在する場合に、スライドの一部分の画像を取得するように構成された対物レンズ及びイメージセンサと、
    撮像プロトコルに従って、対物レンズ及びステージの一方又は両方を互いに移動するように構成された位置コントローラと、
    位置コントローラ及びイメージセンサの一方又は両方の動作を制御するように構成されたコントローラと、
    １以上のルーチンを記憶するメモリと、
    メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントとを含み、 処理コンポーネントによって実行された場合に、１以上のルーチンは、
    スライドの少なくとも一部の画像の第１の完全なセットであって、各画像が少なくとも１つの隣接する画像と重なり合う、画像の第１の完全なセットを取得することと、
    スライドがステージから取り除かれて交換された後に、スライドの少なくとも一部の画像の第２の完全なセットを取得することと、
    画像の第２の完全なセットの画像を所定の角度だけ回転させて、予め回転された画像のセットを生成することと、
    予め回転された画像を平行移動して、予め回転された画像を画像の第１の完全なセットの対応する画像に位置合わせすることを含む処理を実行させる、デジタル顕微鏡撮像システム。
16. 画像の第１の完全なセット及び第２の完全なセットは、一様なグリッド上で取得される、請求項１５に記載のデジタル顕微鏡撮像システム。
17. 処理コンポーネントによって実行された場合に、１以上のルーチンは、
    予め回転された画像を平行移動することに先立って、所定のスケール係数によって画像の第２の完全なセットの画像をスケーリングすることを含む更なる処理を実行させる、請求項１５に記載のデジタル顕微鏡撮像システム。
18. 処理コンポーネントによって実行された場合に、１以上のルーチンは、
    スライドがステージから取り除かれて交換された後に、スライドの画像の限定されたセットを取得することと、
    画像の第１の完全なセットの対応する画像に画像の限定されたセットを位置合わせすることによって、所定の角度を算出することとを含む更なる処理を実行させる、請求項１５に記載のデジタル顕微鏡撮像システム。
19. 画像の限定されたセットは、３つ、４つ又は５つの画像を含む、請求項１８に記載のデジタル顕微鏡撮像システム。
20. 所定の角度は、対数極座標高速フーリエ変換を用いて算出される、請求項１８に記載のデジタル顕微鏡撮像システム。