JP2016514868A - 顕微鏡画像の画像品質評価 - Google Patents

Abstract

デジタル顕微鏡により取得された画像などの、連続して取得された画像の位置合わせ品質、フォーカス、及び領域欠陥の自動化された評価が開示される。一実施形態では、取得された画像が位置合わせされ、位置合わせ処理によって生成された性能指数に基づいて、画像全体の欠陥が自動的に検出される。関連する実施態様では、異なる撮像ラウンドで取得された画像の局所的な画像領域における相関を算出することにより、領域欠陥を自動的に検出することができる。【選択図】図１

Description

本明細書に開示される発明の主題は、顕微鏡画像の品質を評価することに関する。

癌、感染症、生理学的障害などの様々な生理学的状態についての検出及び監視は、部分的には、患者からの生体試料の解析に基づくことができる。例えば、試料は、疾患又は障害を示し得る細胞及び／又は生体の異常な数若しくはタイプの存在を検出するために分析することができる。様々なタイプの顕微鏡が、このような解析に用いることができる。更に、様々な染色及び染色プロトコルは、この分析の一部として用いることができ、疾患又は障害の検出又は診断の助けになり得る種々の構造、化学薬品、又は環境の可視化を可能にすることができる。

このような病理学的又は組織学的試料の分析を容易にするために、画像収集処理の様々な態様を自動化する自動顕微鏡システムが開発されている。特に、デジタル光学顕微鏡は、このような自動化されたシステムで用いることができ、各収集のためにデジタル画像出力を提供することができる。特定のこのようなシステムは、走査顕微鏡を用いて、変位された画像のシーケンスを取得し、互いに関係づけて（例えば、「タイルを張って」又は「縫い合わせて」）、関心のある試料領域の複合体を形成する。例えば、病理学的及び組織学的撮像操作の状況では、組織試料スライドを撮像して、高倍率及び／又は高解像度で小さな隣接又は重複する領域のデジタル画像を取得することができる。それから、隣接又は重複する画像は、結合されるか、又は関連づけられて、デジタル表示装置上でナビゲートできるより大きい画像を形成することができる。このようにして、試料の複合又はモザイク画像を生成し、表示し、検査者によってナビゲートすることができる。

特定の例では、一連の画像（例えば、免疫組織化学的画像）は、撮像の各ラウンドで組織の組織学的試料上の異なるバイオマーカーを用いて同じ試料から取得することができる。例えば、そのような技術の１つは、直接標識蛍光抗体が組織に適用されるシリアル染色の原理に基づいて機能し、いくつかの蛍光チャネルで画像が取得され、それから抗体上の蛍光標識は化学漂白処理により消去される。染色、撮像、及び漂白は、数十回繰り返され、同じ組織試料において、おそらく５０又は１００のバイオマーカーの画像を得ることができる。

しかし、多数のバイオマーカーの画像を取得する能力によって、多数の画像が取得されることになる。例えば、１００人の患者からの試料について取得された３０フィールド分のビューの２０のバイオマーカーの研究によって、６００００枚の画像を得ることができる。理解されるように、これらの画像のうちのいくつかは、技術的な障害又は他の欠陥を有しており、一般的な障害についての画像の目視検査は、非常に手間のかかる処理であり得る。

米国特許出願公開第２００４／２１８８１５号明細書

一実施形態では、画像品質を評価するためのコンピュータにより実施される方法が提供される。本方法は、第１の画像と第２の画像を取得するステップを含む。第１の画像及び第２の画像の少なくとも一部は重なり合う。第１の画像及び第２の画像を関係づける回転及びスケールが決定される。第１の画像のそれぞれのフーリエ変換は、第２の画像のそれぞれのフーリエ変換に対応するように、回転されスケーリングされる。それぞれの第１の画像及び第２の画像の平行移動は、第１の画像及び第２の画像の、回転され、スケーリングされたフーリエ変換に基づいて決定される。第１の画像及び第２の画像の位置合わせの品質を定量化するスコアが決定される。

更なる実施形態では、画像解析システムが提供される。画像解析システムは、１以上のルーチンを記憶するメモリと、メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントと、を含む。１以上のルーチンは、処理コンポーネントによって実行された場合に、第１の画像及び第２の画像の少なくとも一部が重なり合う、第１の画像及び第２の画像を取得するステップと、第１の画像及び第２の画像を関係づける回転及びスケールを決定するステップと、第２の画像のそれぞれのフーリエ変換に対応するように、第１の画像のそれぞれのフーリエ変換を回転してスケーリングするステップと、第１の画像及び第２の画像の、回転され、スケーリングされたフーリエ変換に基づいて、それぞれの第１の画像及び第２の画像の平行移動を決定するステップと、第１の画像及び第２の画像の位置合わせの品質を定量化するスコアを決定するステップと、を含む処理を実行させる。

追加の実施形態では、領域欠陥を検出するためのコンピュータにより実施される方法が提供される。本方法は、第１の画像の画素毎に、比較領域を決定するステップを含む。各比較領域と第２の画像の対応する領域との間の相関が実行される。各画素と関係するそれぞれの比較領域と第２の画像の対応する領域との間のそれぞれの相関に基づいて、第１の画像の画素毎にスコアが生成される。画素毎のスコアは、それぞれの画素における第１の画像内の欠陥の尤度に対応する。

別の実施形態では、画像解析システムが提供される。画像解析システムは、１以上のルーチンを記憶するメモリと、メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントと、を含む。１以上のルーチンは、処理コンポーネントによって実行された場合に、第１の画像の画素毎に、比較領域を決定するステップと、各比較領域と第２の画像の対応する領域との間の相関を実行するステップと、各画素と関係するそれぞれの比較領域と第２の画像の対応する領域との間のそれぞれの相関に基づいて、第１の画像の画素毎にスコアを生成するステップと、を含む処理を実行する。画素毎のスコアは、それぞれの画素における第１の画像内の欠陥の尤度に対応する。

本発明のこれらの、並びに他の特徴、態様及び利点は、添付の図面を参照しつつ以下の詳細な説明を読めば、よりよく理解されよう。添付の図面では、図面の全体にわたって、類似する符号は類似する部分を表す。

本開示の態様による、デジタル光学顕微鏡システムなどの撮像システムのブロック図である。 本開示の態様による、別々の重なり合った視野画像が取得され得る重なり合った画像領域を有するように試料が配置されたスライドの平面図である。 本開示の態様による、複数の画像収集ラウンドの撮像プロトコルにおけるスライド処理に関係するステップのフローチャートである。 本開示の態様による、位置合わせステップ並びに平行移動及び性能指数の導出のためのフローチャートである。 本開示の態様による、位置合わせ及び焦点検出のための受信者操作特性（ＲＯＣ）曲線を示す図である。 本開示の態様による、領域検出のためのＲＯＣ曲線を示す図である。 本開示の態様による、図６のＲＯＣ曲線下の面積を、解析された画素のアレイのサイズの関数として示す図である。

自動化され多重化されたスキャニング装置（免疫組織化学的研究で用いられ得るような）によって生成された多数の画像は、撮像不良、すなわち焦点及び位置の著しい不良、並びに損傷を受けた組織及び異物などの部分画像アーチファクトの両方の手動検出を、実行不可能ではなくても困難にする。このように、撮像不良の検出を自動化することが望ましい。これを念頭において、本方法は、一実施形態では、フーリエ領域における形状保存変換を用いて画像を位置合わせし、位置合わせ操作の性能指数に基づいて像全体の欠陥を検出し、画像の局所領域の相関を計算することによって、部分画像欠陥を検出する受信者パイプラインを記述する。ここで論じるように、本方法によれば、画像の最も一般的な問題は、自動検査によって識別することができる。それから欠陥画像（又は画像の一部）を統計解析から除外して、異常値によってデータを汚染することを回避することができる。受信者操作特性（ＲＯＣ）の研究はまた、開示されたアルゴリズムが、定量化の前に不良データを廃棄するための管理されない分類器として、それを用いることを考慮するのに十分に頑強であることを実証するために行われている。

以上の議論を念頭に置いて、図１は、本開示の態様に従って用いることができる、デジタル光学顕微鏡などの撮像システム１０の一実施形態を示す。図示する撮像システム１０は、対物レンズ１２、イメージセンサ１６、コントローラ２０、及び走査ステージ２２を含む。図示する実施形態では、カバースリップ２６とスライド２８との間に試料２４が配置される。試料２４、カバースリップ２６、及びスライド２８は、走査ステージ２２上に配置される。カバースリップ２６及びスライド２８は、ガラスなどの透明材料で形成してもよい。特定の実施形態では、撮像システム１０は、自動化されたスライドスキャンシステムの一部であってもよく、供給マガジンから１枚ずつ撮像するために、スライドを供給し装填することができる自動スライド供給機を含むことができる。

特定の実施形態では、試料２４は、生体試料、例えば病理学的又は組織学的技術を用いて分析するための組織試料などであってもよい。他の例では、試料２４は、産業用対象物、例えば集積回路チップ又はマイクロ電気機械システム（ＭＥＭＳ）などであってもよい。例えば、このような試料は、平均して約５ミクロンから約７ミクロンまでの厚さを有してもよく、数ミクロンだけ変化してもよい。また、このような試料の例は、約１５ｍｍ×１５ｍｍの横方向表面積を有してもよい。

実際には、対物レンズ１２は、Ｚ（垂直）方向の光軸に沿って試料２４から分離され、スライド２８と同一平面のＸ−Ｙ平面に焦点面を有する。対物レンズ１２は、特定の視野において試料２４を透過した、又は試料２４によって反射した光３０を収集して、光３０をイメージセンサ１６に導く。本明細書で使用される「光」という用語は、人間の目に見えるか見えないかに関わらず、撮像動作の対象である任意の特定の波長又は波長の範囲（すなわち、スペクトル）を包含する。一実施形態では、イメージセンサ１６は、一次光路３２に基づいて画像を取得する時に、各視野に対応する試料２４の１以上の画像を生成する。特定の実施形態では、イメージセンサ１６は、市販の電荷結合素子（ＣＣＤ）をベースとするイメージセンサなどの、任意の好適なデジタル撮像装置であってもよい。

システム１０に用いられる対物レンズ１２は、撮像される試料の特徴の用途及びサイズなどの考慮事項に基づいて、倍率を変化させることができる一実施形態では、対物レンズ１２は、２０×又はそれ以上の倍率を提供し、０．５又は０．５より大きい開口数を有する（焦点深度が小さい）高性能対物レンズであってもよい。理解されるように、他の実施形態では、対物レンズ１２は、異なる倍率を提供してもよく、及び／又は、より大きい若しくはより小さい開口数を有してもよい。例えば、一実施形態では、対物レンズ１２は、試料２４からＺ方向に約２００ミクロンから約２、３ミリメートルの範囲の距離だけ間隔を置いて配置することができ、焦点面に７５０μ×７５０μの視野からの光３０を収集することができる。理解されるように、用途に応じて、作業距離、視野、及び焦点面は、システム１０の構成及び／又は撮像される試料２４の特性に応じて変化することができる。更に、本明細書で説明するように、試料２４について複数の画像を順次収集できるような、撮像処理の態様が自動化された実施形態では、システム１０は、微細なモータ制御及び対物レンズ１２の迅速な小さい視野調整を提供するための、並びに／又はスライド２８若しくはスライド２８が配置される走査ステージ２２を調整するための、圧電アクチュエータなどの位置コントローラ１４を含むことができる
撮像プロトコル又は用途に応じて、撮像システム１０は、明視野、位相コントラスト、微分干渉コントラスト及び蛍光を含む多種多様な撮像モードの１つ又は複数を用いて、試料２４を照明することができる。したがって、光３０は、明視野、位相コントラスト又は微分干渉コントラストを適用して試料２４を透過し、又はそこから反射してもよく、あるいは、光３０は、（蛍光標識又は真性）蛍光撮像を適用して試料２４から出射してもよい。更に、光３０は、透過照明（光源及び対物レンズ１２が試料２４の反対側にある）又は落射照明（光源及び対物レンズ１２が試料２４の同一側にある）を用いて提供されてもよい。したがって、理解されるように、撮像システム１０は、特定の実施形態では、光源（高輝度ＬＥＤ又は水銀若しくはキセノンアーク灯又はハロゲン化金属ランプ）を含んでもよい。

上述したように、一実施形態では、撮像システム１０は、高速撮像システムとして構成されてもよい。このような高速システムは、試料２４の多数のデジタル画像を迅速に取り込むように構成することができ、各画像は試料２４の特定の視野に対応する。特定の用途では、１つの画像に関係する特定の視野は、試料２４全体の限られた部分のみを表してもよい。更に、画像のシーケンスに関係するそれぞれの視野は、互いに隣接していてもよいし、あるいは互いに重なっていてもよい。このような実施形態の一例では、スライド２８は隣接する又は重なった領域で繰り返し撮像されるか、あるいは走査掃引により画像収集領域、すなわち視野を通過する。このような一実施形態では、１つの画像が取得され、隣接する又は重なった領域が視野内に入る位置までステージ２２がＸ方向及びＹ方向に前進し、そして別の画像が取得される。

更に、ここで説明するように、特定の収集シーケンス（試料２４が所与の染料で染色されて取得された一連の画像など）に関係する一組のデジタル画像は、デジタル的に結合され、又は縫合されて、試料２４全体のデジタル表現、すなわち、複合又はモザイク画像又はキャンバスを形成することができる。一実施形態では、撮像システム１０は、複数の取得した画像だけでなく、取得した画像を用いて生成された複合若しくはモザイク画像を、データレポジトリ３４及び／又はメモリ３８に記憶することができる。

本実施形態に示すように、撮像システム１０はまた、自動化された撮像プロトコルの実行及び／又は撮像システム１０によって取得された画像データの処理を容易にすることができる例示的な処理サブシステム３６を含むことができる。例えば、処理サブシステム３６は、一連の取得した画像に基づいて複合画像を合成するように、及び、試料２４が異なる化合物で染色された後などの同じ試料２４について生成された他の画像又は複合画像に対して参照又は位置合わせ操作を実行するように、構成することができる。処理サブシステム３６はまた、表示装置（すなわち、画面又はモニタ）と通信して、取得した画像又は取得した画像を用いて生成された複合画像を表示させる。図示する例では、メモリ３８は処理サブシステム３６とは別のものとして示しているが、特定の実施形態では、処理サブシステム３６及びメモリ３８は、一緒に、すなわち、単一又は同一の広がりをもつコンポーネントとして設けられてもよい。加えて、本実施例では、処理サブシステム３６はコントローラ２０とは別のコンポーネントとして示しているが、他の実施形態では、処理サブシステム３６は、コントローラ２０と結合されてもよいし、あるいはコントローラ２０として機能してもよい。

更に、特定の実施形態では、撮像システム１０は、異なる時刻又は撮像ラウンド、あるいは異なる画像において取り込まれた試料２４の複数の取得した画像についての定量的特性を決定するために使用できることを理解されたい。特定の状況では、このような性能指数は、本明細書で議論するように、位置合わせ又はフォーカスの品質の指標として用いることができ、これにより、視野画像を再取得するべきか（異なる自動フォーカスアルゴリズムを使用するなどして）、あるいは許容可能な位置合わせを達成するために追加の視野画像が必要かどうかを決定するために用いることができる。

以上を念頭に置いて、図１に関して説明したように、図２は、撮像システム１０を用いて画像収集されるスライド２８上の試料２４を示す。この例では、画像４２のグリッド又はアレイは、１組の重複する視野について取得され、各画像４２はスライド座標の特定の組における個別の画像収集に対応する。各画像取得の間に、スライド２８又は撮像対象の一方又は両方は、次のスライド位置での画像収集ができるように移動する。図２に示す例では、それぞれの画像４２は、１以上の縁部４０において互いに重なり合っている。画像４２の縁部４０における重なりによって、ここで説明するように、画像４２の位置合わせが複合又はモザイク画像を生成することができる。

本明細書で述べるように、スライド２８が定期的に走査ステージ２２から除去され、複数画像収集プロトコルの一部として置き換えられる特定の撮像状況では、問題が生じる場合がある。例えば、所与の試料２４が複数の染色操作を受けて、新たな染色又は染色の組を適用した後に試料２４の画像が取得される、組織学的又は病理学的状況において、そのような問題が生じる場合がある。例えば、バイオマーカーの空間的分布が生体試料にプロファイルされる用途では、図３のフローチャート４８に示すように、複数ステップ処理を用いることができる。このような例では、試料２４を有するスライド２８が１以上の薬剤（特定のバイオマーカーを標識する１以上の蛍光標識剤など）で最初に染色される（ブロック５０）。

それから、スライド２８は、撮像システム１０のステージ２２に置かれ（ブロック５２）、複数の異なる位置で画像４２が取得される（ブロック５４）。一実施形態では、取得した画像４２は重複する視野に対応し、取得した画像は、本明細書で説明するように、５％、１０％、又は他のいくらかの適切なオーバーラップ領域で重なり合う。この例では、画像収集の現行のラウンドに関係する染色について画像４２が取得されると、スライド２８がステージ２２から除去され（ブロック５６）、カバースリップ２６がスライド２８から除去され（存在する場合）、試料２４上に存在する染料の１つ又は複数が、試料から蛍光標識を漂白することなどにより除去される（ブロック５８）。特定の実施態様では、他の染料がステップ５８で除去された後であっても、染料又は薬剤が残存する場合がある。このような実施態様では、残存する染料又は薬剤はすべての画像収集ラウンドに共通である場合があり、撮像ラウンド間の共通の又は基準の染料として使用することができる。更に、特定の実施態様では、カバースリップ２６は、染料を除去した後に（例えば、漂白された試料上で）スライド２８上で交換されて、自動蛍光除去のために画像を取得するために再撮像されてもよい。

実行されるべき更なる画像収集がない場合（ブロック６０）には、画像収集処理を終了する（ブロック６２）。しかし、標識された試料２４の追加の画像４２を取得する場合には、撮像の次のラウンド（ブロック６４）で使用される染料（例えば、蛍光標識剤の異なる組）が取得され、試料２４に適用される（ブロック５０）。それから、新たに標識されたスライド２８がステージ２２上で交換され、撮像処理を繰り返す（ブロック５２）。この画像収集処理は、必要に応じて何回でも（例えば、５、１０、１２、１５、２０回又は必要に応じて何回でも）繰り返して、バイオマーカーの所望のプロファイルを得ることができる。

上述したように、レビューを自動化することは有用であり得て、及び／又は取得した画像の解析は、そのようなシリアル染色処理である。これに留意して、取得した画像を不適切なものにするおそれがある画像不良の様々な原因を説明することは、最初に有用であり得る。例えば、撮像不良の原因は、４つの主要な領域にグループ分けすることができる。すなわち、位置ずれ（顕微鏡が正しい視野を取得していなかったか、あるいは自動化された画像位置合わせが他の染色ラウンドとの画像の位置合わせに失敗したかのいずれか）、フォーカス（画像の全体又は一部のピントがぼけた状態で取得された）、露光（画像が露光不足又は飽和）、及び組織の欠陥領域（消失又は損傷した組織、装着媒体中の気泡、及び視野内の異物）である。これら４つの原因のうち、本方法は、位置ずれ、フォーカス不良、組織の欠陥領域に起因する画像欠陥の検出に特に有用である。

以上を念頭に置いて、特定の実施形態では、自動化された方法が画像品質を評価するために提供される。更に、本明細書で説明するように、本方法の試験の例は、本方法の説明を容易にするために記載されている。これらの試験で使用した材料について、撮像が全体的に失敗した場合（例えば、位置ずれ又はフォーカス不良による）、あるいは、すすぎ及び再染色処理に起因する組織損傷などによる領域欠陥があった場合に、数百枚の視野画像を分析のために利用することができる。特定の実験では、各視野は、各染色ラウンドにおいて、持続的な染色を示す、すなわち漂白処理による影響をほとんど受けない１枚の画像を含んでいた。この画像は、各ラウンドにおいて実質的に同一に見えるビューを提供した。このビューは、位置合わせのための基準を提供した。異なる色の２つの異なる染色ラウンドからのこのビューを重ね合わせることで、画像品質及び位置合わせの両方の非常に迅速な目視検査を行った。

更に、試料材料に関しては、画像全体の欠陥について、問題のあることが知られた研究から約６０００枚の画像のサブセットを目視で検査し、２つのビン、すなわち「良好」（画像のフォーカスが合って、正しく配置されたことを意味する）と「不良」（画像のフォーカスが外れたか、又は位置がずれたことを意味する）とに分割した。画像は、２つの異なる製造業者の顕微鏡で取得され、非常に異なる視覚的テクスチャ（ヒトの前立腺、ヒトのグリア芽細胞腫）を表示する２つのタイプの組織を含んでいた。これらの画像は、本明細書で説明するように、位置及び焦点の検出のための試験セットとして役立った。

領域欠陥については、画像のより小さなサブセットを、高い欠陥率を経験した染色の２つのラウンドから抽出した。また、これらの画像は、異なる機器で取得され、異なる組織タイプを含んでいた。それらは、１２枚の画像のトレーニングセット及び６０枚の画像の検証セットにランダムに分割された。すべての７２枚の画像は、彩色プログラムにロードし、人間の観察者が「不良」と判断した領域には赤色で、人間の観察者が「背景」であると判断した領域には黒色でオーバーレイすることにより、領域欠陥について記録された。

本明細書に開示するように、取得した画像の位置合わせ、フォーカス、及び領域品質を定量化するシステムが提供される。議論する例では、上述のトレーニングセットは、システムの性能を検証するためにグラウンドトルースを提供するために使用した。

位置合わせ及びフォーカスを評価する際に用いられる本アルゴリズムを参照すると、顕微鏡を用いて取得された位置合わせされていない画像（試料の順次取得したオフセット画像など）は、通常、その後の分析を可能にするために位置合わせ（すなわち整列配置）されることが理解されよう。例えば、上述したシリアル染色の場面では、試料を含むスライドが、撮像ラウンドを挟んで漂白及び再着色のためにステージから除去される。通常、スライドは、各撮像ラウンドで、ステージ上に正確に同じ位置及び方向に交換されない。本アルゴリズムは、それぞれの視野画像と異なる撮像ラウンドからのそれぞれの画像とを位置合わせする。図４は、想定される位置合わせ処理の一実施態様の概要８０を示す。

図４を参照すると、第１の画像８２及び第２の画像８４を共にフーリエ変換する（ブロック８６）。得られた２次元空間周波数ビンの各々について、空間周波数成分の絶対値（ｍｏｄｕｌｕｓ）を抽出する（ブロック８８）。得られた画像は、原画像８２、８４の平行移動不変シグネチャである（すなわち、平行移動は周波数成分の位相に影響を与えるが、振幅には影響を与えない）。その上、原画像の回転はフーリエ領域における回転のままであり、原画像に対するスケーリング操作は、フーリエ領域においてスケール係数の逆数によるスケーリング操作になる。

図４に戻って、シグネチャを対数極座標に変換するために、対数極座標変換（ＬＰＴ）を実行する（ブロック９２）。対数極座標空間では、原画像の回転はθ軸上の平行移動となり、一定の係数によるスケーリングはｒ軸上の平行移動となる。図示する例では、フーリエ領域相関演算が実行され、これは、両方の画像をフーリエ変換すること（ブロック９６）及び一方に他方の複素共役を乗算すること（ブロック９８）から構成される。逆フーリエ変換を行って（ブロック１００）、ｒ−θ平面における相関関数を得る。最大値の位置を見つける（ブロック１０２）ことにより、２つの画像８２、８４に最も良く一致する回転及びスケール係数１０４を得る。

得られた回転及びスケール係数１０４を用いて、元のフーリエ変換された画像に戻り、第２の画像のフーリエ変換を決定された回転及びスケール係数１０４により回転及びスケーリングし（ブロック１０６）、平行移動を解くために、フーリエ変換された基準画像並びに第２の画像の回転及びスケーリングされたフーリエ変換について位相相関を実行する（ブロック１０８）。画素領域に戻すために、逆フーリエ変換を行うことができる（ブロック１１０）。画素領域における相関ピーク（ブロック１１２）の位置は、１つの画像を他の画像と重なるように平行移動しなければならない量１１４であり、ピークの高さ１１６（ゼロ平均正規化クロスパワー相関係数）は、１つの画像が他の画像にどの程度位置合わせされているかを示す性能指数１２０である。

適切な位置合わせ方法についての前述の一般的な説明を念頭において、実世界の実施態様及び結果を説明する試験結果の例を提供する。例えば、相関が位置合わせの品質の有効な目安であることを確認するために試験を行った。このような仮定を試験するために、図４のアルゴリズムに従って、画像のサンプル（一例では６０００枚の画像）を処理した。性能指数閾値未満の相関によって識別される位置ずれしてフォーカス不良の画像の割合（すなわち、真陽性率（ＴＰＲ））、及び良好に位置合わせされた画像における偽警報の割合（すなわち、偽陽性率（ＦＰＲ））は、０から１まで変化する相関係数の閾値として計算された。

得られた受信者操作特性（ＲＯＣ）曲線１３０は、図５にプロットされている。図５に明らかなように、この例では、曲線下面積（ＡＵＣ）は９８％より良好である。したがって、この例で説明するように、本明細書で説明したアルゴリズムは、適用された性能指数閾値１３２（曲線１３０の下に数字で示す）に応じて、時間の９８％より多くのフォーカス不良及び位置ずれを識別することができる。理解されるように、これらの結果に基づいて、このような分析は、固定された閾値を用いて位置合わせの品質の管理されない（すなわち、自動的な、又は監視若しくは介入なしの）検査として実行するのに好適であり得る。更に、この分析の結果に応答して行われるアクションを自動化することもできる。例えば、望ましいと思われる場合には、この自動化されたステップによって決定されるような位置合わせの不良は、種々のパラメータ若しくは手法、及び／又は１つ若しくは複数の問題ある画像の再収集を用いる位置合わせにおいて、更なる試みをもたらす可能性がある。

位置合わせの品質及び焦点検出の評価の自動化に関する問題について上述したが、加えて、順次取得した視野画像における領域欠陥の検出を自動化することが望ましい。例えば、一実施形態では、本明細書で説明するように、画像位置合わせ後の領域欠陥を識別するためのアルゴリズムが使用される。このような領域欠陥検出アルゴリズムの一実施態様は、単一の染色ラウンド（又は基準ラウンド）における任意の欠陥が、現行の染色ラウンドと基準ラウンドとの間で局所的に異なる持続的な核染色（すなわち、画像の比較が異なるラウンドで取得された画像の比較を可能にする各撮像ラウンドに共通の染色）の画像をもたらすという前提に基づくことができる。理解されるように、持続的な染色の退色及び照明の局所的な違いなどの他の違いが生じる可能性があるが、これらの他の違いのすべては、通常、画像の輝度又はコントラストだけに影響を与え、局所的な特徴は無傷のままで残る。

したがって、領域欠陥検出アルゴリズムの一実施形態は、相関に基づいている。この例では、アルゴリズムは、局所的な類似性を探すための長さスケールの尺度である１つのパラメータＮを用いて調整される。すなわち、画像中の各画素について、領域欠陥検出アルゴリズムは、長さ２Ｎ−１の辺を有し、所与の画素を中心とする画素の正方アレイを考慮する。一実施態様では、アルゴリズムは、比較される画素の各アレイの基準ラウンドと染色ラウンドとの間のピアソン積率相関を算出する。この相関は中心画素の性能指数となり、それから閾値演算は、「良」と「不良」、又は「許容」と「許容不可」に画素を分類する。

適切な領域欠陥検出方法についての前述の一般的な説明を念頭において、実世界の実施態様及び結果を説明する試験結果の例を提供する。例えば、アルゴリズムを評価するための試験を行った。この例では、トレーニング及び検証データが、分析される画像の欠陥領域上に彩色した人間の観察者により生成された。矩形の画素アレイの半値幅を３から６０画素まで変化させて、各画素位置での相関を算出した。

性能指数の閾値１４４を変化させて、受信者操作特性（ＲＯＣ）曲線１４０、１４２（図６）を描いた。人間の観察者及びアルゴリズムの両方が画像を「不良」とマークした場合は常に「真陽性」と記録し、観察者及びアルゴリズムの両方が画像を「不良」でも「背景」でもないとしてマークした場合は常に「真陰性」として記録した。「背景」画素は、ＲＯＣを計算するためには無視した。図７を参照して、ＲＯＣ曲線下の面積は、アレイの半値幅の関数として作表しプロットした。これらの例では、領域欠陥の分析のための画素アレイの最適なサイズは、約４０画素（例えば、４１画素）であると決定されたが、他のデータセット及び分析では、この決定は変化する可能性がある。更に、ここで再現された例では、半値幅が３倍を超えて変化すると、曲線下面積が１％未満低下することが観察できる。図６で再現されたＲＯＣ曲線１４０、１４２は、図７で決定されたように、試験データに好適であると決定された４１画素幅を用いて生成されていることに留意すべきである。図６に戻り、２つのＲＯＣ曲線１４０、１４２を比較することによって、性能指数閾値１４４は、主に特異性に影響を与えるように見えることがわかる。すなわち、同じ閾値１４４を有する２本の曲線１４０、１４２上の点は、主としてその感度（すなわち、真陽性率）が異なる。

本発明の技術的効果は、性能指数を用いる位置合わせ品質及びフォーカスの自動化された評価を含む。その他の技術的効果は、領域欠陥の自動化された検出を含む。例えば、特定の実施形態では、フーリエ領域におけるリジッドボディ変換を用いて、画像の位置合わせを実行することができ、位置合わせ及びフォーカスの誤差は、位置合わせに用いた性能指数を使用して自動的に決定することができる。更に、領域欠陥は、画像において自動的に検出することができる。

この明細書は、本発明を開示するために実施例を用いており、最良の形態を含んでいる。また、いかなる当業者も本発明を実施することができるように実施例を用いており、任意のデバイス又はシステムを製作し使用し、任意の組み込まれた方法を実行することを含んでいる。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が想到するその他の実施例を含むことができる。このような他の実施例は、特許請求の範囲の文言との差がない構造要素を有する場合、又は特許請求の範囲の文言との実質的な差がない等価の構造要素を含む場合、特許請求の範囲内にある。

Claims (22)

1. 画像品質を評価するためのコンピュータにより実施される方法であって、
   第１の画像及び第２の画像の少なくとも一部が重なり合う、第１の画像及び第２の画像を取得するステップと、
   第１の画像及び第２の画像を関係づける回転及びスケールを決定するステップと、
   第２の画像のそれぞれのフーリエ変換に対応するように、第１の画像のそれぞれのフーリエ変換を回転してスケーリングするステップと、
   第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換に基づいて、それぞれの第１の画像及び第２の画像の平行移動を決定するステップと、
   第１の画像及び第２の画像の位置合わせの品質を定量化するスコアを決定するステップと、を含む、コンピュータにより実施される方法。
2. 第１の画像及び第２の画像は、顕微鏡を用いて取得される、請求項１に記載のコンピュータにより実施される方法。
3. 第１の画像及び第２の画像は、連続する染色撮像プロトコルの異なる撮像ラウンドにおいて取得される、請求項１に記載のコンピュータにより実施される方法。
4. 回転及びスケールを決定するステップは、
   それぞれの第１の空間的周波数ビン及び第２の空間的周波数ビンを生成するために、第１の画像及び第２の画像をフーリエ変換するステップと、
   第１の平行移動不変シグネチャ及び第２の平行移動不変シグネチャを生成するために、第１の空間的周波数ビンから第１の絶対値を抽出し、第２の空間的周波数ビンから第２の絶対値を抽出するステップと、
   第１の平行移動不変シグネチャ及び第２の平行移動不変シグネチャの対数極座標変換を実行するステップと、
   対数極座標空間において、フーリエ領域相関演算を実行するステップと、
   フーリエ領域相関演算の結果に基づいて、回転及びスケールを決定するステップと、を含む、請求項１に記載のコンピュータにより実施される方法。
5. 平行移動を決定するステップは、
   平行移動を取得するために、第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換上の位相相関を実行するステップを含む、請求項１に記載のコンピュータにより実施される方法。
6. 位相相関を実行するステップは、
   第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換を画素領域に戻すために、逆フーリエ変換を実行するステップと、
   画素領域において相関ピークの位置を見つけるステップと、を含み、相関ピークの位置は、平行移動に対応する、請求項５に記載のコンピュータにより実施される方法。
7. スコアを決定するステップは、
   相関ピークの高さを決定するステップを含み、相関ピークの高さは、スコアに対応する、請求項６に記載のコンピュータにより実施される方法。
8. 相関ピークの高さは、重ね合わされた第１の画像及び第２の画像のゼロ平均正規化クロスパワー相関係数を含む、請求項６に記載のコンピュータにより実施される方法。
9. 画像解析システムであって、
   １以上のルーチンを記憶するメモリと、
   メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントと、を含み、処理コンポーネントによって実行された場合に、１以上のルーチンは、
   第１の画像及び第２の画像の少なくとも一部が重なり合う、第１の画像及び第２の画像を取得し、又は第１の画像及び第２の画像にアクセスするステップと、
   第１の画像及び第２の画像を関係づける回転及びスケールを決定するステップと、
   第２の画像のそれぞれのフーリエ変換に対応するように、第１の画像のそれぞれのフーリエ変換を回転してスケーリングするステップと、
   第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換に基づいて、それぞれの第１の画像及び第２の画像の平行移動を決定するステップと、
   第１の画像及び第２の画像の位置合わせの品質を定量化するスコアを決定するステップと、を含む処理を実行させる、画像解析システム。
10. 回転及びスケールを決定するステップは、
    それぞれの第１の空間的周波数ビン及び第２の空間的周波数ビンを生成するために、第１の画像及び第２の画像をフーリエ変換するステップと、
    第１の平行移動不変シグネチャ及び第２の平行移動不変シグネチャを生成するために、第１の空間的周波数ビンから第１の絶対値を抽出し、第２の空間的周波数ビンから第２の絶対値を抽出するステップと、
    第１の平行移動不変シグネチャ及び第２の平行移動不変シグネチャの対数極座標変換を実行するステップと、
    対数極座標空間において、フーリエ領域相関演算を実行するステップと、
    フーリエ領域相関演算の結果に基づいて、回転及びスケールを決定するステップと、を含む、請求項９に記載の画像解析システム。
11. 平行移動を決定するステップは、
    平行移動を取得するために、第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換上の位相相関を実行するステップを含む、請求項９に記載の画像解析システム。
12. 位相相関を実行するステップは、
    第１の画像及び第２の画像の回転されスケーリングされたフーリエ変換を画素領域に戻すために、逆フーリエ変換を実行するステップと、
    画素領域において相関ピークの位置を見つけるステップと、を含み、相関ピークの位置は、平行移動に対応する、請求項１１に記載の画像解析システム。
13. スコアを決定するステップは、
    相関ピークの高さを決定するステップを含み、相関ピークの高さは、スコアに対応する、請求項１２に記載の画像解析システム。
14. 領域欠陥を検出するためのコンピュータにより実施される方法であって、
    第１の画像の画素毎に、比較領域を決定するステップと、
    各比較領域と第２の画像の対応する領域との間の相関を実行するステップと、
    各画素と関係するそれぞれの比較領域と第２の画像の対応する領域との間のそれぞれの相関に基づいて、第１の画像の画素毎にスコアを生成するステップと、を含み、
    画素毎のスコアは、それぞれの画素における第１の画像内の欠陥の尤度に対応する、コンピュータにより実施される方法。
15. 各比較領域は、それぞれの画素の周りを中心とする画素の正方アレイを含む、請求項１４に記載のコンピュータにより実施される方法。
16. 正方アレイの各辺の半値幅は、３画素及び６０画素に等しいか、又はそれらの間に等しい、請求項１５に記載のコンピュータにより実施される方法。
17. 相関は、ピアソン積率相関である、請求項１４に記載のコンピュータにより実施される方法。
18. 画素毎のそれぞれのスコアに基づいて、第１の画像の各画素に閾値を適用するステップと、
    閾値の適用に基づいて、許容可能であるか、又は許容可能でないかによって、各画素を分類するステップと、を含む、請求項１４に記載のコンピュータにより実施される方法。
19. 画像解析システムであって、
    １以上のルーチンを記憶するメモリと、
    メモリに記憶された１以上のルーチンを実行するように構成された処理コンポーネントと、を含み、
    処理コンポーネントによって実行された場合に、１以上のルーチンは、
    第１の画像の画素毎に、比較領域を決定するステップと、
    各比較領域と第２の画像の対応する領域との間の相関を実行するステップと、
    各画素と関係するそれぞれの比較領域と第２の画像の対応する領域との間のそれぞれの相関に基づいて、第１の画像の画素毎にスコアを生成するステップと、を含む処理を実行し、
    画素毎のスコアは、それぞれの画素における第１の画像内の欠陥の尤度に対応する、画像解析システム。
20. 各比較領域は、それぞれの画素の周りを中心とする画素の正方アレイを含む、請求項１９に記載の画像解析システム。
21. 相関は、ピアソン積率相関である、請求項１９に記載の画像解析システム。
22. 処理コンポーネントによって実行された場合に、１以上のルーチンは、
    画素毎のそれぞれのスコアに基づいて、第１の画像の各画素に閾値を適用するステップと、
    閾値の適用に基づいて、許容可能であるか、又は許容可能でないかによって、各画素を分類するステップと、を含む更なる処理を実行する、請求項１９に記載の画像解析システム。