JP2013524369A - 重なり合った縁部の比較を含んだ画像品質評価 - Google Patents

Abstract

画像品質を、タイルや他の画像セグメントの合成であるデジタル画像について評価する。特に顕微鏡病理学サンプルに対する焦点の正確性を評価する。画像品質に関連するアルゴリズム又はアルゴリズムの組み合わせを、隣接する画像セグメントが重なり合って、別々に取得された画像内に同じ中身が含まれる縁部のピクセルデータに適用する。縁部は、画像セグメントを円滑に合成画像に合成するための端部であり、通常、該画像セグメントの四つの側部にある。各縁部における同じ画像の中身の二つのバージョンは品質アルゴリズムにより処理され、二つの評価値が生じる。符号と差値が他の画像セグメントと比較される。画像セグメントの側部における前記縁部の方向性に関して選択された部分集合によって評価される場合もある。前記差はディスプレイにマップされ、選択された基準により再取得されるセグメントが決定される。

Description

背景
この開示は、一つ以上の縁部分に沿って重なって組み合わされた画像セグメントから組み立てられるデジタル画像を自動的に品質評価することに関する。

組織サンプルのスライド上の病理学及び組織学上のサンプルの顕微鏡画像を処理する際に、サンプルの表面上の小さな隣接する領域のデジタル画像を高い倍率及び／又は解像度で捕らえ、ユーザがデジタル表示装置を使用して取り扱うことのできる、より大きな画像として表示し、管理することが可能である。別々に捕捉された小さな四角や細長い又は他の画像形状は、互いに整列させてモザイクをなすことが出来る画像セグメントである。何らかの任意の形状で、それぞれ四角や細長い又は他の別々で捕捉された画像は、モザイク中の「タイル」である。

別々に捕捉された画像の全体のモザイク又は、隣接するタイルのクループを含むモザイクの或る部分は、比較的低い解像度で表示装置上に表示されるかもしれない。ユーザが、一つのモザイクタイルの画像セグメントを含むより高い解像度での画像に、又は、タイルよりも小さな領域のなお一層高い解像度での画像にズームすることが出来ることが望ましい。二つの異なる画像の捕捉操作から得られた隣接する画像タイル間の境界を横切る、即ち、タイル間の境界を横切る形で、画像をパンする操作をユーザは行うことができる。

別々に捕捉された画像領域は、画像配列の中で、小さかったり又は決まった形状であったり又は決まった位置を取る必要はない。サンプル全高のようなより大きな部分、部分的な幅を持った画像ブロック、四分円のような横方向及び／又は縦方向に隣接するブロック、異なった大きさ又は形状のブロックなど、すべてあり得るものである。画像領域は、スナップ写真のように入手されるか、ラインスキャン技術を用いて細長い切片上を経時的にスキャニングした結果として入手される。本開示における議論の目的上、別々に入手された、どのような大きさ又は形状の画像セグメントでも、一概にタイルと称する。

画像がそれぞれべつの画像収集処理により集められる限り、画像が、画像の境界を円滑につなぐ形で正確に並べられることがよい。これは、二つの画像又はタイル間の境界にかかる端又は外形を整列させることで行うことが出来る。隣接する画像は画像内に同じ内容を含んでいる。隣接するタイルは、二つの重なった縁に示された特徴が一致するまで、それらの相対的な位置を調整することで整列させられる。一つの隣接するタイルのピクセル値が次に隣接するタイルのピクセル値に変化するところで急激な移行を緩和することが出来る。円滑に移行させるために、画像セグメントのピクセルデータは、ピクセルデータ値の重み付き平均又は近似した混合技術によって、縁部を横断して混合することが出来る。これは、隣接する画像を一緒に「スティチング」することとして、一般に知られている。最終的なモザイク画像では、最初に捕捉された画像にもあるが、ピクセルデータ値のＸ−Ｙ座標があり、重なった縁部は、重なった縁部の画像の重複した画像となる。

デジタル病理学システムは、病理学者にとって身近なサンプルの取り扱いや顕微鏡の操作のいくつかのものをエミュレートする。従来の手動による操作においては、ガラススライド上に置かれたサンプルは、大きいか小さいかのある選択された倍率で見るように設定された光学顕微鏡の台上に配置される。高倍率での顕微鏡を介して見る当該スライドの画像は、小さな目標領域についての画像である。目標として選択された領域は、台のＸ−Ｙ位置を調整してスライドを移動させ、及び／又は台に対してスライドを移動させることで、スライド上で変化させることが出来る。視野は、倍率の範囲を変えることで、大きくしたり、小さくしたりすることができ、一般的には、マウントを回転させて光路上の異なる対物レンズを入れ替えることで行うことが出来る。デジタル表示におけるズームイン又はアウトは、倍率の変更となる。デジタル表示のパンニングは顕微鏡の台上のスライドのＸ−Ｙ位置を移動させることとなる。

いくつかのデジタル病理学システムにおいては、顕微鏡のレンズに接続された一つ以上のカメラが停止画像フレームを集め、台はＸ及び／又はＹ方向に移動して、前回の画像領域に隣接した次の領域を表示させ、別の画像を集める。こうした構成では、それぞれのタイル画像は、断片的であり、上下、左右側端部において互いに変わってゆく。リニア走査形電荷結合素子センサ（ＣＣＤ）を持った装置では、センサは、該センサの配列方向に多かれ少なかれ直角な方向に移動する間に、所定のピクセル間隔を規定することとなるサンプリング間隔で縦長の画像を集める。こうした装置において必要な合成又は継ぎ接ぎは、細長い片の二つの対向する端部に限られる（又は、最上部又は最下部の細長い片では一端部）。

顕微鏡における他の自由度は、台上のサンプルのＸ−Ｙ平面に直角なＺ方向である。顕微鏡の画像は、サンプルの特徴部分が対物レンズ又はレンズ列から所定距離離れた位置、即ち、正しい焦点距離に焦点を結んだものである。該特徴部分はレンズの焦点距離より近くや離れた位置では不鮮明で、判別の出来ないものとなる。該特徴部分が焦点範囲に収まる、Ｚ方向の所定の距離深度又は範囲がある。この深さは、レンズの口径に左右される。

焦点が結ばれる特徴部分の表面は、一般的に球状の形状をしている。該球は画像のフォーマットサイズと比較して比較的長い又は短い半径を有しているが、それでも球である。サンプルスライド上の病理学又は組織学上のサンプルは、しかし、一般的に球状の表面というよりも平面的な表面を有している。視野の中央にある画像の特徴部分は、周囲の特徴部分が焦点に無くとも、焦点に入る時がある（逆も同様である）。最適な焦点距離、又は最適な焦点距離の前後にあるサンプルの表面の、より高い部分やより低い部分に病理学サンプルが位置するように、サンプルそれ自体は、場所が異なれば、厚さも異なる。もし、サンプル又は台が傾いたなら、画像の品質は、画像の各部で連続的に変化したものとなる。顕微鏡の画像は、周囲よりも視野の中央部において、光学収差やゆがみが少なくなるような特性を持っている。これらの効果を判定する有効な手段が望まれる。

画像は、画像内及び／又は該画像を横断する形で特定の場所に位置する、多様なタイプの特徴部分で性格つけられる内容を持っている。ピクセル値の配列を持ったデジタル画像に適用できる数学的なアルゴリズムが知られており、このアルゴリズムは、特定の特徴部分の存在に敏感な一つ以上の数学的な関数を含んでいる。こうしたアルゴリズムをピクセルデータに適用することで、数的な評価を得ることが出来る。それは特徴部分が存在し、関連する特徴部分の存在や兆候に多少とも依存する出力値を生成する範囲の計測である。この評価で、個々のピクセル位置又はピクセルグループに関連した値を生成することで場所が特定でき、また、一つの出力値を生成することで、画像を超えた一般化が可能となる。ある距離におけるピクセル間のコントラストレベルを評価するように、特徴部分に敏感なアルゴリズムを運用して、こうした方法で数値を生成することは、特徴部分の抽出として知られている。数学的な解析を行うアルゴリズムは特徴抽出アルゴリズムとして知られている。

数学的な解析をピクセル画像データに適用して、顕微鏡や他のソースからのデジタル画像の画像品質を性格付けすることができる。しかし、画像品質に関連した客観的な測定は、画像品質ではなく、画像の中身の差異によっても影響を受けるのである。例えば、画像の鮮明度に関連する客観的な測定は、画像上の又は画像上の不連続な領域でのピクセル間及びその近辺のピクセルの輝度及び／又は明度の相違を積分すること（即ち、特徴を抽出することで）で得ることが出来る。ほかの測定は、ピクセルデータ値のピーク信号に対するノイズレシオ、輝度又は明度の変動範囲、ピクセルデータの統計的な分析などである。これらの測定は、画像品質に関係する。例えば、高いピクセルデータの差異はシャープフォーカスと関連がある。しかし、こうした測定は、画像の中身とも関連がある。高いコントラストを持った焦点の甘い中身の画像は、低いコントラストを持った正確に焦点された画像よりも、そうした客観的な測定に基づくとより高い値を示す。

特徴部分を抽出するアルゴリズムに基づいた品質測定である限り、画像の中身に影響される。画像品質が変わり、画像の中身が変わらないのならば、品質の客観的な測定の結果は意味がある。こうしたことから、画像較正技術は、時として定義された形状及び／又は色の標準化テストパターンを使用することがある。

オートフォーカス技術はかなり客観的な測定を使用する。異なる焦点距離にある同じ中身の複数の画像の対象となる特徴を比較する際に、どちらの焦点距離が最もシャープな焦点となるかを決定する。Ｘ−Ｙ表面の顕微鏡画像（又は、少なくとも画像の局所的な部分）に対して、与えられたＺ距離で焦点されたピクセルデータは、特徴抽出アルゴリズムにより処理され、画像品質、特に焦点の正確性に関する画像（又は局所的な部分）の数値的な特徴を算出する。Ｚ距離を変えて、新しい距離で別のピクセルデータ画像を得、同じアルゴリズムから別の数値的な特徴を得る。この数値的な特徴間の差異は、中身が同じなので、Ｚ距離移動によるものである。数値的な特徴及びＺ距離は、画像焦点の正確性と関連する。この技術は、複数の距離における画像を比較して、相対的に正確な焦点を生成する距離を選択することを可能とする。

Ｚ距離（少なくとも、３つの距離で）を変えて十分な数の画像を集めると、これらのＺ距離は最適で正確な焦点を得ることが出来る距離を含んでいるものと仮定し、「正しい」又は最も正確に焦点された平面までのＺ距離を計算することが出来る。焦点となる平面をそのＺ距離に調整し、最終的な画像を得る。このために、アルゴリズムの計算結果が特性曲線と照らし合わされる。該曲線のピーク（又は、谷、計算の特性による）が最適な焦点となるＺ距離となる。

この処理は、オートフォーカスの典型であり、異なるＺ距離に関しての比較に依存しており、画像品質、特に焦点の正確度に関連するものとして知られたアルゴリズムによる数学的特徴付けである。典型的なアルゴリズムは、局部的な空間導関数を用いた評価（多分、画像全体、又は選択された不連続領域についてだけの積分）、画像又は不連続領域に関するピクセルデータ値に適用される統計的な手段及び類似の手段を含むものである。他の例は以下に述べる。焦点の正確性は最適化には重要な特性であるが、同じような考えを画像品質に関連し、明視野の輝度レベル等の、制御可能な変数により影響を受ける他の評価に適用する。輝度レベルは、色テスト参考パターンから得られた色域及びＲＧＢスペクトル、ピーク信号に対する雑音の比、中央及び周辺のピクセル値の比較及び他の品質基準などの品質変数に影響を与えることが出来る。

画像品質に影響する（焦点の正確性に影響することが知られている異なるＺ距離のように）ことが知られている複数の条件のセットを使用した際に、同じ中身から得られる複数の画像を比較する代わりに、単一の画像に関する画像品質を評価するアルゴリズムを適用して、一つ以上の出力値を得るようにすることも出来る。しかし、その値は画像品質の属性と関連するので、画像が知られた較正標準画像（例えば、テストパターン）でなければ、その結果は意味が無い。単一のデジタル病理画像であっても、サンプルは多様なタイプ及び構造の組織を含んでいる。焦点を正確に定めるような画像品質変数に関連したアルゴリズムは、正確に焦点が定められた組織タイプを示す画像に関する定められた出力値を生成する。しかし、その組織タイプは本来、外見上徐々に変化するものである（例えば、異なった特徴間の相対的に特色の無い接続組織又はストローマ）。その際の、本来の低コントラスト画像の中身についての定められた出力値は、固有の差異を持った、ぼやけた甘く焦点が設定された組織タイプ（例えば、密集した真皮細胞など）に関して得られた出力値と同等とみなすことが出来る。

焦点の正確性に影響を与える他の要素を考える。生物の組織片のようなサンプルは、Ｘ−Ｙ平面上で異なる点で異なる厚さを有することが解剖学的に特徴付けられる。これにより、サンプル上のある表面は、他の表面よりＺ方向においてレンズに対してより近くなる。サンプルは観察表面を露出するようには装着されていない。機械的な心ずれにより、スライドは焦点範囲に接している平面方向に対して傾けることが出来る（即ち、光軸に対して垂直以外の方向に）。その結果、スライド上のある画像領域、及び／又はあるその上のＸ−Ｙ点が、他の領域又は点よりも顕微鏡のレンズに近くなるようになる。レンズの性質上、視野の中心にある光軸に近いような領域で、画像は良くなり、視野の周囲へ離れた他の領域では悪くなる。

焦点を合わせる場合、サンプル表面までの間で、一個以上の固定レンズ部分に対する対物レンズの相対距離を変化させて、興味対象である特徴部分をいわゆる焦点面に持ってくる。サンプルを保持する台は対物レンズ装着部に対して接近離反自在であり、またその逆も同様である。手動顕微鏡では、調整ノブはＺ方向の距離を調整するために使用される。自動走査顕微鏡では、電磁又は圧電機構などがＺ軸の距離を制御調整自在である。

顕微鏡を介してサンプルを見て、手動調整ノブで頂点を調整する際に、通常は、最適な焦点を超えてＺ距離を変動させ、次いで戻し、見ている間で最も鮮明な画像が得られるように調整することで、正しい焦点距離に向かわせる。こうして焦点距離を手動で調整した後、オペレータは、サンプルの全てを見ている、即ちその器具で得られる最高の焦点で見ているものとの自信を持つ。この手動調整操作は、解剖学的な変化により生じるＺ距離の範囲を超えるＺ距離の範囲で、十分にサンプルを移動させることが出来る。しかし、画像が自動で収集される場合、画像はＺ方向の定められた距離で取得される。もし、複数のＺ距離で見る必要がある場合には、複数のデジタル画像を収集する必要がある。

デジタル顕微鏡装置では、組織サンプルは、ガラスのスライド上に置く、通常の方法で準備されるが、手動制御の光学顕微鏡を用いて病理学者にサンプルを見せる代わりに、顕微鏡に接続されたデジタルカメラを使用してスライドが処理され、顕微鏡写真が収集される。位置の段階的な制御が、スライド表面上の視野に進められる。スキャナは、異なる解像度でサンプルの画像を集めることが出来、また、好ましくは、高解像度で取得された画像は互いに組み合わされ、又は「継ぎ合わされ」、複数の高解像度の画像を含んだ画像ファイルを生成する。病理学者は、コンピュータのワークステーション上で、スライドのデジタル化された画像を見、画像表示ソフトのズーム機能やパン機能を用いてサンプルを見てゆく。こうした目的で隣接した領域の高解像度画像を集め、継ぎ合わせることに関する開示は例えば、米国出願2009/0195688 − Henderson et al.及び2008/0240613 − Dietz et al.に見いだすことが出来る。これらの開示は、ここに導入される。こうした技術は、手動制御光学顕微鏡の多くの機能を達成し、追加的な利点も持っている。例えば、デジタルデータを永久的な記録として無期限に保存することが出来る。画像データをネットワーク通信を利用して簡単に回収し又伝達することが出来る。スライドのデジタル画像は、ガラスのスライドそれ自身よりもより効率的に組織化して使用することが出来る。デジタル画像は、多様な処理や注釈を付けることが出来るばかりか、Ｘ−Ｙ位置の変更及び倍率／拡大の変更を素早く行うことが出来る。

通常、論理画像セグメント毎に唯一のデジタル画像が保存される。例えば、モザイク中で、タイル毎に一つの画像である。デジタル病理学装置においては、スキャン装置を使用して、僅かに焦点距離を相違させて同じ領域を多数の画像で記録することが出来る。これらの画像は、サンプルの画像表面が、スキャン装置で使用されている顕微鏡の最適焦点距離上、それよりも僅かに上方、それよりも僅かに下の位置である。十分な数の画像を見ることで、コンピュータワークステーション上で画像を見ている者は、光学顕微鏡の使用者が最良の焦点を探してノブを調整する形で焦点距離を微動させるのと同様な方法で僅かに異なった焦点距離での画像を選択することが出来る。しかし、データ処理及びデータ貯蔵の必要性は、それぞれの高解像度の画像を取得し、貯蔵し、管理するためにどんどん増加することとなる。

従って、好ましくは全ての論理画像セグメントを集める際、しかし他の任意の時点でもよいが、焦点調節のための予備的なステップが取られる。予備的な頂点調整動作中に選択された焦点距離から、スライドが写される。異なる焦点距離での多数の画像を記録する代わりに（いくつかの画像は当然、正確でない焦点長で捕捉されるであろう）、タイル画像又は他のセグメントが記録され格納される前に、オートフォーカス制御が行われて、必要な焦点調整が為される。計画では、最終的な画像取得動作毎に一つの画像を記録することである。オートフォーカス制御は画像を取得する際の最適な焦点距離を選択する。Ｘ−Ｙ台の位置決め制御は視野をスライド上の次の位置に進める。この処理は、全スライド上の又はサンプルの全ての領域又は、画像を得るために選択された領域上を通過して、スナップ写真的なフレーム画像を収集するために繰り返される。

デジタル画像におけるオートフォーカス制御は、隣接するピクセル位置間の輝度又は明度におけるコントラストの総量を測定するアルゴリズムを用いてピクセルデータを数値解析することで動作する。コントラスト測定がより高い総量を示せば、画像はよりよく焦点されていることを示す。オートフォーカス制御は、通常、同じ画像の中身に対する異なる焦点のバーションを比較するようにする。それは、僅かに異なった焦点距離で焦点した同じ画像の中身などである。画像内で、コントラストの総量の数値的な測定を行うことは可能であるが、画像の中身から独立して焦点品質を有効に決定することは出来ない。画像を通した局部的なコントラストを集積して合計するような、数値測定の結果は焦点の正確さと共に、画像の中身でも変化するからである。

例示的なオートフォーカス制御が米国特許7,576,307 − Yazdanfar他、で開示されており、ここで参照することで、導入される。予測的なオートフォーカス制御が米国公開特許2009/0195688
− Henderson他で開示されており、これも言及し、導入される。これらの技術はプライマリ及びセカンダリのイメージセンサ及び焦点長さを変動させるＺ位置決め制御を用いることである。目的は、複数の異なる焦点距離での焦点の正確性を比較することであり、焦点が最良のとなる距離を発見することである。ここでは、その距離の画像が取得され格納される。処理は、同じ画像中身の複数の異なる焦点画像について焦点品質の程度を比較するものである。その場合、焦点品質の数値的な測定は意味がある（全てのピクセル位置での局所的なコントラストの値の合計など）。コントラストの測定（又は他の焦点品質の測定）からより高い合計を示す焦点距離が、同じ測定からより低い合計を示す距離よりも、最善の焦点距離に近いという、結論を出すことが出来る。

集めた画像はタイル又は局所的なフレーム領域となる。これらの領域は、通常、タイルの中身が整列したゾーンで幾分か重なっており、ピクセル値は組み合わされるか又は「継ぎ合わされ」て、他の隣接するタイルとの移行部分上でマージされ、サンプルの合成画像が生成される。画像整列及び切り替えの例は、米国特許6,785,427 − Zhou及び米国公開特許2008/0240613 − Dietzに見つけることが出来、これらは参照することで、本発明の開示に導入される。

オートフォーカス及びＺ位置制御が使用され、最良の焦点距離が選択された定位置から、離れた又は隣接した画像セグメントのデジタル画像を収集する際には、その同じ距離が、サンプルを横切る全ての他の画像セグメント位置についての最良の距離であると仮定することが出来る。正反対に、各画像セグメントについて最良の焦点距離を独立して得るように、オートフォーカス及びＺ位置選択ステップを繰り返すことも可能である。別の方法は、一定の画像セグメントに対する最良のＺ位置を得ることと、該一定の画像セグメントのあるＸ及び／又はＹ距離内で全ての画像セグメントに該Ｚ位置を使用することである。これは、画像セグメントのある数置きにＺ位置選択を繰り返すか、または画像セグメントの一列又は一行から次に変えた時になどに、行う。米国公開特許US 2006/0204072 − Wetzel,は、ここで、導入されるが、間隔が開いた点にある複数のタイルが、各点での最良の焦点を示す最適Ｚ位置を得るために試験される。参照平面が最良の焦点距離を横切ることができる位に近く設置され、標本を横切る各タイルのＺ位置は、該設置された平面上の対応する位置として選択される。

最良の焦点Ｚ位置は参照画像セグメントに関して決定され、また隣接する画像セグメントを網羅するより大きな領域に関して使用される。例えば、標本の中央の画像セグメント又は、該標本上のゾーンは、最適なＺ位置が決定された参照画像セグメントとして使用することが出来る。そのＺ位置は、やや複雑で注意深いオートフォーカス手順の後に選択することが出来、画像又は画像の部分に共に継ぎ合わされた残りの画像セグメントのグループに対して使用することが出来る。また、参照画像セグメントのＺ位置は、それぞれの次のタイルについて新たなオートフォーカス手順を行う際の、単なる開始点としても使用することが出来、より簡単な手順で済ませることが出来る。異なる画像セグメント又はセグメント内の特定の領域に対する最良の焦点距離は、スライドの装着、サンプルの形状及びその他の要素を考慮すると異なる焦点距離であることもある。必要なことは、比較及び示す方法であり、そうでなければ焦点品質が、参照画像セグメントと、Ｚ位置が独立して決められるか又は決められないグループの他のセグメントの間で変化する状況に対応し、画像セグメントはより大きなモザイク又は写真画像へ一緒に継ぎ合わされる。

画像評価アルゴリズムは知られているが、より一般的には同じ画像中身について異なる焦点距離で捕らえた画像同士で比較することによく使用される。画像の中身に依存する画像品質を評価する時に、問題が生じる。例えば、定められたサンプルの異なる領域や、異なるサンプルを示す多様な画像に対して焦点の品質をランク付けする場合などである。

前述の議論及び例は焦点距離及び焦点品質の問題だけに言及した。焦点は、サンプルのデジタル画像を収集して使用する際に、そこでの差異が画像品質に影響を与える時に考慮される一般的な問題の一例である。例えば、前の及び後ろの照明の状態、照明の強さ、照明スペクトル、偏光状態、画像収集時間、レンズの口径及び被写界深度なども考慮される問題である。代表的な解決法として、基準状態を用いるか、オートフォーカスが、知覚検知された最適な状態を選択する制御装置を使用する場合であるが、一つの画像セグメントから別の画像セグメントへ焦点面の深さが変化したり、焦点品質が変化したりすることがある。この開示は、興味のある画像品質の基準として焦点の正確性と、コントラストによって計測される画像品質に影響する変数としてのＺ位置を使用して主に例示される。開示は、品質基準だけにとどまらず、また、画像品質を測定する技術や変数にも及ぶ。開示は、他の品質基準にも同様に適用可能で有り、焦点及び／又は他の品質基準に影響する他の変数及び、焦点又は他の品質基準が測定されることで他の測定にも適用可能である。

代表的な画像品質の基準として焦点を使用するために、焦点品質を数値的に評価することの出来る多数の焦点評価画像処理アルゴリズムがあり、それらは絶対的な意味合いで品質のレベルを示すのでは無く、同じ画像中身の二つの写真を有意義に比較することの出来る方法で、少なくとも品質によって変化する焦点品質の数値測定をなすことが出来る。Y. Sun他、著による「コンピュータ顕微鏡検査におけるオートフォーカス：最適な焦点アルゴリズムの選択」（"Autofocusing
in Computer Microscopy: Selecting the Optimal Focus Algorithm," Y. Sun et al.,
Microscopy Research and Technique
65:139-149 (2004)）において、以下のアルゴリズムが比較されている。
導関数ベースのアルゴリズム：
・Thresholded
Absolute Gradient (Santos et al., 1997)
・Squared
Gradient (Santos et al., 1997)
・Brenner
Gradient (Brenner et al., 1971)
・Tenenbaum
Gradient (Tenengrad) (Yeo et al., 1993, Krotov, 1987)
・Sum of
Modified Laplace (Nayar and Nakagawa, 1994)
・Energy
Laplace (Subbarao et al., 1993)
・Wavelet
Algorithm (Yang and Nelson, 2003)
・Wavelet
Algorithm W₂ (Yang and
Nelson, 2003)
・Wavelet
Algorithm W₃ (Yang and
Nelson, 2003)

統計的アルゴリズム：
・Variance
(Groen et al., 1985, Yeo et al., 1993)
・Normalized
Variance (Groen et al., 1985, Yeo et al., 1993)
・Autocorrelation
(Vollath, 1987, 1988)
・Standard
Deviation-Based Correlation (Vollath, 1987, 1988)

ヒストグラムベースのアルゴリズム
・Range
Algorithm (Firestone et al., 1991)
・Entropy
Algorithm (Firestone et al., 1991)

直感的（Intuitive）アルゴリズム
・Thresholded
Content (Groen et al, 1985, Mendelsohn and Mayall, 1972)
・Thresholded
Pixel Count (Green et al., 1985)
・Image
Power (Santos et al., 1997)

こうした画像処理アルゴリズムは、画像内のピクセルグループ又はピクセル間にあるコントラストのレベルなどの、ピクセルデータ特性の客観的な基準を得るために有効である。この基準は、焦点の正確性に関連しており、また画像構造、即ち画像の中身とも関連している。このような画像処理アルゴリズムは、同じ中身を持った画像（即ち、焦点又は他の画像品質の点以外の、全ての点で同じ）を比較する際の画像品質特性を有意義に比較することができる。数値アルゴリズムは、画像の中身のタイプが異っていると、異なる客観的なスコアを生成する。このアルゴリズムは他のタイプの中身と比較してあるタイプの中身について、コントラスト（又は、品質又は焦点の正確性に関連する他の値）が低い客観的なスコアを生成することがある。たとえ、その画像が品質において実際には良くても、その中身がより低い客観的なスコアを生成するのである。

必要なことは、画像の中身に関係なく、又は、同じ画像の中身の二つの異なる写真で、該同じ画像の中身を比較するような、信頼できる、画像品質、特に焦点の正確性の自動評価をなすことである。また、同じ画像フレームの複数の画像が異なるＺ軸距離で集められ、比較してどちらがより品質のよい画像を生成するかを決定するオートフォーカス技術の複雑さを排除した形で行うことである。

発明の要約
こうした点及び他の必要性及び目的に適合させるために、スナップ写真やラインスキャンのような画像取得処理により、通常、ブロック又は細長い片のような隣接する画像領域について、二つ以上のデジタル画像セグメントが取得される。画像セグメントは縁部に沿って互いに重なり合う。該縁部は、隣接して重なり合った画像セグメントのピクセル値が合わされ、又は互いにつなぎ合わされて、より大きな画像につなぎ合われる、別々に取得された画像セグメントを接続する形で滑らかな移行をなす部分である。二つ以上の画像セグメントを最初に収集することで、より大きな画像の同じ部分について少なくとも二つのバーションを得る。即ち、画像セグメントが重なった縁部の中身についての二つの画像である。これらのバージョンは、それぞれ処理され、例えば、近接し、又隣接するピクセルのピクセル値間の相違を積分するなどにより、焦点の正確性などの画像品質に関連する客観的な基準を得る。重なり合った縁部では、同じ画像の中身なので、二つの重なり合った縁部に関する客観的な基準は、二つ以上の画像セグメントの品質を比較し格付けするための意味のあるベースとなる。その結果、該客観的な基準は、画像の中身に変動によって影響されない。

縁部が重なり合った領域では、縁部は同じ画像の中身を有するので、画像品質（焦点の正確性など）及び画像の中身に関する客観的な基準は、別々に取得された画像間で比較することが重要である。同じ中身を持った縁部の領域を比較することで、画像の中身による変動を考慮する必要がなくなる。比較に使用される画像領域は、縁部が正確に登録されている場合には、縁部全体でもよく、また、縁部が正確に登楼されていない場合には、それらの中身が重なっている縁部の限られた部分でも良い。

こうして、重なり合った縁部について相対的な評価が得られる。両方の縁部が等しい画像品質の措定値で記録されるか、縁部の内の一方が、他方よりも高い品質か又は低い品質で測定されるかもしれない。相対的な評価からは、絶対的な意味での、縁部画像の品質の善し悪しは不明である。もし、品質測定値が等しいなら、二つの重なり合った縁部は、等しく良いか、等しく悪い。しかし、品質評価は中身とは関係が無いので、異なった結果が出ると、それは品質面での相違を示す。この相違の範囲での数値測定を得、分析することが出来る。

品質評価を比較することで、例えば、再取得すべき画像を識別するための結論を出すことが出来る。仮に、画像セグメントの縁部が、該画像セグメントが重なった縁部を共有する、近隣の画像セグメントの一つ又はいくつかと比較して明らかに相対的に低い品質数値、即ち、相対品質差の閾値よりも大きな値、を示したなら、該画像セグメントの再取得をすると好都合である。複数のタイル又は他の画像セグメントに共通した指向性のある、結果の差が出たなら、それは、試料、顕微鏡及びカメラのアライメントに関する問題を診断するのに有効な情報が明らかになることもある。ある実施例では、結果は、モザイク画像の略図内の画像セグメントへ、数値で表示したり、又は色別にマッピングすることで表示したりして、視覚化することが出来る。本技術は、品質較正のための参照が不要で、また重なり合った縁部以外の参照画像さえ不要な画像品質評価を提供するものである。

本開示の目的は、隣接する画像セグメントが混ざり合い、周囲で滑らかに一体化している、縁部のような、重なり合った縁部を有するタイルの列、片やパッチのパターン、又は、別の画像セグメント配列であっても、取得されたデジタル画像セグメントの合成写真又はモザイクからなる画像の、個別的な領域における画像品質を評価することである。一つの観点によると、本技術は、重なり合った縁部の同じ画像の中身の品質を比較することで、隣接する画像セグメントの相対的な画像品質を決定することにある。各縁部とそれに重なる、次に隣接する画像セクションの縁部の重複部分との相対的な評価を得た後、該比較の結果は、該結果から論理的な結論を出すことで拡張することが出来る。特定の画像セグメントの又は、画像セグメントの領域又は、多数の画像セグメントからなる全体のモザイクの品質について予想される結論を示したり、示唆したりすることで、傾向を示すなどである。

各縁部は、品質に関連する数値品質測定により、重なり合った次に隣接するセグメントの縁部よりも、高いか低い品質であると決定される。タイルの形の画像セグメントの場合、外周端を別にして、上−下−左−右に、４つの方向的に明確な端部を持っている。相対的な差値は、例えば、各タイルの上縁部の相対的な品質測定値を、次に垂直上方に隣接したタイルの下の値と分析、比較することによって、分かれた集合として評価することが出来る。同様ではあるが、逆に、下の値を次の垂直下方のタイルや左右側のタイルと比較することも可能である。他の測定値は、タイルの四つの端部の差の二乗平均平方根（mean-square-root）を求めることである（即ち、タイルの各縁部と四つのそれに隣接するタイルの重なり合った縁部間の差の絶対値の平均）。

より有利な観点によると、タイル又はその縁部又は対になった縁部（各タイルの反対側の又は隣接する縁部のような）について得られた品質値の差数を統計的に分析することが出来る。一つの技術として、各縁部の値の集合（例えば、次の上方タイルの重なり合っている下縁部に対する上縁部の差の全て）は、一つの特別な測定値に基づいて分析され、最大、最小、平均及び標準偏差を持った差数の母集団を生成する。例えば、上縁部は差がBrenner gradient（集積されたコントラスト）により分析される。こうして、タイルは再度、分析される。例えば、横の縁部のような異なる縁部に関して分析され、また、ラプラス値の総和などの異なる測定値を使用して分析される。二つの測定における結果の相違点と類似点を更に、分析することが出来る。例えば、the Brenner and Laplace（及び必要により追加的な測定）により異なるヒストグラムの形状（異なる正規分布曲線）が得られると、値を正規化して母集団を似た曲線形状に当てはめることが出来る。正規化された値は、分析に使用することが出来る。

画像セグメントの母集団及びそのそれぞれの画像品質のランクは、こうした方法で、また、他の方法で、処理することができる。画像セグメント、端部及び端部の組み合わせ、計測アルゴリズムの結果は、別々に決定され、識別情報用ビジュアルマップに、及び取得された画像セグメントが受け入れ可能か否かを識別するために使用される。本技術は、画像の中身とは独立した画像品質評価を提供し、校正用として使用する参照画像や、比較用の多数のセグメントのコピーを必要としない。

画像品質に関連する客観的な基準は、コントラストの評価のような、焦点の正確性に関連した基準である。そのような基準は、通常、画像の中身の状態と関連している。縞の虎又は斑点のヒョウの画像は本来的に、黄褐色のライオンの画像よりも大きなコントラストを持っている。しかし、この開示された技術を用いると、隣接する画像セグメントの相対的な品質は、画像セグメントの重なり合った縁部は同じ画像の中身を有するという事実を利用して、異なる焦点の正確性の度合い又は他の品質基準を生成する、それぞれの画像取得処理から、意義深く比較することが出来る。重なり合った縁部領域の局部的なコントラストを総計する数値アルゴリズムのような客観的な測定の出力が、意義のある比較を可能とする二つの値又は基準を生成する。なぜなら、測定は同じ中身について二者択一的に取得した画像に適用されるからである。

他の観点に基づくと、重なった二つ以上の縁部のそれぞれに数値アルゴリズムを適用することで生成される数値で、画像のバージョン（重なり合った縁部のそれぞれ）を相対的にランク付けすることが出来る。隣の縁が重なった部分より高い又は低い品質を持っているといったように。母集団として考えると、重なり合った画像セグメントが、自らに隣接するセグメントの品質に対する相対的な品質比較を有するかたちとなる。これらの範囲は、最高から最低の比較値となる。この極値と母集団は受け入れ／拒否基準を規定する上で、有効である。平均及び標準偏差の統計的な分析で、受け入れられないと思われる異常値を見つけ出すことが出来る。画像セグメントの母集団は、パーセンタイル基準で、受け入れられないものを見つけることが出来る。受け入れの範囲は、母集団での相対位置によって決定することが出来る。相対値は決定され、画像セグメントの全体の合成写真又はモザイク上で、比較した画像品質の状態を視覚的に示すようにマッピングすることが出来る。

便利に比較するために使用される画像セグメントは、ピクセルのスキャンされた片か、捕捉された四角形か、長方形のブロック等の規則的な形状である。しかし、画像セグメントは、他のセグメントと重なるどのような規則的又は不規則な形状も取ることが出来、六個以上のセグメントが全て同じセグメントに重なる、頂点部や隅部領域を持った、多数の近接した画像セグメントでもよい。本開示では、画像セグメントは、モザイク中では四角、長方形、他の形状のタイル、又は細長い片又は帯状のものが例示されているが、特定の形状に限るものではない。重なり合った領域、特に互いにつなぎ合わせる縁部を提供する多様な形状が使用可能で有り、そこでは、同じ中身の二つ以上のバージョンを比較することが出来る。

画像品質、特に焦点の正確性と、少なくとも部分的に関連する、局部的なコントラスト及び近似した客観的な基準の評価として、多数のアルゴリズムが知られている。限定されない例示としては、全てのピクセル、特に重なり合った縁部に位置するピクセルについての、Brenner gradient値の総和である。同じ中身の二つの別個の画像、即ち、二つの重なった縁部に同じアルゴリズムを使用することで、二つの隣接した縁部が重なり合った画像セグメントの相対的な焦点の正確性を中身に関わりなく測定することができる。他の技術によれば、同じ又は異なった基準に関連した多数の評価を適用することが出来る。例えば、正規化された、統計的に分析された及び母集団の分布基準など、ピクセルデータ値の派生値による基準である。結果は、互いにつなぎ合わされた画像セグメントからなる全体の画像についての品質測定値を識別し、任意的には視覚的にマッピングすることである。

品質評価は、画像セグメント内の全てのピクセル位置に拡張することが出来る。それは、重なり合った縁部について決定され、見いだされた最高値と最低値の間のあるランクの点に配置された値の間で内挿することで、行うことが出来る。これらのランク付けは、カラーマッピングに変換することが出来、例えば、最も高い品質の領域ははっきりとした色（例えば、最高品質を緑又は水色の穏やかな色）を使って表示し、最低品質の領域は別の色（例えば、赤又はオレンジの警告色）で表示する。色は、病理学者に対する画像表示と併せて、表示することの出来る、オリジナルの画像のバージョンで設定されている。例えば、画像表示と並行して、又は、小さな挿入図として、又は、マウスクリック動作で選択可能な形で、表示される。例えば、顕微鏡と台のスライド面の光学系の不整合により、画像セグメントのフレーム内の焦点の品質が変動する結果となった場合には、カラーマッピングに明瞭に表示される。これは、評価を使用して、選択された画像セグメントの画像の再取得のきっかけとすることも出来る。

本技術は、デジタル病理システムの自動スライドスキャナに関連した、プロセッサのソフトウェアの使用にも、画像処理方法として適用することが出来る。Brenner gradient評価のように、品質評価を提供するために必要な計算は比較的複雑なものではないが、何度も繰り返す必要がある。書き換え可能ゲートアレイ（a
field programmable gate array）又は似たハードウエア／ソフトウエアソリューションを適用して、画像セグメントの画像取得及びつなぎ合わせ処理に関連して高速演算を行うことが出来る。

開示された実施例は、焦点の品質及び、多様な異なる評価アルゴリズムを使用した品質評価を提供するものである。そして、どの場合も、モザイク又は合成写真の異なる画像セグメントに見られる組織構造のタイプの違いに関わりない評価を行うものである。これは、同じ画像の中身、即ち、隣接する画像セグメント、結局は、大きなモザイクの全ての画像セグメント内の重なり合った部分を使用し、これら二つの画像セグメント間の相対的な品質評価を形成するからである。

図面の簡単な説明
以下は、上記した観点や目的を実現するための新規な方法を開示した、例、変形例及び装置及び方法の実施例の説明である。本発明は、例として開示され、示された実施例には限定されず、添付したクレームの範囲内の変形が可能である。図面は以下のようなものである。

図１は、デジタル病理学に関連した代表的な画像取得装置の模式図であり、図では、光学系とサンプルスライドが誇張された寸法関係で表示されている。また組織標本の形状も誇張された寸法となっている。

図２は、別々のデジタル画像の取得が行われた、重複画像領域を持った標本スライドの平面図であり、僅かに重なった長方形の配列が示されている。

図３は、画像品質の比較基準を得るための品質関連アルゴリズムを示す模式図であり、該アルゴリズムは、端部に沿って重なった二つの隣接するセグメントの縁部に適用される。

図４は、列の中の均等な大きさを持ったタイルが重なった画像セグメントを有する画像領域を示す図。

図５は、開示された技術の実施例に基づいてなされる一連の方法ステップを示すフローチャート。

図６は、一個以上の縁に沿って、品質の相違で区別された、多数の画像取得領域を含んだ顕微鏡画像であり、各画像セグメントに対応して配置されたブロック上に影や色をコーディングすることで結果を示している。影や色のコーディングは評価を表したり、又は閾値比較の結果を表したりすることができる。例えば、異なる影又は色が付された、閾値レベルと合っているか、合っていないかを示すブロックを用いる。

図７は、上部は、複数パートにカラーコード化された（影が付された）マップであり、標本の画像上に重ねたものであり、下部は、影付けのスケールが別に表示されている。ここで、品質の差値は、比較された縁の画像セグメントに対する方向によって区分されて示されている。

図８は、図７に例示されたように、一つの結果が表示された実施例に基づいて本技術を実行する際の特有なステップを示す、フローチャートである。

図９は、図８に対応するフローチャートであるが、別の結果であり、選択された画像取得セグメントについて再画像化を示す列である。

発明の詳細な説明
今回の開示に基づいて、デジタル画像の品質、特に顕微鏡的な病理学サンプルに対する焦点の正確性は、タイルやストライブなどの隣接する画像入手セグメントに対する比較により評価される。それらは、二つの画像セグメントの端部が同じ画像の中身を持った縁に沿って重なっている。この縁は、二つのセグメントが、円滑な移行を行えるように画像処理技術によって互いに結合され、またつなぎ合わされる重なり合った端部である。そうした縁で結合され、またつなぎ合わされる近接したセグメントからなる画像では、画像セグメントの重なり合った部分は、当該重なったゾーンで、画像の中身が、それぞれが自身の画像取得と関連している、二つの別々に取得されたバーションを有する。重なり合った縁における二つの画像の中身は、最終的には平均化され、また混ざり合わされて、一つの画像セグメントから次のセグメントへ円滑に移行するようにされて、画像セグメントのモザイクのような、最終的な合成画像となる。しかし、本発明の技術の一つの観点は、近接する画像の取得によって縁部分でも重なった部分ができ、それにより利用できる縁の中身についての二つのバージョンを、比較し、相対的な画像品質の測定値を得ることである。

本発明の技術により、縁の部分の二つの画像を利用する。これは、二つの異なった画像を入手してその重なった画像領域の少なくとも二つのバージョンの画像品質を数値品質的に評価して比較するものである。二つの画像に示された中身は同じであるが、入手先が異なった画像から取得されていることから、比較又は相対的な品質評価は可能である。比較品質評価は好ましくは、合成画像を横切る形で、長方形の四隅又は合成されたモザイク内のタイルの他の形などの、重なった多数の縁上で、入手されたセグメントに関してなされる。隣接するセグメントの全てのペアで重なった縁部分について、相対的な品質評価が与えられる。符号の付いた数値が他の縁部分に重なり合った各縁部分のそれぞれの部分に割り当てられる。該符号はどの部材がよりよいのか悪いのかを示し、数値は、相違の程度の大きさである。こうした評価をなす他のアルゴリズムをここで、開示する。該評価をすることが出来るアルゴリズムが複数ある。異なるアルゴリズムに関する結果を標準化することが出来る。適切な閾値を規定することが出来る。画像セグメント又は画像セグメントの部分の評価又は容認度は、互いにつなぎ合わされた画像セグメントの合成画像に対応するマップ上で視覚的に表示することが出来る

画像セグメントを横切るBrenner
gradientsの総和又は端部又は形状強調及び評価処理は、数学的な観点からの客観的な測定である。しかし、現実的な目的からいうと、評価による数値は、該数値が画像の中身に影響されることから、画像品質とは直接一致しない。開示された技術の観点によると、評価は、複数の入手された画像の中の同じ中身を表す縁部分を比較評価するものであることから、変動する画像の中身による変化は除去される。

図１は、デジタル病理学に関連して使用される画像取得装置の例を示す模式図である。図示された画像取得装置は、自動スライド送り装置を持った自動スライドスキャニング装置の一部である。自動スライド送り装置は、マガジンから一度に一つずつ画像処理するためにスライドをロードして送ることが出来るが、自動送り装置部分は、図面の簡略化のために示されていない。

組織サンプル又は他の対象物を持った標本２２が台２５に載せられたスライド２４上に搭載され、光学系２６を介してコンピュータ処理装置３０に接続された画像センサ２８に晒されている。コンピュータ処理装置３０は、デジタル画像データを処理して、格納し、表示装置３２上に画像を伝達して表示することができる。スライド２４と顕微鏡の光学系２６は相対的に移動自在であり、Ｘ−Ｙ方向に伸延する平面内の点で、光学系を相対的に位置決めしたり、映像を取るべきスライド２４上の位置を選択したり、焦点距離を選択するためにＺ方向に光学系２６と標本２２間の距離を相対的に調整することが出来る。好ましくは、自動焦点制御が、複数のＺ軸距離での焦点の正確性を選択的にテストし、装置が少なくともスライド毎に１回、最適な焦点距離を選択することが出来るために使用される。スライドは好ましくは、隣接する領域内で繰り返し画像取得されるか、示された画像取得領域を介してスキャニング掃引される。実施例では、画像が取得され、台がＸ及びＹ方向に、隣接する領域が画像取得領域内に入り込む位置に移動され、そして、画像が再度取得される。コンピュータ処理装置３０は、画像センサ２８からのピクセルデータ画像を処理するようにプログラムされている。特に、ピクセルデータ内で画像切り替え移動により、隣接した位置に配置され及び好ましくは互いにつなぎ合わされた複数の収集された画像からなる合成画像上で、表示装置３２（又は、処理装置３０にデータ接続された他の表示装置）を使用してビュアーで見ていけるように、画像が整理されるようにプログラムされている。

図１に誇張して示したように、標本２２は高さが変化している。スライド２４及び／又は台２５は、光学系に対して、画像取得領域の一方が他方よりも相対的に高いといった、相対的な整合ミスが生じる。これらは、視野を横断する画像の品質に変動ももたらす、光学的な変動である。サンプルの照度が変化することとなる。これらの及び近似した変化は、一つの収集された画像の領域及び、コンピュータ処理装置３０の制御の元に、近接した形で画像が取得され、表示装置３２上に表示される、複数の画像取得領域で囲まれたスライド領域にわたる画像品質に相違をもたらす。

顕微鏡の光学系２６は、カメラ２８のような画像センサに接続されており、画像センサは、スナップショットフォーマットで、標本の画像取得領域の２次元静止画像又は写真を収集し、デジタル化する。また、別の方法として、画像センサはラインスキャンセンサで構成することも出来る。ラインスキャンセンサは、ラインスキャンセンサの長手方向とは直角な方向に標本上を相対的に移動することで、掃引状態で、該ラインスキャンセンサに沿って素子のサンプリングを行って２次元の画像を収集する。その結果、２次元ピクセルデジタル画像データが、プロセッサ、データメモリ及びプログラムコードを持った、コンピュータ処理装置３０に入力され、表示装置３２上に画像を表示することが出来る。コンピュータ処理装置は、遠隔データ格納、画像データ管理のためのデータ取り扱い及びデーベース運用、専門家（病理学者）のワークフロー管理、患者の情報管理及びそのほかの用途のためにデータ通信ネットワークに接続することが出来る。

高解像度の画像収集の場合、それぞれの収集された画像は、モザイク又は合成写真を構成するアレイの中の、細長いスキャンされた片又は長方形又は、他の形をしたタイルに対応することが出来る。そこでは、収集された画像のそれぞれの端部は、互いにその周囲で一緒になっている（モザイクの周辺部のタイルを除く）。全体のモザイク又は合成写真は低解像度で一つの画像として見ることが出来、また、高解像度で、一つの入手した画像から他の画像へ、入手した画像が隣接する周辺部を横切る形で移動して見てゆくことが出来る。一つの画像から次の画像への移行部分は、隣接する別々に入手した画像が接する縁部を通して、平均化することで、平滑化される。また、移行部分の平滑化は、標本２２又は他の対象の同一領域が重なった画像を取得することと共に行われると良い。処理装置３０は二つの画像の縁部の同じ中身の一致を取り、画像を出来るだけ正確に並べることも出来る。処理装置３０は境界を横切る画像を、ピクセル値をインターリービングしたり重み付きの平均を取ったりすることで合成し、また、データを平滑化することで、一つの画像から他の画像への移行部分を生成する。移行部分は、突然不連続な線が表示される代わりに、縁部の幅に沿って生成される。

図２は、サンプルの画像３５が画像セグメント３７の規則正しい列から構成される例を示している。画像セグメント３７は、台２５及び／又は光学系２６を位置決めした後、連続的なスナップショットで取得される。図２に示すように、それぞれの画像セグメント３７は、一つ以上の縁部４０で互いに重なっている。処理装置３０により画像セグメントを合成したり継ぎ合わせたりすることが出来る、縁部がある。画像セグメント３７は、重なった縁部を持った細長い隣接する片でもよく、画像などから切り分けられた四分円又は別の部分でもよい。図３では、二つの画像セグメント３７が示されており、それぞれは、他のセグメントに対して重なった縁部分４０を持っており、そこでは資料画像３５の一つの部分についての異なるバーションが提供される。これらは処理装置３０（図１参照）により該縁部を介して画像セグメントをつなぎ合わせることで合成画像４２が生成される、同じ縁部である。

画像解析アルゴリズム４５は、二つの重なった縁領域４０のピクセルデータに適用される。画像解析アルゴリズム４５は、導関数的、統計的、ヒストグラム／母集団分布アルゴリズムなど、画像に好適と思われる少なくとも一つの変数に関連した、前述したどのようなアルゴリズムでもよい。即ち、画像品質に関連したアルゴリズムである。説明の便宜上、限定するわけではないが、アルゴリズムとして、画像焦点の正確度に関連した数値を生成するアルゴリズムを、例に挙げる。該数値は画像の中身によって影響を受けるが、同じ中身を持った二つの画像の縁部４０に適用すると、二つの縁部４０についてアルゴリズムにより生成される数値の差は、これら二つの縁部の画像品質の差を測定することとなる。

図４では、規則正しく配置された画像セグメント３７の列がモザイク合成画像４２の正方形又はタイルを形成し、試料２２の画像が見える。図４からも分かる通り、試料が空白の領域に囲まれたスライドの限られた領域を占めることは、珍しくはない。画像処理の間又は後程、一つ以上の画像セグメント３７が空白セグメントと判定されて、画像品質比較計算処理から除外される。

各セグメント又はタイル３７は重なった縁部４０を隣接するタイルと共有する。この正方形又は長方形配列において、画像化領域の外側端部を除くタイルは、すべてのタイルの領域と縁部で重なる４つの隣接するタイルを有する。各タイルは、上、下、右及び左縁部を有し、縁部は隣接するタイルの重なった対応する画像領域と比較できる画像領域を有する。品質評価アルゴリズムは縁部４０に適用され、焦点の正確性などの品質変数に関連した二つの出力値Ｑｎを生成する。相対的な品質評価は、二つの重なった領域、即ちＱ_１−Ｑ_２に関する出力値の差である。値は、品質関連アルゴリズム４５により、より高いスコアが出た画像セグメントに応じて正又は負の符号が付くが、絶対値はアルゴリズム４５により決定された品質の相違の大きさの程度である。上述したように、アルゴリズム４５の結果は、画像が、画像縁部４０での品質が高いか低いかは決定することが出来ないが、縁部における相対的な画像品質を評価するものである。

図４から分かるように、四個の画像セグメント３７が角部で互いに重なっており、そこでは描かれた長方形のタイルが縦横に隣接している。六個のセグメントが角部で重なるようにするには、六角形のような異なる形を用いることが出来る。こうした角部は、コーナー部の四つ又は六つの重なった領域内での比較評価が可能となり、全ての重なり合っているセグメントの相対的な評価も出来る。しかし、コーナーブロックは小さく、ピクセルも比較的少なく、そしてコーナー部は、普通視野の中央であり、光学システムが最高に機能する画像セグメント３７の中央から最も離れている。その結果、コーナー領域から取られた相違値のデータは、上、下、左右縁部で取られたデータよりも信頼性に乏しい。実施例では、縁部４０で重なっている全てのピクセルは、アルゴリズム４５により出力Ｑを生成するために使用され、差値Ｑ_１−Ｑ_２が得られる。限られた距離を保つために、末端のコーナー部からのデータを無視して、水平及び垂直中央線付近の縁部の中央部について演算することも出来る。

それぞれの縁部４０に関するアルゴリズム４０の出力における差値Ｑ_１−Ｑ_２は、処理装置３０のプログラムで、縁部の一つがより高い品質を及び範囲を示すものとして解釈される。差値の符号及び差は格納される。

縦横方向に重なり合った縁部４０を持った画像セグメント３７の列が図４に示されている。それぞれの重なり合った縁部４０では、中身の二つのバージョンが得られ、アルゴリズム４５により二つの値が生成される。もし、アルゴリズムの値が、コントラストの高い評価がよりよい焦点を示すようなコントラスト評価アルゴリズムのように、品質とはっきりと関連しているのなら、符号の付いた価は、隣接する画像セグメント３７の重なり合った縁部４０に関して、一つ以上の品質に関連したアルゴリズムにより生成された正又は負の差値を示す。

画像データセグメント３７は、縁部で又は（画像の中身による何らかの相互関係を持って）縁部を離れた画像データセグメント領域で、等級付けすることが出来る。全部の画像セグメント３７の相対的な品質評価を、一つの画像セグメントから次の画像セグメントへ、重なり合った縁部の結果を基に、相対的な品質評価を用いて、仮定することが出来る。しかし、縁部の相対的な品質評価は、特定の画像セグメントとその隣接する近辺の画像セグメントの異なる縁部で相違しうるものである。本発明の開示はこの点で有利である。それは、相対的な品質評価結果の方向性におけるパターンを発見することが出来るからである。あるパターンが画像収集装置の対応する相と関連している。例えば、上、下、左右縁部が他の縁部よりも高いか低いかの相対的な品質評価を示す通常の変化は、台又は搭載されたサンプルスライドの光学的な整合ミス又は傾きが生じていることを示す。

図５は、開示された方法のステップをブロック図で示したものである。本方法は画像品質アルゴリズムを適用することからなる。一つの実施例では、オートフォーカスのアプリケーションに使用されるタイプの多数の画像品質アルゴリズムを適用する。これらの異なるアルゴリズムは、画像品質の面、特に焦点の正確性及び画像の中身の他の点で有効な値を抽出する。アルゴリズムの適用は、こうしたアルゴリズムが画像の中身で見いだされる特徴を数学的に計測することから、「特徴抽出」と称することが出来る。局部的な画像コントラストに対して有効なアルゴリズムに加えて、キャニー法（Canny edges）による特徴抽出、画像グラデーション及びラプラシン特性（Laplacian features）、局部的な画像統計特性（local
image statistics features）及びウエーブレット特性（wavelet features）が有効である。

同じ中身の重なり合った縁部バーションについて、特徴計測値を得、高くないしは低く及びどれくらいあるのかを評価された縁部を区別する差値を得、結果のデータを多様な方法で加工することが出来る。特徴抽出又は差値データは正規化することも出来る。値は、画像における第１及び第２のデジタル画像、特に重なった縁部に関連する測定を示すものとしてエンコードされ、格納される。それぞれの値は、結果の集団をベースにして所定の又は予め決められた閾値を用いた閾値検出技術を適用することが出来る。結果は画像毎に見ることが出来、例えば、各画像セグメントとその近隣のセグメント間の４つの符号付きの比較値を基にした選択基準を適用する。多数の画像セグメントに関する結果は方向性で区別される。すると、もし、画像セグメントのより大きな部分で、品質差が一つ以上の縁部で良好であり、一つ以上の反対側の端部で不良であるような特徴パターンを持っていたら、光学系の整合ミス又は試料の傾きが疑われる。好ましくは、いくつかの相対的な品質評価が使用される。例えば、同じ端部（例えば、全ての画像セグメントの上又は、下又は、左側又は、右側）での結果の比較に基づく、各セグメントの値の平均及び／又は範囲及び、母集団におけるこれらの値のランクを示すパーセンタイル値である。

図６に上端部の差値に基づく評価を示す。列及び行番号は拡大されたウインドウに表スタイルで表示されている。モザイクセグメントのモザイク上に重ねられた影（カラーコーディングされている）は、受け入れられた閾値と一致する。こうした表示は、モザイク画像の表示と共に、参考用として表示することが出来る。同様な表示は、全ての下端部の比較用に、又左又は右側の端部の比較用などに、生成することが出来る。単一のタイルについては、最大及び最小差値間の平均及び範囲が、疑わしい画像セグメントが捕捉されているか否かを発見するのに有効である。

一つの実施例では、複数のアルゴリズム又は特徴抽出処理、例えば上記したリストから選択されたものが、それぞれの重なり合った縁部に適用され、差値がそれぞれの検査された特徴に関して得られる。差値抽出アルゴリズムは、焦点はずれの検出及び異なる状況での品質評価に有効である。既に説明したように、それらの画像の中身の影響は、アルゴリズムが重なり合った縁部の同じ中身に対して適用されるので、比較から除去される。その上、得られた特徴抽出値は、それらの反応が異なる大きさであり、異なる割合で変化するので、直接量的に比較することができない。

二つのステップの正規化アプローチは、画像品質測定としての焦点の正確性に関連する特徴の変化割合及び大きさの両方を正規化するために使用される。この正規化された特徴の差値は、以下で得られる。

ここで、I₁ 及びI₂ は二つの画像の重なり合った領域であり、f_iはiをインデックスに持った特徴量ベクトルfの特徴量であり、k_iは、例えばオートフォーカス処理中などの、多数の積み重なった画像を得ることから調整された被写界深度に比例する特徴差の勾配である。右辺の第２の分数が大きさの正規化を実行する。それは特徴を、基本的にそれらの大きさに比例して正規化することで、特徴反応の絶対差から相対的な基準に変換する。互いに接近する特徴値のような特定の特徴については、この項は０となる。値が非常に異なる、他の極端な例では、分母の項は、±１の間となり、特徴差の符号による。

右辺の最初の分数は、割合の変化を正規化する。これは積み重なった画像セットを使用して行なわれるもので、特徴差における変化に対する真の焦点面からの深さ距離に着目するものである。線形関数が各特徴の応答に適用され、各関数の勾配k_iが各特徴応答のシャープネスを表すために使用される（全ての特徴は、距離０の原点を通過するように定義されている）。この分数の分子はこれらの勾配の最小値に設定され、分数が０と１の間に拘束される。正規化の条件を組み合わることで、正規化特徴差は−１から＋１の間に拘束される。この正規化された相対的な特徴差（又は、単に「特徴差」）は、異なるタイプの特徴間での比較に意味が見いだされる。特徴差は、全てを含んだ特徴差の中間値を取ることで、組み合わされ、全ての特徴差スコアに繋がり、良又は悪又は、それらの間で、評価することが出来る。この値は受け入れられた閾値と比較することが出来る。

特徴差の符号は比較された画像の相対的な品質を示す（焦点の正確性など）。正の符号は、画像I₁が画像I₂より良いことを意味する。こうして、差の大きさと符号が画像品質の相対的な基準となる。

それぞれが画像品質に相対的な差を生み出す多数の基準を使用すると、議論したように、望ましくはその結果は正規化され、該結果は異なる基準の効果を平均化することで処理することが出来る。一つ以上の測定から極端な結果が生じると、画像取り込み又は全体のスライドモザイクを捨てることにもなる。また、測定が同意可能なほど良好なものであれば、極端な結果は考慮外とすることもあり得る。どの場合でも、画像の中身の影響は、同じ画像の中身を含んだ重なり合った近接する画像セグメント３７の縁部領域４０を使用する品質関連数値アルゴリズムの結果の比較を、評価のベースにしているので、問題は無い。

縁部の相対的な品質評価のせいで、画像セグメント３７の集合は、画像品質比較値（Q₁-Q₂）の範囲を、正負を含めて規定する。品質評価比較の幅及び分布は、注意又は再取得が必要な画像セグメントを特定するために、ある意味有効である。方向に関連した差のパターンは、光学的なミスアライメント又は、台又は試料の傾きが考えられるので、画像の方向が関連した差の値は、有効である。

品質評価アルゴリズムからの一つ以上の品質測定による差値は、ある意味で、全体の画像品質の測定又は、再調整の必要性及び画像のいくつか又は全ての再取得の必要性を示唆する情報をもたらす。比較の結果、特定の画像セグメントの比較が他の比較に比べて大きな差を示すと、しばしば画像の再取得が必要になることがある。品質差測定により、画像が、縁部４０の品質とほぼ同じであることが判明することはあり得る。しかし、品質は一様に悪いかもしれない。例えば、取得する最初の画像セグメント３７について、又は計画的に反復する形で、予備的なステップで基準となる焦点距離状態を確立しておくようにすることが出来る。好ましくは、少なくとも大まかな又は予測的なオートフォーカスステップを、各画像セグメント３７を取得する際に使用する。また、いくつかの画像取得セグメントを広範囲に分析し、焦点の正確性又はキャリブレーションのより以上の保証を与えるようにすることも可能である。一つ以上の特定のセグメントにこうしたより以上の保証がなされていると分かっている場所では、品質差の幅の測定は、少なくとも広範囲に分析された画像セグメントは正確な焦点であるという保証の基に、行うことが出来る。縁部４０の品質評価の間の相違の分布は、画像セグメントの集合を、低い品質となる任意的な基準の範囲を示す代わりに、高い品質状態から下方に幅を持って表示する。

主題となっている品質評価方法は、画像セグメントが表示されている間に実行することが出来、好ましくはスライドが顕微鏡のスキャニング領域にとどまっている間に完了する。一つ以上の端部で差値に基づいた許容基準に適合しない特定のセグメント３７は、再映像化のキューに入れることが出来る。差の範囲が、画像取得されたモザイクの全てで高い場所では、全ての側での映像化を繰り返したり、及び／又はオペレータなどに警告したりすることが望ましい。

本発明の効果的な応用は、顕微鏡病理学において焦点の正確性を評価することである。二つの異なる画像セグメント３７を入手する間、例えば、図１に示すように、試料形状又は傾きの問題によって、顕微鏡は、隣接する両セグメントの縁部の重なり合った部分で、同じ正確性で焦点合わせを行えない。ピントのひどく外れた画像は診断目的に使用することは出来ず、ややピントの外れた画像でも一般的には分析が困難であり、ユーザをいらだたせる。タイル上の特定の地点での焦点の正確性は、極めて鮮明なものから全くぼやけたものの間で変わりうる。焦点の正確性は、時にはタイルの領域を横断する形で変化し、例えば、タイルの一つの角又は側部で鮮明であるが、その反対側の角又は側部で不鮮明となったり、また、タイルの中央部及びその周辺部で鮮明で、その例外の部分でぼやけたりする。

開示の観点によると、コントラスト測定は、隣接するタイルが互いに重なり合う、縁部領域について特に取得される。コントラストの測定は、画像中のピクセル列で、全てのピクセル又は選択されたピクセルについてのBrenner gradientの和で、全てのコントラストが存在する範囲でのラプラス変換又は同様な手段によるもので、又はコントラストの統計的分析で、又はそれらの組み合わせで行われる。コントラストについての、同じ傾斜、変換又は分析アルゴリズムもたま、異なるピクセル間隔又は重み付けで適用が可能である。これらのまたこれらと近似した測定、特に焦点の正確性の程度は、画像品質と関連する。同じ中身を持った二つの隣接するタイルのそれぞれの重なり合った部分に対して二つの測定を行って、それらを定量的に比較し、そして定量的な差についての、画像の中身の変化によって比較が難しかったり、不可能だったりするアルゴリズムの結果は、より完全な意味で、画像品質を解明するためには有効なものとなる。

他の重なり合った縁部と比較して、特別に重なり合った縁部の間で、例えば、所定の閾値を超えた測定差のような、実質的な差が検出された場合、画像取得制御装置は、一つ以上の画像取得に失敗したものと結論づける。パターン、特に方向性に関するものが、現れる場所は、例えば、左右の縁部の比較と比較した上下の縁部の比較（又は、上と右対下と左と比較した、上と左対下と右のような組み合わせで）がより大きな差があれば、そのパターンは検出され報告される。方向性の特定のパターンは、サンプル画像に対応してマップ上に表示され、システムのアライメントミス及び／又は光学的な問題を暗に示す。これらの問題は、修正可能で有り、再度スキャンを行うことが出来る。

図５は、開示された方法のステップを示すフローチャートである。第１のデジタル画像３７が、画像化された対象２２，３５の限られた領域を含む形で取得される。そして、少なくとも一つの第２のデジタル画像が、限られた領域に隣接する対象の領域を含む形で取得される。第１及び第２のデジタル画像は縁部４０に沿って重なるようになっており、これにより第１及び第２のデジタル画像は、対象の同じ領域を含むピクセルデータの部分集合を含むものとなる。即ち、重なり合った縁部に対応するピクセルを含むものである。即ち、二つの異なった画像３７内の同じ中身であり、その画像品質が評価されるのである。

本技術は、同じ中身を含んだ、組織サンプルを横断するようにして取得された隣接した画像のある、第１の発見された重なり合った領域を含む。このステップは隣接した画像セグメントのピクセルを整列させて、モザイク上のタイルとしての正しい相対位置にそれらを登録することことに関連して行われ、及び／又は、隣接する画像を共に併合したり、つなぎ合わせたりする前のステップとして行われる。

通常、連続的に取得された二つの隣接する画像又はタイル間の重なり合った領域の範囲は、台の動きのパラメータで大まかに規定することが出来る。隣接する画像取得領域の中央間における台の移動距離は、移動方向に計測された画像の一辺に沿って計測した画像の大きさよりも小さい距離である。これが重なり合った縁部４０を生み出す。

重なり合った縁部４０として使用される画像セグメント３７の部分は、画像セグメントの重なり合った全てのピクセル範囲を含む必要は無いが、少なくともいくつかの縁部のピクセルを含む必要がある。一例としては、画像セグメントは一面で２０００ピクセルである。縁部４０は２００ピクセルか１０％の重なり合いでよい。両セグメント３７の末端の周辺端部は無視することが出来、例えば、それぞれ２５ピクセルの幅である。任意的には画像セグメントの末端角部も無視することが出来る、例えば、角部から１００ピクセルである。残りの、各セグメントについて１５０ピクセル幅で１８００ピクセルの長さの縁部の重なり合った部分を、重なり合ったピクセル領域として使用することが出来る。他の所定数や割合も使用することが出来、例えば、画像セグメント３７が一面４０９６ピクセルかつ、そのうちのより大きな又は小さな割合の重なり合った領域及び有効領域などである。

どちらにせよ、計算による画像分析アルゴリズムが第１及び第２のデジタル画像の、少なくとも縁部に対応したピクセルデータの部分集合に適用され、第１及び第２のデジタル画像によって表される、対象の同じ領域についての二つの特性を生成する。本技術は、同じ又は別のアルゴリズムを重なり合った縁部４０から離れた画像セグメント３７の領域に適用する更なるステップを除外するものではないが、そうしたステップは現在の開示の範囲には含まれない。本発明は、同じ中身を持った領域（縁部４０）の相対的な測定であり、一つ以上の評価アルゴリズムに基づく異なる評価を行うものである。アルゴリズムは、多様な測定が可能であり、少なくとも一つの品質評価と、任意的には複数の評価を含むものである。また、顕微鏡病理学／組織学用に、デジタル画像は焦点品質の測定を含む。

縁部に対するアルゴリズムの適用により得られる相対的な測定は、品質及び／又は他のピクセル値を正規化するために、また、ピクセルデータ値の範囲や分布に対して規定し及び運用するため、比較されるデジタル画像セグメント３７に関連する一つ以上の測定をエンコードし、保存し、提示するため、試料の全て又は一部の合格／不合格、取り直しを決定したり、同じ領域の二つの特徴を比較する基本となる画像を評価したりするきっかけとするために使用される。これらのことは、同じ画像の中身が重なり合った縁部で二つのバーションで表されるという事実から生じる利益である。焦点の正確性又は他の基準における変化によるものだが、結果として、品質に関連したアルゴリズム４５の結果を比較することが、画像の中身に関連した影響を受けない、議論の余地の無い意味深い品質情報を提供する。

この技術は、縁部の中身が殆ど対応する限り、重なり合った縁部を持った画像を調整し、移動させて隣接する画像を、整列させるために使用される画像処理手順に導入することが出来る。理想的には、二つの画像の重なり合った領域のピクセルは、下にある組織上の同じ点に正確に整合されるべきである。しかし、実際には、画像取得及びピクセルの整合に少しの変化があるので、相違が生じる。タイル又は画像の登録行程は、画像の相対位置を整合させ、二つの重なり合った縁部の中身を整合させることを含むものである。この整合ステップは、後の画像処理で、縁部を横切ってつなぎ合わせるべきタイルの合成モザイクを可能とすることに役立つ。画像処置は、重なり合った縁部の整合した点でのピクセル値の移動平均を含み、これにより、隣接するタイル間の境界を横切って通り抜けることが可能な大きなモザイクを、全タイルが一緒になって形成する。

もし、画像が両方のタイルの重なり合った縁部で焦点が合ったならば、両縁部の対応する点のピクセルデータは大変似たものとなる。もし、画像の一方又は他方の焦点が合っていない場合には、ピクセルデータは極めて異なるものとなる。両方の画像が共に焦点が合っていない場合には、ピクセルデータは再度に似たものとなる。本技術によれば、焦点に関連する一つ以上の目標数値アルゴリズムが両縁部に適用され、等しいか異なるとの数値評価を生成する。相違が有る限り、二の重なり合った画像縁部の一つは、他のものよりもより正確な焦点状態になって見える。

一つの実施例では、画像の差異を測定するために、客観的な数値測定を生み出す多数の異なる特徴評価を、画像の重なり合った領域の両方について得ることが出来る。これらは、ヒストグラムアルゴリズム（例えば、thresholded content, thresholded pixel count, image power)又は統計的アルゴリズム（例えば、a
range algorithm or entropy algorithm)又は導関数をベースにしたアルゴリズム（例えば、Canny edges、thresholded
absolute gradient, squared gradient, Brenner gradient, Tenenbaum gradient, sum
of modified Laplace, wavelet)の出力など、焦点の正確性による評価に変わるものとして述べることが出来る。

多数のアルゴリズムを適用すると、各アルゴリズムは画像の一つ以上の特性（言い換えれば、「特徴」）の影響を受けやすいものと考えられる。多様なアルゴリズムが焦点の正確性に敏感であるが、いくつかは形の存在又は画像の中身の流動性のような点に敏感である。両方の縁部４０に同じアルゴリズムを適用することは、画像の中身の影響を低減させるが、特定の重なり合った縁部４０に適用した際に、いくつかのアルゴリズムは、より大きな又は小さな差異を生じさせるかもしれない。多数のアルゴリズムを用いることは、技術に多様性を与え、幅広い画像の中身の状態に対応することが出来る。差異の計算に影響する特徴の問題を避けるために、ここで述べた正規化を使用する。一つの技術によると、閾値で、特徴の差異の最大受け入れ可能な大きさをセットすることが出来る。他の技術では、全ての画像セグメントで重なり合った縁部の大きさを合計し、閾値の最大受け入れ可能合計を適用する。別の技術では、ある方向に重なった全ての画像セグメントの差値を、別々に閾値に対して評価し、試料のモザイク画像上のそれぞれのセグメントの位置に関連した可視マップを任意的に作成する。

図６に、図８の方法のフローチャートによって見つけられ、決定された差値が、最大と最小の差の間の範囲内に入るように決定される実施例を示す。範囲は、モザイクの対応する画像セグメント上に適用された、個別の色で区別されている（図面では、影として表されている）。図７では、数値差の範囲が色又は影で区別される形で表示され、これにより明らかに異なる結果が得られたモザイクの領域がハイライトされている。この図は、また、選択されたタイルの拡大イラストレーションを含み、ぼやけたタイルと比較した焦点の合ったタイルによって示された、画像品質の差を示している。

図６の実施例において、表示された値で、所定の画像セグメント３７に関連する全ての４つの縁部に関する差をベースにした合成図を表すことが出来る。図７は、上部に、図６に示したように、モザイクの画像上で結果を視覚的に示すが、各縁部について、４つの評価を別々に行ったものであり、それぞれ上、下、右及び左縁部である。プレゼンテーションは、範囲の中での各値の位置を確認するために、影を付すことが出来、例えばカラーコード化されたスペクトルレンジを使用する。各ケースで、画像セグメント３７毎に、一つの値があるので、セグメントの位置はそれにより色づけされ、影付けされている。図７の下部には、同じ色づけ及び影付けされたプレゼンテーションが示されているが、モザイク画像上にスーパーインポーズされていない。

評価の結果を表示することが、図９のフローチャートの観点でもある。また、図９は、全てのセグメントから許容できるセグメントを選択し、選択基準に満たないセグメントを再画像化するステップを示す。

特定の特徴の評価又は使用する評価の組み合わせは、重なり合った縁部についてアルゴリズムを試走させて選択することが出来る。例えば、焦点の正確性を評価する際に、異なる焦点距離で多数の画像を通して予測される傾向を最も細かく追うことの出来る特徴評価を、選択使用することが出来る。

図６は、図８で示した技術の結果を視覚的にマッピングしたものであり、図７は二つの異なった技術を示す。図６及び図７の上部の実施例では、議論したように重なり合った縁部でピクセルデータを処理することで、それぞれの画像セグメント３７は整合され、つなぎ合わされ、縁部は確認できない。図７の下部では、結果が、比較のための並行した参照スケールと共に、影を付された、又は「ヒートマップ」表示で示されている。ヒートマップは、閾値比較で、所定の閾値に合致しない品質を持つと考えられる領域を区別するために色が使用され、好ましくは警告色（例えば、オレンジ又は赤）が使用される。閾値に合致する領域は、柔らかい色（例えば、青又は緑）で示されているが、図面では、より暗い影で表されている。

開示された技術は、画像化すべき対象の限られた領域を含んだ形で、タイル又は細長い画像セグメント３７などの第１のデジタル画像を取得し、前記対象の限られた領域に隣接する領域を含む少なくとも一つの第２のデジタル画像を取得し、画像の縁部４０に沿って第１及び第２の画像を重ね合わせ、第１及び第２のデジタル画像が、前記対象における同じ領域を含んだ縁部に対応するピクセルデータの部分集合を持った、ピクセルデータセットを有するようにする。数値画像分析アルゴリズムを、第１及び第２のデジタル画像の少なくとも縁部に対応するピクセルデータの部分集合に適用する。これが、第１及び第２のデジタル画像により表された前記対象の同じ領域について、二つの評価を生成する。アルゴリズムの結果を正規化し、エンコードし、格納し、閾値に適用し、視覚化して第１及び第２のデジタル画像に関連した測定値を示す。そして、重なり合った同じ領域に関して二つの評価を比較することで、品質評価を作成し、報告する。この技術は、比較のための参照画像が不要で、重なり合った縁部の二つの視野を利用して効果的に運用し、全体画像についての品質評価情報を推定することが出来る。

画像化される対象は、複数の顕微鏡デジタル写真がスナップショット又はそれに似た技術で取られる病理学標本のスライドであり、それらのデジタル写真は、隣接する端部に重なり合う縁部のような、重なり合った領域を有する。デジタル写真のそれぞれは前記した各限られた領域に対応している。複数の顕微鏡デジタル写真は一緒になって、前記試料又は試料を含んだサンプルスライドの全部又は少なくとも所定の部分を含むものである。

図４の実施例では、複数の顕微鏡デジタル写真の少なくともいくつかは、少なくとも二つの端部で他の顕微鏡デジタル写真と重なっている。コーナーなどでは二つ以上の領域が重なっているのが分かる。例えば、長方形の画像セグメントの四隅又は、六角形の画像セグメントでは六個の隅などである。いくつかのセグメント３７が重なるこれらのコーナー領域を比較することも出来るが、仮にコー領域を無視すると、データの信頼性は良くなる。

数値分析は、導関数をベースにしたアルゴリズム、統計的アルゴリズム、ヒストグラムをベースにしたアルゴリズム及び、直感的アルゴリズム（intuitive algorithm）のなかの少なくとも一つから構成され、縁部のピクセル位置での焦点の正確性に関連した数値を生成する。または、品質の他の測定方法及びこうした数値測定又は比較をすることの出来る他の技術も使用することが出来る。ほかには、数値解析は、重なり合った縁部のそれぞれについて焦点の正確性を特徴付ける少なくとも一つの集計値を生成することを含むと、よりよい。方法は、焦点の正確性で、縁部に沿って重なった第１及び第２のデジタル画像をランク付けすることを含むものである。この処理は、重なり合った画像セグメントの連続するペアについて実行することが出来る。参考画像又はキャリブレーション基準を用いずに、画像セグメントは、焦点の正確性又は他の品質基準によりランク付けすることが出来る。一つ以上の画像セグメントが大規模なオートフォーカス制御シークエンスの運用に関連して得られると（例えば、多数のＺ軸焦点距離を用いた最初の又は、定期的なキャリブレーションステップ）、その観点が考慮される。例えば、この改良されたオートフォーカス制御ステップを運用することで直接に得られた画像セグメントに対して仮の高品質評価を仮定することで行う。ある意味、この技術は、広範囲にオートフォーカスされた画像セグメントの形でキャリブレーションレリファレンスを行うものである。本技術は画像による参照が除外されることはない。

数値解析又はアルゴリズムは、各重なり合った縁部について、少なくとも一つの品質を特徴づける集計値を生成し、それは好ましくは焦点の正確性である。重なり合った縁部で画像の中身が同じで有る限り、アルゴリズムの結果、特にそれぞれの縁部について生成された値の差は、縁部に沿って隣接しかつ重なっている二つの前記デジタル画像の焦点の相対的な正確性の差を表している。画像セグメントの全体品質の表示は、一つ以上のそれぞれの重なり合った縁部に関する集計値の差に、全体的に又は部分的に基づくことで行う。

本発明の方法は、隣接する画像を収集し、ストライプ、タイル又は他の形状の合成写真やモザイクに組み立てる、多様な画像収集処理に適用することが出来る。処理は、任意的ではあるが、隣接する画像を共に整合させ及び／又はつなぎ合わせるために有効な、重なり合った縁部を作る。特に、デジタル病理画像においては、本方法は、病理学又は組織学試料をＸ−Ｙ平面を規定するスライド上に配置すること、Ｚ軸焦点距離でＸ−Ｙ位置の試料の拡大画像を記録するためのデジタルスキャニング又は静止画カメラを持った顕微鏡の台上で前記スライドを整合させることを含む。顕微鏡は、Ｘ−Ｙ平面内での視野を位置決めし、Ｚ軸に沿った相対的な焦点距離制御を行う制御部を有している。Ｚ軸制御は、オートフォーカス装置の一部でもよい。

カメラは、取得すべき各画像セグメントについて、焦点の正確性アルゴリズムを適用して好適な焦点距離を決定し、選択し、もしくは、予測し、次いで画像セグメントにつてピクセルデータ画像を収集することで、異なる焦点距離で連続的なピクセルデータ画像を取得し、少なくとも一時的に保存するように使用される。スライドの最初のセットアップ行程で、取得された第１の画像セグメントの焦点距離を選択するように構成しても良い。オートフォーカスに注目することは、取得される画像セグメントのいくつかが高い品質（正確に焦点されたような）であるとの何らかの保証を得るために有効である。しかし、重なり合った縁部で品質に関連したアルゴリズムの結果を比較することは、通常、キャリブレーション又は似た目的のための参照画像を必要としないで運転することが出来る。

最初の画像セグメントを取得した後、視野を少なくともＸ方向及びＹ方向の一方に所定距離移動させ、視野が、前に取得された画像セグメントに隣接する、試料上の新たな画像セグメントを含むようにする。この際、新たな画像セグメントの縁部領域が、一つ以上の前に取得された画像セグメントと重なるようにする。次のピクセルデータ画像を取得し、スライドを移動させ、重なり合った縁部領域を持ったピクセルデータ画像を収集し、スライドの全ての又は所定の部分を含んだ画像が、隣接した画像セグメントの配列として記録される。所定の部分とは、試料又は調査用に特定された試料の特定領域によって占有された部分である。

重なり合った縁部領域のピクセルデータは画像品質に関連した数値画像分析アルゴリズムを適用することで分析される。重なり合うことで、重なり合った縁部又は他の形状における少なくとも二つのピクセルデータのセットが、ピクセルデータ画像の少なくとも二つにおいて同じ中身を表すこととなる。このことは、対象物の同じ領域及び同じ画像の中身に関して（しかし、品質は変化している）、第１及び第２のデジタル画像によって表わされる、少なくとも二つの特徴を生成するものである。一つ以上の上記したアルゴリズムが使用されるが、他の数値的な品質評価を生成するアルゴリズムも使用できる。アルゴリズムは、a Brenner Gradient計算のように、局部的なコントラスト値を集計することが出来るとよい。The Brenner
Gradientアルゴリズムは、一つのピクセル値ｉ（ｘ、ｙ）と、二つのピクセル位置の水平又は垂直距離を隔てた隣接するピクセルの対応するピクセル値との間の第１の差を、全てのピクセルについて総計する演算を行う。即ち、［数２］：

ここで、

（即ち、差が閾値を超えているとき）。ピクセル値“ｉ”は、ピクセルの輝度又は色彩を基礎にした変数値であり、Ｒ，Ｇ及びＢの大きさの総和又は平均などである。同様なアルゴリズムを局部的なピクセル間で異なる間隔（例えば、より長い）で適用することが出来る。

配列の中で隣接して重なり合った画像セグメントの品質の差は、該画像セグメントの重なり合った縁部に関する品質の数値評価間の、正又は負の差により表される。画像セグメントは、参考とされる母集団が無いので、隣接するピクセルの差の程度をベースに、互いに対してランク付けされる。ランク付けは、各画像セグメントの複数の縁部の合計でもよく、または、方向に関する差を識別しつつ、多数の画像セグメントの対応する側の縁部の合計も考慮することが出来る。例えば、上下左右の側の内の一つを、セグメントのいくつか又は全てについて共に考慮して、比較品質の方向に関連した変化を識別するようにすることが出来る。差の符号及び／又は絶対値が方向と共に考慮される。二つの反対の側の符号及び差値は、共に考慮され、水平又は垂直方向に関する変数を定義する。また、隣接する側の対は、反対の側の対に対して考慮され、対角線方向の情報を識別する。

開示された技術は、いくつかの画像セグメントは他よりも品質が良く、又いくつかは単に不十分な品質であるといった、合成顕微鏡画像を得ることに関わる問題に対処する。好ましくは、前述した方法ステップは、画像セグメントを得る工程中に行われる。次に重なり合ったセグメントのそれぞれの品質は、近所のものに対して評価され、評価情報はメモリに記録される。全ての必要な画像セグメントを最初に取得した後、装置は品質情報を処理し、スライドが画像用にまだ装着された状態の内に、最悪の画像品質の画像を再取得する。

本技術は、本質的に異なるコントラスト評価又は画像品質に関連して似たような対象測定を生成する組織タイプ及び構造の多様性を持った対象の画像品質を評価することへの挑戦は避けている。ここで開示された比較戦略を使用することで、画像の中身の相違にのみによる、評価された対象測定の変動を除去する。

前述の開示は、対象となる発明の概要的な観点及び特別な観点を規定している。しかし、本発明は、例示された実施例に限定されるものではない。排他的な権利が要求されている本発明の範囲を評価するには、前述した好適な実施例の記述よりも添付されたクレームを参照すべきである。

Claims (22)

1. 画像処理方法であり、該画像処理方法は、
   画像化される対象の限られた領域を含む、第１のデジタル画像を取得し、
   前記限られた領域に隣接した前記対象の領域を含む、少なくとも一つの第２のデジタル画像を取得し、前記第１及び第２のデジタル画像はその縁部に沿って重なっており、前記第１及び第２のデジタル画像は、前記対象の同じ領域を含む前記縁部に対応したピクセルデータの部分集合を有するピクセルデータの集合を有しており、
   前記第１及び第２のデジタル画像の前記縁部に対応した前記ピクセルデータの部分集合に、数値画像解析アルゴリズムを適用し、これにより、前記第１及び第２のデジタル画像によって表される前記対象の前記同じ領域に関する二つの特性評価を生成し、
   前記同じ領域に関する二つの特性評価の比較を基礎にして、前記第１及び第２のデジタル画像に関連した測定値について、正規化、エンコード、格納及び提示の少なくとも一つを行うこと、
   から構成されることを特徴とする。
2. 画像化される前記対象は、試料のスライドを有し、更に、複数の顕微鏡デジタル写真を取得し、前記デジタル写真のそれぞれは、それぞれの前記限られた領域に対応し、また、それに隣接する少なくとも一つの前記領域を有し、前記複数の顕微鏡デジタル写真は一緒になって、少なくとも前記試料のスライドの所定部分を含んでいる、
   ことを特徴とする、請求項１記載の画像処理方法。
3. 前記複数の顕微鏡デジタル写真の少なくともいくつかは、他の顕微鏡デジタル写真と、少なくとも二つの端部で重なっている、
   ことを特徴とする、請求項２記載の画像処理方法。
4. 前記数値画像解析は、導関数をベースにしたアルゴリズム、統計的アルゴリズム、ヒストグラムをベースにしたアルゴリズム及びインテュイティブアルゴリズム（an intuitive algorithm）の少なくとも一つを有し、前記縁部の焦点計測値の差に関連する数値を生成する、
   ことを特徴とする、請求項１記載の画像処理方法。
5. 前記数値画像解析は、前記重なり合った縁部のそれぞれについて焦点の正確性を示す少なくとも一つの集計値を生成し、前記縁部の前記第１及び第２のデジタル画像の相対的な焦点の正確性を比較する、
   ことを特徴とする、請求項１記載の画像処理方法。
6. 前記対象を含んだ、整列した画像セグメントを形成する、複数の前記第１及び第２のデジタル画像を取得し、前記数値解析は、前記画像セグメントの複数の重なり合った縁部に関する前記焦点の正確性を特徴付ける少なくとも一つの集計値を生成し、前記二つの特性評価の比較は、符号及び値を有する差値を決定することを含む、
   ことを特徴とする、請求項１記載の画像処理方法。
7. 前記縁部は、前記デジタル画像の多くの側部に生じ、更に、前記デジタル画像の集合のそれぞれの部材の少なくとも両側について、前記差値を定め、該差値に基づいて、前記デジタル画像間を識別する、
   ことを特徴とする、請求項６記載の画像処理方法。
8. 前記縁部は、前記デジタル画像の多くの側部に生じ、更に、前記デジタル画像の集合のそれぞれの部材の少なくとも一方の側部について、前記差値を定め、前記各部材の少なくとも一方の側部は、同じ方向を向いており、該差値に基づいて前記デジタル画像間及び前記方向の向きを識別する、
   ことを特徴とする、請求項６記載の画像処理方法。
9. 前記デジタル画像の対向する及び隣接する側部の内の一つの、対となる側部を関連付け、該差値に基づいて、前記デジタル画像間及び前記対となる側部の前記向きを識別する、
   ことを特徴とする、請求項８記載の画像処理方法。
10. 前記数値解析は、少なくともアルゴリズムタイプ及びスケーリングの一つだけが異なる、少なくとも二つの特徴抽出アルゴリズムを適用し、前記特徴抽出アルゴリズムのそれぞれが値を出力し、それぞれの前記アルゴリズムの出力値及び前記アルゴリズムの出力値の組み合わせのうちの少なくとも一つに基づいて前記デジタル画像間を識別する、
    ことを特徴とする、請求項１記載の画像処理方法。
11. 前記識別する前に、前記アルゴリズムの出力値を正規化する、
    ことを特徴とする、請求項１０記載の画像処理方法。
12. 前記デジタル画像の全ての側部及び前記デジタル画像の選択的に方向付けられた側部の内の少なくとも一つについて前記差値の集合を決定し、前記デジタル画像の少なくとも一つの方向付けられた側部についての差値の前記集合に、相対的なランクをエンコードするための受け入れ基準を適用する、
    ことを特徴とする、請求項７記載の画像処理方法。
13. 合成画像内の前記デジタル画像をラベル表示した画像を少なくとも一つを有し、前記合成画像の前記デジタル画像をシェーディングし、前記集団の中の前記相対的なランクを視覚的に表示するようにした、
    ことを特徴とする、請求項１２記載の画像処理方法。
14. 所定の閾値に合い、また合わないデジタル画像間を区別する視覚的な表示を行うため、前記合成画像のデジタル画像にシェーディングする、
    ことを特徴とする、請求項１２記載の画像処理方法。
15. 前記デジタル画像の一つ以上の前記側部を有する選択された部分集合について、前記相対的なランクを視覚的に示す、
    ことを特徴とする、請求項１３記載の画像処理方法。
16. 前記識別は、前記差値に基づいて、前記デジタル画像の選択されたものを捨て、前記対象の同じ領域を有するデジタル画像を再取得する、
    ことを特徴とする、請求項８記載の画像処理方法。
17. 前記視覚的な表示は、前記デジタル画像の少なくとも一つの縁部についての前記符号と前記差値のうち少なくとも一つの間を区別するために、色分けする、
    ことを特徴とする、請求項１３載の画像処理方法。
18. デジタル病理画像化方法であり、該方法は、
    Ｘ−Ｙ平面を規定するスライド上に病理学標本を搭載し、
    Ｚ軸焦点距離でＸ−Ｙ位置の前記標本の拡大画像を記録するデジタルカメラを有する顕微鏡の台上に、前記スライドを配置し、前記顕微鏡はＸ−Ｙ平面内の相対的な位置制御手段及びＺ軸に沿った相対的な焦点距離制御手段を有し、
    異なる焦点距離の連続したピクセルデータ画像を取得し、少なくとも一時的に格納し、焦点正確性アルゴリズムを適用して、所定の最適な焦点距離を決定選択し、ピクセルデータ画像を収集し、
    前記スライドを少なくともＸ方向及びＹ方向の一方に、前に収集したピクセルデータ画像に隣接した、前記前に収集されたピクセルデータ画像の縁部に沿って重なった縁部領域を持った、記試料の拡大画像を含むに十分な距離だけ移動させ、次のピクセルデータ画像を収集し、
    前記スライド上の移動を継続して、前記連続的なピクセルデータ画像が前記試料の少なくとも所定部分を含むまで、重なり合った縁部を持ったピクセルデータ画像を収集し続け、各ピクセルデータ画像は合成画像の画像セグメントに対応しており、それぞれの前記縁部で他の画像セグメントと重なり合っており、前記それぞれの縁部領域の少なくとも二つのピクセルデータの評価が前記第１及び第２のデジタル画像にもたらされ、
    画像品質に関連する少なくとも一つの数値画像解析アルゴリズムを、領域に対応した少なくとも二つのピクセルデータの集合に適用して、重なり合った縁部領域のピクセルデータを解析して、少なくとも一つの数値画像解析アルゴリズムの出力として符号及び差値を得、
    前記合成画像のピクセルデータの集合の前記縁部領域に関する前記差値に基づき、該ピクセルデータ画像間を識別する、
    ことを特徴する、デジタル病理画像化方法。
19. 前記縁部領域の重なり合った部分について前記ピクセルデータ画像を併合し、前記試料の前記所定の部分の合成画像を形成し、デジタル表示を使用して前記合成画像を表示する、
    ことを特徴する、請求項１８記載のデジタル病理画像化方法。
20. 前記差値が許容基準に満たない場合に、ピクセルデータ画像を再取得する、
    ことを特徴する、請求項１８記載のデジタル病理画像化方法。
21. 前記差値、前記差値のランキング及び前記ピクセルデータ画像の許容状態の内、少なくとも一つを、前記合成画像のピクセルデータ画像に対応した領域を有する可視的な表現で表示する、
    ことを特徴する、請求項１８記載のデジタル病理画像化方法。
22. 前記差値に基づいた前記ピクセルデータ画像間の識別は、ピクセルデータ画像の内、関連する一つに対して重なり合った縁部の方向に、少なくとも一部が関連している、
    ことを特徴する、請求項１８記載のデジタル病理画像化方法。
    

Images