JP2013182626A - 自動画像アラインメント - Google Patents

Abstract

【課題】自動画像アラインメント
【解決手段】画像を自動的にアラインするための方法は、（ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階と、（ｂ）画像内の初期対応ポイント特徴から画像に対する三角メッシュを作成する段階と、（ｃ）三角メッシュを使用したアフィン変換推定に基づいて第１及び第２画像間のポイント対応をリファインするス段階とを含む。本方法はまた、（ｄ）（ｃ）でリファインされたポイント対応から画像に対するリファイン三角メッシュを作成する段階と、（ｅ）対応する三角形のペアにおけるアフィン変換の補間を介してリファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階とを含むことができる。
【選択図】図１１

Description

本開示は、画像、例えば、異なる方法によって染色された組織サンプルの画像を自動的にアラインするための方法及びシステムに関する。

病理診断は、組織サンプル（例えば、生体組織検査）を薄い一片にスライスし、薄片を個々のスライド上に配置し、様々な方法及び試薬で薄片を染色することを含む場合が多い。例えば、組織サンプルの薄片は、サンプルの組織構造を視覚化するためのヘマトキシリン‐エオシン（Ｈ＆Ｅ）染色法によって染色することができるが、隣接する組織サンプルの薄片は、病気固有の抗体による免疫組織化学（ＨＩＣ）染色法によって染色することができる。病理学者は、一般的に、Ｈ＆Ｅ染色サンプルで初期診断を行い、次に確証及び予後のために同じ生体組織検査ブロックからのＩＨＣ染色を指図する。

デジタル化の傾向と共に、標本スライドは、後でモニタ上で見るためにデジタル画像（バーチャルスライド）にスキャンされることが多い。最終的な診断をするために、病理学者は、Ｈ＆Ｅ画像における関心領域と同じ生体組織検査ブロックからのＩＨＣ画像の対応する範囲とを同時に調べる必要がある。従って、倍率に関わらず正確な同時及び同期化ビューが画像及びそれに対応するビューにわたって得られるように、これらの染色画像をモニタ上でアラインする必要がある（図１）。

様々な方法によって染色される２つの隣接するサンプル薄片間の画像外観に大きな違いがあることが多く、様々な局所的な変形が含まれるので、このような染色画像をアラインすることは難しい。隣接するサンプルは、単純な変換によって関係付けられないことが多く、構造的な変化は、隣接するサンプル及び異なる倍率全体に渡って予測できない。例えば、隣接するが異なる組織ブロックの部分から取得された２つの画像は、不明瞭な構造的対応を有する可能性がある（図２を参照）。染色画像は、全体の画像をアラインするために明瞭にする必要がある不十分な構造を有する可能性がある（図３）。更に、サンプルの処理の間に組織薄片を伸ばしたり変形させたりすることがあるので、各画像の様々な部分は、同じ画像の他の部分とは違って変形されることがある（図４）。

画像アラインメント及びナビゲーションのための既存のシステムでは、上述の問題に起因してユーザがバーチャルスライド（画像）上に対応する範囲を手動で位置付ける必要がある。この処理は、アラインメント領域から離れた領域及び異なる解像度で見る場合は再度実行するひつようがある。非常に大きな画像（例えば、１００ｋ×１００ｋ）では、この処理は面倒で実行不可能になる。更に、画像を高解像度で局所的に調べる場合、対応する領域間の外観は、急に変わるので、マッチングポイントを探すのが難しくなる。

従って、全体的な外観では類似であるが、局所変形、例えば異なる方法によって染色された組織サンプルの大きな画像を有する画像を自動的にアラインするための方法及びシステムを開発する必要性が存在する。

本開示は、画像をアラインするための例示的な方法を含む。本方法の実施形態は、（ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階、（ｂ）画像内の初期対応ポイント特徴から画像に対する三角メッシュを作成する段階、及び（ｃ）三角メッシュを使用したアフィン変換推定に基づいて第１及び第２画像間のポイント対応をリファインする段階を含む。本方法の実施形態はまた、（ｄ）（ｃ）でリファインされたポイント対応から画像に対するリファイン三角メッシュを作成する段階、及び（ｅ）対応する三角形のペアにおけるアフィン変換の補間を介してリファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階を含むことができる。

本開示による例示的なシステムは、第１画像と第２画像間の初期対応ポイント特徴を決定するための対応イニシエータ；画像内の初期対応ポイント特徴から画像に対する三角メッシュを作成するための第１トライアンギュレータ；三角メッシュを使用したアフィン変換推定に基づいて第１及び第２画像間のポイント対応をリファインするための対応リファイナー；リファインされたポイント対応から画像に対するリファイン三角メッシュを作成するための第２トライアンギュレータ；及び対応する三角形のペアにおけるアフィン変換を使用する補間を介してリファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定するための座標アラインメント生成器を含む。

本開示は、実行時に、画像をアラインするための方法をコンピュータに実行させる命令を格納する例示的なコンピュータ可読媒体を含み、この方法は、（ａ）第１画像と第２画像間の初期対応ポイント特徴を決定する段階；（ｂ）画像内の初期対応ポイント特徴から画像に対する三角メッシュを作成する段階；（ｃ）三角メッシュを使用するアフィン変換推定に基づいて第１と第２画像間のポイント対応をリファンする段階；（ｄ）（ｃ）でリファンされたポイント対応から画像に対するリファイン三角メッシュを作成する段階；及び（ｅ）対応する三角形のペアにおけるアフィン変換を使用した補間を介してリファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階を含む。

また、画像をアラインするための例示的なコンピュータシステムが提供され、このシステムは、プログラム命令を実行するよう構成された１つ又はそれよりも多くのプロセッサ、及び１つ又はそれよりも多くのプロセッサによって実行された時に、画像をアラインするための方法をコンピュータシステムに実行させる実行可能命令を含むコンピュータ可読媒体を含み、この方法は、（ａ）第１画像と第２画像間の初期対応ポイント特徴を決定する段階；（ｂ）画像内の初期対応ポイント特徴から画像に対する三角メッシュを作成する段階；（ｃ）三角メッシュを使用したアフィン変換推定に基づいて第１及び第２画像間のポイント対応をリファインする段階；（ｄ）（ｃ）でリファインされたポイント対応から画像に対するリファイン三角メッシュを作成する段階；及び（ｅ）対応する三角形のペアにおけるアフィン変換の補間を介してリファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階を含む。

前述の概要説明及び以下の詳細な説明は、請求項に記載の本発明を例示し解説するだけであり、それを制限するものではないことを理解されたい。

特許又は出願書類は、カラーで作成されたら少なくとも１つの図面を含む。カラー図面を伴う本特許又は特許出願公開のコピーは、依頼書及び必要な料金の支払いに応じて特許庁によって提供されるものとする。

病理学的診断の目的のための画像のアラインメントを示す図である。 Ｈ＆Ｅ（左）及びＩＨＣ（右）によって染色された２つの隣接する組織サンプル間の不明瞭な構造対応の実施例をそれぞれ示す図である。 Ｈ＆Ｅ（左）及びＩＨＣ（右）によって染色された２つの隣接する組織サンプルにおける不十分な構造の実施例をそれぞれ示す図である。 組織処理のために、Ｈ＆Ｅ（左）及びＩＨＣ(右)によって染色された２つの隣接する組織サンプル間の均一でない変換をそれぞれ示す実施例である。 現在請求されている発明に矛盾しない例示的な方法を示す流れ図である。 ２つの画像をアラインする例示的な第１段階を示す流れ図である。 ２つの画像をアラインする例示的な第１段階の間の、例示的なキーポイント生成（Ａ）、及びキーポイント交差適合（Ｂ）を示す図である。 ２つの画像をアラインするための例示的な方法における初期対応ポイント特徴に基づいて作成された例示的な三角メッシュを示す図である。 ２つの画像をアラインする例示的な第２段階を示す流れ図である。 ２つの画像をアラインする例示的な第３段階を示す流れ図である。 本発明に矛盾しない例示的な画像アラインメントシステムを示すブロック図である。

以下に、実施例が添付の図面に示される例示的な実施形態を詳しく参照することにする。可能な限り、同じ又は同様の部分を示すために図面全体を通して同じ参照数字を使用するものとする。

本明細書に開示する方法及びシステムは、多くの実際的な応用を有する。例えば、例示的な実施形態は、異なる方法によって染色された組織サンプルの大きな画像を自動的にアラインするために使用することができる。マッチングポイントを識別し局所的変換による局所変形をモデル化することによって、本明細書に開示する方法及びシステムは、異なる解像度での同期化ビューを達成し、画像における対応する領域を同期させることができる。本明細書に開示する方法及びシステムは、病理学的診断の目的だけでなく、全体的な外観が類似しているが、局所的変更又は変形、例えば、異なる視点からの同じシーンの衛星画像を含むあらゆる画像をアラインするために使用することができる。

以下の段落では、「ＩＨＣ画像」及び「Ｈ＆Ｅ画像」という用語が、例証の目的のために頻繁に使用される。これらは、一般的に、アラインされるあらゆる画像を示すことを意味し、文字どおりにＩＨＣ又はＨ＆Ｅ画像に制限されない。

図５は、現在請求されている発明に矛盾しない例示的な方法の流れ図を示している。図５に示すように、２つの画像間の初期対応ポイント特徴が決定される（ステップ５０６）。画像は、全体的な外観で類似しているが、異なる方法によって染色された、例えば１つはＨ＆Ｅ染色法及び他方はＩＨＣ染色法によって染色された隣接する組織サンプルの画像のような局所的変種を有する任意の画像とすることができる。特定の実施形態では、画像は、同じ倍率で取得することができ、例えば４０ｘ倍率の画像とすることができる。特定の実施形態では、画像は、処理の目的のためにダウンサンプルすることができる。

画像処理アルゴリズム、例えば、画像曲線に沿った最大局率によって、画像からポイント特徴を抽出することができる。次に、２つの画像間のポイント特徴を交差適合させることによって、ポイント特徴の対応を決定することができる。

初期対応ポイント特徴に基づいて、各画像に対する三角メッシュを作成することができ（ステップ５０８）、識別された対応ポイント特徴の各々は、三角形の頂点として使用される。特定の実施形態では、三角メッシュは、ドローネー三角分割法である。少なくとも３つの初期対応ポイント特徴が、三角メッシュを作成するためにステップ５０８によって識別されることが理解されるであろう。

三角メッシュにおけるアフィン変換推定に基づいて、２つの画像間のポイント対応を、画像の細かい対応範囲を取得するためにリファインすることができる（ステップ５１０）。効率的に、アフィン変換推定は、三角メッシュにおける対応する三角形内の座標の粗アラインメントを可能にする。この結果、付加的な及びより正確な対応ポイントを識別することができる。

次に、リファイン三角メッシュを、リファインポイント対応に基づいて各画像に対して作成することができる（ステップ５１２）。リファイン三角メッシュは、細かい三角形を含み、初期対応ポイント特徴から作成された三角メッシュより大きなスペースを画像で網羅することができる。特定の実施形態では、リファイン三角メッシュは、ドローネー三角分割法である。特定の実施形態では、リファイン三角メッシュによって網羅されていない画像の領域は、リファン三角メッシュを改善するために使用することができる付加的なポイント対応を識別するために更に処理することができる。

リファイン三角メッシュは、２つの画像間の各三角形内の座標アラインメントを決定するために使用することができる（ステップ５１４）。特定の実施形態では、アフィン変換が、対応する三角形の各ペアに対してコンピュータで計算され、三角形内の範囲に対する座標が、アフィン変換データの補間に基づいてアラインされる。

全ての画像が、三角メッシュ及び三角形内の補間座標アラインメントに基づいてアラインされる。三角メッシュの端でアラインされた座標及び補間に基づいてアラインされた座標を含むアライン座標（５１６）は、ユーザによる同期ビューのためにモニタでのレンダリングのためのデータ構造を含むデータベースに格納することができる。

図６は、２つの画像間の初期対応ポイント特徴を決定する段階及び初期対応ポイント特徴から各画像に対する三角メッシュを作成する段階を含む、２つの画像をアラインする例示的な第１段階を更に詳しく説明する流れ図を示している。図６に示すように、特定の実施形態では、ポイント特徴を抽出して対応を決定するために個々に処理することができる複数のサブ画像ウィンドウに画像を区分することができる。画像区分は、画像に合った任意の基準に基づくことができる。例えば、Ｈ＆Ｅ染色画像のような画像の１つは、画像の構造的特徴に基づいて区分することができる（ステップ６０８）。特定の実施形態では、画像区分のための構造的特徴を識別するために、構造マッピングが、Ｈ＆Ｅ染色画像から抽出される。特定の実施形態では、Ｈ＆Ｅ又は他の試薬の染色は、画像が区分される前に染色分離アルゴリズムによって分離することができる。特定の実施形態では、サブ画像ウィンドウを、構造的特徴に集中させることができる。サブ画像ウィンドウのサイズは、ポイント特徴抽出及び／又は対応決定のために要求されるいずれかのサイズ、例えば、１００ｘ１００、２００ｘ２００、３００ｘ３００、４００ｘ４００、５００ｘ５００、６００ｘ６００、８００ｘ８００、９００ｘ９００、又は１０００ｘ１０００とすることができる。特定の実施形態では、サブ画像ウィンドウのサイズは、６００ｘ６００、又は４００ｘ４００とすることができる。

更に、他の画像、例えば、ＩＨＣ染色画像は、同じサイズの対応するサブ画像ウィンドウに区分することができる（ステップ６０６）。特定の実施形態では、初期対応ポイント特徴を決定するために、他の画像（例えば、ＩＨＣ画像）を、２つの画像間の直接画像座標対応に基づいて区分することができる。例えば、Ｈ＆Ｅ画像のサブ画像ウィンドウの中心を、直接画像座標マッピングによってＩＨＣ画像にマッピングすることができ、同じサイズのサブ画像ウィンドウを、その中心の位置に基づいてＩＨＣ画像で決定することができる。

図６に更に示すように、サブ画像ウィンドウの内容を分析することによって、サブ画像ウィンドウに対するキーポイントを生成することができる（ステップ６１０）。最大曲率検出のような画像に合ったいずれの画像処理方法は、キーポイントを生成するために使用することができる。図７Ａに例証されるように、特定の実施形態では、画像セグメント化の後に最大曲率検出に基づいてＩＨＣ画像における各サブ画像ウィンドウに対するキーポイントを生成することができる。

図６を再度参照すると、他の画像における対応するサブ画像ウィンドウでキーポイントを交差適合させることができる（ステップ６１２）。特定の実施形態では、キーポイントを中心にして置かれた６４ｘ６４ウィンドウのような小さなキーポイントウィンドウは、対応を検出するために他の画像（例えば、Ｈ＆Ｅ画像）における対応するサブ画像ウィンドウをスキャンするために使用することができる。特定の実施形態では、他の画像におけるキーポイントの対応は、相互相関、例えば、キーポイントウィンドウの標準化された相互相関によって決定することができる。交差適合目的のための他の画像分析方法、例えば、類似性に基づく又はテンプレートマッチングも使用することができる。対応があると決定されると、１つの画像におけるキーポイント及び他の画像におけるその対応するポイントが、初期対応ポイント特徴として選択され、三角分割法のための初期対応ポイント特徴のセットに統合される。

交差適合は、サブ画像ウィンドウに対して生成されたキーポイントの全てが処理されるまで、各キーポイントに対して繰り返すことができる。特定の実施形態では、対応するサブ画像ウィンドウの識別（６０６）、キーポイント生成（６１０）、及びキーポイントの交差適合（６１２）を含むステップを、ステップ６０８からの区分画像の各サブ画像ウィンドウ、例えば、区分されたＨ＆Ｅ画像に対して繰り返すことができる。

特定の実施形態では、１つの画像、例えばＨ＆Ｅ画像におけるサブ画像ウィンドウを、所望の条件、例えば、サブウィンドウ画像の中心における構造的特徴の密度に基づいて処理するために優先順位付けすることができる。特定の実施形態では、Ｈ＆Ｅ画像におけるサブ画像ウィンドウを、優先順位に従って処理するために選択することができる。次に、その対応サブ画像ウィンドウを、ＩＨＣ画像で識別することができる。ＩＨＣ画像における識別されたウィンドウ内で、キーポイントが生成され、Ｈ＆Ｅ画像における対応するサブ画像ウィンドウに対してマッチングされる。キーポイントの全てがサブ画像ウィンドウのそのペアに対して使い果たされると、新しいサブ画像ウィンドウが、処理を繰り返すために優先順位に従ってＨ＆Ｅ画像から選択される。

特定の実施形態では、初期対応ポイント特徴が、偽対応ポイントを除去するためにフィルタ処理される（ステップ６１４）。例えば、２つの画像間の直線セグメント接続対応ポイントを、図７Ｂの下のパネルに示すように描画することができる。理論的に、対応ポイントが全て真である場合、直線は全て平行になる。従って、平行でない直線接続対応ポイントは、対応が偽であることを示し、対応ポイントが、偽陽性として取り除かれる。このようなフィルタ処理は、例えば、各サブ画像ウィンドウが処理された後、初期対応ポイント特徴の決定の間及び／又は後、及び／又はポイント対応のリファインの後のような、画像アラインメントの処理の特定のポイントで実行することができる。

各画像に対して、三角メッシュが、画像に対して識別された初期対応ポイント特徴から作成される。特定の実施形態では、三角メッシュは、ドローネー三角分割法である。図８は、Ｈ＆Ｅ染色画像（左）及びＩＨＣ染色画像（右）における初期対応ポイント特徴から作成された例示的な三角メッシュを示している。

図９は、２つの画像をアラインする例示的な第２段階を示す流れ図を示している。この段階では、ポイント対応を、第１段階から取得された三角メッシュを使用するアフィン変換推定に基づいてリファインすることができる。図９に示すように、画像を上述のように複数のサブ画像ウィンドウに再度区分することができる（ステップ９０６）。例えば、Ｈ＆Ｅ画像は、構造的特徴に基づいて区分することができ、サブ画像ウィンドウは各々、構造特徴ポイントに集中させることができる。サブ画像ウィンドウは、ポイント対応をリファインするために要求されるいずれかのサイズ、例えば、１００ｘ１００、２００ｘ２００、３００ｘ３００、４００ｘ４００、５００ｘ５００、６００ｘ６００、８００ｘ８００、９００ｘ９００、又は１０００ｘ１０００とすることができる。

特定の実施形態では、各サブ画像ウィンドウに対して、対応サブ画像ウィンドウを、初期対応ポイント特徴から作成された三角メッシュに基づくアフィン推定を介して他の画像で識別することができる。例えば、Ｈ＆Ｅ画像におけるサブ画像ウィンドウの中心を、その中心を含む三角形からのアフィン推定に基づいてＩＨＣ画像にマッピングすることができ、同じサイズの対応サブ画像ウィンドウを、マッピングされた位置に基づいてＩＨＣ画像で識別することができる。

特定の実施形態では、キーポイントが、上述の第１段階のように、対応サブ画像ウィンドウに対して生成される（ステップ９０８）。特定の実施形態では、キーポイントは、画像セグメント化の後に最大曲率検出に基づいてＩＨＣ画像における各サブ画像ウィンドウに対して生成することができる。

第１段階と同様、キーポイントは、他の画像における対応サブ画像ウィンドウで交差適合することができる（ステップ９１０）。特定の実施形態では、キーポイント上に中心を置かれた６４ｘ６４ウィンドウのような小さなキーポイントウィンドウを、他の画像（例えば、Ｈ＆Ｅ画像）における対応サブ画像ウィンドウをスキャンするために使用することができる。他の画像におけるキーポイントの対応は、例えば、標準化された相互相関、又はテンプレートマッチングのような他の類似の画像分析方法によって決定することができる。画像間の対応を有するマッチングキーポイントが、選択され、フィルタ処理され、更にリファイン三角形分割法のための対応ポイントのセットに統合される。この交差適合は、サブ画像ウィンドウにおける各キーポイントに対して及び区分された画像の各サブ画像ウィンドウに対して繰り返される（ステップ９０６から）。

特定の実施形態では、サブ画像ウィンドウの処理は、第１段階に対して上述のように優先順位付けすることができる。特定の実施形態では、例えば、各サブ画像ウィンドウの処理の後、又は全てのサブ画像ウィンドウの処理の後に、偽陽性を取り除くために、選択された対応ポイントをフィルタ処理することができる（ステップ９１２）。

図９に示すように、リファイン三角メッシュは、リファインポイント対応に基づいて作成することができる、すなわち、対応するポイントが、上述のキーポイント交差適合から識別される。第１段階から取得された三角メッシュに比べて、第２段階から取得されたリファイン三角メッシュは、より多くの頂点及び細かい三角形を含むことができ、より多くの画像スペースを網羅することができる。

本発明の特定の実施形態は、図１０の例示的な流れ図に示されるように、画像の周辺領域に関してポイント対応及び三角メッシュを更にリファインするために、第３段階を含む。第２段階から取得されたリファイン三角メッシュの外側に付加的な対応ポイントを識別することができ、リファイン三角メッシュは、付加的な対応ポイントを組み入れることによって更新することができる。

図１０に示すように、特定の実施形態では、第２段階の終わりに識別された対応ポイントの全てに対して凸面スペース（凸面丘）をコンピュータで計算することができる（ステップ１００４）。凸面丘によって網羅されていない周辺領域は、ブランクの背景画像を含むことができるが、領域の一部は、組織サンプルのような関心の対象物の一部を表示することができ、従って、画像アラインメントに使用することができるポイント特徴を含むことができる。画像アラインメントのための情報を含むことができるが凸面丘によって網羅されていない画像の領域は、図１０及び下記で「損失領域」と呼ばれる。特定の実施形態では、凸面丘を画像から減算することができ、残りの画像の内容を、更なる画像アラインメントのための紛失領域を識別するために分析することができる（ステップ１００６）。特定の実施形態では、残りの画像の内容は、紛失領域を識別するために、画像セグメント化、例えば、グラフに基づくセグメント化のような画像処理ツールによって分析することができる。特定の実施形態では、凸面丘は、Ｈ＆Ｅ画像に対してコンピュータで計算され、凸面丘の外側の画像の内容が、紛失領域を識別するために画像セグメント化によって分析される。

特定の実施形態では、新しいキーポイントを生成して画像間の付加的な対応ポイントを識別するために、上述の第１又は第２段階のように紛失領域を複数のサブ画像ウィンドウに区分することができる。例えば、Ｈ＆Ｅ画像における紛失領域は、構造的特徴に基づいて区分することができる。サブ画像ウィンドウの各々は、対応サブ画像ウィンドウを識別するために他の画像にマッピングすることができる。例えば、Ｈ＆Ｅ画像におけるサブ画像ウィンドウは、幾何学的位置又はアフィンマッピングに基づいてＩＨＣ画像にマッピングすることができる。特定の実施形態では、第１及び第２段階のように、ＩＨＣ画像におけるサブ画像ウィンドウでキーポイントを生成することができ（ステップ１００８）、次にＨ＆Ｅ画像における対応サブ画像ウィンドウに交差適合させることができる。マッチングキーポイントは、画像間の対応ポイントとして選択され（ステップ１０１０）、フィルタ処理される。上記の処理は、紛失領域における各サブ画像ウィンドウに対して繰り返すことができる。紛失領域の全てが処理された後、上述のように偽陽性を取り除くために、紛失領域で識別された新しい対応ポイントをフィルタ処理することができる（ステップ１０１２）。前の段階から取得されたリファイン三角メッシュは、新しい対応ポイントを組み入れるために更新することができる（ステップ１０１４）。

図１０を参照すると、特定の実施形態では、識別された紛失領域の全てが処理されリファイン三角メッシュが更新された後、三角メッシュに基づいて新しい凸面丘をコンピュータで計算することができる（ステップ１０１５）。紛失領域によって増加されたアラインメント範囲の限度を決定するために、新しい凸面丘及び前の凸面丘の範囲を計算することができ、領域範囲増加率（ｒ）を、以前の網羅された画像範囲に対する付加的な範囲対象領域の割合として決定することができる。ｒが、例えば、５％、４％、３％、２％、１％、０．９％、０．８％、０．７％、０．６％、０．５％、０．４％、０．３％、０．２％、０．１％、又は目的に合ったいずれかの他の値とすることができる事前に決められた値Ｒより大きい場合（ステップ１０１６）、新しい凸面丘の外側の新しい紛失領域を識別し付加的な対応ポイントを識別するために、上述のように画像を再度処理することができる。特定の実施形態では、事前に決められた値Ｒを０．６％とすることができる。リファイン三角メッシュは、新しい紛失領域で識別されたいずれの付加的な対応ポイントも組み入れるために再度更新される。特定の実施形態では、領域範囲増加率（ｒ）が事前に決められた値Ｒより大きくならなくなるまで、上述の処理は、反復され、リファイン三角メッシュは、新しく識別された対応ポイントを組み入れるために更新される。

特定の実施形態では、付加的な紛失領域を識別するために、画像を任意選択的に再度処理することができ、覆っている三角メッシュの凸面丘の外側のポイント特徴を決定することができ、異なる画像マッチング方法、例えばコンピュータ幾何学方法によって画像間でマッチングさせることができる。リファイン三角メッシュは、識別された対応するポイントを組み入れるために更に更新することができる。

リファイン三角メッシュに基づいて、１つの画像における座標を他の画像にマッピングすることができる（ステップ１０１８）。例えば、リファイン三角メッシュにおける対応する三角形の各ペアに対して、頂点の座標をアフィン変換によってアラインすることができ、各三角形内の座標を、頂点のアフィン変換の補間を介してアラインすることができる。特定の実施形態では、第２段階から取得されたリファイン三角メッシュは、上述のように座標をアラインするために使用することができる。アラインされた座標は、データ構造及び／又はデータベースに格納することができる。全画像のアラインメントは、出力、例えば１つのモニタ又は複数のモニタでのレンダリング、プリントなどのためにアラインされた座標に基づいて生成することができる。

ＩＨＣ及びＨ＆Ｅ画像を含む組織サンプル画像は、単に、アラインされる例示的な画像である。開示される実施形態に矛盾しない画像のいずれの種類も、本明細書で開示される自動画像アラインメントのための候補とすることができる。本発明の広範な精神及び範囲から逸脱することなく修正及び変更を伴う本明細書で開示される方法及びシステムを使用して、２つより多い画像をアラインすることができる。

図５、６、９、及び１０の上述の例示的な処理の流れは、単に例証の目的のためにあることを理解されたい。特定のステップを削除、結合、又は再構成することができ、付加的なステップを追加することができる。

本明細書で開示される方法は、コンピュータプログラム製品、すなわち、非一時的情報キャリアに、例えば機械可読記憶装置に有形で実装されたコンピュータプログラム、又はデータ処理装置、例えば、プログラム可能プロセッサ、マルチプロセッサ、コンピュータ、又はマルチコンピュータによる実行のための或いはこれらの動作を制御するための有形非一時的コンピュータ可読媒体として実装することができる。コンピュータプログラムは、コンパイル又は翻訳言語を含むプログラミング言語のいずれかの適切な形式で書くことができ、独立型プログラムとして、又はモジュール、構成要素、サブルーチン、又はコンピュータ環境で使用するのに適した他のユニットとして含む様々な形式で配備することができる。コンピュータプログラムは、１つのコンピュータで又は１つの場所の複数のコンピュータで実行されるよう配備することができる、又は複数の場所に渡って分散させ通信ネットワークによって相互接続することができる。

本明細書で開示される方法の一部又は全ては、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、結合プログラム可能論理回路（ＣＰＬＤ）、プリント回路基板（ＰＣＢ）、デジタル信号プロセッサ（ＤＳＰ）、プログラム可能論理構成要素及びプログラム可能相互接続の結合、単一中央処理ユニット（ＣＰＵ）チップ、マザーボード上に結合されたＣＰＵチップ、汎用コンピュータ、又は本明細書で開示される自動画像アラインメントを実行することができる装置又はモジュールのいずれかの他の組合せによって実行することができる。

図１１は、本発明に矛盾しない例示的な画像アラインメントシステム１１００のブロック図を示している。図１１に示すように、例示的なシステム１１００は、対応イニシエータ１１０６；第１トライアンギュレータ１１０８；対応リファイナー１１１０；第２トライアンギュレータ１１１２；及び座標アラインメント生成器１１１４を含むことができる。

図１１に関して、アラインされる画像を受信した後に、対応イニシエータ１１０６は、上述のように、例えば画像アラインメントの第１段階に記述されるように、画像間の初期対応ポイント特徴を決定することができる。次に、第１トライアンギュレータ１１０８は、該画像内の初期対応ポイント特徴から各画像に対する三角メッシュを作成する。

三角メッシュにおけるアフィン変換推定に基づいて、対応リファイナー１１１０は、上述のように、例えば画像アラインメントの第２段階に記述されるように、画像間のポイント対応をリファインする。第２トライアンギュレータ１１１２は、対応リファイナーによってリファインされたポイント対応から各画像に対するリファイン三角メッシュを作成することができる。

リファイン三角メッシュに基づいて、座標アラインメント生成器１１１４は、アフィン変換を介して対応する三角形の各ペアの頂点で座標アラインメントを決定する。座標アラインメント生成器は、三角形の該ペアにおけるアフィン変換の補間を介して対応する三角形の各ペアの範囲内の座標アラインメントを決定することができる。

特定の実施形態では、例示的なシステムは、画像に対する座標アラインメント情報を格納するために、データ構造又はデータベース管理システムとすることができるデータベース１１１８を更に含むことができる。データベースはまた、画像アラインメントの処理の間に生成又は使用された情報のいずれも格納することができる。例示的なシステムは、コンピュータモニタ、ＴＶモニタ、又はプリンタなどのようなモニタ又は複数のモニタにおける出力のためのアライン画像１１２０を提供するために画像アラインメントレンダリングエンジン１１１６を更に含むことができる。

図１１のシステム１１００は、画像をアラインするためのコンピュータシステムとして実行することができ、プログラム命令を実行するよう構成された１つ又はそれよりも多くのプロセッサ；及び実行可能命令を含むコンピュータ可読媒体を含み、この実行可能命令は、１つ又はそれよりも多くのプロセッサによって実行された時に、（ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階；（ｂ）該画像内の初期対応ポイント特徴から各画像に対する三角メッシュを作成する段階；（ｃ）三角メッシュを使用するアフィン変換推定に基づいて第１画像と第２画像間のポイント対応をリファインする段階；（ｄ）（ｃ）でリファインされたポイント対応から各画像に対するリファイン三角メッシュを作成する段階；及び（ｅ）該対応する三角形のペアにおけるアフィン変換の補間を介してリファインされた三角メッシュにおける対応する三角形の各ペアの範囲内の座標アラインメントを決定する段階を含む、画像をアラインするための方法をコンピュータシステムに実行させる。

前述の明細書では、本発明を、特定の例示的な実施形態に関して説明している。しかし、様々な修正及び変更が、以下の請求項に示される本発明の広範な精神及び範囲から逸脱することなく行い得ることが明らかであろう。明細書及び図面は、従って、制限ではなく例証と見なされる。本発明の他の実施形態は、本明細書に開示される本発明の明細書及び実施の検討から当業者には明らかになるはずである。

１１００ 画像アラインメントシステム
１１０２ 画像１
１１０４ 画像２
１１０６ 対応イニシエータ
１１０８ 第１トライアンギュレータ
１１１０ 対応リファイナー
１１１２ 第２トライアンギュレータ
１１１４ 座標アラインメント生成器
１１１６ 画像アラインメントレンダリングエンジン
１１１８ データベース
１１２０ アラインされた画像

Claims (20)

1. 画像をアラインするためのコンピュータ実行方法であって、前記方法は、１つ又はそれよりも多くのコンピュータによって実行される、
   （ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階と、
   （ｂ）前記画像内の前記初期対応ポイント特徴から前記画像の三角メッシュを作成する段階と、
   （ｃ）前記三角メッシュを使用したアフィン変換推定に基づいて前記第１画像と前記第２画像の間のポイント対応をリファインする段階と、
   （ｄ）（ｃ）でリファインされた前記ポイント対応から前記画像に対するリファイン三角メッシュを作成する段階と、
   （ｅ）前記対応する三角形のペアにおけるアフィン変換の補間を介して前記リファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階と、
   を含む方法。
2. （ａ）初期対応ポイント特徴を決定する段階は、
   前記第１画像でキーポイントを生成する段階と、
   前記キーポイントに対する前記第２画像における対応を決定するス段階と、
   初期対応ポイント特徴として前記第２画像における対応を有するキーポイントを選択する段階と、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記第２画像を複数のサブ画像ウィンドウに区分する段階と、
   前記第１画像における対応するサブ画像ウィンドウを識別する段階と、
   を更に含み、
   キーポイントを生成する段階は、前記第１画像における対応するサブ画像ウィンドウに対するキーポイントを生成する段階を含むことを特徴とする請求項２に記載の方法。
4. 偽初期対応ポイント特徴を除去する段階を更に含むことを特徴とする請求項１に記載の方法。
5. （ｂ）の前記三角メッシュは、ドローネー三角分割法であることを特徴とする請求項１に記載の方法。
6. （ｃ）ポイント対応をリファインする段階は、
   前記第２画像を複数のサブ画像ウィンドウに区分する段階と、
   （ｂ）の前記三角メッシュを使用したアフィン変換推定に基づいて前記第１画像で対応サブ画像ウィンドウを識別する段階と、
   前記第１画像と前記第２画像における対応するサブ画像ウィンドウに対する前記第１画像及び第２画像間の対応ポイントを識別する段階と、
   を含むことを特徴とする請求項１に記載の方法。
7. 対応ポイントを識別する段階は、
   前記第１画像における前記対応サブ画像ウィンドウに対するキーポイントを生成する段階と、
   前記キーポイントに対する前記第２画像における対応を決定する段階と、
   対応ポイントとして前記第２画像における対応を有するキーポイントを選択する段階と、
   を含むことを特徴とする請求項６に記載の方法。
8. 偽対応ポイントを除去する段階を更に含むことを特徴とする請求項７に記載の方法。
9. 前記第１及び第２画像の１つに対する対応ポイントを含む凸面スペースをコンピュータで計算する段階と、
   前記１つの画像における前記凸面スペースの外側に位置付けられた紛失領域を識別する段階と、
   前記第１及び第２画像の間の前記紛失領域における対応ポイントを識別する段階と、
   を更に含むことを特徴とする請求項６に記載の方法。
10. 前記座標アラインメント及び前記リファイン三角メッシュに基づいて画像アラインメントを生成する段階を更に含むことを特徴とする請求項１に記載の方法。
11. 前記第１画像は、免疫組織化学的（ＩＨＣ）染色画像であり、
    前記第２画像は、ヘマトキシリン‐エオジン（Ｈ＆Ｅ）染色画像であることを特徴とする請求項１に記載の方法。
12. 前記対応を決定する段階は、標準化相互相関を含むことを特徴とする請求項２に記載の方法。
13. 前記キーポイントを生成する段階は、前記第１画像における画像セグメント化の後の最大曲率検出を含むことを特徴とする請求項３に記載の方法。
14. 前記対応を決定する段階は、標準化相互相関を含むことを特徴とする請求項７に記載の方法。
15. 画像をアラインするための装置であって、
    第１画像と第２画像の間の初期対応ポイント特徴を決定するための画像対応イニシエータと、
    前記画像内の前記初期対応ポイント特徴から前記画像に対する三角メッシュを作成するための第１トライアンギュレータと、
    前記三角メッシュを使用したアフィン変換推定に基づいて前記第１及び第２画像間のポイント対応をリファインするための対応リファイナーと、
    前記リファインポイント対応から前記画像に対するリファイン三角メッシュを作成するための第２トライアンギュレータと、
    前記対応する三角形のペアにおけるアフィン変換の補間を介して前記リファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定するための座標アラインメント生成器と、
    を含む画像をアラインするための装置。
16. 前記座標アラインメント及び前記リファイン三角メッシュに基づいて画像アラインメントを生成するための画像アラインメントレンダリングエンジンを更に含むことを特徴とする請求項１５に記載の装置。
17. 座標アラインメント情報を格納するためのデータベースを更に含むことを特徴とする請求項１５に記載の装置。
18. 命令を格納するコンピュータ可読媒体であって、前記命令は、実行時に、画像をアラインするための方法をコンピュータに実行させ、前記方法は、
    （ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階と、
    （ｂ）該画像内の前記初期対応ポイント特徴から前記画像に対する三角メッシュを作成する段階と、
    （ｃ）前記三角メッシュを使用したアフィン変換推定に基づいて前記第１及び第２画像間のポイント対応をリファインする段階と、
    （ｄ）（ｃ）でリファインされた前記ポイント対応から前記画像に対するリファイン三角メッシュを作成する段階と、
    （ｅ）前記対応する三角形のペアにおけるアフィン変換の補間を介して前記リファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階と、
    を含むことを特徴とするコンピュータ可読媒体。
19. 前記座標アラインメント及び前記リファイン三角メッシュに基づいて画像アラインメントを生成する段階を更に含むことを特徴とする請求項１８に記載の方法。
20. 画像をアラインするためのコンピュータシステムであって、
    プログラム命令を実行するよう構成された１つ又はそれよりも多くのプロセッサと、
    実行可能命令を含むコンピュータ可読媒体と、
    を含み、前記実行可能命令は、前記１つ又はそれよりも多くのプロセッサによって実行される時に、画像をアラインするための方法を前記コンピュータシステムに実行させ、前記方法は、
    （ａ）第１画像と第２画像の間の初期対応ポイント特徴を決定する段階と、
    （ｂ）該画像内の前記初期対応ポイント特徴から前記画像に対する三角メッシュを作成する段階と、
    （ｃ）前記三角メッシュを使用したアフィン変換推定に基づいて前記第１及び第２画像間のポイント対応をリファインする段階と、
    （ｄ）（ｃ）でリファインされた前記ポイント対応から前記画像に対するリファイン三角メッシュを作成する段階と、
    （ｅ）前記対応する三角形のペアにおけるアフィン変換の補間を介して前記リファイン三角メッシュにおける対応する三角形のペアの範囲内の座標アラインメントを決定する段階と、
    を含むことを特徴とする画像をアラインするためのコンピュータシステム。