JP2005533320A - 画像解析の方法、装置およびソフトウェア - Google Patents

Abstract

画像解析装置は、サンプル（１２２）の画像を取り込むように構成された顕微鏡（１０２）と、画像を処理するように構成されたプロセッサユニット（１１４）と、駆動機構（１０８）とを備える。駆動機構（１０８）は、サンプル（１２２）と顕微鏡（１０２）とで相対運動を、通常は顕微鏡（１０２）の光軸に沿って行うように構成される。顕微鏡（１０２）は、サンプル（１２２）の複数の画像（４０２ａ〜４０４ｃ）を、通常は光軸に沿って複数の点で取り込むように構成される。通常は光軸に沿ったサンプル（１２２）と顕微鏡（１０２）との相対運動は駆動機構（１０８）によって行われ、プロセッサユニット（１１４）は、複数の取り込んだ画像（４０２ａ〜４０４ｃ）のそれぞれを複数の副画像に分割し、複数の副画像のそれぞれから、ベストフォーカス特性を有する１つの副画像を選択するように構成される。

Description

本発明は、画像解析を実行するように構成された画像解析の方法、装置およびソフトウェアに関する。本発明は特に、制限するものではないが、基板の初期状態から第２の状態への変形を測定する方法、装置およびソフトウェアに関する。

物体の変形の解析は、マイクロエレクトロニクスから医用画像までといった広範な分野で重要である。

単なる例として、本発明では、半導体チップの設計および解析について論じる。マイクロエレクトロニクスにおいて、パッケージングしたデバイスの変形およびデバイスのパッケージングの解析は、パッケージングしたデバイスの故障モードを判定する重要なツールである。デバイスが故障する主な原因は、パッケージング内の熱機械特性の異なる材料間に生じる歪である。材料の熱機械特性から生じる応力は、デバイスに層間剥離、ホットスポットおよびひび割れを結果として生じる可能性があり、この全てがデバイスの故障につながり得る。

上記のデバイスの故障モードは、様々な環境条件で動作するというデバイス要件のためにより深刻になってきており、その多くが氷点下から１００℃を超える範囲の温度で動作することを要求され、家庭環境でもデバイスは０℃および５０℃の温度に曝される可能性がある。また、熱機械特性の異なる複数の異なる材料層から構造体を形成する最新式の電子デバイスの設計では、温度の変化が変形につながる。デバイスの異なる領域は異なる機能を有していることが多く、電力消費が大きくなればデバイスの選択加熱（differential heating）効果も高まり、変形につながる。この状況では単位体積当たりの電力消費が１つの要因である。

高歪領域による変形がデバイスの故障の主な原因であるため、電子デバイスとそのパッケージングの歪を測定できることが重要である。デバイスとそのパッケージングの歪を低減することにより、製造プロセス中のデバイスの収率が高くなり、フィールドでデバイスが故障するまでの平均寿命が長くなる。デバイスとそのパッケージングの歪の解析により、チップ／デバイスと関連パッケージングの設計に用いるコンピュータモデルを作成し洗練させ、実際に製造されるデバイスおよびパッケージングの歪を最小化することができる。

光学的な技法を用いてデバイス（例えば半導体チップ）の熱変形を測定することが知られている。変形はデバイス中に存在する歪を測る尺度である。既知の熱変形の測定方法の１つが副画像相関である。これは、変形前後のデバイスの画像を得ることを伴う。画像はそれぞれ（ｍ×ｎ）の副画像アレイに分割される。変形前後の画像の対応する副画像を、例えば２次元の相関関数を用いて比較する。相関関数のピークの位置により、２つの対応する副画像間に生じたデバイスの変形の定量的な尺度が得られる。対応する（ｍ×ｎ）の副画像全てにわたって相関関数を適用することにより、２枚の画像を取得する間に生じたデバイスの面内変形すなわち移動のマップが得られる。サブピクセルまたは非積分型の（non-integral）副画像シフトをより高度な相関法に組み込むことも知られている。これにより、面内変形の測定にサブミクロンの精度が得られる。このような方法は、M.C. Pitter、C.W. SeeおよびM.G. Somekhの論文「subpixel microscopic deformation analysis using correlation and artificial nevral networks」（Opt. Express 8, 322-327 (2001)）に詳述されている。

デジタル画像相関技法は感度が高いにも関わらず、依然として欠点を伴う。例えば、画像相関技法は通常、面内（ｘ−ｙ）変形のみを測定するために用いられる。これは、熱変形が通常、面外（ｚ）成分も伴うため、限定的である。面外（ｚ）成分を測定しデバイスのコンピュータモデルに組み込めば、モデルの精度は高まる。

また、面外変形は部分的には、デバイスまたはサンプル面が撮像システムの焦点面外に移動することにより生じる場合がある。フォーカスのずれた副画像は、不鮮明な特徴のエッジによる、また相関をとっている面の特徴の明らかな移動による面内変形の測定エラーにつながる。このような状況では、測定された移動、または少なくともその一部が、光学距離の異なるアーチファクトのように見える（倍率の変化が歪のように見えることもある）。

以前の画像相関法に伴う問題は、解析コードの本質的な限界を克服するために大きな倍率を必要とすることである。これは短い作動距離を必要とし、高温のサンプルを扱っている場合には、その結果として光学素子の加熱と画像の歪とにつながる可能性がある。また、焦点距離の短いレンズは、焦点距離の長いレンズよりもレンズによって生じる収差が大きい傾向がある。

以前のサブピクセル画像の相関技法には、複数のテクスチャ、すなわちサンプルの空間構造またはコントラストレベル（隣接する画像特徴間の相違量）が著しく異なる領域には合わない曲線の当てはめ技法を使用するという本質的な問題がある。これは特に、小さな領域に複数のテクスチャが共存する電子デバイスパッケージ、例えば反射率の高いシリコンに隣接する暗いパッケージ材料にとって問題である。

変形と歪の測定が重要となる別の分野は、例えば軟組織の腫瘍の医用画像の分野である。これらの腫瘍を撮像する際、腫瘍を取り巻く軟組織を振動させる（palpitated）。軟組織は均一な歪を示す。しかし、硬い腫瘍は歪のない領域、あるいは周囲の軟組織よりも歪が小さい領域として見える。

同様に、超音波スキャン中に骨の周囲の筋肉を振動させると、例えば骨折した骨を固定したまたは接いだ場合に、腫瘍の撮像と同様の方法で骨の歪画像を得ることができる。上述の医療用途はいずれも、面外測定を行わないため、例えば腫瘍のサイズおよび／または形状の測定のための定量的な使用が限定されるという問題がある。

本発明の第１の態様によれば、ｉ）撮像手段を用いて第１の状態のサンプルの少なくとも一部の少なくとも２枚の一次画像を取り込むステップであって、少なくとも２枚の一次画像は異なる焦点面で取り込まれる、取込みステップと、ｉｉ）撮像手段を用いて第２の状態の上記サンプルの上記少なくとも一部の少なくとも２枚の二次画像を取り込むステップであって、少なくとも２枚の二次画像は異なる焦点面で取り込まれる、取込みステップと、ｉｉｉ）処理手段を用いて上記一次画像のうち、画像中の少なくとも１つの特徴の最高の解像力を有する一次画像を選択するステップと、ｉｖ）処理手段を用いて上記二次画像のうち、画像中の上記少なくとも１つの特徴の最高の解像力を有する二次画像を選択するステップと、ｖ）ステップ（ｉｉｉ）および（ｉｖ）において選択された一次画像および二次画像を比較し、それにより、特徴に変位があればこれを求めるようにするステップと、を有する画像解析方法が提供される。

本方法は現在のシステムに対して、いくつかの焦点面における複数の画像からなるスタックを使用することにより、サンプルの各領域について相関性の高い副画像ペアを判定することができるという利点を有する。これにより、比較すべき特徴の解像力が相関性の高い画像において最大となるため、面内変位測定の誤差が減り、それによってサブミクロン単位の変位測定が精密であることをルーチン的に可能にする。また、副画像のそれぞれによって規定されるサンプル領域の面外変位を、撮像手段のその最初の位置に対する変位によって直接測定することができる。ノイズがないわけではないが、この方法を用いて達成されるぼやけたフォーカスによる誤差の低減は、従来技術の装置（arrangement）のノイズで失われた効果を、本方法を用いて回復することを可能にする。

少なくとも２枚より多くの一次および／または二次画像を提供することができ、一次および／または二次画像の各々は他のものと異なる焦点面にあってよいことが理解されるであろう。さらに、少なくとも２枚より多くの一次および／または二次画像がある場合、一次および／または二次画像の全てを処理する必要はないことが理解されるであろう。

本方法は、単一の公称焦点面深度を有する撮像手段によって取り込まれた初期画像の形式で、または焦点面深度をそれぞれ規定する副画像からなる合成画像の形式で一次画像を提供することを含んでもよい。合成画像を使用すると、サンプルの各部分をそれぞれの一次画像の深度に参照するため、割り当ての問題が小さくなる。これにより、変形が副画像単位で確認されるため、撮像手段に対して光学的に平坦なサンプルのアライメントを得る必要性が減る。本方法は、異なる焦点面からベストフォーカスの二次副画像を用いることによっていかなるミスアライメントも補償することができるため、変形後のサンプルを水平方向において正確に再アライメントする必要性をなくす。

本方法は、少なくとも２枚の一次画像からベストフォーカスの一次副画像を判定すること、および、少なくとも２枚の二次画像からベストフォーカスの二次副画像を選択することを含んでもよい。ベストフォーカスの副画像は、異なる焦点面の対応する副画像と比べて領域内の特徴のフォーカスが最も鮮明なものであることが理解されるであろう。これにより、サンプルがいかなる面外変形を呈していようとも、ベストフォーカス画像が形成される。

本方法は、少なくとも２枚の二次画像をベストフォーカス一次画像の公称焦点面の中心に置くことを含んでもよい。本方法は、画像取り込み操作の合間にサンプルと撮像手段との相対運動を行うことを含んでもよく、これは通常、略等間隔の段階的な運動を伴う。

本方法は、ステップ（ｉｖ）において選択したそれぞれの対応する一次画像と、ステップ（ｖ）において選択したそれぞれの二次画像との間の少なくとも１つの特徴の面内および面外変位を測定することを含んでもよい。本方法は、所望の二次画像品質を達成するために撮像手段が移動したステップ数にステップサイズを掛けることによって少なくとも１つの特徴の面外変位を測定することを含んでもよい。

本方法は、一次画像と二次画像のそれぞれを、１６×１６ピクセル〜６４×６４ピクセルのアレイサイズの副画像に細分することを含んでもよく、通常の副画像は２４×２４ピクセルまたは３２×３２ピクセルからなる。副画像は２×２ピクセルと小さくてもよい。代替的に、副画像は任意の形状であってもよい。すなわち、副画像が正方形である必要はなく、長方形である必要さえない。本方法は、ステップ（ｖ）中に隣接する副画像を、副画像の長さの５０パーセントまで、または副画像の領域の７５パーセントまで重ねることを含んでもよい。副画像処理ステップにおけるこの重なりは、本技法の空間分解能、測定密度を上げる。５０％より大きな重なりは、冗長性および不要な計算ステップを生じるものの、依然として、計算速度が重要でない場合に変位測定値を平滑化または平均するために用いることができる。

本方法は、通常約０．１〜約０．５の開口数を有する顕微鏡を備える形態の撮像手段を提供することを含んでもよい。したがって本方法は、高いＮＡにおける小さな焦点深度を補償することができるため、開口数（ＮＡ）の高い撮像システムを用いることを可能にする。本方法は、通常約×５〜約×５０の倍率を有する対物レンズを備える形態の撮像手段を提供することを含んでもよい。本方法は、電荷結合素子（ＣＣＤ）を備える形態の撮像手段を提供することを含んでもよい。

本方法は、超音波トランスデューサの形態の撮像手段を提供することを含んでもよい。

本方法は、歪マップ、変形マップ、通常はサンプルの公称の水平面に垂直な距離で表される変形の数値測度、のうちの少なくとも１つを出力装置に出力することを含んでもよい。本方法はさらに、視覚表示装置（ＶＤＵ）、プリンタ、およびコンピュータ可読媒体、のうちの１つの形態の出力装置を提供することを含んでもよい。

本方法は、（ｘｙ）面における変形を、通常は１ピクセルの０．１〜０．０１のサブピクセル分解能で測定することを含んでもよい。

本発明の第２の態様によれば、画像解析装置であって、サンプルの少なくとも一部の画像を取り込むように構成された撮像手段と、画像を処理するように構成された処理手段と、サンプルと撮像手段との相対運動を行うように構成された駆動手段とを備え、撮像手段は、サンプルの一部の少なくとも２枚の画像を少なくとも２つの焦点面で取り込むように構成され、サンプルと撮像手段との相対運動は駆動手段によって行われ、処理手段は、上記画像のそれぞれと基準の相関を求め、当該相関に基づいて少なくとも２枚の画像のうちの１つを選択するように構成され、処理手段はさらに、サンプルの上記一部の少なくとも１つの特徴に変位があればこれを求めるように構成されることを特徴とする画像解析装置が提供される。

本装置は、通常は各画像を副画像に分割し、副画像を基準と比較することによって、サンプルの各領域において画像フォーカスの測度を提供する。したがって、サンプルの湾曲は、サンプル全体に単一の焦点面を仮定する従来技術の装置よりも遥かに正確に補償および測定することができる。また、各副画像に個々の焦点面を用いることにより、フォーカスのずれに関連する誤差が減るため、ｘｙ平面における変形の測定誤差が減る。

処理手段は、通常はそれぞれの上記基準と最も相関性の高いベストフォーカス副画像を選択するように構成されてもよい。これにより、合成ベストフォーカス画像が生じ、よって（ｘｙ）変形の測定におけるフォーカス誤差が最小化される。

各基準は、単一の焦点面を有する画像からの画像であっても、複数の焦点面で取り込まれた複数の副画像から、あるいは複数の副画像が少なくとも２つの局所化された焦点面を規定する合成画像から選択されてもよい。

撮像手段は、サンプルが変形していない状態のときに撮像手段のベストフォーカス焦点面を中心とする複数の画像を取り込むように構成されてもよい。駆動手段は、撮像手段とサンプルとで略等距離の段階的な相対運動を行うように構成されてもよい。

撮像手段は、通常６４０×４８０ピクセル〜１０２４×１０２４ピクセルの撮像アレイを有する電荷結合素子（ＣＣＤ）カメラを備えてもよい。撮像手段は、通常約×５、約×５０またはそれ以上の対物レンズを有する顕微鏡を備えてもよい。顕微鏡は、約０．１〜約０．５、多くの場合に約０．２５以上の開口数を有してもよい。

撮像手段は超音波トランスデューサであってもよい。駆動手段は、トランスデューサでサンプル全体を掃引するように構成されてもよい。処理手段は、画像同士を非相関化して軟組織（例えば筋肉および／または脂肪）の振動を除去するように構成されてもよい。これにより、処理手段によって軟組織の効果を画像から除去することできるため、硬組織（例えば腫瘍や骨）の範囲（例えばサイズ）を、現在可能であるよりも正確に確かめることができる。

処理手段は、パーソナルコンピュタ（ＰＣ）または他の計算機器（例えばワークステーション）であってもよい。処理手段は、各画像を１６×１６ピクセル〜６４×６４ピクセルの副画像に分割するように構成されてもよく、通常の副画像のサイズは２４×２４ピクセルまたは３２×３２ピクセルである。処理手段は副画像の境界を、副画像のサイズの５０パーセントまで重ねるように構成されてもよい。

処理手段は、サンプルの歪マップ、または変形マップを生成するように構成されてもよく、このマップは通常、出力手段、例えばプリンタ、視覚表示装置（ＶＤＵ）またはコンピュータ可読媒体上のファイルを介して出力される。

本発明の第３の態様によれば、コンピュータ可読媒体上に符号化されるデータ構造であって、第１の状態のサンプルの一部を示すデータセットに対応する第１のエントリと、撮像手段から受け取った、第２の状態のサンプルの上記一部の少なくとも２つの入力に対応する複数の第２のエントリとを備え、第１のエントリおよび少なくとも２つの第２のエントリは、処理手段によって操作されて、それぞれのデータサブセットを導出するように構成され、第１のエントリおよび少なくとも２つの第２のエントリから導出された対応するデータサブセットは、処理手段によって操作されて、サブセット間の一致を判定するように構成されることを特徴とするデータ構造が提供される。

第１のエントリは、例えばＧＩＦ、ＪＰＥＧ、ＴＩＦＦまたは他の適切な画像データフォーマットの形式の画像データファイルであってもよい。第１のエントリは、コンピュータによって生成されたサンプルモデルであってもよい。複数の第２のエントリは、例えばＧＩＦ、ＪＰＥＧ、ＴＩＦＦまたは他の適切な画像データフォーマットの形式の画像データファイルであってもよい。

データのサブセットは、撮像手段によって撮像され得るサンプルの領域を示してもよい。第１のエントリおよび複数の第２のエントリは、処理手段によって当該エントリ間のベストマッチを判定するために操作されるように構成されてもよい。

第２のエントリは、撮像手段の異なる焦点面で取得した少なくとも２つの画像データセットに対応してもよい。

データファイルのサブセットは、処理手段によって、相関技法、フリンジ投影技法またはスペクトル抑制技法の実行により操作されるように構成されてもよい。

本発明の第４の態様によれば、本発明の第１の態様による方法を有し、許容される標準との電子デバイスの適合性を評価する方法が提供されてもよい。

本方法は、コンピュータにより生成されても物理的なものであってもよく参照という形態により許容される標準を提供することを含んでもよい。

電子デバイスは別個の構成要素、集積回路またはパッケージデバイスであってもよい。

本発明の第５の態様によれば、本発明の第２の態様による電子デバイス評価装置が提供される。

本発明の第６の態様によれば、本発明の第１の態様による方法を含む電子デバイスの製造方法が提供される。

本発明の第７の態様によれば電子デバイスが提供され、この電子デバイスの製造は、本発明の第１の態様による方法または本発明の第２の態様による装置の使用を含む。

本発明の第８の態様によれば、本発明の第１の態様による方法を装置に実行させるための命令を記憶したコンピュータ可読媒体が提供される。

本発明の第９の態様によれば、装置により読み取り可能であり、命令プログラムを符号化するプログラム記憶デバイスが提供され、命令プログラムは、装置上で動作されると、本発明の第２の態様による装置として当該装置を動作させる。

本発明の第１０の態様によればコンピュータソフトウェアが提供され、このコンピュータソフトウェアは、装置上で実行されると、上記第１の状態のサンプルの初期画像を示すデータセットを装置の処理手段に生成させ、さらに、上記データセットからサンプルの領域を示す複数のデータサブセットを処理手段に生成させ、本ソフトウェアは、上記第２の状態のサンプルの複数の二次画像を少なくとも２つの焦点面で撮像手段に取り込ませ、複数の二次画像のそれぞれからのデータサブセットによって規定されるサンプルの領域に実質的に位置が対応する複数の副画像を処理手段に生成させ、その後、処理手段を用いてデータサブセットの少なくとも１つを複数の二次副画像のそれぞれ対応するものと処理手段に相関させ、当該相関に基づいて各データサブセットの二次副画像の１つを選択し、副画像中に少なくとも１つの特徴の変位があればこれを求めることを特徴とする。

本発明の第１１の態様によれば、特徴の面外移動を補償することによって特徴の移動の面内測定の精度を高める方法が提供される。

本方法は、上記面外移動によるｘｙ平面の非相関を取り除くことを含んでもよい。

本発明の第１２の態様によれば、本発明の第１０の態様によるソフトウェアが動作される、および／または本発明の第３の態様によるデータ構造を有する、および／または本発明の第１の態様による方法を実行するように構成されたコンピュータが提供される。

本発明の第１３の態様によれば、患者の症状の診断方法が提供され、本方法は、ｉ）硬組織の領域を含む軟組織の領域を振動させるステップと、ｉｉ）上記軟組織の領域に沿って離間した複数の超音波画像を取り込むステップと、ｉｉｉ）画像を処理するステップであって、それによって当該画像から副画像を生成する、処理ステップと、ｉｖ）硬組織の領域の歪マップを導出するステップと、ｖ）ステップ（ｉ）〜（ｉｖ）を異なる時点で繰り返すステップと、ｖｉ）ステップ（ｉｖ）および（ｖ）において導出した歪マップを比較するステップと、ｖｉｉ）ステップ（ｖｉ）の比較からステップ（ｉｖ）および（ｖ）の間の時間間隔中に硬組織の領域のサイズが変化したかを判定するステップとを含む。

本方法は、ステップ（ｖｉｉ）の結果に応じて患者に処方する薬物の用量を変更する、変化させる、または変えることを含んでもよい。別法として、本方法は、ステップ（ｖｉｉ）の結果に応じて患者に処方する薬物を変更することを含んでもよい。

本方法は、ステップ（ｉｖ）および（ｖ）において導出した歪マップから硬組織の領域の３次元プロファイルを生成することを含んでもよい。本方法は、本発明の第１の態様の方法を用いて硬組織の領域のサイズの変化を撮像することを含んでもよい。

硬組織は、骨、腫瘍（例えば癌細胞）、細胞がその上で成長する生物学的適合性マトリックスのいずれか少なくとも１つであってもよい。

本発明の第１４の態様によれば、患者の症状の治療方法が提供され、本方法は、ｉ）硬組織の領域を含む軟組織の領域を振動させるステップと、ｉｉ）上記軟組織の領域に沿って離間した複数の超音波画像を取り込むステップと、ｉｉｉ）画像を処理するステップであって、それによって当該画像から副画像を生成する、処理ステップと、ｉｖ）硬組織の領域の歪マップを導出するステップと、ｖ）ステップ（ｉ）〜（ｉｖ）を異なる時点で繰り返すステップと、ｖｉ）ステップ（ｉｖ）および（ｖ）において導出した歪マップを比較するステップと、ｖｉｉ）ステップ（ｖｉ）の比較からステップ（ｉｖ）および（ｖ）の間の時間間隔中に硬組織の領域のサイズが変化したかを判定するステップとを含み、さらに、ｖｉｉｉ）ステップ（ｖｉｉ）の結果に応じて患者に処方する薬物の用量を変えるステップと、ｉｘ）ステップ（ｖｉｉ）の結果に応じて患者に処方する薬物を変更するステップとの少なくとも１つを含む。

硬組織は、骨、腫瘍（例えば癌細胞）、細胞がその上で成長する生体適合性マトリックスのいずれか少なくとも１つであってもよい。

本発明を以下、添付図面を参照して単なる例示として説明する。

次に図１を参照すると、顕微鏡撮像装置１００は、対物レンズ１０４を収容する顕微鏡本体１０２、ＣＣＤアレイカメラ１０６、駆動機構１０８およびサンプルステージ１１０を備える。

カメラ１０６はＰＣ１１２に接続され、ＰＣ１１２は、プロセッサユニット１１４、ＶＤＵ１１６、キーボード１１８およびマウス１２０を備える。プロセッサユニット１１４は、カメラ１０６から画像を受け取り、駆動機構１０８がレンズ１０４とステージ１１０との相対運動を行うように駆動機構１０８を制御する。ステージ１１０は、その上に搭載された電子デバイスパッケージ１２２とともに図示されている。デバイス１２２は、レンズ１０４に隣接する表面から突出する構造１２４ａ〜ｃを有する。

本発明の１実施形態において、いくつかの異なる焦点面でレンズ１０４およびカメラ１０６を用いてパッケージ１２２の一部の複数の一次画像（通常は顕微鏡写真）を取り込む。後述する技法を用いてベストフォーカス一次画像を選択する。レンズ１０４は通常、×５〜×５０の倍率および０．１〜０．５、通常は０．２５の開口数を有する。カメラ１０６は通常、（６４０×４８０）または（１０２４×１０２４）のアクティブピクセルアレイを備え、通常は６ｍｍ×８ｍｍの寸法を有する。

初期画像はプロセッサユニット１１４に送られ、ユーザがこの画像を見たいと望めばＶＤＵ１１６に表示することができる。プロセッサユニット１１４は初期画像を副画像に分割する。これらの副画像のサイズは通常２４×２４ピクセル、または３２×３２ピクセルである。

パッケージ１２２は通常熱サイクルまたは機械応力により変形する。変形は、ステージ１１０に対するｉｎ−ｓｉｔｕ加熱または応力によって、あるいはｅｘ−ｓｉｔｕ加熱または応力によって達成することができる。

図２は、変形していない状態のパッケージ１２２を示す。このパッケージ１２２は、接続ピン２０４ａ〜ｄが突出した基板２０２を備える。フリップチップ技術の場合、接続ピン２０４ａ〜ｄは、基板２０２の下面の配線（metallisation）に取り付けられたはんだボールで置き換えられる。基板２０２の上部には、例えばランダムアクセスメモリ（ＲＡＭ）、中央処理ユニット（ＣＰＵ）、周波数合成器または算術論理ユニット（ＡＬＵ）あるいは任意の他の適切なデバイスといった能動デバイス２０６、２０８、２１０が搭載されている。図２ａは変形前のパッケージ１２２の平面図である。

図３は、加熱、機械応力またはその組み合わせ等による変形後のパッケージ１２２を示す。基板２０２は曲がり、デバイス２０６〜２１０の横方向および縦方向の両方で変位が生じている。デバイス２０６〜２１０の横方向の変位の不正確な測定は、例えばフォーカス誤差による限界がある上述した既知の技法を用いて達成することができる。しかし、縦方向の変位の測定は、従来技術の方法では容易に達成することができず、さらに縦方向の変位は、副画像の特徴の面内測定値を比較する場合に非相関を生じる。図３ａを参照すると、デバイス２０６〜２１０の縦方向の変位を図２ａにおけるデバイス２０６〜２１０の位置と相対的に見ることができる。見てわかるように、パッケージ１２２の真の「全」変形は、面内変形のみによって示唆されるものよりも大きい。これは、面内変形がパッケージ１２２の面外変形を無視するからである。

次に図１を参照すると、変形していないパッケージ１２２の撮像部分のベストフォーカス焦点面が定まり、パッケージ１２２が変形したら、駆動機構１０８が顕微鏡本体１０２およびＣＣＤカメラ１０６を移動させ、対物レンズ１０４の焦点面が、変形していないパケージ１２２について定められた焦点面の下にくるようにする。移動されるのは顕微鏡本体１０２ではなくステージ１１０であってもよいことが理解されるであろう。

新たな対物レンズ−パッケージ間距離においてカメラ１０６により１枚の画像を取り込む。次に駆動機構１０８は、顕微鏡本体１０２およびカメラ１０６を、変形していないパッケージの焦点面により近い新たな位置へ移動させる。この新たな位置においてカメラ１０６によりもう１枚の画像を取り込む。顕微鏡装置１００の焦点面の移動と画像の取り込みからなるこのシーケンスを、変形していないパッケージについて定めた焦点面を通して、パッケージの上面から離れて繰り返す。

通常では、顕微鏡本体１０２の移動をΔのピッチで段階的に増やし（ここで、Δは通常１／（２０×ＮＡ^２）である）、２ｐ＋１枚の「スルーフォーカス」画像を取り込むようにする（ここで、ｐは面外変形の予想量によって求められる）。ステップ数２ｐ＋１は、通常２１〜６１であるサンプルプロファイルに依存する。これを図４に示し、画像４００が、一次画像において撮像された変形していないパッケージの部分について定められた焦点面で取り込まれた画像をなす。二次画像４０４ａ〜ｃは、画像４００の上で取り込まれた画像である。二次画像４００、４０２ａ〜ｃ、４０４ａ〜ｃはそれぞれ、ステップサイズΔによって隣接する画像と分離される。したがって、この場合、画像４００を通した画像４００を中心とする６Δの全深度を走査する。

変形していないパッケージについて定めた焦点面で撮影した画像４００を中心とした画像スタックを示すが、必ずしもそうである必要はないことが理解されるであろう。パッケージ１２２の非対称の変形が予測される場合、画像４００を中心として取り込んだ非対称的な分布の画像が適切である可能性がある。ステージ１１０と顕微鏡本体１０２とで段階的な相対運動を得るために、駆動機構１０８は通常、ステッパモータまたはサーボモータの形態をとる。

処理ユニット１１４は、画像４００〜４０４ｃのそれぞれを複数の副画像に分割する。変形していないパッケージの画像を（ｍ×ｎ）のアレイに分割した場合、画像４００〜４０４ｃも（ｍ×ｎ）のアレイに分割される。これを図５に破線で示す。この場合、画像５００は、副画像５０２ａ〜ｔの（５×４）のマトリックスに分割される。図５から分かるように、副画像の最も上の２列５０２ａ、ｅ、ｉ、ｍ、ｑ〜５０２ｂ、ｆ、ｊ、ｎ、ｒおよび最も左側の２列５０２ａ、ｂ、ｃ、ｄ〜５０２ｅ、ｆ、ｇ、ｈは、この例において約２５％重なる。画像の重なりにより、重複する領域内で平均をとることができるようになり、次の画像処理ステップの複雑度および計算負荷が少なくなる。重なり度合いの実際的な上限は隣接セルの５０％である。隣接する副画像は重ならなくてもよく、少しだけ重なってもよいことが理解されるであろう。

次に図４ａを参照して、変形したパッケージ１２２に関して上述したように、変形していないパッケージ１２２の複数の初期画像４１０ａ〜ｇを様々な焦点面で取り込む。これらの初期画像４１０ａ〜ｇを複数の副画像にそれぞれ分割し、後述するフリンジ投影法またはスペクトル抑制法を用いてパッケージ１２２の各領域のベストフォーカス副画像４１２ａ〜ｅを選択する。したがって、合成「ベストフォーカス」初期画像４１４を生成する。この「ベストフォーカス」初期画像４１４を次に、以下で詳述する二次副画像５０２ａ〜ｔと比較し、初期副画像の個々の焦点面を参照して面外変形を求める。

（ｍ×ｎ）列のそれぞれの副画像を、変形していないパッケージ１２２の一部の一次画像の副画像と比較し、後述する技法を用いて、パッケージ１２２のその領域について変形後にベストフォーカスを与える副画像を判定するようにする。したがって、ベストフォーカス副画像から合成「ベストフォーカス」画像を作成することができる。この合成「ベストフォーカス」画像は、異なる焦点面で、すなわち互いに異なる高さで取得した副画像を含むことができ、また普通はこれを含むことになる。この構成により、面内変形を求める際の誤差が現在のシステムよりも減る。これは、本発明ではフォーカスの鮮明さが増し、これらの誤差が減るためである。

さらに、どの副画像スタックがベストフォーカス画像をなすかを確かめることによって、パッケージ１２２の或る領域において生じる面外変形の量を求めることが可能である。すなわち、ｎ番目の副画像がベストフォーカス副画像である場合、縦方向の変位は±ｎΔである。

従来の明視野顕微鏡に容易に組み込むことができる副画像の最良の焦点位置を求める３つの技法の簡単な説明を以下に示す。

１．フリンジ投影法：この方法では、顕微鏡１０２の視野絞り面に強度格子を挿入する。これにより、顕微鏡の光軸に沿って一組の光フリンジがサンプル面に投影される。副画像のフォーカスをずらすことにより、フリンジのコントラストが小さくなる。これは、副画像に対してフーリエ変換を行い、フリンジ周波数に対応するフーリエ成分の振幅を監視することによって測定することができる。フリンジ周波数に対応する最大のフーリエ成分を有する副画像がベストフォーカス副画像である。図５ａは、既知の空間周波数のフリンジ５０４ａ〜ｅを投影したサンプル１２２を示す。図５ｂは、ずれたフォーカス（プロットＡ）と良好なフォーカス（プロットＢ）とが、フリンジ空間周波数に対応するフーリエ成分の大きさに及ぼす効果を示す。

２．スペクトル抑制法：この方法では、各副画像に対してフーリエ変換を行う。サンプルのフォーカスをずらすことにより生じる１つの効果として、サンプル周波数スペクトルが減衰することがよく知られている。実際には、中間空間周波数範囲の減衰が、レンズのＮＡによって規定される光伝達のカットオフ周波数の最良の測度（通常は０．２５〜０．５）を生じる。この範囲付近の周波数成分の振幅を監視することにより、中間空間周波数の振幅が最大の副画像を選択することによって副画像のベストフォーカス位置を求めることができる（例えば接点２０４ａ〜ｄ）。良好なフォーカスと比較した場合のずれたフォーカスが、選択された周波数に対応するフーリエ成分の大きさに及ぼす効果は、図５ｂに示すようなものとなる。

３．相関法：この方法では、変形した各副画像と対応する変形していない副画像との間で２次元相関を行う。フォーカスのずれた副画像はピーク値の低い相関関数を生じることになる。したがって、ピークの最も高い相関関数がフォーカスの合った副画像に対応する、すなわち、各（おそらくはベストフォーカスの）初期副画像を同等の二次副画像のうち最も相関性の高いものと照合する。この方法は、変位した物体の位置を求める（例えば製造中に成分を識別し位置特定する）場合に最適な結果を生じるが、変形した物体に対しては曖昧な結果を生じる場合がある。１Ｄ相関も可能であり、超音波に応用されている。

上記の方法のうち、１番目の方法が最も正確であり得る。この方法は、特徴があまりない表面にも適している。他の２つの方法の利点は、付加的な光学部品が必要ないことである。

３つの方法すべてに曲線当てはめ等の技法を適用して測定感度を高めることができる。

次に図６を参照すると、変形したデバイス１２２の歪マップ６００はベストフォーカス副画像からなる。ベストフォーカス副画像のそれぞれは、変形していないデバイス１２２について定めた焦点面からの距離が同じものに対応しなくてもよく、おそらく実際には対応しない。ベストフォーカス副画像を使用することによって、表面上の様々な点の歪を正確に、通常は０．１〜０．０１ピクセルの精度で計算することができる。図６では、計算した歪をベクトル矢印６０４として表現するが、別法として、計算した歪は、数値、グレイスケールあるいはカラースケールとして、または歪の異なる領域を区別する任意の他の適切な方法で表現することもできる。

次に図７を参照すると、超音波撮像装置７００は、ＰＣ７０４又は他の適切な処理デバイスと通信する超音波トランスデューサ７０２を備える。

この例では腕７０６として示す患者にトランスデューサ７０４を当て、硬組織７１０（例えば骨）を取り巻く筋肉や脂肪のような軟組織７０８を振動させる。振動中に腕７０６に沿って超音波画像を取得し、画像７１２ａ〜ｅのスタックを形成するようにする。振動している軟組織７０８は、均一な歪を有する塊として見え、硬組織７１０は、不均一な歪を有する領域として見える。超音波画像スタックを、光学画像に関して上述した方法と同様に処理する。軟組織７０８と硬組織７１０の歪の分布の差により、硬組織７１０の歪を硬組織７１０の範囲と同様に（as can）測定および撮像することができる。

骨として示されているが、硬組織は、周囲の組織よりも遥かに硬い任意の組織、例えば脂肪または筋肉に囲まれた腫瘍組織（乳癌腫瘍等）であってもよいことが理解されるであろう。

撮像装置７００を用いて記録される患者の関心領域の画像を時間的に分離すると、画像および／または生成した歪マップの比較によって硬組織７１０のサイズの変化率を求めることが可能である。例えば、この技法により、腫瘍の成長／縮小率、骨折した骨の接合率、または生体適合性支持マトリックスへの生体物質（例えば細胞）の移動率を求めることができる。

次に図８を参照すると、図８は、本発明による変形解析方法のフローチャートであり、撮像デバイスを用いて変形していない状態のサンプルの複数の一次画像を、通常はデバイスの光軸に沿って複数の焦点面で取得する（ステップ８００）。

次に、プロセッサによってこれらの一次画像から複数の一次副画像を生成する（ステップ８０２）。一次画像中の各領域についてベストフォーカス一次副画像を判定する（ステップ８０３）。

変形した状態のサンプルの複数の二次画像を撮像デバイスによって、通常は撮像デバイスの光軸に沿って様々な点で取り込む（ステップ８０４）。各二次画像を、初期画像から形成された副画像に実質的に一致する位置をそれぞれ有する複数の副画像に分割する（ステップ８０６）。各初期副画像のベストフォーカス二次副画像を判定する（ステップ８０７）。プロセッサを用いてベストフォーカス一次副画像を対応するベストフォーカス二次副画像のそれぞれと相関させる（ステップ８０８）。

次に図９を参照すると、図９は、図８に関して概要を説明した方法を装置に実行させるのに適したソフトウェアが符号化されたコンピュータ可読媒体９００（例えば磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、またはＤＶＤ）を示す。

本発明の１態様による顕微鏡撮像装置である。 変形前の電子パッケージの概略図である。 変形前の図２のパッケージの平面図である。 変形後の図２のパッケージの概略図である。 図３のパッケージの平面図である。 図１の撮像装置によって取り込まれた画像スタックの概略図である。 画像スタックから初期合成画像を形成する概略図である。 副画像の境界を示す図２のデバイスの画像の図である。 フリンジ投影法を用いてフォーカスされたサンプルの図である。 図５ａに示すフリンジの空間周波数に対応するフーリエ成分の大きさに対する良好なフォーカスおよびずれたフォーカスの効果を示すプロットである。 図１の装置を用いて生成した図３のデバイスのベクトル変位マップである。 本発明の少なくとも１態様による軟組織に埋め込まれた硬組織を撮像する使用中の超音波トランスデューサである。 変形の測定方法を詳細に示すフローチャートである。 本発明の１態様によるコンピュータ可読媒体である。

Claims (17)

1. ｉ）撮像手段（１０２）を用いて第１の状態のサンプル（１２２）の少なくとも一部の少なくとも２枚の一次画像を取り込むステップであって、該少なくとも２枚の一次画像は異なる焦点面で取り込まれる、取込みステップと、
   ｉｉ）前記撮像手段（１０２）を用いて第２の状態の前記サンプル（１２２）の前記少なくとも一部の少なくとも２枚の二次画像を取り込むステップであって、該少なくとも２枚の二次画像は異なる焦点面で取り込まれる、取込みステップと、
   ｉｉｉ）処理手段（１１４）を用いて前記一次画像のうち、該画像中の少なくとも１つの特徴の最高の解像力を有する一次画像を選択するステップと、
   ｉｖ）前記処理手段（１１４）を用いて前記二次画像のうち、該画像中の前記少なくとも１つの特徴の最高の解像力を有する二次画像を選択するステップと、
   ｖ）ステップ（ｉｉｉ）および（ｉｖ）において選択された前記一次画像および前記二次画像を比較し、それにより、前記サンプル（１２２）の前記一部の特徴に変位があればこれを求めるようにするステップとを有することを特徴とする画像解析方法。
2. 顕微鏡（１０２）を備える形態の、または超音波トランスデューサ（７０２）を備える形態の前記撮像手段（１０２）を提供することを特徴とする請求項１に記載の画像解析方法。
3. 前記ステップ（ｉｖ）の前記複数の第２の複数の画像からベストフォーカス副画像を判定することを特徴とする請求項１または請求項２に記載の画像解析方法。
4. 前記撮像手段が所望の二次画像品質を達成するために、移動したステップ数にステップサイズを掛けることによって少なくとも１つの特徴の面外変位を測定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像解析方法。
5. 単一の公称焦点面深度を有する前記撮像手段（１０２）によって取り込まれた初期画像の形式の、または焦点面深度をそれぞれ規定する副画像（４１２ａ〜４１２ｅ）からなる合成画像（４１０）の形式の一次画像を提供することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像解析方法。
6. 歪マップ（６００）、変形マップ、変形の数値測度、のうちの少なくとも１つを出力装置に出力することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像解析方法。
7. 前記サンプル（１２２）の変形を（ｘｙ）平面において少なくとも０．１ピクセルのサブピクセル分解能まで測定することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像解析方法。
8. 画像解析装置（１００）であって、サンプル（１２２）の少なくとも一部の画像を取り込むように構成された撮像手段（１０２）と、前記画像を処理するように構成された処理手段（１１４）と、前記サンプル（１２２）と前記撮像手段（１０２）との相対運動を行うように構成された駆動手段（１０８）とを備え、前記撮像手段（１０２）は、前記サンプル（１２２）の一部の少なくとも２枚の画像（４０４ａ〜ｃ）を少なくとも２つの焦点面で取り込むように構成され、前記サンプル（１２２）と前記撮像手段（１０２）との相対運動は前記駆動手段（１０８）によって行われ、前記処理手段（１１４）は、前記画像（４０４ａ〜ｃ）のそれぞれと基準の相関を求め、該相関に基づいて前記少なくとも２枚の画像（４０４ａ〜ｃ）のうちの１つを選択するように構成され、前記処理手段（１１４）はさらに、前記サンプル（１２２）の前記一部の少なくとも１つの特徴に変位があればこれを求めるように構成されることを特徴とする画像解析装置。
9. 前記撮像手段は顕微鏡（１０２）または超音波トランスデューサ（７０２）を備えることをさらに特徴とする請求項８に記載の画像解析装置。
10. 前記処理手段（１１４）が前記少なくとも２枚の画像からベストフォーカス副画像を選択するように構成されることをさらに特徴とする請求項８または請求項９に記載の画像解析装置。
11. 前記基準が公称の単一焦点面を有する画像からの一次画像、または合成一次画像（４１０）からの副画像（４１２ａ〜４１２ｅ）のいずれかであり、各副画像（４１２ａ〜４１２ｅ）は局所化された焦点面を規定することをさらに特徴とする請求項８乃至請求項１０のいずれか１項に記載の画像解析装置。
12. コンピュータ可読媒体（９００）上に符号化されるデータ構造であって、
    第１の状態のサンプル（１２２）の一部を示すデータセットに対応する第１のエントリと、
    撮像手段（１０２）から受け取った、第２の状態の前記サンプル（１２２）の前記一部の少なくとも２つの入力に対応する複数の第２のエントリと
    を備え、
    前記第１のエントリおよび前記少なくとも２つの第２のエントリは、処理手段（１１４）によって操作されて、それぞれのデータサブセットを導出するように構成され、
    前記第１のエントリおよび前記少なくとも２つの第２のエントリから導出された対応するデータサブセットは、前記処理手段（１１４）によって操作されて、該サブセット間の一致を判定するように構成されることを特徴とするデータ構造。
13. 前記第１のエントリおよび前記複数の第２のエントリは画像データファイルであることをさらに特徴とする請求項１２に記載のデータ構造。
14. 前記データサブセットは副画像データファイルであり、該副画像データファイルは前記撮像手段（１０２）によって撮像される領域の一部であることをさらに特徴とする請求項１３に記載のデータ構造。
15. 前記データファイルのサブセットは、前記処理手段によって、該データファイルに対する相関技法、フリンジ投影技法またはスペクトル抑制技法の実行により操作されるように構成されることをさらに特徴とする請求項１２乃至請求項１４のいずれか１項に記載のデータ構造。
16. 前記第２のエントリは、異なる焦点面で取得した少なくとも２つの画像データセットに対応することをさらに特徴とする請求項１２乃至請求項１５のいずれか１項に記載のデータ構造。
17. 装置上で実行され、第１の状態のサンプルの初期画像を示すデータセットを該装置の処理手段に生成させ、さらに、前記データセットから前記サンプルの領域を示す複数のデータサブセットを前記処理手段に生成させるコンピュータソフトウェアであって、
    第２の状態の前記サンプルの複数の二次画像を少なくとも２つの焦点面で撮像手段に取り込ませ、前記複数の二次画像のそれぞれからのデータサブセットによって規定される前記サンプルの前記領域に実質的に位置が対応する複数の副画像を前記処理手段に生成させ、その後、前記処理手段を用いて前記データサブセットの少なくとも１つを前記複数の二次副画像のそれぞれ対応するものと前記処理手段に相関させ、該相関に基づいて各データサブセットの前記二次副画像の１つを選択し、該副画像中の少なくとも１つの特徴の変位があればこれを求めることを特徴とするコンピュータソフトウェア。

Images