JP2004538509A - 蛍光撮像における画像合焦 - Google Patents

Abstract

合焦された像を得るためのオートフォーカス機構を有する撮像装置。その装置は対物レンズ、対物レンズと試料の間の距離を変更するための焦点制御装置（１６，２０）、試料内の関心のある物体を見つけるための物体ファインダ（１６）、及び関心のある同定された光強度レベルを測定する光強度測定装置を含む。焦点制御は測定される光強度レベルを最大にするように試料−対物レンズの距離を変更し、それによって焦点位置に到達する。関心のある物体は大物体をフィルタリングし、所望により背景領域をマスクすることによって同定されてもよい。この装置は光レベルが低くノイズが高い蛍光撮像及び顕微鏡に対して有用である。
【選択図】図１

Description

【０００１】
発明の分野
本発明は、画像捕捉のための合焦に関し、さらに詳しくは、高解像度走査システムにおける蛍光撮像および画像合焦に関するが、それに限定するものではない。
【０００２】
発明の背景
高解像度走査システムでは、撮像時間の約半分を合焦に費やすシステムを見つけることは珍しくないので、合焦は主要な律速段階である。したがって、合焦プロセスの最適化はシステム処理能力をもたらすのに重要である。特に蛍光撮像の場合、以下で説明するように、状況はもっと極端である。
【０００３】
従来の顕微鏡焦点アルゴリズムは画像自体に依存している。異なる焦点面の一連の画像が検討され、最大量のディテールまたは最大量の情報を持つ画像が、正しく合焦されているものとして選択される。しかし、現行システムは真のディテールとノイズとを区別することができず、したがって、効果的な合焦のためには高い信号対雑音比（ＳＮＲ）を持つ画像が要求される。
【０００４】
従来の合焦をより詳細に考察すると、従来の合焦は画像の品質に依存している。フォーカスシーケンスを実行するために、システムは推定焦点位置を中心に一連の画像を撮影する。各画像に対し、システムはその位置を記録し、それぞれの画像の鮮鋭度を特徴付ける焦点スコアを算出する。最終段階で、システムは焦点スコアが最高である位置を算出し、算出された位置が焦点位置とみなされる。
【０００５】
鮮鋭度関数は、画像における細かいディテールの量を評価する多くの関数の１つである。優れた鮮鋭度関数は敏感であり（ディテールの量の小さい変化が焦点スコアの大きい変化を生じる）、大きい範囲にわたってよく挙動する。すなわち、焦点位置からの距離が大きくなっても、焦点位置からの距離が増すにつれて、焦点スコアが低下する。例として次のシーケンスを考えてみよう。
１．画像を撮影する。
２．細かいディテールフィルタ（たとえばゾーベルフィルタ）で画像を畳み込む。
３．畳み込まれた画像の画素の強度の絶対値を合計する。
４．焦点スコア（ＦＳ）を上記合計に設定する。
【０００６】
上記シーケンスは一般的に、５ないし１０個の異なる画像の各々に対し５ないし１０回繰り返され、焦点位置が好ましくは画像間の捕間によって算出されて、最大合計の位置が見出される。
【０００７】
上述したシーケンスの主な欠点、そしてこの種の関数全部に当てはまる欠点は、それらがノイズに敏感なことである。したがって、画像品質が良くなければ、焦点スコアの最大の貢献はノイズに由来し、感度および大きい範囲の要件が両方とも損なわれる。
【０００８】
蛍光撮像は弱光の適用とみなされる。つまり、ごく低レベルの光が試料から放射される。加えて、試料のディテールを見分けるために、高解像度が必要である。したがって蛍光撮像システムは、試料の高倍率を提供し、かつ高い集光能力を持つことが要求され、妥当な画像を得るためには比較的長い露光時間を必要とする。必要な高倍率を達成するために、一般的に４０倍以上の高倍率の対物レンズが使用される。高解像度を達成し、かつできるだけ多くの光を集めるために、一般的に０．７５以上の高い開口数（ＮＡ）を持つ対物レンズが一般的に使用される。高品質の低ノイズ画像を得るために、およそ１秒以上の一般的な露光時間が必要である。
【０００９】
高いＮＡは低い被写界深度をもたらすことは理解されるであろう。したがって、対物レンズと試料との間の距離のわずかなずれでも、画像の深刻な合焦不良を導くおそれがある。上述した種類の従来の合焦は一般的に５〜１０個の画像を必要とする。低ノイズ画像の要件は、合焦に使用される露光時間を、実際の撮像に使用されるものと同様にすることが必要であることを意味する。したがって、蛍光撮像の場合、約５〜１０秒の合焦時間が暗示される。したがって、蛍光撮像では、システムはその時間の大部分を合焦に費やすことになり、合焦の問題は高い処理能力の蛍光撮像システムを提供することに対する障害である。
【００１０】
発明の概要
本書で記載する実施形態は、合焦のプロセスにおける差分情報および高周波ディテールなどの画像のディテールへの依存性を除去することによって、上で説明した困難を克服する。代わりに、焦点位置を見つけるために、画像エネルギ、すなわち統合情報および低周波ディテールを使用する。したがって、実施形態は比較的ノイズの多い画像に使用することができ、それを迅速に合焦することができる。該システムは、大量のデータに対して高速処理能力を発揮するのに特に有用である。
【００１１】
本発明の第一の態様では、試料の画像を撮影するための撮像装置であって、
対物レンズと、
対物レンズと試料との間の距離を変更するための焦点制御装置と、
試料内の関心のある物体を見つけるための物体ファインダと、
焦点制御装置と関連付けられ、対物レンズを介して集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を備え、光強度レベルを最大にするように距離を変更し、それによって焦点位置を見つけるように動作可能な装置を提供する。
【００１２】
焦点制御装置は、一連の距離にわたって焦点を段階的に変更して、光強度測定装置で各々の焦点距離における光強度を測定できるようにし、そこから焦点距離のうちで最大強度が得られるものを焦点位置として選択するように制御できることが好ましい。
【００１３】
装置はカメラ内に含めることができる。つまり、カメラの対物レンズと協働して、カメラのオートフォーカスを達成するように構成される。
【００１４】
蛍光試料の画像は一般的に高ノイズであり、従来の方法を使用して合焦することが難しいので、一般的に、使用する試料は蛍光試料である。
【００１５】
物体ファインダは、試料の小物体だけを含めるようにフィルタリングするための小物体フィルタを含むことが好ましい。
【００１６】
物体ファインダは、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するための明るい物体フィルタを含むことが好ましい。
【００１７】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【００１８】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【００１９】
装置はさらに、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するためのフィルタを含むことができる。
【００２０】
小物体フィルタは、画像の実質的に５００画素未満の空間を占める物体でない領域を除去するように動作可能であることが好ましい。
【００２１】
光強度測定装置は、少なくとも第一の焦点距離を使用して、試料を撮影した画像全体の平均強度を算出するように動作可能であることが好ましい。
【００２２】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【００２３】
装置はさらに、光強度測定装置に関連付けられ、平均強度および標準偏差を使用して、画像の画素を二値化するための画像しきい値を算出するためのスレショルダを含むことができる。
【００２４】
しきい値は、平均強度＋予め定められた画像定数×標準偏差であることが好ましい。
【００２５】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【００２６】
合焦しきい値は、平均強度＋予め定められた合焦定数×標準偏差であることが好ましい。
【００２７】
小物体フィルタは、予め定められたブロブサイズより小さい物体の外側にある画素を零に設定することによりマスクを形成することによって、小物体のためのフィルタリングを行なうように動作可能であることが好ましい。
【００２８】
装置はさらに、輝度しきい値を使用して画像を二値化するように動作可能なスレショルダを含むことができる。
【００２９】
スレショルダは、画像の色帯域に対し別個に輝度について二値化するように動作可能であることが好ましい。
【００３０】
スレショルダは、画像背景に関連付けられる色を除去し、それによって背景フィルタを提供するように、画像の色帯域に対して別個に輝度について二値化するように動作可能であることが好ましい。
【００３１】
装置はさらに、二値化された画像とマスクとの論理積を取るための組合せ論理を含むことができる。
【００３２】
装置はさらに、二値化された画像とマスクとの論理積を取り、それによって描写された関心物体を含む画像を形成するための組合せ論理を含むことができる。
【００３３】
装置はさらに、隣接画素として少なくとも１個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【００３４】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【００３５】
装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【００３６】
装置はさらに、予め定められた定数が正数であることを含むことができる。
【００３７】
予め定められた定数は実質的に２であることが好ましい。
【００３８】
装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって光学焦点位置を選択するための比較器を含むことができる。
【００３９】
装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができ、合焦画像を生成するための予め定められた露光時間は一般的に、観察画像を生成するための予め定められた露光時間より短くすることができる。
【００４０】
露光時間の比は実質的に３分の１から４０分の１の間であることが好ましい。
【００４１】
特に好適な実施形態では、露光時間の比は１０分の１から５分の１の間であることが好ましい。
【００４２】
露光時間の比は、一般的な画像のＳＮＲと所定の合焦画像に対して経験的に決定されたＳＮＲとの間の比の平方根を取ることによって算出することが好ましい。
【００４３】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【００４４】
装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【００４５】
装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【００４６】
装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【００４７】
装置はさらに、サーボユニットに接続された、距離を変更するための光強度検出器を含むことができ、サーボユニットは距離を変更させて、検出器によって検出される光強度を最大にするように制御可能である。
【００４８】
装置はさらに、大きい物体の存在が検出されたときにサーボユニットの作動を阻止するための大物体検出器を含むことができる。
【００４９】
装置はさらに、大きい物体が試料に存在するかどうかを決定し、かつ大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【００５０】
光強度検出装置は多画素アレイを含むことが好ましい。
【００５１】
本発明の第二の態様では、
試料を照明するステップと、
対物レンズを介して試料からの光を集め、そこから画像を形成するステップと、
画像内の関心のある物体を識別するステップと、
対物レンズと試料との間の距離を変更して、識別された関心のある物体から集光された光強度を最大にすることによって試料を合焦するステップと、
を含む、画像合焦の方法を提供する。
【００５２】
関心のある物体を識別するステップは、画像内の小物体のためにフィルタリングするステップを含むことが好ましい。
【００５３】
本発明の第三の態様では、
一連の画像を撮影するステップと、
前記一連の画像に対し、小物体のためにフィルタリングするステップと、
前記一連の画像に対し、しきい値の輝度レベルに照らして画像を二値化するステップと、
フィルタリングおよび二値化された各画像の強度を合計して、各画像の焦点スコアを形成するステップと、
最大焦点スコアを有する画像の焦点距離に実質的に一致する焦点距離を選択するステップと、
を含む、合焦画像を生成する方法を提供する。
【００５４】
本発明の第四の態様では、
レンズと試料との間の距離を変更することによって制御可能に試料に合焦可能な対物レンズと、
試料の未合焦画像内で関心のある領域を識別するための物体識別装置と、
対物レンズによって集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を含む撮像用のオートフォーカス装置であって、距離を変更して測定される光強度レベルを最大にするように動作可能であるオートフォーカス装置を提供する。
【００５５】
距離の変更は、距離を段階的に変更して、各段で光強度を測定し、段のうち最大強度を出す１つを焦点距離として選択することを含むことが好ましい。
【００５６】
物体識別装置は、試料の小物体のためのフィルタリング用の小物体フィルタを含むことが好ましい。
【００５７】
小物体フィルタは、予め定められたブロブサイズを有し、予め定められたブロブサイズを超えない物体を認識するためのブロブ解析装置を含むことが好ましい。
【００５８】
予め定められたブロブサイズは実質的に５００画素であることが好ましい。
【００５９】
光強度測定装置は、焦点段の少なくとも最初の段を使用して撮影した試料の画像全体の平均強度を算出するように動作可能であることが好ましい。
【００６０】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【００６１】
オートフォーカス装置はさらに、平均強度および標準偏差を使用して、画像の画素を二値化するための画像強度しきい値を算出するために、光強度測定装置に関連付けられたスレショルダを含むことができる。
【００６２】
画像強度しきい値は、平均強度＋予め定められた画像定数×標準偏差であることが好ましい。
【００６３】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【００６４】
合焦しきい値は、平均強度＋予め定められた画像定数×標準偏差であることが好ましい。
【００６５】
小物体フィルタは、予め定められた大物体しきい値より小さい物体の一部でない画素を零に設定することによって、予め定められた焦点位置で撮影された画像からマスクを形成するように動作可能であることが好ましい。
【００６６】
オートフォーカス装置はさらに、二値化画像とマスクとの論理積を取り、それによって関心のある物体を描写する画像を形成するための組合せ論理を含むことができる。
【００６７】
オートフォーカス装置はさらに、隣接画素として少なくとも１個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【００６８】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【００６９】
オートフォーカス装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【００７０】
オートフォーカス装置はさらに、予め定められた定数が正数であることを含むことができる。
【００７１】
予め定められた定数は実質的に２であることが好ましい。
【００７２】
オートフォーカス装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって距離を該位置に対応する距離に変更して試料を合焦するための比較器を含むことができる。
【００７３】
オートフォーカス装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができる。合焦画像を生成するための予め定められた露光時間は、観察画像を生成するための予め定められた露光時間より短くなるように構成することが好ましい。
【００７４】
露光時間間の比は実質的に５分の１から４０分の１の間であることが好ましい。
【００７５】
特に好適な実施形態では、露光時間間の比は１０分の１から２０分の１の間であることが好ましい。
【００７６】
露光時間間の比は、一般的な画像のＳＮＲと所定の合焦画像に対して経験的に決定されたＳＮＲとの間の比の平方根を取ることによって算出することが好ましい。
【００７７】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【００７８】
オートフォーカス装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【００７９】
オートフォーカス装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【００８０】
オートフォーカス装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【００８１】
オートフォーカス装置はさらに、撮像しようとする試料に大きい物体が存在するかどうかを決定し、大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【００８２】
光強度検出装置は多画素アレイを含むことが好ましい。
【００８３】
本発明の第五の態様では、画像をフィルタリングして関心のある物体を描写するための画像フィルタと、焦点距離を変化させてフィルタリング後の画像の測定光強度を最大にする合焦のための合焦機構に関連付けられた光強度測定装置とを備えた、蛍光撮像顕微鏡用のオートフォーカス装置を提供する。
【００８４】
装置は、撮像に必要なデータレベルより低いデータレベルで収集される画像データを使用して合焦を実行することができる。
【００８５】
本発明をよりよく理解し、それをいかに実施することができるかを示すために、今から、純粋に例として添付の図面に関連して説明する。
図面の簡単な記述
図１は蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
図２は本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
図３は本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
図４は先行技術のシステムを使用して達成される合焦曲線である。
図５は本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
図６は本発明の実施形態に係る合焦プロセス中に得られ、観察のために１０倍に拡大された画像である。
【００８６】
好適な実施形態の説明
今、図１を参照すると、それは蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。装置１０は、カメラ１４および電動フォーカス機構２０に接続された蛍光顕微鏡１２を含み、それらは全てコンピュータ１６に接続される。コンピュータは、カメラおよび電動フォーカス機構２０の両方からデータを受け取り、かつそれらを制御するように接続されることが好ましい。顕微鏡１２は、蛍光発光試料を照明するための照明源１８を含むことが好ましい。放射され反射された蛍光は、顕微鏡１２に戻って受け止められる。
【００８７】
顕微鏡で一般的に見られる通り、照明源１８は、対物レンズを介して試料を照明するために、顕微鏡１２の対物レンズの後ろに配置することが好ましい。そのような形の照明は２つの効果を持つ。第一に、それは焦点面に照明を集中させ、第二に、顕微鏡は透過光ではなく放射光だけを拾うので、それは画像のノイズを低減する。
【００８８】
装置は、対物レンズによって集光された試料の光強度レベルを測定するように構成された光強度測定装置を備えることが好ましい。光強度は画素毎に測定することが好ましい。
【００８９】
光強度測定装置は、対物レンズと試料との間の距離の制御に関連付けられることが好ましい。一般的に、試料またはより正確には試料搭載ステージは、合焦を実行するために動かされる。原則的に、対物レンズを動かすこともできるが、それは一般的なことではない。距離は光強度測定に応答して、好ましくは電動フォーカス機構２０を使用して、制御される。上述の通り、照明光の経路として対物レンズを使用することにより、画像が焦点面にあるときに最も強く照明されることが確実になる。したがって、測定される光強度は、試料が対物レンズの焦点面にあるときに最大に達する。したがって、焦点距離の変化を制御して、強度信号を最大にし、それによって試料に合焦することが可能である。
【００９０】
上記の原理は、試料が視野に対して大きくない限り有効である。試料が大きい場合、それは光信号を統合して、試料が合焦されていない場合でも高い全体的な光強度を生じる効果を持つ。考察から大きい物体を除去するための方法は後述する。
【００９１】
本発明の１つの好適な実施形態では、カメラを高速露光速度に設定し、次いで一連の画像を撮影する合焦手順を実行する。各画像で光強度を測定し、最大光強度を有する画像を決定する。最大光強度を有する画像に対応する位置に電動フォーカスを移動させる。今、顕微鏡は合焦されている。
【００９２】
今から、図２を参照しながら、上記の実施形態の合焦手順を以下の通り、より詳細に論じる。
【００９３】
最初に、カメラをその焦点パラメータに、すなわち高速露光および高利得の設定にセットし、異なる焦点位置で１組の画像を撮影する。
【００９４】
次いで、第一の画像を（Ｉ１）と設定する。
【００９５】
次いで、第一の画像に以下の手順を実行して、しきいレベルおよびマスクを得、大きい物体を除去し、小さい物体だけを維持する。
【００９６】
第一の画像に対し、平均強度Ｉ_ａｖおよび標準偏差σを算出する。
【００９７】
画像しきい値Ｔ_ｈ＝Ｉ_ａｖ＋ｋ＊σを使用して、画像を二値化する。ここでｋは定数である。ｋの典型値は３である。
【００９８】
画像からの大きい物体の除去は、ブロブ解析として知られるプロセスを用いて実行される。
【００９９】
ブロブ解析では、所定のサイズより小さい比較的均等な領域が識別される。一般的にサイズは、画像サイズの画素数で測定され、パラメータＡによって表わされる典型的なサイズは５００画素とすることができる。したがって、Ａ（Ａ＝５００）より小さいブロブのマスクが生成される。ブロブの外側の全ての画素に１の値が割り当てられ、ブロブ内の全ての画素に０が割り当てられる。それによって生成されるマスクを画像Ｉ２と呼ぶ。
【０１００】
Ｉ２とＩ１の「論理積」を取る。Ｉ_ａｖおよびσの値を再計算する。
【０１０１】
Ｆｔｈ＝Ｉ_ａｖ＋ｃ＊σを使用して合焦しきい値を算出する。ここで、ｃは定数である。ｃの典型値は３．５である。
【０１０２】
次いで、第一の画像を含めて全ての画像に以下の手順を実行する。
【０１０３】
合焦しきい値Ｆ_ｔｈを使用して、それぞれの画像（Ｉ１）を二値化する。すなわち、Ｆ_ｔｈより低い全ての画素に０を割り当て、他の全ての画素は変化しない。新しい画像をＩ３と呼ぶ。
【０１０４】
次いで、二値化された画像Ｉ３とマスクＩ２の論理積を実行する。当業者は、二値化するステップおよび論理積を取るステップは交換できることを理解されるであろう。結果をここではＩ４と呼ぶ。
【０１０５】
Ｉ４は、好ましくはＩ４の各画素が少なくとも１つの非零の隣接画素を持つことを要求することによって、ランダムノイズを除去する。そのような除去は、Ｉ４に対しランクフィルタを実行することによって達成することができる。結果として得られる画像をここではＩ５と呼ぶ。
【０１０６】
次いで、焦点スコアＦを、Ｆ＝Σ_{ａｌｌ ｉｍａｇｅ ｐｉｘｅｌｓ}（Ｉ_{ｐｉｘｅｌ}−Ｉ_ａｖ）^αとして算出することができる。ここで、Ｉ_{ｐｉｘｅｌ}はＩ５内の画素のグレーレベルであり、αは正数であり、典型的にはα＝２である。
【０１０７】
次いで、最大焦点スコアを持つ画像に対応する位置を、実際の焦点位置とみなす。
【０１０８】
ブロブ解析を使用する小物体のためのフィルタリングは、２種類の物体、すなわち細胞物体および非細胞物体の識別を導く。非細胞物体は、以下の手順を使用して除去することができる。一般的に、所定のスライドは均一の背景色を持つ場合が多く、色画像では背景色を除去することができる。上述した二値化ステージでは、色帯域によって二値化を実行し、背景に対応する色を完全に除去することができる。したがって、そのような技術により、最終画像が非細胞背景色を共有しない小物体を含むこと、すなわちそれが生物学者にとって関心のありそうな物体を含むことが確実になる。
【０１０９】
モノクロ画像の場合、依然として背景の除去が可能であるが、それはグレーレベルおよび肌理の均一性を認識することに基づくので、より複雑である。
【０１１０】
上述の通り、合焦中の露光時間は、全観察画像を達成するために必要な露光時間よりかなり低くすることができる。この低減は、上述した手順によるものである。露光タイマは、通常の露光時間の４０分の１から３分の１の間、好ましくは５分の１から１０分の１の間に設定された、所定の低減露光時間を使用することができる。
【０１１１】
本発明のさらに好適な実施形態では、露光時間の固定比を省き、代わりに画像統計を使用して露光時間を設定することができる。例えば、典型的な画像のＳＮＲを取ることによって有用な比が得られる。合焦画像に対し経験的に決定されたＳＮＲを定義し、２つの間の比を算出する。次いで、算出された比の平方根を露光時間間の比として使用する。
【０１１２】
さらなる好適な実施形態では、合焦が失敗した場合に、合焦露光時間が増大されるように、露光タイマを設定することができる。一般的に、蛍光画像の特徴は、正の信号の領域の周囲の明るい画素のクラスタである。上述したランクフィルタの使用は、この特徴を強調させる。あまり多くの情報を持たない画像は、画素クラスタ化を持つ可能性が低く、したがってランクフィルタは画像の光の多くを除去する傾向があり、そのような画像に非常に低い焦点スコアを与える。そのような低いスコアは合焦不良と認識することができ、上述の通り合焦時間の増大が奨励される。
【０１１３】
他方、情報が過剰である場合、逆の手順に従うことができる。今、図３を参照すると、好適な実施形態では、一続きの連続画像のスコア間の大きい差を、充分以上の情報を持つという標識として認識する。したがって装置は露光時間を短縮することができる。異なる露光時間による画像からの結果を使用する際に、スコアを比較可能にするために、それに係数を加重することが好ましい。したがって、１つの画像が１０分の１秒の露光時間を持ち、次の画像が１２分の１秒の露光時間を使用して撮影される場合、第二の画像のスコアは、第一の画像のそれと比較できるように校正される。
【０１１４】
図３をより詳しく検討すると、第一の画像が撮影され、焦点スコアが算出される。スコアに焦点係数、現在は１が乗算される。次いで第二画像が撮影され、スコアが算出される。再び、スコアに、依然として１のままである焦点係数が乗算される。第二のスコアが第一のスコアから減算され、結果が勾配しきい値ＧＲＡＤと比較される。しきい値を超え、かつ第一の焦点スコアが予め定められたスコアしきい値より大きい場合、より速い露光時間が設定され、焦点係数は、旧露光時間と新露光時間との間の比のα乗に更新される。ここでαは上に定義した通りである。
【０１１５】
特定のカメラは、画素ビニング機能（ときどきメタ画素またはスーパ画素とも呼ばれる）として知られるものを備える。この機能は内部画素群を取り、この群を単一画素として処理する。画素ビニングの効果は、解像度を低下し、同時にＳＮＲを高めることである。解像度は上述した合焦手順に影響を持たないが、ＳＮＲの増加は露光時間をさらに短縮することができるので、画素ビニングは、上述した合焦手順で役立つことができる。したがって、画素ビニングが大きい物体の識別を妨げない限り、それを効果的に合焦手順に組み込むことができる。
【０１１６】
本発明の簡素化された実施形態は、検出された光レベルを使用して、ピークが決定されるまで電動フォーカス２２を光レベルが増加する方向に直接作動させることができる。この場合、任意の光度計を使用することができる（例えばフォトダイオード、アバランシェフォトダイオード、または光電子増倍管）。付近に大きい物体が無い限り、本発明のそのような簡素化された実施形態で充分である。したがって、好適な実施形態では、大物体検出器、例えば上述したブロブ解析装置を、そのような簡素化された実施形態と、上述したマスキング等の手順を含む実施形態との間のスイッチとして使用することができる。代替的に、低倍率プレスキャナを使用して、スイッチングを実行することができる。低倍率プレスキャナは、低倍率の小さいＮＡの対物レンズを使用してプレスキャン画像を生成し、次いでそれをコンピュータ１６に送ることが好ましい。コンピュータ１６は、試料に大きい物体が存在するかどうかを決定し、それにしたがって簡素化された実施形態とより複雑な実施形態との間で選択を行なうことができる。
【０１１７】
１つの好適な実施形態では、光強度検出装置は、多画素検出器アレイ、例えば４×４のアレイから作成することができる。そのようなアレイの使用は、超低解像度の撮像を使用することに相当する。アレイは、大きい物体が存在する領域を放棄し、関連領域のみから来る情報を使用する効果を有する。それにもかかわらず、依然として実時間合焦が可能である。
【０１１８】
最小限のシステムは、対物レンズと試料との間の距離を制御された方法で変更することができる蛍光撮像装置から作成することができる。プロトタイプは、ツァイス・アクシオプラン２顕微鏡、ソニーＤＸＣ９０００ＣＣＤカメラ、および標準汎用コンピュータを使用して作成された。プロトタイプを試験するために、生物学的試料を特定の蛍光ＤＮＡプローブで染色した。
【０１１９】
コンピュータはカメラおよび試料と対物レンズとの間の距離を制御し、カメラからの画像を捕捉し、結果を解析する。典型的な合焦シーケンスは、コンピュータが対物レンズと試料との間の初期距離Ｚ０を決定したときに開始する。コンピュータはＺ０距離を設定し、カメラからの画像を捕捉する。画像は解析され、現在の画像の焦点スコアＦ０が算出される。次いでコンピュータは別の距離Ｚ１を設定し、画像を捕捉し、そのスコアＦ１を算出する。上述の通り、焦点スコアのピークが見つかる位置Ｆ_{ｆｏｃｕｓ}を選択することができるまで、このシーケンスが繰り返される。
【０１２０】
伝統的な合焦方法および新しい合焦方法の性能を比較する試験例において、異なる位置で画像を撮影し、各方法を使用して焦点曲線を計算した。試料は、Ｖｙｓｉｓ Ｌｔｄによって製造されたプローブを使用して性染色体に染色した通常の血液試料であった。２秒の露光時間で最終画像を撮影した。図５および６は、画像の典型的な焦点曲線を示す。本発明の実施形態を使用して合焦したときの合焦画像は、従来の方法の場合より２０倍速い、１００ミリ秒のみの露光時間で撮影した。
【０１２１】
今、図４を参照すると、これは、先行技術の合焦システムを使用した上例の焦点曲線を示すグラフである。このグラフでは、フィルタ、この場合はゾーベル鮮鋭度フィルタによって生成された焦点スコアが、最適焦点からの距離に対して描かれている。最適焦点から−１．５ないし１．５ミクロンの領域に目立つピークがあり、そこで焦点スコアが約９００から約１０００に上昇することが注目に値する。上述した領域外では、スコアにほとんど変化は無い。したがって、最適焦点から３ミクロンにおけるスコアが、２ミクロンにおけるスコアと事実上同一である。
【０１２２】
今、図５を参照すると、これは本発明の実施形態によって生成された焦点曲線を示すグラフである。図５には、再び、最適焦点からの距離に対して焦点スコアが描かれている。今回、−１．５ないし１．５ミクロンの同じ領域における焦点スコアは５０から１０００の間で変動している。すなわち、システムの識別能がかなり高い。また、この領域外でも、スコアに顕著な相違がある。スコアは２から３ミクロンの間で低下している。
【０１２３】
今、図６を参照すると、これは本発明の実施形態を使用した合焦プロセス中に得られた画像を示す。示されかつ使用された画像は、それぞれの組の合焦画像の中で最も明瞭なものである。観察を可能にするために、原画像のグレーレベルを１０倍に増加した。画像自体が高レベルのノイズを持ち、標準合焦方法は無効になることに注目されたい。
【０１２４】
したがって、上記の実施形態では、蛍光撮像に一般的な種類の高ノイズ画像に対し、自動合焦を実行することのできる、蛍光顕微鏡用の合焦装置が提供される。
【０１２５】
１つまたは幾つかの実施形態に関連してのみ記載した特徴が他の実施形態にも適用可能であり、かつ空間上の理由から全ての可能な組合せを詳述することはできないことを理解されたい。それにもかかわらず、上記説明の範囲は、上述した機能の全ての合理的な組合せに対して延長される。
【０１２６】
本発明は、単なる例として掲げた上述の実施形態に限定されない。むしろ本発明は添付の請求の範囲によって定義される。
【図面の簡単な説明】
【０１２７】
【図１】蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
【図２】本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
【図３】本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
【図４】先行技術のシステムを使用して達成される合焦曲線である。
【図５】本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
【図６】本発明の実施形態に係る合焦プロセス中に得られ、観察のために１０倍に拡大された画像である。

Claims (74)

1. 試料の画像を撮影するための撮像装置であって、
   対物レンズと、
   前記対物レンズと前記試料との間の距離を変更するための焦点制御装置と、
   前記試料内の関心のある物体を見つけるための物体ファインダと、
   前記焦点制御装置と関連付けられ、前記対物レンズを介して集光された関心のある前記物体の光強度レベルを測定するように構成された光強度測定装置と、
   を備え、前記光強度レベルを最大にするように前記距離を変更し、それによって焦点位置を見つけるように動作可能な試料の画像を撮影するための撮像装置。
2. 前記焦点制御装置は、一連の距離にわたって前記焦点を段階的に変更して、前記光強度測定装置で各々の前記焦点距離における前記光強度を測定できるようにし、そこから前記焦点距離のうちで最大強度が得られるものを前記焦点位置として選択するように制御できる請求項１に記載の撮像装置。
3. カメラ内に含められる請求項１に記載の撮像装置。
4. 前記試料は蛍光試料である請求項１に記載の撮像装置。
5. 前記物体ファインダは、前記試料の小物体だけを含めるようにフィルタリングするための小物体フィルタを含む請求項１に記載の撮像装置。
6. 前記物体ファインダは、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するための明るい物体フィルタを含む請求項４に記載の撮像装置。
7. 前記物体ファインダは、背景色を除去するための背景フィルタを含む請求項４に記載の撮像装置。
8. 前記物体ファインダは、背景色を除去するための背景フィルタを含む請求項６に記載の撮像装置。
9. 予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するためのフィルタをさらに含む請求項１に記載の撮像装置。
10. 前記小物体フィルタは、画像の実質的に５００画素未満の空間を占める物体でない領域を除去するように動作可能である請求項５に記載の撮像装置。
11. 前記光強度測定装置は、少なくとも第一の前記焦点距離を使用して、前記試料を撮影した画像全体の平均強度を算出するように動作可能である請求項３に記載の撮像装置。
12. 前記光強度測定装置は、前記画像全体の前記強度の標準偏差を算出するようにさらに動作可能である請求項１１に記載の撮像装置。
13. 前記光強度測定装置に関連付けられ、前記平均強度および前記標準偏差を使用して、前記画像の画素を二値化するための画像しきい値を算出するためのスレショルダをさらに含む請求項１２に記載の撮像装置。
14. 前記しきい値は、平均強度＋予め定められた画像定数×標準偏差である請求項１３に記載の撮像装置。
15. 前記スレショルダは、前記画像しきい値に加えて合焦しきい値を算出するように動作可能である請求項１３に記載の撮像装置。
16. 前記合焦しきい値は、平均強度＋予め定められた合焦定数×標準偏差である請求項１５に記載の撮像装置。
17. 前記小物体フィルタは、予め定められたブロブサイズより小さい物体の外側にある画素を零に設定することによりマスクを形成することによって、前記小物体のためのフィルタリングを行なうように動作可能である請求項５に記載の撮像装置。
18. 輝度しきい値を使用して画像を二値化するように動作可能なスレショルダをさらに含む請求項１７に記載の撮像装置。
19. 前記スレショルダは、前記画像の色帯域に対し別個に輝度について二値化するように動作可能である請求項１８に記載の撮像装置。
20. 前記スレショルダは、画像背景に関連付けられる色を除去し、それによって背景フィルタを提供するように、前記画像の色帯域に対して別個に輝度について二値化するように動作可能である請求項１９に記載の撮像装置。
21. 前記二値化された画像と前記マスクとの論理積を取るための組合せ論理をさらに含む請求項１７に記載の撮像装置。
22. 前記二値化された画像と前記マスクとの論理積を取り、それによって描写された関心物体を含む画像を形成するための組合せ論理をさらに含む請求項２０に記載の撮像装置。
23. 隣接画素として少なくとも１個の非零画素が欠如している前記画像の各画素を零に設定するように動作可能なノイズ除去装置をさらに含む請求項２１に記載の撮像装置。
24. 前記ノイズ除去装置はランクフィルタを含む請求項２３に記載の撮像装置。
25. 画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラをさらに含む請求項２４に記載の撮像装置。
26. 前記予め定められた定数が正数である請求項２５に記載の撮像装置。
27. 前記予め定められた定数は実質的に２である請求項２６に記載の撮像装置。
28. 前記焦点スコアラに関連付けられ、どの前記画像が最大スコアを出すかを決定し、それによって光学焦点位置を選択するための比較器をさらに含む請求項２７に記載の撮像装置。
29. 合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含み、合焦画像を生成するための前記予め定められた露光時間は、観察画像を生成するための前記予め定められた露光時間より短い請求項１に記載の撮像装置。
30. 前記露光時間間の比は実質的に３分の１から４０分の１の間である請求項２９に記載の撮像装置。
31. 前記露光時間間の比は実質的に１０分の１から５分の１の間である請求項２９に記載の撮像装置。
32. 前記露光時間間の比は、一般的な画像のＳＮＲと所定の合焦画像に対して経験的に決定されたＳＮＲとの間の比の実質的に平方根を取ることによって算出する請求項２９に記載の撮像装置。
33. 前記露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための前記予め定められた露光時間を増大するように設定される請求項２９に記載の撮像装置。
34. 連続画像の焦点スコア間の差を決定するための比較器を含み、前記差が予め定められたレベルより高いときに、前記装置は露光時間を減少するように動作可能である請求項２５に記載の撮像装置。
35. 前記露光時間の前記減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器をさらに含む請求項３４に記載の撮像装置。
36. 前記画像の信号対雑音比を増大するために画素ビニング機能性をさらに含む請求項１に記載の撮像装置。
37. サーボユニットに接続された、前記距離を変更するための光強度検出器を含み、前記サーボユニットは前記距離を変更させて、前記検出器によって検出される光強度を最大にするように制御可能である請求項１に記載の撮像装置。
38. 大きい物体の存在が検出されたときに前記サーボユニットの作動を阻止するための大物体検出器をさらに含む請求項３７に記載の撮像装置。
39. 大きい物体が試料に存在するかどうかを決定し、かつ前記大きい物体の存在下での前記サーボユニットの動作を阻止するための低倍率プレスキャナを含む請求項３７に記載の撮像装置。
40. 前記光強度検出装置は多画素アレイを含む請求項１に記載の撮像装置。
41. 試料を照明するステップと、
    対物レンズを介して前記試料からの光を集め、そこから画像を形成するステップと、
    前記画像内の関心のある物体を識別するステップと、
    前記対物レンズと前記試料との間の距離を変更して、前記識別された関心のある物体から集光された光強度を最大にすることによって前記試料を合焦するステップと、
    を含む、画像を合焦させる方法。
42. 関心のある物体を識別する前記ステップは、前記画像内の小物体のためにフィルタリングするステップを含む請求項４１に記載の方法。
43. 一連の画像を撮影するステップと、
    前記一連の画像に対し、小物体のためにフィルタリングするステップと、
    前記一連の画像に対し、しきい値の輝度レベルに照らして前記画像を二値化するステップと、
    フィルタリングおよび二値化された各画像の強度を合計して、各画像の焦点スコアを形成するステップと、
    最大焦点スコアを有する画像の焦点距離に実質的に一致する焦点距離を選択するステップと、
    を含む、合焦画像を生成する方法。
44. 前記レンズと前記試料との間の距離を変更することによって制御可能に前記試料に合焦可能な対物レンズと、
    前記試料の未合焦画像内で関心のある領域を識別するための物体識別装置と、
    前記対物レンズによって集光された関心のある前記物体の光強度レベルを測定するように構成された光強度測定装置と、
    を含む撮像用のオートフォーカス装置であって、前記距離を変更して前記測定される光強度レベルを最大にするように動作可能であるオートフォーカス装置。
45. 前記距離の前記変更は、前記距離を段階的に変更して、前記各段で前記光強度を測定し、前記段のうち最大強度を出すものを焦点距離として選択することを含む請求項４４に記載のオートフォーカス装置。
46. 前記物体識別装置は、前記試料の小物体のためのフィルタリング用の小物体フィルタを含む請求項４４に記載のオートフォーカス装置。
47. 前記小物体フィルタは、予め定められたブロブサイズを有し、前記予め定められたブロブサイズを超えない物体を認識するためのブロブ解析装置を含む請求項４６に記載のオートフォーカス装置。
48. 前記予め定められたブロブサイズは実質的に５００画素である請求項４７に記載のオートフォーカス装置。
49. 前記光強度測定装置は、前記焦点段の少なくとも最初の段を使用して撮影した前記試料の画像全体の平均強度を算出するように動作可能である請求項４５に記載のオートフォーカス装置。
50. 前記光強度測定装置は、前記画像全体の前記強度の標準偏差を算出するようにさらに動作可能である請求項４９に記載のオートフォーカス装置。
51. 前記平均強度および前記標準偏差を使用して、前記画像の画素を二値化するための画像強度しきい値を算出するために、前記光強度測定装置に関連付けられたスレショルダをさらに含む請求項５０に記載のオートフォーカス装置。
52. 前記画像強度しきい値は、平均強度＋予め定められた画像定数×標準偏差である請求項５１に記載のオートフォーカス装置。
53. 前記スレショルダは、前記画像しきい値に加えて合焦しきい値を算出するように動作可能である請求項５１に記載のオートフォーカス装置。
54. 前記合焦しきい値は、平均強度＋予め定められた画像定数×標準偏差である請求項５３に記載のオートフォーカス装置。
55. 前記小物体フィルタは、予め定められた大物体しきい値より小さい物体の一部でない画素を零に設定することによって、予め定められた焦点位置で撮影された画像からマスクを形成するように動作可能である請求項４６に記載のオートフォーカス装置。
56. 前記二値化画像と前記マスクとの論理積を取り、それによって前記関心のある物体を描写する画像を形成するための組合せ論理をさらに含む請求項５５に記載のオートフォーカス装置。
57. 隣接画素として少なくとも１個の非零画素が欠如している前記画像の各画素を零に設定するように動作可能なノイズ除去装置をさらに含む請求項５６に記載のオートフォーカス装置。
58. 前記ノイズ除去装置はランクフィルタを含む請求項５７に記載のオートフォーカス装置。
59. 画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラをさらに含む請求項５８に記載のオートフォーカス装置。
60. 前記予め定められた定数が正数である請求項５９に記載のオートフォーカス装置。
61. 前記予め定められた定数は実質的に２である請求項６０に記載のオートフォーカス装置。
62. 前記焦点スコアラに関連付けられ、どの前記画像が最大スコアを出すかを決定し、それによって前記距離を前記位置に対応する距離に変更して前記試料を合焦するための比較器をさらに含む請求項６１に記載のオートフォーカス装置。
63. 合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含み、合焦画像を生成するための前記予め定められた露光時間は、観察画像を生成するための前記予め定められた露光時間より短い請求項４４に記載のオートフォーカス装置。
64. 前記露光時間間の比は実質的に５分の１から４０分の１の間である請求項６３に記載のオートフォーカス装置。
65. 前記露光時間間の比は実質的に１０分の１から２０分の１の間である請求項６３に記載のオートフォーカス装置。
66. 前記露光時間間の比は、一般的な画像のＳＮＲと所定の合焦画像に対して経験的に決定されたＳＮＲとの間の比の平方根を取ることによって算出する請求項６３に記載のオートフォーカス装置。
67. 前記露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための前記予め定められた露光時間を増大するように設定される請求項６３に記載のオートフォーカス装置。
68. 連続画像の焦点スコア間の差を決定するための比較器を含み、前記差が予め定められたレベルより高いときに、前記装置は露光時間を減少するように動作可能である請求項５９に記載のオートフォーカス装置。
69. 前記露光時間の前記減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器をさらに含む請求項６８に記載のオートフォーカス装置。
70. 前記画像の信号対雑音比を増大するために画素ビニング機能性をさらに含む請求項４４に記載のオートフォーカス装置。
71. 撮像しようとする試料に大きい物体が存在するかどうかを決定し、前記大きい物体の存在下での前記サーボユニットの動作を阻止するための低倍率プレスキャナを含む請求項４４に記載のオートフォーカス装置。
72. 前記光強度検出装置は多画素アレイを含む請求項４４に記載のオートフォーカス装置。
73. 画像をフィルタリングして関心のある物体を描写するための画像フィルタと、焦点距離を変化させて前記フィルタリング後の画像の測定光強度を最大にすることによる合焦のための合焦機構に関連付けられた光強度測定装置とを備えた、蛍光撮像顕微鏡用のオートフォーカス装置。
74. 撮像に必要なデータレベルより低いデータレベルで収集される画像データを使用して前記合焦を実行することができる請求項７３に記載のオートフォーカス装置。

Images