JP2021135390A - 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム - Google Patents

Abstract

【課題】焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に高輝度領域が含まれている場合であっても、検出動作を繰り返すことなく、合焦位置を安定して検出する。【解決手段】この発明は、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部で撮像して複数の対象画像を取得する第１工程と、複数の対象画像から所定の輝度を超える飽和領域を取得する第２工程と、対象画像毎に、対象画像のうち飽和領域外の画像から焦点の合い具合を指標する合焦度を求める第３工程と、複数の合焦度に基づいて合焦位置を特定する第４工程と、を備えている。【選択図】図５

Description

この発明は、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に基づいて合焦点位置を検出する合焦位置検出技術であり、特に輝度が飽和している高輝度領域を含む対象画像の観察に好適な合焦位置検出技術に関するものである。

細胞の培養および解析には、細胞を含む試料を撮像した画像が用いられることがある。試料は、ウェルプレートまたはマイクロプレート等と呼ばれる複数のウェル（凹部）が設けられた平板状の容器や、単一のウェルを有するディッシュと呼ばれる平皿状の容器を用いて作成される。撮像対象物である細胞を良好に撮像するためには、合焦位置を検出して焦点位置を調整する必要がある。そこで、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に基づいて合焦位置を検出する合焦位置検出技術が提案されている（特許文献１、２など）。

特開平７−３１８７８４号公報 特開２０１６−２２３９３１号公報

しかしながら、試料中に本来の撮像対象物と異なる死細胞などが含まれることがある。この試料を撮像して取得される画像においては、死細胞などに対応する画素の輝度が極端に高くなった高輝度領域が含まれることがある。そこで、高輝度領域を含んでいる画像（後の図４の（ａ）欄および（ｂ）欄参照）については高輝度領域を除外した上で合焦点位置を検出することも考えられるが、これでは死細胞などの影響を十分に排除することができない。

ここで、撮像部に含まれる照明素子やカメラの設定条件（発光時間や露光時間など）を調整して再撮像すれば、高輝度領域の発生が抑えられて上記問題は解消する。ただし、撮像対象物が細胞であるが故に、最撮像を繰り返すことは、細胞に対する問題(光毒性,蛍光退色)や撮像待ち時間の問題を引き起こす。そのため、合焦位置の検出のために再撮像を繰り返すことを回避したいという要望があった。

この発明は上記課題に鑑みなされたものであり、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に高輝度領域が含まれている場合であっても、検出動作を繰り返すことなく、合焦位置を安定して検出することができる合焦位置検出技術を提供することを目的とする。

この発明の第１態様は、合焦位置検出方法であって、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部で撮像して複数の対象画像を取得する第１工程と、複数の対象画像から所定の輝度を超える飽和領域を取得する第２工程と、対象画像毎に、対象画像のうち飽和領域に対応する画像を除いた画像から焦点の合い具合を指標する合焦度を求める第３工程と、複数の合焦度に基づいて合焦位置を特定する第４工程と、を備えることを特徴としている。

また、この発明の第２態様は、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に基づいて合焦点位置を検出する合焦位置検出装置であって、複数の対象画像から所定の輝度を超える飽和領域を取得する飽和領域取得部と、対象画像毎に、対象画像のうち飽和領域に対応する画像を除いた画像から焦点の合い具合を指標する合焦度を求める合焦度算出部と、合焦度算出部により算出された複数の合焦度に基づいて合焦位置を特定する合焦位置特定部とを備えることを特徴としている。

さらに、この発明の第３態様は、合焦位置検出用プログラムであって、上記合焦位置検出方法をコンピュータに実行させることを特徴としている。

上記のように、本発明によれば、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に高輝度領域が含まれている場合であっても、検出動作を繰り返すことなく、合焦位置を安定して検出することができる。

本発明に係る合焦位置検出装置の一実施形態を装備する撮像装置の概略構成を示す図である。 撮像装置で使用されるウェルプレートの上面図である。 撮像装置で使用されるウェルプレートの斜視図である。 図１に示す撮像装置において実行される合焦位置検出方法の第１実施形態を示すフローチャートである。 撮像部により取得される対象画像の一例を示す図である。 飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。 本発明に係る合焦位置検出方法の第２実施形態における飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。 本発明に係る合焦位置検出方法の第３実施形態における飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。 本発明に係る合焦位置検出方法の第４実施形態で実行される工程の一部を模式的に示す図である。

図１は本発明に係る合焦位置検出装置の第１実施形態を装備する撮像装置の概略構成を示す図である。図２Ａおよび図２Ｂは撮像装置で使用されるウェルプレートの一例を示す図であり、図２Ａはウェルプレートの上面図であり、図２Ｂはその斜視図である。ここで、各図における方向を統一的に示すために、図１に示すようにＸＹＺ直交座標系を設定する。例えばＸＹ平面を水平面、Ｚ軸を鉛直軸と考えることができる。以下においては（−Ｚ）方向を鉛直下向きとする。

撮像装置１は、ウェルプレート９の上面に形成されたウェル９１と称される凹部に担持された培地中で培養される細胞、細胞コロニー、細菌等（以下、「細胞等」と称し参照符号Ｃを付す）の生試料を撮像する装置である。ウェルプレート９は、図２Ａおよび図２Ｂに示すように、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培地とともに撮像対象物となる複数の細胞を保持する。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。ただし、本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形、角丸矩形等の他の形状であってもよい。

ウェルプレート９の各ウェル９１には、図１に示すように培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等Ｃが、この撮像装置１の撮像対象物となる。培地Ｍは適宜の試薬が添加されたものでもよく、また液状でウェル９１に投入された後ゲル化するものであってもよい。この撮像装置１では、例えばウェル９１の内底面で培養された細胞等Ｃを撮像対象とすることができる。

撮像装置１は、ウェルプレート９を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェル９１に担持するウェルプレート９の下面周縁部に当接してウェルプレート９を略水平姿勢に保持する。

照明部１２は、ホルダ１１により保持されたウェルプレート９に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、ウェルプレート９に設けられたウェル９１内の細胞等が上方から照明される。

ホルダ１１により保持されたウェルプレート９の下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレート９の直下位置に図示を省略する撮像光学系が配置されており、撮像光学系の光軸は鉛直方向（Ｚ方向）に向けられている。

撮像部１３により、ウェル９１内の細胞等が撮像される。具体的には、照明部１２から出射されウェル９１の上方から液体に入射した光が撮像対象物を照明し、ウェル９１底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３がウェル９１に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。このフォーカス調整は後で詳述する合焦位置検出方法により検出される合焦位置に基づいて実行される。撮像視野内に１つのウェル９１の全体が収められた状態で撮像されるときには、メカ制御部１４６は、光軸が当該ウェル９１の中心と一致するように、撮像部１３を水平方向に位置決めする。

また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線水平矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、どのウェル９１が撮像される場合でも、当該ウェル９１の中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、各ウェル９１に対する照明条件を一定にして、撮像条件を良好に維持することができる。

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する画像処理部として機能する。制御部１４はさらに、画像データを記憶保存するための画像メモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する飽和領域取得処理、合焦度算出処理および合焦位置特定処理などを行って合焦位置を検出する。つまり、ＣＰＵ１４１は本発明の「飽和領域取得部」、「合焦度算出部」および「合焦位置特定部」として機能し、制御プログラムの一部が本発明の「合焦位置検出用プログラム」の一例に相当している。

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。

なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータを利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。

図３は図１に示す撮像装置において実行される合焦位置検出方法の第１実施形態を示すフローチャートである。また、図４は撮像部により取得される対象画像の一例を示す図である。合焦位置検出方法は、制御部１４に設けられたＣＰＵ１４１が、予め実装された制御プログラムを実行し装置各部に所定の動作を行わせることにより実現される。

最初に、駆動機構１５が撮像部１３を駆動して、特定のウェル９１、例えば中心部に位置するウェル９１が視野に収めるように撮像部１３の水平位置を設定するとともに、対物レンズ１３１の焦点位置が所定の初期位置となるように撮像部１３を鉛直方向Ｚにおいて撮像部高さＨ１に位置決めする。この状態でウェル９１の撮像が行われ、対象画像Ｇ１の画像データが画像メモリ１４４に記憶される（ステップＳ１）。こうして取得された対象画像Ｇ１に対し、図４の（ａ）欄に示すように本来的に撮像したい細胞等Ｃの像ＧＣ１とともに死細胞の像ＧＣ２が含まれることがある。これらのうち像ＧＣ１を構成する画素の輝度は、励起光が照射された細胞等Ｃから蛍光発光した光に相当しており、比較的低い値となっている。これに対し、像ＧＣ２を構成する画素の輝度は極端に高くなることがある。その結果、細胞等Ｃを撮像対象物として撮像するための合焦位置を検出しようとした際に、像ＧＣ２の存在が検出精度の低下の主要因のひとつとなってしまう。

そこで、本実施形態では、上記ステップＳ１を実行した後に、さらにステップＳ２〜Ｓ４が繰り返して実行される。これによって、撮像部１３から細胞等Ｃまでの距離を４段階で異ならせながら、つまり焦点位置を光軸に沿って変化させながら細胞等Ｃを撮像部１３で撮像して４つの対象画像Ｇ１〜Ｇ４を取得する（本発明の「第１工程」に相当）。また、所定の輝度Ｌmaxを超える飽和領域の取得、つまり飽和領域取得処理（本発明の「第２工程」に相当）が実行される。

図５は飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。次のステップＳ２では、対象画像Ｇ１が複数個（本実施形態では、４×３のマトリックス状で、合計１２個）の局所画像ＰＧに分割される（ステップＳ２−１）。そして、所定の輝度Ｌmaxを超える局所画像ＰＧが存在する領域、つまり高輝度領域ＨＲが求められる（ステップＳ２−２）。各局所画像ＰＧが所定の輝度Ｌmaxを超えるか否かの判定については、例えば局所画像ＰＧを構成する複数の画素のうち所定の輝度Ｌmaxを超える画素の数に基づいて行うことができる。この点については、後で説明する第２実施形態においても同様である。

なお、所定の輝度Ｌmaxを超える高輝度の局所画像ＰＧを適宜「高輝度局所画像ＰＧｓ」と称する。また、高輝度領域ＨＲおよび高輝度局所画像ＰＧｓを明示するために、図５の（Ｓ２−２）において高輝度領域ＨＲが太線で囲まれる一方、高輝度局所画像ＰＧｓに対してハッチングが付されている。こうして高輝度領域ＨＲが求まると、高輝度領域ＨＲに基づいて飽和領域が取得される（ステップＳ２−３）。このような飽和領域取得処理は、上記対象画像Ｇ１に続いて、対象画像Ｇ２〜Ｇ４についても順次実行される。

本実施形態では、図５に示すように、対象画像Ｇ２での高輝度領域ＨＲは対象画像Ｇ１での高輝度領域ＨＲからさらに広範囲に存在している。つまり、対象画像Ｇ２での高輝度領域ＨＲからなる飽和領域ＳＲは対象画像Ｇ１での高輝度領域ＨＲからなる飽和領域（図示省略）を包含している。しかも、図４の「輝度分布」の欄に示すように、像ＧＣ２の輝度分布は焦点位置（撮像部高さＨ１）でシャープなプロファイルを有する一方、焦点位置から離れるにしたがって輪郭周辺や全体の輝度が低下する一方で裾野部分が広がるというプロファイルを有している。このため、対象画像Ｇ３、Ｇ４に含まれる死細胞の像ＧＣ２の輝度は所定の輝度Ｌmax以下であるものの、細胞等Ｃの像ＧＣ１の輝度と同等あるいはそれ以上であり、合焦位置の検出に影響を及ぼす可能性が高い。そこで、本実施形態では、上記飽和領域ＳＲを各対象画像Ｇ１〜Ｇ４において合焦位置検出を阻害する範囲とし、後で説明するように飽和領域ＳＲを考慮して合焦度を算出する。

一方、全対象画像Ｇ１〜Ｇ４において死細胞の像ＧＣ２などが含まれない場合には、飽和領域ＳＲは存在しないため、従来技術と同様に対象画像Ｇ１〜Ｇ４をそのまま用いて合焦位置検出を行うことが可能である。

そこで、次のステップＳ５では、飽和領域ＳＲが存在するか否かを判定している。このステップＳ５で飽和領域ＳＲが存在しないと判定されると、撮像部高さＨ１〜Ｈ４のいずれについても対象画像Ｇ１〜Ｇ４から合焦度がそれぞれ算出される（ステップＳ６）。

これに対し、ステップＳ５で飽和領域ＳＲが存在すると判定されると、撮像部高さＨ１〜Ｈ４のいずれについても飽和領域ＳＲの画像は合焦度算出の対象外とされる。つまり、対象画像Ｇ１のうち飽和領域ＳＲ外の画像Ｇ１Ａから焦点の合い具合を指標する合焦度が求められる。また、対象画像Ｇ２のうち飽和領域ＳＲ外の画像Ｇ２Ａから焦点の合い具合を指標する合焦度が求められる。また、対象画像Ｇ３のうち飽和領域ＳＲ外の画像Ｇ３Ａから焦点の合い具合を指標する合焦度が求めされる。さらに、対象画像Ｇ４のうち飽和領域ＳＲ外の画像Ｇ４Ａから焦点の合い具合を指標する合焦度が求められる。このような合焦度の取得工程が本発明の「第３工程」の一例に相当している。

こうして撮像部高さＨ１〜Ｈ４の合焦度の算出が完了すると、従来技術と同様に最も合焦度の高い撮像部高さが合焦位置として特定される（ステップＳ８：第４工程）。

以上のように、第１実施形態によれば、死細胞の像ＧＣ２などのように高輝度の画像が対象画像に含まれる場合には、飽和領域ＳＲの画像を合焦度算出の対象外としている。しかも、図５に示すように高輝度領域ＨＲが出現した対象画像Ｇ１、Ｇ２のみならず、全対象画像Ｇ１〜Ｇ４について飽和領域ＳＲの画像を合焦度算出の対象外としている。このため、死細胞などの影響を確実に排除することができ、合焦位置をより正確に検出することができる。その結果、対象画像Ｇ１〜Ｇ４の全部あるいは一部に高輝度領域ＨＲが含まれている場合であっても、検出動作を繰り返すことなく、合焦位置を安定して検出することができる。

図６は本発明に係る合焦位置検出方法の第２実施形態における飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。この第２実施形態が第１実施形態と大きく相違する点は、高輝度領域ＨＲを所定量だけ膨張させた膨張高輝度領域ＥＨＲを求めるとともに、当該膨張高輝度領域ＥＨＲに基づいて飽和領域ＳＲを決定している点である。なお、その他の構成および動作は基本的に同一である。したがって、以下においては相違点を中心に説明し、同一構成および動作については同一符号を付して説明を省略する。

第２実施形態のステップＳ２では、第１実施形態と同様に、各対象画像Ｇ１〜Ｇ４が１２個の局所画像ＰＧに分割され（ステップＳ２−１）、所定の輝度Ｌmaxを超える局所画像ＰＧが存在する領域、つまり高輝度領域ＨＲが求められる（ステップＳ２−２）。これに続いて、第２実施形態では、各高輝度領域ＨＲが所定量だけ膨張される（ステップＳ２−４）。この膨張後の領域が膨張高輝度領域ＥＨＲであり、膨張高輝度領域ＥＨＲに基づいて飽和領域ＳＲが取得される（ステップＳ２−５）。

そして、図６に示すように飽和領域ＳＲが存在する場合には、第１実施形態と同様に、撮像部高さＨ１〜Ｈ４のいずれについても飽和領域ＳＲの画像は合焦度算出の対象外とされる。そして、飽和領域ＳＲ外の画像Ｇ１Ａ、Ｇ２Ａ、Ｇ３Ａ、Ｇ４Ａから焦点の合い具合を指標する合焦度が求められる。その後で、従来技術と同様に最も合焦度の高い撮像部高さが合焦位置として特定される。

以上のように、第２実施形態においては、第１実施形態と同様の作用効果が得られる。しかも、像ＧＣ２の輝度分布が図４に示すように裾広がりのプロファイルを有していることに対応し、高輝度領域ＨＲを膨張させて裾野部分を膨張高輝度領域ＥＨＲに含め、飽和領域ＳＲに取り込んでいる。したがって、裾野部分、つまり所定の輝度Ｌmax以下であるものの細胞等Ｃの像ＧＣ１の輝度よりも十分に高い輝度を有する画像についても合焦度算出の対象外とされる。その結果、死細胞などの影響をさらに確実に排除することができ、合焦位置検出をさらに高精度なものとすることができる。

なお、第２実施形態では、各高輝度領域ＨＲを膨張させて膨張高輝度領域ＥＨＲを求めているが、複数の高輝度領域ＨＲが互いにつながって形成される領域（例えば図６中の高輝度領域ＨＲが２個並んだ領域や４個固まった領域など）を所定量だけ膨張させて膨張高輝度領域ＥＨＲを取得してもよい。この点については次に説明する第３実施形態においても同様である。

図７は本発明に係る合焦位置検出方法の第３実施形態における飽和領域取得処理の内容ならびに合焦度算出の対象となる画像と飽和領域との関係を模式的に示す図である。この第３実施形態が第１実施形態と大きく相違する点は、対象画像を複数の局所画像に分割することなく高輝度領域ＨＲを求めている点と、第２実施形態と同様に膨張高輝度領域ＥＨＲに基づいて飽和領域ＳＲを決定している点とである。なお、その他の構成および動作は基本的に同一である。したがって、以下においては相違点を中心に説明し、同一構成および動作については同一符号を付して説明を省略する。

第１実施形態よび第２実施形態では、局所画像ＰＧ単位で飽和領域ＳＲが導出されているが、第３実施形態のステップＳ２では、以下の段階を経て飽和領域ＳＲが導出される。すなわち、第１段階で所定の輝度Ｌmaxを超える領域が高輝度領域ＨＲとして取得される（ステップＳ２−６）。そして、高輝度領域ＨＲが所定量だけ膨張され、膨張高輝度領域ＥＨＲが取得され（ステップＳ２−７）、さらに膨張高輝度領域ＥＨＲに基づいて飽和領域ＳＲが取得される（ステップＳ２−８）。ここで、膨張高輝度領域ＥＨＲを求める技術的意義は、第２実施形態と同様に、輝度分布の裾野部分（所定の輝度Ｌmax以下であるものの細胞等Ｃの像ＧＣ１の輝度よりも十分に高い輝度を有する領域）を合焦度算出の対象外とすることで焦位置検出の精度を高める点にある。

そして、図７に示すように飽和領域ＳＲが存在する場合には、第１実施形態および第２実施形態と同様に、撮像部高さＨ１〜Ｈ４のいずれについても飽和領域ＳＲの画像は合焦度算出の対象外とされる。そして、飽和領域ＳＲ外の画像Ｇ１Ａ、Ｇ２Ａ、Ｇ３Ａ、Ｇ４Ａから焦点の合い具合を指標する合焦度が求められる。その後で、従来技術と同様に最も合焦度の高い撮像部高さが合焦位置として特定される。

以上のように、第３実施形態においては、第１実施形態および第２実施形態と同様の作用効果が得られる。しかも、第３実施形態では、所定の輝度Ｌmaxを超える領域および当該領域から膨張された領域のみを飽和領域ＳＲとして取得しているため、次のような作用効果が得られる。第１実施形態および第２実施形態では、局所画像ＰＧ単位で高輝度領域ＨＲが求められるため、局所画像ＰＧの範囲ではあるが、所定の輝度Ｌmaxを超える領域から十分に離れている領域も高輝度領域ＨＲと認定されることがある。そのため、合焦度算出の基礎となる輝度データが不足することがある。これに対し、第３実施形態では、所定の輝度Ｌmaxを超える領域から十分に離れている領域（膨張高輝度領域ＥＨＲ以外の領域）の輝度データは合焦度算出の基礎となる。したがって、より多くのデータに基づいて合焦位置を検出することができる。

ところで、上記第１実施形態ないし第３実施形態により飽和領域ＳＲを除外した画像Ｇ１Ａ、Ｇ２Ａ、Ｇ３Ａ、Ｇ４Ａが得られるが、それらに含まれる主たる像は撮像対象物に励起光を照射して蛍光発光させた細胞等Ｃの像ＧＣ１であり、画像Ｇ１Ａ〜Ｇ４Ａは一般的に暗い。そのため、像ＧＣ１の輝度とノイズとの差が小さく、バックグランドノイズの影響を受け易い。そこで、次に説明するようにして画像Ｇ１Ａ〜Ｇ４Ａから合焦度を算出するように構成してもよい（第４実施形態）。

図８は本発明に係る合焦位置検出方法の第４実施形態で実行される工程の一部を模式的に示す図である。第４実施形態では、対象画像Ｇ１Ａ〜Ｇ４Ａ毎に、対象画像の分割、局所領域毎の局所合焦度（局所値）の算出および複数の局所合焦度に基づく対象画像に対応する合焦度の算出が行われる。ここでは、対象画像Ｇ１Ａに対する処理について説明し、その他については説明を省略する。図４に示すように対象画像Ｇ１Ａが高輝度領域ＨＲの取得時と同じ分割態様で複数の局所領域ＰＲに分割され、合計８個の局所領域ＰＲが取得される。もちろん、分割態様（分割数、分割形状など）を高輝度領域ＨＲの取得時と相違させてもよいことは言うまでもない。

次に、局所領域ＰＲ毎に焦点の合い具合を指標する合焦度が算出される。本明細書では、このように局所領域ＰＲから算出される合焦度を従来から周知の合焦度、つまり対象画像Ｇ１Ａから算出される合焦度と区別するために、「局所合焦度」と称している。つまり、本実施形態では、８個の局所合焦度が算出される。

局所合焦度としては、従来から周知のもの、例えば（１）局所領域ＰＲを構成する画素の輝度に応じた指標値（輝度平均値、コントラスト、エッジ強度など）、（２）上記指標値に対して局所領域ＰＲの面積や値に応じて係数を掛け合わせた指標値、（３）局所領域ＰＲを構成する画素の輝度ヒストグラムから解析的に算出した指標値などを用いることができる。本実施形態では、対象画像Ｇ１Ａを構成する画素の輝度を０から２５５の階調で表し、局所領域ＰＲ毎の輝度平均値を局所合焦度としている。したがって、図８の「局所領域」と「局所合焦度」とを関連付けて観察するとわかるように、対象画像Ｇ１Ａ全体にわたって局所合焦度が比較的低く、細胞等Ｃの像ＧＣ１に対応する局所合焦度が若干高くなっている。

こうして対象画像Ｇ１Ａに対して複数の局所合焦度が求まると、局所合焦度の大小に応じた補正を行いつつ、撮像部１３を撮像部高さＨ１に位置決めしたときの合焦度が算出される（本発明の「第３工程」の一例に相当）。本実施形態では、局所合焦度の大きさに応じた係数を局所合焦度に掛け合わせて補正値を算出している。より詳しくは、撮像部１３の焦点の合い具合の順に上記８個の局所合焦度をソートし、上位から一定順位（上位５０％）までの局所合焦度に係数としてゼロよりも大きな値（本実施形態では「１」）を掛け合わせて複数の補正値を算出する一方で、残りの局所合焦度に係数としてゼロを掛け合わせて合焦度を算出するための補正値から実質的に除外している。すなわち、図８の「局所合焦度」においてハッチングで示された上位４個の局所合焦度が補正値として抽出され、これらの平均値が撮像部１３を撮像部高さＨ１に位置決めしたときの合焦度として求められる。なお、撮像部１３を撮像部高さＨ２〜Ｈ４に位置決めしたときの合焦度も、それぞれ対象画像Ｇ２Ａ〜Ｇ４Ａに基づいて求められる（本発明の「第３工程」の一例に相当）。

こうして撮像部高さＨ１〜Ｈ４毎に合焦度が求まると、従来技術と同様に最も合焦度の高い撮像部高さが合焦位置として特定される（本発明の「第４工程」の一例に相当）。例えば図８に示すように合焦度が分布する場合、最も高い値を示すときの撮像部高さＨ３が合焦位置と特定される。

ここで、対象画像Ｇ１Ａ〜Ｇ４Ａ毎に対象画像を構成する全画素の輝度を単純平均した値を合焦度とする第１実施形態（図８の左端）と、本実施形態（図８の右端）とを比較すると、第４実施形態が次のような優位性を有することがわかる。第１実施形態では単純平均しているに過ぎず、バックグランドノイズの影響を受け易い。このため、撮像部高さＨ１〜Ｈ４の変更に伴う合焦度の変化量は小さい。これに対し、第４実施形態では、局所合焦度が上位５０％未満となっている領域、つまり細胞等Ｃの像ＧＣ１が含まれていない蓋然性が高いバックグランド領域を除外して対象画像Ｇ１Ａ〜Ｇ４Ａ毎の合焦度を求めている。そのため、撮像部高さＨ１〜Ｈ４の変更に伴う合焦度の変化量は大きく、合焦位置をより正確に検出することができる。その結果、対象画像Ｇ１Ａ〜Ｇ４Ａが比較的暗い場合であっても、検出動作を繰り返すことなく、合焦位置を安定して検出することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、撮像部１３を撮像部高さＨ１〜Ｈ４に位置決めする毎に飽和領域ＳＲを取得しているが、４つの対象画像Ｇ１〜Ｇ４の取得完了後に飽和領域ＳＲを一括して算出してもよい。

また、上記実施形態では、ウェル９１内の細胞等Ｃを連続的に撮像する前に、特定のウェル９１を使用して上記合焦位置検出動作を実行しているが、ウェル９１の細胞撮像毎に上記合焦位置検出動作を実行してもよい。

また、上記実施形態では、撮像部１３から撮像対象物（細胞等Ｃ）までの距離を４段階で変更しているが、撮像部高さの段数はこれに限定されるものではなく、多段階である限り任意である。

また、上記実施形態では、合焦位置検出用プログラムを含む制御プログラムはメモリ１４５に予め記憶されているが、インターフェース部１４２をディスクドライブ（図示省略）と電気的に接続してインストールプログラムを読取るように構成してもよい。つまり、当該ディスクドライブに挿入されるＣＤ−ＲＯＭ（=Compact Disc - Read Only Memory）やＤＶＤ−ＲＯＭ（=Digital Versatile Disk - Read Only Memory）などの外部記録媒体に記録されている上記合焦位置検出用プログラムを読み取り可能に構成し、ディスクドライブを読取部として機能させてもよい。つまり、上記した合焦位置検出方法を実行不能な撮像装置１であっても、上記合焦位置検出用プログラムをインストールすることで合焦位置検出用プログラムを組み込んで上記した合焦位置検出方法を実行可能にバージョンアップさせてもよい。なお、記録媒体としてＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ以外の記録媒体を用いて合焦位置検出用プログラムの読み取りを行うようにしてもよい。また、通信手段を利用して合焦位置検出用プログラムを読取るように構成してもよい。

この発明は、焦点位置を光軸に沿って変化させながら撮像対象物を撮像部により撮像して取得される複数の対象画像に基づいて合焦位置を検出する合焦位置検出技術全般に適用することができる。

１…撮像装置
１３…撮像部
１４１…ＣＰＵ（飽和領域取得部、合焦度算出部、合焦位置特定部）
１４４…画像メモリ
Ｃ…細胞等（撮像対象物）
Ｇ１〜Ｇ４…対象画像
Ｇ１Ａ〜Ｇ４Ａ…（飽和領域外の）画像
Ｈ１〜Ｈ４…撮像部高さ
ＥＨＲ…膨張高輝度領域
ＨＲ…高輝度領域
ＰＧ…局所画像
Ｚ…鉛直方向

Claims (7)

1. 焦点位置を光軸に沿って変化させながら前記撮像対象物を前記撮像部で撮像して複数の対象画像を取得する第１工程と、
   前記複数の対象画像から所定の輝度を超える飽和領域を取得する第２工程と、
   前記対象画像毎に、前記対象画像のうち前記飽和領域外の画像から焦点の合い具合を指標する合焦度を求める第３工程と、
   前記複数の合焦度に基づいて合焦位置を特定する第４工程と、
   を備えることを特徴とする合焦位置検出方法。
2. 請求項１に記載の合焦位置検出方法であって、
   前記第２工程は、
   前記対象画像を複数の局所画像に分割する工程と、
   前記所定の輝度を超える前記局所画像に対応する高輝度領域を求める工程と、
   前記高輝度領域に基づいて前記飽和領域を決定する工程と
   を有する合焦位置検出方法。
3. 請求項１に記載の合焦位置検出方法であって、
   前記第２工程は、
   前記対象画像を複数の局所画像に分割する工程と、
   前記所定の輝度を超える前記局所画像に対応する高輝度領域を求める工程と、
   前記高輝度領域を所定量だけ膨張させた膨張高輝度領域を求める工程と、
   前記膨張高輝度領域に基づいて前記飽和領域を決定する工程と
   を有する合焦位置検出方法。
4. 請求項２または３に記載の合焦位置検出方法であって、
   前記局所画像が前記所定の輝度を超えるか否かの判定は前記局所画像を構成する複数の画素のうち前記所定の輝度を超える画素の数に基づいて行われる合焦位置検出方法。
5. 請求項１に記載の合焦位置検出方法であって、
   前記第２工程は、
   前記所定の輝度を超える高輝度領域を求める工程と、
   前記高輝度領域を所定量だけ膨張させた膨張高輝度領域を求める工程と、
   前記膨張高輝度領域に基づいて前記飽和領域を決定する工程と
   を有する合焦位置検出方法。
6. 焦点位置を光軸に沿って変化させながら前記撮像対象物を前記撮像部により撮像して取得される複数の対象画像に基づいて合焦点位置を検出する合焦位置検出装置であって、
   前記複数の対象画像から所定の輝度を超える飽和領域を取得する飽和領域取得部と、
   前記対象画像毎に、前記対象画像のうち前記飽和領域外の画像から焦点の合い具合を指標する合焦度を求める合焦度算出部と、
   前記合焦度算出部により算出された前記複数の合焦度に基づいて前記合焦位置を特定する合焦位置特定部と
   を備えることを特徴とする合焦位置検出装置。
7. 請求項１ないし５のいずれか一項に記載の合焦位置検出方法をコンピュータに実行させることを特徴とする合焦位置検出用プログラム。

Images