JP2019074693A - 観察装置および焦点調節方法 - Google Patents

Abstract

【課題】細胞種類、培養容器等の試料の環境に依存せずに、精度良く焦点位置の検出が可能な観察装置および焦点調節方法を提供する。【解決手段】撮像信号に基づいて複数の周波数帯域毎に焦点評価値を算出し、ダブルピークが出現した場合には、焦点評価値のダブルピークの極小値に対応するフォーカス位置を選択し（Ｓ２７、Ｓ２９）、ダブルピークが出現しない場合には、焦点評価値のシングルピークの値に対応するフォーカス位置を選択する（Ｓ３５、Ｓ３７）。【選択図】 図８

Description

本発明は、撮像部によって細胞等の試料の撮像を行い、取得した画像データに基づいてフォーカスレンズの焦点調節を行う観察装置および焦点調節方法に関する。

従来、顕微鏡などの観察装置において、撮像素子で撮像された観察像を画像処理してコントラストを判定することによりオートフォーカス動作を行う装置、いわゆるコントラストＡＦ方式のオートフォーカス装置が知られている。このコントラストＡＦは、撮影レンズによって形成された被写体像のコントラスト値（焦点評価値）を算出し、この焦点評価値がピークとなるように撮影レンズのピント位置を制御する方式である（特許文献１参照）。

また近年では、生化学、医療分野において、生体内から採取された細胞を培養・増殖させ、培養された細胞を試験に応用する研究が進められており、培養細胞状態の観察及び計測の自動化が進められている。このため、細胞に対する焦点調節の自動化も検討されている。しかし、無染色細胞のような透明物体に対しては、コントラストＡＦでは、ピントが合う位置で焦点評価値がピークとはならず、２つのコントラストピーク（ダブルピークと称する）間にある極小値となる。このため、従来のコントラストＡＦでは、精度良く自動焦点調節を行うことができない。

そこで、この現象に対応するため、レンズ移動前の画像と移動後の画像を用いた差分画像の取得し、その差分画像のコントラスト値の算出し、差分画像のコントラスト値が最大か否かを判断し、コントラスト値が最大になったときに、細胞に焦点が合っていると判断するようにした自動焦点調節装置が提案されている（特許文献２参照）。

特開平１０−２３２３４３号公報 特開２００８−２０４９８号公報

しかしながら、細胞の種類、形状によっては、ピント位置は必ずしもダブルピーク間の極小位置になるとは限らず、またダブルピークは出現せず、１つのコントラストピーク（シングルピーク）がピント位置となることもある。また、焦点検出の際に、２つのピークが近接してしまうことによって、実際はダブルピークであるはずが、シングルピークと検出してしまうことがあり、この場合には合焦精度が悪化してしまう。

加えて、細胞観察装置における細胞への照明光の入射角度、細胞容器の高さ、容器蓋の傾斜によっても、ピント位置がコントラスト極小位置またはピーク位置となる状況が異なる。さらに、コントラスト値のピーク位置はコントラスト算出のための周波数帯域によっても変化する。つまり、ある周波数帯ではピント位置はコントラスト極小となるが、別の周波数帯にするとコントラスト極小が出現しづらくなるため、周波数帯を一意的に決定することは困難である。

本発明は、このような事情を鑑みてなされたものであり、細胞種類、培養容器などの環境に依存せずに、精度良く焦点位置の検出が可能な観察装置および焦点調節方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る観察装置は、試料を撮像する撮像部を有する観察装置において、上記撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出する評価値検出部と、上記撮像部のフォーカス位置を変化させ、上記評価値に基づいてフォーカス位置を制御するフォーカス制御部と、を具備し、上記評価値検出部は、上記撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出し、上記フォーカス制御部は、上記フォーカス位置の変化に対応する上記複数の評価値の極大値または極小値に基づいてフォーカス位置を制御する。

第２の発明に係る観察装置は、上記第１の発明において、上記フォーカス制御部は、上記複数の評価値の極大値または極小値に対応するフォーカス位置を選択してフォーカス位置を制御する。
第３の発明に係る観察装置は、上記第２の発明において、上記フォーカス制御部は、上記複数の評価値にてそれぞれ極小値を検出する場合、それぞれの極小値に対応する上記評価値の変化率に基づいてフォーカス位置を選択する。
第４の発明に係る観察装置は、上記第３の発明において、上記フォーカス制御部は、上記複数の評価値のそれぞれの極小値に対応する上記評価値の変化率が大きい方の極小値に対応するフォーカス位置を選択する。

第５の発明に係る観察装置は、上記第１の発明において、上記フォーカス制御部は、上記複数の評価値のうちで、より低周波に関する評価値の極小値に対応するフォーカス位置から所定範囲内により高周波に関する評価値の極小値が存在しない場合、上記より低周波に関する評価値の極小値に対応するフォーカス位置を選択する。

第６の発明に係る焦点調節方法は、試料を撮像する撮像部を有する観察装置の焦点調節方法において、上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出し、上記評価値の算出にあたって、上記撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出し、上記フォーカス位置の変化に対応する上記複数の評価値の極大値または極小値に基づいてフォーカス位置を制御する。

本発明によれば、細胞種類、培養容器等の試料の環境に依存せずに、精度良く焦点位置の検出が可能な観察装置および焦点調節方法を提供することができる。

本発明の一実施形態に係る細胞観察装置の全体構成を示すブロック図である。 本発明に一実施形態に係る細胞観察装置において、細胞を透過した光線の光路を示す図である。 本発明の一実施形態に係る細胞観察装置において、撮像部のレンズ位置と焦点評価値の関係の例（ピークが２つの場合）を示すグラフである。 本発明の一実施形態に係る細胞観察装置において、撮影画像の例を示す図である。 本発明の一実施形態に係る細胞観察装置において、ダブルピークになり易い環境における、撮像部のレンズ位置と焦点評価値（高周波と低周波）の関係の例を示すグラフである。 本発明の一実施形態に係る細胞観察装置において、ダブルピークになり難い環境における、撮像部のレンズ位置と焦点評価値（高周波と低周波）の関係の例を示すグラフである。 本発明の一実施形態に係る細胞観察装置におけるコントラストＡＦの動作を示すフローチャートである。 本発明の一実施形態に係る細胞観察装置における焦点選択処理の動作を示すフローチャートである。 本発明の一実施形態に係る細胞観察装置において、複数の周波数帯でダブルピークが存在する場合の焦点評価値を示すグラフである。 本発明の一実施形態に係る細胞観察装置において、複数の周波数帯でダブルピークが１つも存在しない場合の焦点評価値を示すグラフである。

以下、図を用いて、本発明の一実施形態として細胞観察装置に適用した例について説明する。本実施形態においては、試料を撮像する撮像部を有し、撮像部のフォーカス位置を変化させながら撮像部からの撮像信号を取得し、この撮像信号に基づき焦点評価値（コントラスト評価値）を算出して撮像部のフォーカス位置を制御する（例えば、図７のＳ７参照）。

また、本実施形態における焦点評価値の算出にあたっては、複数の周波数帯域毎に焦点評価値を算出する（例えば、図５、図６、図９、図１０参照）。ダブルピークが出現しやすい環境では、低周波にダブルピークの極小値に対応するフォーカス位置を選択し（例えば、図５、図８のＳ２７、Ｓ２９参照）、ダブルピークが出現し難い環境では高周波のシングルピークのピークに対応するフォーカス位置を選択する（例えば、図６、図８のＳ３５、Ｓ３７参照）。

より具体的には、焦点評価値にダブルピークが複数現われた場合には、焦点評価値の変化率に基づいて合焦位置となるフォーカス位置を選択する（例えば、図８のＳ２３Ｙｅｓ、Ｓ２５、Ｓ２７参照）。焦点評価値にダブルピークが１つ現われた場合には、焦点評価値の極小となるフォーカス位置を選択する（例えば、図８のＳ２３Ｎｏ、Ｓ２９参照）。焦点評価値にダブルピークが現われない場合であって、シングルピークが複数現われた場合には、最大周波数のピークに対応するフォーカス位置を選択する（例えば、図８のＳ２１Ｎｏ、Ｓ３１Ｙｅｓ、Ｓ３３、Ｓ３５参照）。シングルピークが１つしか現れない場合には、そのピークに対応するフォーカス位置を選択する（例えば、図８のＳ２１Ｎｏ、Ｓ３３Ｎｏ、Ｓ３７参照）。

図１は、本実施形態に係る細胞観察装置の電気的構成を示すブロック図である。光学系１はフォーカスレンズを含み、単焦点レンズまたはズームレンズであり、試料の光学像を形成する。この光学系１は、レンズ駆動用モータおよびレンズ駆動機構によって光学系１の光軸方向に移動し、細胞等の試料の像のピント合わせを行う。光学系１は、フォーカスのために構成する全群を一体的に光軸方向に移動させる全体繰り出しタイプであってもよい。図１には、光学系１の光軸上に絞りおよび機械式シャッタが示されていないが、これらを設けてもよく、また省略してもよい。

撮像素子２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等のイメージセンサであり、光学系１によって形成された像を光電変換することによって、撮像信号（画像信号）を生成する。撮像素子２は、撮像制御部５に接続されている。撮像制御部５は撮像制御回路を有し、ＣＰＵ（Central Processing Unit）９からの制御信号に従って、撮像素子２の電荷蓄積制御や撮像信号の読み出しの制御を行う。撮像素子２は、試料を撮像する撮像部として機能する。

撮像信号処理部３は、撮像信号処理回路を有し、撮像素子２から撮像信号を入力し、ＡＤ変換等の処理を行い、撮像データ（画像データ）をバス１８に出力する。この撮像データは、ＡＥ処理部６、画像処理部７、およびＡＦ処理部１０等に入力され、処理される。ＡＥ処理部６は、ＡＥ（自動露出制御）回路を有し、撮像データに基づいて、試料等の輝度を検出し、検出結果をＣＰＵ９に出力する。ＣＰＵ９は、輝度情報に基づいて、撮像素子２による撮像信号が適正となるように撮像の制御を行う。画像処理部７は、画像処理回路を有し、ＯＢ（Optical Black）減算処理、ホワイトバランス補正、同時化処理、エッジ強調処理、画像圧縮、画像伸張等、種々の画像処理を撮像データに施す。

ＡＦ処理部１０は、ＡＦ（自動焦点調節）回路を有し、領域設定部１１、抽出部１２、検出部１３を有する。領域設定部１１は、撮影画像の中で一部または全部の領域を焦点検出エリアとして設定する。この設定は、ユーザが手動で行ってもよく、また撮影画像を画像解析し、細胞等を検出すると、そのエリアを自動に焦点検出エリアとして設定するようにしてもよい。

抽出部１２は、フィルタ回路等を有し、領域設定部１１によって設定された焦点検出エリアにおける撮像データの中から特定の周波数の信号成分を抽出する。抽出部１２は、１つの焦点検出エリアに対して、複数の高周波信号成分を抽出する。また高周波信号成分は、例えばデジタルハイパスフィルタによって抽出される。

検出部１３は、積算回路等の検出回路（評価値検出回路）を有し、抽出した信号成分を積算することによって焦点評価値（コントラストに相当）を算出する。この焦点評価値は、合焦度が高いほど大きな値となる。焦点評価値の算出にあたっては、複数の周波数毎に行う。ここで、算出された焦点評価値は、ＣＰＵ９に出力され、ＣＰＵ９は、レンズ制御部４を介して、光学系１のフォーカスレンズの焦点調節を行う。なお、ＡＦ処理部１０における処理の内、領域設定部１１等の機能は、ＣＰＵ９によって実現するようにしてもよい。

検出部１３は、撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出する評価値検出部として機能する。この評価値検出部は、撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出する（例えば、図５、図６、図７のＳ７参照）。

レンズ制御部４は、レンズ制御回路を有し、ＣＰＵ９からのフォーカスレンズの駆動命令に基づいて、レンズ駆動用モータの駆動制御を行う。フォーカスレンズの駆動制御としては、スキャン駆動と、合焦駆動がある。スキャン駆動は、フォーカスレンズを初期位置に移動させ、この初期位置から端点や所定の目標位置までフォーカスレンズを移動させる駆動である。スキャン駆動を行いながら、撮像データを取得し、この取得した撮像データに基づいて焦点評価値を算出する。この焦点評価値に基づいて、合焦位置が算出される。合焦駆動は、スキャン駆動によって算出された合焦位置にフォーカスレンズを移動させる駆動である。この合焦駆動によって、光学系１は、細胞等の試料にピントを合わせることができる。

レンズ制御部４は、撮像部のフォーカス位置を変化させ、評価値に基づいてフォーカス位置を制御するフォーカス制御部として機能する。このフォーカス制御部は、フォーカス位置の変化に対応する複数の評価値の極大値または極小値に基づいてフォーカス位置を制御する（例えば、図７のＳ１３、図８〜図１０参照）。また、フォーカス制御部は、複数の評価値の極大値または極小値に対応するフォーカス位置を選択してフォーカス位置を制御する（例えば、図７のＳ１３、図８〜図１０参照）。

また、前述のフォーカス制御部は、複数の評価値にてそれぞれ極小値を検出する場合、それぞれの極小値に対応する評価値の変化率に基づいてフォーカス位置を選択する（例えば、図８のＳ２５、Ｓ２７、図９参照）。フォーカス制御部は、複数の評価値のそれぞれの極小値に対応する評価値の変化率が大きい方の極小値に対応するフォーカス位置を選択する（例えば、図８のＳ２７、図９参照）。フォーカス制御部は、複数の評価値のうちで、高周波に関する評価値の極小値が存在しない場合、より低周波に関する評価値の極小値に対応するフォーカス位置を選択する（例えば、図９でレンズ位置Ｌａを選択）。

外部接続部１４は、焦点検出装置と外部装置（例えば焦点検出装置をコントロールするサーバー）とを接続するためのインターフェイスである。ＬＥＤ（Light Emitting Diode）１７は、細胞等の試料を照明するための光源であり、ＬＥＤ駆動回路１６がＬＥＤ制御部１５からの制御信号に従って、ＬＥＤ１７の照明制御（発光開始、発光停止制御）を行う。ＬＥＤ制御部１５は、ＬＥＤ制御回路を有し、この制御回路によって照明制御を行ってもよく、またＣＰＵ９がＬＥＤ制御部１５の機能を有し、照明制御を行ってもよい。

ＣＰＵ９は、メモリ８に記憶されているプログラムに従って、細胞観察装置内の各部の制御を行う。ＣＰＵ９は、細胞観察装置の全体を制御するコントローラであり、ＣＰＵ９は、いわゆるＡＳＩＣ（Application Specific Integrated Circuit）の一部として配置される。このＡＳＩＣ内には、ＣＰＵの他、周辺回路を有する。周辺回路としては、前述のレンズ制御回路、撮像制御回路、ＡＥ制御回路、画像処理回路、ＬＥＤ制御回路、ＡＦ処理回路等の全部または一部を有するようにしてもよい。

メモリ８は、電気的に書き換え可能な揮発性メモリおよび不揮発性メモリを含み、前述のプログラム以外に、撮像データや、細胞観察装置の種々の調整値等、種々のデータを記憶する。

次に、図２を用いて、焦点評価値がダブルピークとなる場合について説明する。破線は照明光Ｌを示し、照明光ＬはＬＥＤ１７の照射光が試料である細胞８１にほぼ平行光として照射される。この照射された照明光Ｌは細胞８１を透過する。なお、図２において、符号８１ｂは、撮像面位置（ｐ）における細胞８１の像を示す。また、細胞８１、８１ｂ中の交差斜線を施した部分は、細胞の核を示す。

照明光Ｌは細胞８１を透過する際に、細胞８１の形状が凸面形状となっているため、光線が屈折し集光効果が現われる。すなわち細胞８１を透過した照明光Ｌが光学系１により撮像面に結像する際に、ピント位置から外れると、光線に粗密（光線の不均等）が生じ、試料の像に粗の部分（暗い部分）と、密の部分（明るい部分）が生じてしまう。光線に粗密が発生する場合には、焦点評価値（コントラスト値）は、ベストピント位置（撮像面位置ｐに相当）の周囲にピークが生ずることになる。焦点評価値がダブルピークとなる場合については、図３を用いて後述する。

細胞８１および結像光学系としての光学系１を透過した光線は、ベストピント位置よりも手前側にある撮像面位置（ｒ）において、細胞境界付近の屈折率の低い領域での光線が密になり、一方、細胞内部の屈折率の高い領域において疎になる。このため細胞の境界付近は明るくなり、一方、細胞の境界の内部では暗くなる。ベストピント位置にある撮像面位置（ｐ）において光線密度は均等になり、このため細胞の観察画像は鮮明でかつ視認し易くなる。ベストピント位置より奥側にある撮像面位置（ｑ）において、細胞境界付近の屈折率の低い領域の光線が疎となり、一方細胞の境界の内部の屈折率の高い領域において密になる。このため、細胞の境界付近は暗くなり、一方細胞内部において明るくなる。

上述したように、撮像面位置によって、細胞境界付近の光線は粗密が異なっている。このため、撮像面位置（ｒ）における細胞８１ａの像は、図４（ｃ）に示すように、細胞８１の境界が白く、細胞の境界の内部が黒くなる。また、撮像面位置（ｐ）における細胞８１の像は、図４（ａ）に示すように、ピントの合った像となる。このため、この撮影画像は、ベストピント位置Ｐｂ（図２の位置ｐに相当）での画像であり、ピントが合った細胞８１を観察するに適している。また、撮像面位置（ｑ）における細胞８１の像は、図４（ｂ）に示すように、細胞８１の境界が黒く、細胞の境界の内部が白くなる。

図３は、図２に示すように、細胞８１の凸形状による集光効果によって、透過光束に粗密が発生する場合における、焦点評価値の変化を実線で示す。図３において、破線で示すラインは、集光効果がない場合の焦点評価値の変化を示す。

図３において、実線で示すラインは、集光効果がある場合の焦点評価値の変化を示す。光学系１のフォーカスレンズのレンズ位置Ｐｑと、レンズ位置Ｐｒにおいて、焦点評価値は極大値となり、またベストピント位置Ｐｂで焦点評価値は極小値となる。

図４は、図３のＰｑ、Ｐｂ、Ｐｒの各点における細胞の撮影画像を示す。前述したように、図４（ａ）に示す画像は、図３のＰｂ点での画像である。図４（ｂ）に示す画像は、図３のＰｑ点での画像であり、屈折率が高い領域が暗く、屈折率が低い領域が明るく結像された像（ポジティブまたはダークコントラストと呼ばれる）が形成される。図４（ｃ）に示す画像は、図３のＰｒ点での画像であり、屈折率が高い領域が明るく、屈折率が低い領域が暗く結像された像（ネガティブまたはブライトコントラストと呼ばれる）が形成される。

次に、図５および図６を用いて、コントラスト算出の周波数帯に対するコントラスト特性を説明する。図５および図６では、２つの異なる周波数帯の信号成分についてそれぞれ算出したコントラストを示している。破線は低周波で、実線はより高い周波数に対応するコントラストである。各コントラストは、低周波のコントラストはダブルピークになりやすく、高周波のコントラストはダブルピークになりにくい性質（特徴）を持つ。また図５は、ダブルピークが出現しやすい環境下でのコントラストの変化を示し、図６は、ダブルピークが出現しづらい環境下でのコントラストの変化を示す。

図５は、前述したように、ダブルピークが出現しやすい環境（細胞の集光効果が大きい等）であり、このため、低周波のコントラストはダブルピークになりやすい。図５では、低周波のコントラストはダブルピークが出現しているため、コントラストの極小に対応するレンズ位置Ｐａを合焦位置として選択する。一方、高周波のコントラストはダブルピークになりにくい性質を持つため、図５に示すように、２つのピーク（ピーク値（ａ）とピーク値（ｂ））が近接し、低周波のコントラストの極小に対応するレンズ位置Ｐａと同位置では極小にならず、レンズ位置Ｐａ付近ではコントラスト変化が見られない。よって、図５の状況下で高周波コントラストのみで判定すると、ピーク値（ｂ）に対応するレンズ位置Ｐｂを合焦位置としてしまい、合焦精度は悪化する。

従って、ダブルピークが現われた場合に、このダブルピークが１つしか現れない場合には、高周波コントラストのピークを選択せず、ダブルピークの現われたコントラスト（焦点評価値）の極小を選択する（後述する図８のＳ２３Ｎｏ、Ｓ２９参照）。なお、この場合、低周波コントラストの極小値に対応するフォーカス位置から所定範囲内に、より高周波に関する評価値の極小値が存在しない場合に、より低周波に関する評価値の極小値に対応するフォーカス位置を合焦位置と選択するようにしてもよい。また、ダブルピークが複数現われる場合については、図８、図９を用いて後述する。

図６は、ダブルピークが出現しづらい環境（細胞の集光効果が小さい等）であるため、高周波ではレンズ位置ＰＡにおいて急峻なピーク値（ｃ）が出現する。一方、低周波は、ダブルピークが出現しづらい環境下においては、高周波がピーク値（ｃ）となるレンズ位置ＰＡと同位置ではコントラスト値（ｄ）であり、コントラスト変化が見られない状態であり、ダブルピークとは判定されない。低周波のコントラストは、レンズ位置ＰＢにおいて、コントラスト値（ｄ）より僅かに大きいコントラスト値（ｅ）がピークとなる。

図６に示す例では、全てのコントラスト（高周波および低周波）がダブルピークではないので、最も周波数の高いコントラストのピーク値（ｃ）に対応するレンズ位置ＰＡを合焦位置とすることで、精度の高い合焦位置を求めることができる。逆に、図６の状況下で低周波コントラストのみを使用すると、ピーク位置（ｅ）に対応するレンズ位置ＰＢを合焦位置としてしまい、精度の高い合焦位置を得ることができない。

次に、図７および図８に示すフローチャートを用いて、本実施形態におけるＡＦ動作について説明する。このフローは、ＣＰＵ９がメモリ８内に記憶されたプログラムコードに従って、細胞観察装置内の各部を制御することにより実行する。

図７に示すフローが開始すると、まず、前処理を行う（Ｓ１）。ここでは、ＣＰＵ９が、ＡＥ処理部６からの輝度情報に基づいて、ＡＦ用の露出制御値を設定し、撮像制御部５によって適正露光となるように露出制御を行う。また、領域設定部１１によって、焦点検出エリアを設定する。

前処理を行うと、次に、ＡＦ開始位置へ駆動する（Ｓ３）。ここでは、ＣＰＵ９は、レンズ制御部４を介して、光学系１のフォーカスレンズ位置を開始位置に移動させる。フォーカスレンズ位置は、フォーカスレンズをステッピングモータによって移動させる場合には、基準点からの入力パルス数によって検出し、またフォーカスレンズ位置を計測するエンコーダが設けられている場合には、エンコーダ出力に基づいて検出する。本実施形態においては、焦点調節の対象である細胞等の試料は所定範囲内にあり、また外部接続部１４にて接続された外部装置から設定される指定範囲で行うため、指定された範囲の一方の端点から開始する。なお、外部接続装置１から指定範囲のＡＦ開始位置および指定範囲の端点（到達点）の情報を入力しておく。

フォーカスレンズをＡＦ開始位置へ駆動すると、次に、レンズスキャンを開始する（Ｓ５）。スキャン駆動は焦点評価値を検波するための駆動である。ここでは、ＣＰＵ９は、レンズ制御部４を介して、光学系１のフォーカスレンズを所定速度で移動させる。

レンズスキャンを開始すると、次に、焦点評価値を取得する（Ｓ７）。ここでは、フォーカスレンズ駆動しながら、１フレーム分の撮像データを取得すると、領域設定部１１で設定されたフォーカスエリアの撮像データから、抽出部１２が複数の周波数帯域の周波数信号成分を抽出し、周波数帯ごとに抽出した信号成分の撮像データを積算することによって焦点評価値（コントラストに相当）を算出する。従って、１つの焦点検出エリアに対し複数の周波数帯の焦点評価値を取得する。

焦点評価値を取得すると、次に、指定範囲端点に到達したか否かを判定する（Ｓ９）。ここでは、外部接続装置１４から入力した指定範囲の端点に到達したか否かを判定する。すなわち、指定された範囲の端点、つまりスキャン開始位置と反対方向にある端点に到達したかを判定する。この判定の結果、到達していない場合には、ステップＳ７に戻り、焦点評価値の取得を続行する。

ステップＳ９における判定の結果、指定範囲の端点に到達した場合には、レンズスキャンを停止する（Ｓ１１）。ＣＰＵ９は、指定範囲について焦点評価値を取得したことから、フォーカスレンズのスキャン駆動を停止する。

続いて、焦点選択処理を行う（Ｓ１３）。前述したように、焦点評価値は、複数の周波数帯毎に算出している。この焦点選択処理では、複数の焦点評価値の中でいずれの周波数帯域のいずれのピークを、合焦位置として選択するかを判定する。この焦点選択処理の詳しい動作については、図８を用いて後述する。

焦点選択処理を行うと、次に、目標位置へレンズを駆動する（Ｓ１５）。ここでは、ＣＰＵ９は、レンズ制御部４を介して、ステップＳ１３において選択した合焦位置を目標位置として、フォーカスレンズを駆動する。

次に、図８に示すフローチャートを用いて、焦点選択処理（図７のＳ１３参照）の詳しい動作について説明する。この焦点選択処理では、異なる周波数帯の焦点評価値から、最終的な焦点位置を求める処理である。

焦点選択処理のフローに入ると、まず、ダブルピークがあるか否かを判定する（Ｓ２１）。図３に示すグラフにおいて、実線がダブルピークのある場合である。ここでは、ＣＰＵ９は、複数の異なる周波数帯の焦点評価値の内、増加から減少に転ずる点が少なくとも２か所、すなわちダブルピークが少なくとも１つあるか否かを判定する。例えば、２つの周波数帯について焦点評価値を算出した場合、少なくとも１つの周波数帯において、ダブルピークがあれば、ステップＳ２１における判定はＹｅｓとなる。

ステップＳ２１における判定の結果、ダブルピークが有れば、次に、ダブルピークが複数あるか否かについて判定する（Ｓ２３）。ここでは、ＣＰＵ９が複数の周波数帯でダブルピークが存在するか否かについて判定する。

ステップＳ２３における判定の結果、ダブルピークが複数あれば、次に、変化率を算出する（Ｓ２５）。ここでは、ＣＰＵ９が、複数の周波数帯毎の焦点評価値のグラフのそれぞれの極小に対する変化率を算出する。この変化率の算出については、図９を用いて後述する。

変化率を算出すると、次に、変化率最大の極小値を算出する（Ｓ２７）。ここでは、ＣＰＵ９が、ステップＳ２５において算出したそれぞれの極小に対する変化率のうち、変化率の最も大きい周波数帯の極小を選択する。

ステップＳ２３に戻り、この判定の結果、ダブルピークが複数ない場合には、ダブルピークの極小を選択する（Ｓ２９）。異なる周波数帯の焦点評価値のうち、１つしかダブルピークがない場合である。この場合には、ＣＰＵ９は、１つしかないダブルピークの極小を選択する。

ステップＳ２１に戻り、ここでの判定の結果、ダブルピークが１つもない場合には、シングルピークが有るか否かを判定する（Ｓ３１）。ここでは、ＣＰＵ９は、異なる周波数帯の内で少なくとも１つの周波数帯の焦点評価値が、増加から減少に転ずる点が１か所、すなわちシングルピークがあるか否かを判定する。

ステップＳ３１における判定の結果、シングルピークが有った場合には、次に、シングルピークが複数有るか否かを判定する（Ｓ３３）。ここでは、ＣＰＵ９が複数の周波数帯毎にシングルピークが存在するか否かを判定する。

ステップＳ３３における判定の結果、シングルピークが複数有った場合には、最大周波数のピークを選択する（Ｓ３５）。複数の周波数帯でシングルピークが存在する場合であり、この場合には、ＣＰＵ９が、最も周波数が高い周波数帯の焦点評価値のシングルピークを選択する。この最大周波数のピーク選択の詳しい動作については、図１０を用いて後述する。

一方、ステップＳ３３における判定の結果、シングルピークが複数無かった場合、すなわち、シングルピークが１つしかなかった場合には、ピークを選択する（Ｓ３７）。この場合には、ＣＰＵ９は、１つしかなかったシングルピークを選択する。

ステップＳ３１に戻り、このステップにおける判定の結果、シングルピークが無い場合には、ＡＦをＮＧとする（Ｓ３９）。ダブルピークもシングルピークも存在しない場合であり、この場合には、合焦位置を選択することができない。そこで、ＣＰＵ９は、合焦不能（ＡＦＮＧ）と判定する。

ステップＳ２７、Ｓ２９、Ｓ３５、Ｓ３７において選択を行うと、またはステップＳ３９においてＡＦＮＧとすると、次に、合焦位置の演算を行う（Ｓ４１）。ここでは、ＣＰＵ９はステップＳ２７、Ｓ２９、Ｓ３５、Ｓ３７において選択された位置から合焦位置を演算する。合焦位置の演算では、極小またはピークを含む離散的な複数の焦点評価値と対応するレンズ位置を用いて補間演算を行ってもよい。

合焦位置を演算すると、次に目標位置を設定する（Ｓ４３）。ここでは、ＣＰＵ９は、ステップＳ４１において演算した合焦位置を、フォーカスレンズを駆動する際の目標位置とする。なお、ステップＳ３９においてＡＦＮＧとした場合には、予め外部装置で指定されたフォーカス位置、または細胞システム内で指定されている初期値を目標位置に設定する。

フォーカスレンズの目標位置を設定すると、焦点選択処理のフローを終了し、元のフローに戻る。

次に、図９を用いて、ステップＳ２５における変化率の算出について説明する。図９は、複数の周波数帯として、３つの異なる周波数帯で焦点評価値を検出し、ダブルピークが存在する場合のレンズ位置に対する焦点評価値の変化を示す。図９に示す例では、図５、図６で示した低周波（破線で示した）よりも高く、高周波（実線で示した）よりも低い周波数帯（中周波）の焦点評価値を一点鎖線で示している。

図９に示す例では、低周波（破線）と中周波（一点鎖線）でダブルピークが出現し、高周波（実線）ではダブルピークが出現していない。高周波は一般にダブルピークになりにくい性質（特徴）を有しており、図９に示すように、２つのピークが近接になり、低周波におけるレンズ位置Ｌａにおける焦点評価値の極小値（ａ１）と同位置では極小にならず、コントラスト変化が見られない。

一方、このような状況下では、低周波と中周波の焦点評価値に対してはダブルピークが検出されているため、極小値となるフォーカス位置を合焦位置として選択する。ここで、低周波の極小値（ａ１）と中周波の極小値（ａ２）の２つの極小値に対応するレンズ位置が存在する。この場合、どちらかの極小値に対応するレンズ位置を選択し、この選択は焦点評価値の極小度合いで判定する。具体的には、ピークからの極小までの減少率（Ｈ２Ｌ）、及び極小からピークまでの増加率（Ｌ２Ｈ）を用いて判定する。減少率、増加率を変化率と呼ぶ。

ピークから極小までの減少率（Ｈ２Ｌ）は、低周波では式１で示す（ｂ１）から（ａ１）、中周波では式２で示す（ｂ２）から（ａ２）への変化で求められる。
Ｈ２Ｌｌ＝（ｂ１−ａ１）／ｂ１・・・（式１）
Ｈ２Ｌｍ＝（ｂ２−ａ２）／ｂ２・・・（式２）

一方、極小からピークまでの増加率（Ｌ２Ｈ）は、低周波では式３で示す（ａ１）から（ｃ１）、中周波では式４で示す（ａ２）から（ｃ２）への変化で求められる。
Ｌ２Ｈｌ＝（ｃ１−ａ１）／ａ１・・・（式３）
Ｌ２Ｈｍ＝（ｃ２−ａ２）／ａ２・・・（式４）

または、ピークからの極小までの傾き、及び極小からピークまでの傾きで選択しても良い。図９に示したピーク位置に対するレンズ位置から、低周波の傾きＬＳ１（ピークからの極小までの傾き）は式５で、また傾きＬＳ２（極小からピークまでの傾き）は式６で求められる。
ＬＳ１＝（ｂ１−ａ１）／（Ｌｂ１−Ｌａ）・・・（式５）
ＬＳ２＝（ｃ１−ａ１）／（Ｌｃ１−Ｌａ）・・・（式６）

同様に中周波の傾きＨＳ１（ピークからの極小までの傾き）は式７で、また傾きＨＳ２（極小からピークまでの傾き）は式８で求められる。
ＨＳ１＝（ｂ２−ａ２）／（Ｌｂ２−Ｌａ）・・・（式７）
ＨＳ２＝（ｃ２−ａ２）／（Ｌｃ２−Ｌａ）・・・（式８）
なお、上記（式５）〜（式８）において、負の値になる傾きは、絶対値で比較する。

このように、複数の極小を検出した場合は、前述した極小度合い（変化率）によって、より急峻な極小を選択するようにすれば、より精度の高い合焦位置を求めることができる。

次に、図１０を用いて、ステップＳ３５における最大周波数のピークの算出について説明する。図１０は、複数の周波数帯として、３つの異なる周波数帯で焦点評価値を検出した結果、ダブルピークが存在せず、複数の周波数帯でシングルピークが存在する場合のレンズ位置に対する焦点評価値の変化を示す。図１０に示す例では、図９と同様に、図５、図６で示した低周波（破線で示した）よりも高く、高周波（実線で示した）よりも低い周波数帯（中周波）の焦点評価値を一点鎖線で示している。

図１０に示す例では、低周波、中周波、高周波全てでダブルピークが存在せず、ダブルピークが出現しづらい環境下であり、高周波ではレンズ位置Ｌｄにおいて急峻なピーク（ｄ３）が出現する。一方、低周波は高周波のピーク値（ｄ３）となるレンズ位置Ｌｄと同位置でピークにならずに、レンズ位置Ｌｄからずれたレンズ位置Ｌｆでピーク値（ｄ１）となる。また、中周波はレンズ位置Ｌｄからわずかにずれたレンズ位置Ｌｅでピーク値（ｄ２）となり、さらにピーク付近での焦点評価値変化がないため、精度の高い合焦位置を求めることができない。

このため、焦点評価値にダブルピークが存在せず、複数の周波数帯でシングルピークが存在する場合は、最も周波数の高い焦点評価値のピーク値（ｄ３）となるレンズ位置Ｌｄを合焦位置とすることで、精度の高い合焦位置を求めることができる。

以上説明したように、本発明の一実施形態においては、撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出し、評価値の算出にあたって、撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出し（例えば、図７のＳ７、図５、図６参照）、フォーカス位置の変化に対応する複数の評価値の極大値または極小値に基づいてフォーカス位置を制御している（例えば、図８参照）。このため、細胞種類、培養容器などに依存せずに、精度良く焦点位置を検出することができる。すなわち、細胞等の試料によっては、焦点評価値にダブルピークが現われる場合もあれば、シングルピークしか現れない場合もある。本実施形態によれば、いずれの場合であって、複数の周波数帯域に関する信号に基づいて複数の評価値を算出し、これらの複数の評価値の極大値または極小に基づいてフォーカス制御しているので、細胞の種類等に依存せず、精度良く焦点位置を検出することができる。

なお、本発明の一実施形態においては、複数の周波数帯域として、２つの周波数帯域（図５、図６参照）、および３つの周波数帯域（図９、図１０）の例について説明したが、これに限らず、４つ以上の周波数帯域について焦点評価値を算出するようにしてもよい。

また、本発明の一実施形態においては、焦点評価値として、シングルピークの場合には１つの極大値、またダブルピークの場合には２つの極大値と１つの極小値を算出する例について説明した。しかし、逆にシングルピークの場合には１つの極小値、またダブルピーク場合には２つの極大値を持つような焦点評価値を算出するようにしてもよい。

また、本発明の一実施形態においては、レンズ制御部４によって光学系１を移動させて焦点調節を行っていた。しかし、これに限らず、撮像素子２を光学系１の光軸方向に移動させてフォーカスを調節してもよいし、細胞や細胞容器等の試料を光学系１の光軸方向に移動させてフォーカスを調節してもよい。

また、本発明の一実施形態においては、撮像信号処理部３、レンズ制御部４、撮像制御部５、ＡＥ処理部６、画像処理部７、ＡＦ処理部１０、領域設定部１１、抽出部１２、検出部１３、外部接続部１４、ＬＥＤ制御部１５等を、ＣＰＵ９とはとは別体の構成とした。しかしこれに限らず、各部の全部または一部をソフトウエアで構成し、ＣＰＵ９によって実行するようにしても勿論かまわない。また、各部の全部または一部、およびＣＰＵ９の機能をヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本発明の一実施形態においては、焦点調節のための機器として、細胞観察装置を用いて説明したが、焦点評価値に複数のピークが生ずるような試料を撮像する装置であれば、これに限られない。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・光学系、２・・・撮像素子、３・・・撮像信号処理部、４・・・レンズ制御部、５・・・撮像制御部、６・・・ＡＥ処理部、７・・・画像処理部、８・・・メモリ、９・・・ＣＰＵ、１０・・・ＡＦ処理部、１１・・・領域設定部、１２・・・抽出部、１３・・・検出部、１４・・・外部接続部、１５・・・ＬＥＤ制御部、１６・・・ＬＥＤ駆動回路、１７・・・ＬＥＤ、８１・・・細胞、８１ｂ・・・細胞の像

Claims (6)

1. 試料を撮像する撮像部を有する観察装置において、
   上記撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出する評価値検出部と、
   上記撮像部のフォーカス位置を変化させ、上記評価値に基づいてフォーカス位置を制御するフォーカス制御部と、
   を具備し、
   上記評価値検出部は、上記撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出し、
   上記フォーカス制御部は、上記フォーカス位置の変化に対応する上記複数の評価値の極大値または極小値に基づいてフォーカス位置を制御する、
   ことを特徴とする観察装置。
2. 上記フォーカス制御部は、上記複数の評価値の極大値または極小値に対応するフォーカス位置を選択してフォーカス位置を制御することを特徴とする請求項１の観察装置。
3. 上記フォーカス制御部は、上記複数の評価値にてそれぞれ極小値を検出する場合、それぞれの極小値に対応する上記評価値の変化率に基づいてフォーカス位置を選択することを特徴とする請求項２の観察装置。
4. 上記フォーカス制御部は、上記複数の評価値のそれぞれの極小値に対応する上記評価値の変化率が大きい方の極小値に対応するフォーカス位置を選択することを特徴とする請求項３の観察装置。
5. 上記フォーカス制御部は、上記複数の評価値のうちで、より低周波に関する評価値の極小値に対応するフォーカス位置から所定範囲内により高周波に関する評価値の極小値が存在しない場合、上記より低周波に関する評価値の極小値に対応するフォーカス位置を選択することを特徴とする請求項１の観察装置。
6. 試料を撮像する撮像部を有する観察装置の焦点調節方法において、
   上記撮像部のフォーカス位置を変化させ、上記撮像部の出力する撮像信号に基づいて合焦度が高いほど大きい値を示す評価値を算出し、
   上記評価値の算出にあたって、上記撮像信号の複数の周波数帯域に関する信号に基づいて複数の評価値を算出し、
   上記フォーカス位置の変化に対応する上記複数の評価値の極大値または極小値に基づいてフォーカス位置を制御する、
   ことを特徴とする焦点調節方法。